Construída no século XVIII, a Capela do Rebelo ganhou o seu nome por ter pertencido à família Rebelo. Originalmente dedicada a Nossa Senhora do Desterro, esta capela desde cedo beneficiou de uma especial devoção por parte da população. No século XIX, uma herdeira afastada da família vendeu a casa e a capela à Câmara Municipal, que se instalou aí, onde ainda hoje se encontra.

A capela sofreu um processo de restauro nos anos 70 do século XX, abrindo portas ao público em 1976.