Sobrevivem, ainda hoje, memórias das várias estruturas defensivas que foram existindo na cidade.
Com D. João I existia um castelo à volta do morro da Sé; nos finais do século XV, D. Afonso V mandou construir uma cintura de muralha da qual restam vestígios espalhados pela cidade. Das sete portas existentes restam as do Soar e a dos Cavaleiros, que continuam a marcar as entradas do centro histórico de Viseu.
