Terá sido mandado construir por D. Afonso Henriques no século XII, para defesa da linha do Tejo, aquando da reconquista cristã.

Sabe-se que já existia em 17 de junho de 1496. No século XVIII, foi alvo de obras de remodelação, promovidas pelo Cónego da Sé da Guarda.

Projeto arquitetónico de Duarte Castelo Branco, que transformou uma parte do antigo Convento de S. Domingos, num espaço de informação, cultura e educação permanente.

O convento foi construído entre 1576 e 1621. No início do século XIX, foi parcialmente destruído, devido às obras de fortificação da vila, tendo desaparecido o seu claustro.

O Edifício da Assembleia de Abrantes é um projeto notável, frequentemente associado à obra de Raul Lino ou contextualizado na arquitetura de espaços de convívio.