Trata-se de um edifício com construção inicial no século XVI e que foi objecto de alterações posteriores nos séculos XVII, XVIII e XX.

O recém inaugurado Museu Ibérico de Arte e Arqueologia de Abrantes onde a preservação e divulgação de um valioso espólio arqueológico, baseado em peças anteriores à fundação de Portugal, está na origem da criação deste museu .

Terá sido mandado construir por D. Afonso Henriques no século XII, para defesa da linha do Tejo, aquando da reconquista cristã.

Sabe-se que já existia em 17 de junho de 1496. No século XVIII, foi alvo de obras de remodelação, promovidas pelo Cónego da Sé da Guarda.

Projeto arquitetónico de Duarte Castelo Branco, que transformou uma parte do antigo Convento de S. Domingos, num espaço de informação, cultura e educação permanente.