Aquest monument romànic del segle XII és l'únic testimoni que es conserva d'un antic monestir d'agustins fundat la segona meitat del segle XI. Extingida la comunitat primitiva, el 1578 fou adquirit per l'orde de Sant Domènec, d'on li ve el nom actual. Els capitells i les columnes pertanyen al claustre del primitiu monestir romànic, però l'edificació és del segle XVI.
Els capitells són d'una temàtica rica i diversa que combina motius vegetals i geomètrics amb figures zoològiques; en destaquen 5 d'historiats: el d'Adam i Eva, el dels Atlants, el de la cacera, el del banquet i el dels pecats capitals.
El 1835, arran de la desamortització, va passar a mans de l'Ajuntament, i des d'aleshores ha tingut moltes funcions: hospital, jutjat, caserna i fins i tot cinema.
L'edifici que envoltava el claustre, un gran baluard reconstruït al segle XVIII, fou enderrocat durant els anys 60 del segle XX. Actualment és l'element arquitectònic públic visitable més important de Peralada. Al seu costat i després de la compra d'una finca annexa, l'Ajuntament va crear l'any 2001 el centre de turisme cultural de la vila.