Als segles XIV i XV, els Montcada primer i els Cruïlles després senyorejaren el terme de Caldes des d’un castell tan original que tenia a dins totes unes termes romanes que encara funcionaven. De fet, el propi edifici romà formava part de la mateixa estructura de la fortificació.

Al segle XIX, el desmantellament de part del castell, que a l’edat moderna s’havia transformat en un hospital de pobres de poca volada, va quedar a mig camí perquè ho impedien unes termes que eren un monument que s’havia de conservar i, al costat, algunes estances del castell que havien esdevingut cases particulars. Per això, si anem a Caldes podrem encara admirar tot el pany de la muralla de llevant del castell, fortificat amb tres torres i que protegeix tant els banys romans com, al costat, un edifici municipal, ara en fase de rehabilitació, que té el seu origen en les estances del castell.