En los siglos XIV y XV, los Montcada, primero, y los Cruïlles, después, dominaban el término de Caldes desde un castillo tan original que albergaba unas termas romanas todavía en funcionamiento. De hecho, el propio edificio romano formaba parte de la misma estructura de la fortificación.
En el siglo XIX, el desmantelamiento de parte del castillo, que en la Edad Moderna se había transformado en un hospital de pobres que atraía escaso interés, se quedó a medio camino, ya que lo impedían las termas, que eran un monumento que se quería conservar, así como algunas estancias del castillo, que se habían convertido en viviendas particulares. Por este motivo, en Caldes todavía podemos admirar el lienzo de la muralla de levante del castillo, fortificado con tres torres. Este sector de la muralla protege tanto los baños romanos como, junto a estos, un edificio municipal, hoy en fase de rehabilitación, que tiene su origen en las estancias del castillo.