Si algo tienen en común los antiguos vizcondes de Cabrera y los recientes alcaldes de Brunyola es que, con novecientos años de diferencia, rigen los destinos del término desde el mismo edificio. Nos referimos al castillo de Brunyola, una fortificación que, probablemente, ya existía en el siglo x, que entró en la feudalización de la mano de los Cabrera, pasó a la Pia Almoina de Girona entre los siglos xiii y xix, y ha acabado por hospedar las oficinas municipales.

Hablar del pueblo de Brunyola es hablar, sobre todo, de su castillo. En el sector norte, el cuerpo principal de la fortificación, de tres pisos, presenta un portal adovelado y varias ventanas en la muralla almenada. Lo flanquean dos de las cuatro torres esquineras que tenía la fortificación. La tercera torre se eleva, airosa, reconvertida en campanario, sobre la plaza. Se le adosa un tramo de muralla con un portal, que se reconvirtió con los años en muro del cementerio. Falta una torre, la del sureste, que desapareció cuando la iglesia parroquial de Sant Fruitós se amplió hacia ese sector, una circunstancia que no impide que el de Brunyola sea uno de los castillos más bien conservados de la comarca.