Si alguna cosa tenen en comú els antics vescomtes de Cabrera i els recents alcaldes de Brunyola és que, amb 900 anys de diferència, regeixen els destins del terme des del mateix edifici. Ens referim al castell de Brunyola, una fortificació que segurament ja existia al segle X, que va entrar a la feudalització de la mà dels Cabrera, passà a la Pia Almoina de Girona entre els segles XIII i XIX i ha acabat hostatjant les oficines municipals.

Parlar del poble de Brunyola és parlar, sobretot, del seu castell. Al costat de tramuntana, el cos principal de la fortificació, de tres pisos, obre un portal adovellat i diverses finestres a la muralla emmerletada. El flanquegen dues de les quatre torres cantoneres que tenia la fortificació. La tercera torre es dreça alterosa, reconvertida en campanar, sobre la plaça i se li enganxa un tram de muralla amb un portal, que fou reconvertit amb els anys en paret del cementiri. Falta una torre, la del sud-est, que fou engolida per l’església parroquial de Sant Fruitós quan el temple es va engrandir cap aquella banda, una circumstància, però, que no impedeix que el de Brunyola sigui un dels castells més ben conservats de la comarca.