Es diu que van ser els efectes de la destrucció decretada pel rei Pere el Cerimoniós els responsables de l’enrunament del castell d’Argimon. I és que aquesta fortificació de Riudarenes va ser una de les que es van aixecar en armes contra el rei arran del seu enfrontament amb Bernat III de Cabrera.

Potser per això d’aquest castell, el més antic de la comarca donat que ja existia l’any 925, en resten avui només una torre i la seva bonica capella, en un emplaçament inigualable, presidit pel santuari d’Argimon del segle XVIII i amb un mirador excepcional sobre tota la comarca de la Selva.

Si tot i així ens ha quedat la recança de saber alguna cosa més d’Argimon, podem apropar-nos a la força de la Roqueta o torre de les Bruixes, prop de l’Esparra, una casa forta dels segles XII-XIII prou ben conservada, on hi van residir una temporada els castlans d’Argimon.