La chapelle, convertie en ermitage vers 1620, a été construite par la famille d'Argouges, propriétaire du château au début du XVe siècle. Le lieu fut occupé successivement par sept ermites jusqu'à la Révolution où il fut vendu comme bien national. Racheté et restauré par le Conseil départemental , il présente l'histoire et l'architecture du bâtiment, et la légende de Saint-Gerbold, évêque de Bayeux au VIIe siècle, invoqué contre la dysenterie.