Fondé au XIème siècle par Robert de Montfort, le site fût d’abord érigé en collégiale avant de devenir un prieuré au XIIème siècle. Tous ses droits furent alors exercés par l’abbaye du Bec et le vicaire de Saint-Philbert desservit la chapelle attenante à l’église paroissiale. Aujourd’hui, le Prieuré est un bien communal et il ne reste que des vestiges des murs d’enceinte avec un beau portail, un colombier-four à pain et un bâtiment de style normand parfaitement restaurés.