Vous vous trouvez à présent à l'emplacement de l’ancienne motte féodale, ici commence l'histoire d'Altafagus : "le château fort du seigneur d'Auffay domina le bourg dès le XIème siècle. C'est par son mariage que Richard d'Heugleville acquiert les terres dites "d'Isnelville", puis décide d'en tirer profit en fondant le bourg d'Auffay. Le premier seigneur d'Auffay, Gilbert d'Heugleville, créa également un prieuré autour de l'Eglise Notre-Dame d'Auffay".

L'ancien château fort fut dévasté et ses ruines avaient depuis longtemps disparu, lorsqu'au XIXème siècle un altifagien fit construire sur le site une maison de campagne entourée d'un parc arboré