Le château porte le nom de son ancien propriétaire, dont la première mention remonte à 1128 et à Jehan de Varvannes, homme d'armes, possible fondateur de la seigneurie. Victime d'un incendie, il a été reconstruit au début du XXè siècle. Son pigeonnier et sa porterie étant les emblèmes de la route de Varvannes signalent l'entrée dans son hameau.

On dit que Henri IV y aurait couché lorsque le 10 novembre 1591 ses troupes campent à Anglesqueville avant d'aller assiéger Rouen.