Le village de Valmont fut fondé par la famille d’Estouteville, descendante du viking Estout, compagnon de Rollon, qui reçu ce territoire en récompense. Au XIème siècle, les seigneurs d’Estouteville édifièrent leur château sur un éperon rocheux et le dotèrent de systèmes défensifs.

Le château subit de nombreuses modifications aux grés des propriétaires successifs, aujourd’hui, du château médiéval il ne subsiste que le donjon carré.