Construit en 1730 à l’emplacement d’une maison plus ancienne dont est extraite la cheminée de la cuisine, l’édifice a appartenu pendant un siècle à la famille de Cuverville, avant d’être acquis en 1835 par une famille protestante de Rouen, les Rondeaux. En 1895, Madeleine Rondeaux, devenue propriétaire de la maison à la suite du décès de son père, épouse son cousin André Gide à la mairie de Cuverville, le mariage religieux ayant eu lieu au temple protestant d'Étretat. L’écrivain passe dès lors chaque année de longs mois au château, comme en témoignent beaucoup de passages de son journal. Il y reçoit ses amis, notamment les membres du groupe de la Nouvelle Revue Française. C’est dans son roman La porte étroite (1909) qu’il décrit avec précision la maison, remplaçant néanmoins le nom de Cuverville par celui du village voisin, Fongueusemare.