A cet emplacement se trouvait un temple gallo-romain qui fut remplacé par la chapelle romane Notre-Dame au XIIe siècle (dont on ne voit plus que le arcs romans ). L’actuelle basilique a été construite entre 1854 et 1895 par le père Louis Saulet et ses successeurs. Cette basilique rappelle l’histoire d’un des plus anciens pèlerinages normands dédié à la vierge au travers des illustrations des tympans de ses trois portes d’entrée. à cet endroit un sanctuaire gallo-romain était déjà consacré au culte de la déesse mère amené par des légionnaires originaires d’Afrique ; ceci expliquerait le teint noir de cette statuaire. Au VIIe siècle, ce culte est remplacé par un culte chrétien. Au IXe siècle, la statue de la vierge disparaît lors des raids vikings. Plus tard, au XIe siècle, un des moutons du baron de Douvres, en grattant le sol déterre la statue de la vierge disparue. Afin de la célébrer, une nouvelle chapelle est créée mais au XVIe siècle, les protestants détruisent la statue de la vierge, qui sera alors remplacée par celle aujourd’hui présente.