En 1113, un pêcheur a remonté dans ses filets une statue en bois de la Sainte Vierge au niveau du Cap Lihou. Cette pêche est considérée comme un miracle, et une petite chapelle en bois a été construite à l’emplacement même de l’actuelle église Notre-Dame.
Sa construction sous la forme actuelle débuta sous l’occupation anglaise de la ville entre 1439 et 1442. Les murs latéraux étaient à peine achevés lorsque les anglais furent chassés de Granville par les chevaliers du Mont-Saint-Michel, sous l’impulsion du Roi de France Charles VII.
La construction de l’église reprit avec le repeuplement de Granville (cf. charte de franchise) et après de nombreuses années de travail et de campagnes successives de travaux, Notre-Dame du Cap Lihou fut achevée en 1771.
Sa construction mêle plusieurs styles architecturaux (roman, gothique, gothique flamboyant) mais l’ensemble du bâtiment garde une certaine cohérence. Deux chapelles latérales rendent hommage respectivement côté nord à Notre-Dame du Cap Lihou et côté sud à Saint Clément (saint patron des marins).
Suite à l’explosion de deux obus sur le parvis Notre-Dame en 1944 et un raid éclair des Allemands, les vitraux sont entièrement pulvérisés et refaits à partir de 1950 par le maître verrier Jacques LECHEVALIER.
Aujourd’hui encore, cela reste l’église des pêcheurs de Granville où se déroulent leurs cérémonies religieuses, qu’elles soient heureuses ou malheureuses.