C'est la quartier des pêcheurs depuis le Moyen Âge. Epargné lors de l'incendie de la ville en 1694, le Pollet est constitué de maison modestes, en silex, formant des ruelles étroites et sinueuses. Le quartier est profondément marqué par l'industrialisation du port, et à partir de 1880, par le creusement d'un chenal qui le coupe en deux ; celui-ci mène aux bassins de commerce. Il est au coeur aujourd'hui d'une programme de modernisation, avec la construction et la réhabilitation d'équipements portuaires.