Il donne, avec l'église, tout son cachet au bourg du Rozel. Il a été construit aux XIIe et XVIe siècles. Il fut presque totalement détruit pendant la Révolution et reconstruit partiellement au XIXe siècle. Certaines tours n'ont pas été relevées. Vu du parc, il ressemble à une maison bourgeoise agrémentée d'une tourelle d'angle. un grand mur d'enceinte rehaussé de deux tours protège le jardin. Aujourd'hui, le site propose gîte, chambres d'hôtes ainsi que crêperie.