Le château construit vers l’an 1010 par le chevalier Hugues Doubleau fut abandonné au XVIe siècle – Seule reste habitable la Maison du Gouverneur dite Maison de Courcilllon.
L’exploitation d’une carrière de marne sous le donjon par un chaufournier à partir de 1797 provoqua un affaissement de terrain en 1812 suivi de la séparation en deux du sommet et de l’écroulement d’un pan en 1818. Une seconde partie de mur est tombée en 1873.
Les garennes et fossés furent vendus en 1739 et à la révolution, la ville devint propriétaire de la forteresse.