Des fortifications sont signalées dès la fin du XIIIème siècle. Un mur de près de 200 mètres, connu sous le nom de “mur des moines” borde le flanc méridional du sommet. Situé entre les communs de l’abbaye et la croix de Saint-Popon, il amplifie l’escarpement naturel du relief. Épais d’au moins 3 mètres à sa base, il est conservé sur une dizaine de mètres de hauteur. Sa face externe, la seule visible, est maçonnée en briques
régulières disposées selon des lits horizontaux entre des raidisseurs verticaux en pierre de taille espacés d’environ 3,60 mètres.