Uit de gedetailleerde bouwchronologie blijkt het oorspronkelijke 13de-eeuwse steen medio 14de eeuw te zijn herbouwd. Medio 15de eeuw was het steen een ruïne die werd verbouwd tot klooster en met een toren werd uitgebreid.

 

Architect Jacques Francquart verlaagd de toren en integreert deze in een gebouw in de 16de eeuw. Met de stadssanering eind 19de eeuw restaureert Architect Arthur Verhaegen het gebouw als Rijksarchief en voorziet het terug van een toren.