Op de Heunsberg in Valkenburg ligt de ruïne van één van de weinige hoogteburchten in Nederland. Hij is aan het einde van de 11e eeuw gebouwd voor de Valkenburgse kasteelheer als een donjon, een versterkt woonhuis. Waarschijnlijk heeft er eerst een houten palissade omheen gestaan. Door de successen van de heren van Valkenburg vormde zich stukje bij beetje een kleine woonkern onderaan de voet van de berg. Later groeide die nederzetting uit tot een ware vestingstad. De bouwmaterialen (mergel) waren ruimschoots aanwezig.

Er ontstonden niet alleen verdedigingswerken bij het kasteel. Het hele stadje kwam binnen een sterke omwalling te liggen. Later werd deze ringmuur uitgebreid met twee bolwerken. Een van die verdedigingswerken bevond zich op de plek van het huidige kasteel Den Halder. De stadsomwalling was verder voorzien van stadspoorten en een aantal torens. De stadsmuur bestond, net zoals het kasteel, helemaal uit mergelsteen. De gebruikte mergelstenen waren waarschijnlijk grotendeels afkomstig uit de ondergrondse steengroeve in Valkenburg aan de Geul, bekend als de Fluweelengrot.

Binnen de vesting bevond zich een marktplein, de huidige Berkelstraat. Ook waren er diverse markante gebouwen, zoals een tiendschuur, een gasthuis voor de zieken, de Sint Barbara- en Nicolaaskerk en een herberg die onder de naam Hotel de l’Empereur nog altijd bezoekers onderdak biedt. In 1672 werd het kasteel opgeblazen. Dat betekende het einde van de heerschappij van de heren van Valkenburg. Een eeuw later deed zich een grote brand voor in de stad. Na die ramp van 1773 werden de meeste huizen herbouwd, uiteraard opnieuw in mergelsteen.

Met de opkomst van het toerisme rond 1850 werden er hotels, cafés, restaurants, villa’s en buitenverblijven van mergel gebouwd. Verschillende architecten, waaronder Pierre Cuypers, hebben veel gebouwen in de stad een bijzondere uitstraling mee gegeven. Langzaam kleurt Valkenburg ook buiten de vesting ‘mergel’-geel.

Vandaag de dag wordt er nog altijd mergel gewonnen voor de bouw, met name voor restauratie en renovatie. Zoals bijvoorbeeld de restauratie van de Geulkades en de reconstructie van de historische Berkel-, Grendel- en Geulpoort. Deze poorten bieden tegenwoordig toegang tot de romantische en toeristische ‘Vestingstad Valkenburg’.