In 1554 zet Hendrik II, de opvolger van Frans I, zijn troepen in tegen de Spaanse Nederlanden. Deze troepen vernielen alles wat zij onderweg tegenkomen, met name de kastelen van Binche en Mariemont, residenties van Maria van Hongarije, de zus van keizer Karel V. Mariembourg valt op 26 juni 1554 na een vier dagen durende bezetting, het kasteel van Agimont wordt ingenomen en Givet en omstreken worden verwoest. Omdat deze veroveringen de veiligheid van de Ardense grenzen in gevaar brengen, besluit Karel V deze te beschermen door nieuwe vestingen te bouwen, het fort van Charlemont in Givet en dat van Philippeville in Echerennes. De punt van Givet maakte op dat moment nog geen deel uit van het koninkrijk van Frankrijk, in tegenstelling tot de vesting van Rocroi, gebouwd tijdens het bewind van Frans I en Hendrik II, waar het zich tegen moet verdedigen.

Maria van Hongarije kocht het gebied rondom Givet van Ludwig von Stolberg, opdat de keizer het stroomgebied van de Maas in zijn bezit had en de toegang tot de Nederlanden kon afsluiten. Niet lang voordat hij afstand doet van de troon, geeft Karel V zijn naam aan het Fort Charlemont.

Vanaf mei 1555 begint men aan de bouw van het fort onder auspiciën van de Italiaanse ingenieur Donato Buoni Pellizuoli. 20.000 infanteristen, 3000 cavaleristen en talloze arbeiders worden aan het werk gezet. Het fort komt te liggen rondom een oud, onafgemaakt kasteel uit de 15e eeuw, dat is gesitueerd bovenop de hoger gelegen vlakten van Pointe Est.

In juli 1555 wordt het in aanbouw zijnde Charlemont aangevallen door de Fransen, in de slag bij Gimnée. De hertog van Nevers is in opmars richting Givet, aan het hoofd van 16.000 manschappen. Het garnizoen van het fort lokt de Fransen in een hinderlaag, die geloodst naar de voet van Charlemont, beschoten worden door een lichte, maar goed georganiseerde artillerie vanuit de locatie van het toekomstige Fort Condé. De slag mislukt en vormt de aanleiding tot de uitbreidingswerkzaamheden van het fort in westelijke richting. Ondanks de dreiging van de Franse kanonnen, de opstand van de slecht betaalde en ondervoede troepen en de ravages, aangericht door diverse epidemieën, worden de grachten van de eerste vestingwal voltooid in 1559 en wordt de stenen gevel van de vestingwal voltooid in 1564.

Deze uitbreiding van het fort in westelijke richting, die noodzakelijk was voor het beheersen van de vlakte van Foisches, wordt toevertrouwd aan de ingenieurs Sébastien en Jacques Van Noyen, die eveneens de opdracht hadden gekregen tot de bouw van Fort Philippeville.

Aan het eind van de jaren 1630 wordt eerst de westkant versterkt door een halvemaan en daarna ook de toegang tot de poort aan de noordkant. In 1640 belegeren de Franse troepen van maarschalk de la Meilleraie Fort Charlemont zonder succes. De harde rotsen en het regenachtige weer bemoeilijken namelijk het graven van schuilplaatsen en loopgraven door de Fransen, die bovendien hun munitie verliezen bij de explosie van de kerk van Aubrives, die voor de gelegenheid was omgebouwd tot kruitmagazijn.

In maart 1675 stuurt Lodewijk XIV, die het beleg van Dinant voorbereidt, maarschalk de Créquy op pad om de beide dorpjes Givet te verwoesten. Het antwoord van maarschalk de Créquy is duidelijk: de beide dorpjes zijn “pas en état d’être aisément insultés” (ze laten zich niet zonder slag of stoot beledigen). Hij voert in mei een eerste militaire operatie uit en vervolgens komt graaf de Montal in juli “achever le reste des bourgs qui estoit eschappé de l’incendie apporté deux mois auparavant ou environ par le Maréchal de Creky” (de genadeslag toebrengen aan de overblijfselen van de dorpjes die waren ontsnapt aan de brand die ongeveer twee maanden eerder was gesticht door de maarschalk de Créquy). Deze gebeurtenissen ondermijnen echter niet het moreel van het garnizoen van Charlemont, dat nog altijd een bedreiging vormt voor de Fransen. Na drie jaar van onderhandelen wordt in 1678 het Verdrag van Nijmegen ondertekend, teneinde de Hollandse Oorlog te beëindigen. Charlemont wordt overgedragen aan Lodewijk XIV, tegelijkertijd met andere Vlaamse grondgebieden.

Dit besluit treedt echter pas in februari 1680 in werking. De vesting wordt een fort, gekeerd tegen de machten die zich verzetten tegen Lodewijk XIV. Vauban wordt terstond naar Givet gezonden waar hij nauwgezet de stand van zaken in de vesting opneemt en deze beschrijft in een algemene instructie. Hij doet een projectvoorstel dat bijna in zijn geheel wordt goedgekeurd door minister Louvois en Lodewijk XIV, die tevens ter plaatse een kijkje komt nemen. De koning eist dat de werkzaamheden zo snel mogelijk van start gaan, vanaf de lente van 1681: 100.000 écu’s, oftewel 300.000 Tournoois pond worden beschikbaar gesteld voor het versterken van de verdedigingswerken van Charlemont en Givet Saint-Hilaire. Ook al zijn de beide Givets compleet verwoest, is Vauban van mening dat Charlemont weliswaar achterstallig onderhoud heeft, maar dat het geen grondige herziening van de verdedigingswerken behoeft, met uitzondering van “het uiterlijk”.

Op 16 maart 1696 wordt Givet vanaf de hoger gelegen vlakten gebombardeerd door de artillerie van de graaf d’Athlone en generaal Coehorn. De brand richt grote schade aan en men gebruikt bommen om het karwij af te maken. Givet is verwoest, maar het belangrijkste deel van de troepenbevoorrading (voeder, munitie …) is op tijd in veiligheid gebracht door het garnizoen van Charlemont.

In antwoord op de bombardementen stelt Vauban een uitgebreid project voor om de vesting te vervolledigen en te verbeteren. Hij is van plan de twee dorpen te verenigen in een enkele, volledig versterkte stad en hij realiseert zich dat hij daarvoor de hoogvlakten moet versterken, waaronder de Mont d’Haurs als verdedigingsbasis van Givet Notre-Dame, die moet worden voorzien van een volledige ommuring (twee hooggelegen vestingen die twee laaggelegen vestingen beschermen). Givet Saint-Hilaire blijft beschermd door Charlemont.

In de 18e eeuw worden er in de vesting Givet-Charlemont talrijke projecten gerealiseerd. Ook al worden sommige van hen niet voltooid, zoals het versterkte legerkamp van Mont d’Haurs, dienen andere projecten, zoals de cisternen van Charlemont, tot voorbeeld binnen het koninkrijk. Charlemont krijgt zijn definitieve structuur rond 1740, na de bouw van de kroon van Asfeld aan de westkant en de ommuring van het hoornvormige bouwwerk “le cornichon” aan de oostkant.

In 1815, na het echec van Waterloo, zijn Charleville, Rocroi, Maubeuge, Philippeville en Parijs allemaal gevallen, maar Givet-Charlemont, onder leiding van generaal Bourke, staat nog altijd overeind. De Pruisen belegeren Givet gedurende zes maanden, maar zonder succes. In opdracht van koning Lodewijk XVIII geven generaal Bourke en zijn garnizoen zich uiteindelijk over aan de commissarissen van de hertog van Wellington, die worden gevolgd door een Russische bezettingsmacht. Het lijkt erop dat, na een moeizame start, de bevolking over het algemeen de voorkeur geeft aan de Russische bezetter boven de Pruisische bezetter, die men, op een enkeling na, arrogant en meedogenloos vindt. Tot twee keer toe redt de Russische kolonel de stad van een hongersnood door graan te vorderen van de stad Dinant. Hiermee verdient hij een erezwaard van het stadje. De Russen verlaten Givet op 23 december 1818 na een bezetting van drie jaar …

In de jaren 1830 worden enkele verstevigingswerkzaamheden uitgevoerd in Charlemont, zoals aan het bastion van de keizer. Givet wordt in 1870 niet aangevallen door de Pruisen, maar de nederlaag van de Fransen leidt tot de herbewapening en herinrichting van het fort. Na een zwaar bombardement in 1914 is het fort een tijd lang verlaten. In de jaren 1930 worden enkele intervalkazematten gebouwd als onderdeel van de Maginotlinie. In mei 1940 voert de Duitse luchtmacht zonder succes een bombardement uit en de pantsertroepen vermijden Charlemont door de route langs Aviette te nemen (zij werden gedurende enige tijd tegengehouden). Het garnizoen van Charlemont houdt echter stand totdat de munitie op raakt. In december 1944, tijdens de slag om de Ardennen, is Charlemont een hoofdkwartier van de geallieerden, waar duizenden manschappen worden doorgevoerd via het fort en de kelders van de “Grand Quartier”-kazerne. De grote bunkers uit 1870 doen dienst als commandopost. Het terrein van het Fort Condé wordt getransformeerd tot oefenterrein. Aan het einde van de oorlog wordt het fort verlaten.

In 1962 keert het leger weer terug op besluit van generaal Massu, om een trainingscentrum voor commando’s en speciale eenheden te openen. Op dat moment wordt er een begin gemaakt met de omvangrijke taak van de ontginning en de instandhouding van de locatie. Er wordt slechts een deel gesloopt van de gammele overblijfselen van de binnenste gebouwen die zijn getroffen door de bombardementen van 1914 en 1940. In 2009 sluit het trainingscentrum de deuren als gevolg van de aanpassing van de militaire landkaart.