Balassagyarmat már a rézkorban is lakott település volt. A helység nevét, a honfoglalást követen a hét magyar törzs egyikéről, Gyarmatról kapta. A tatárok elvonulását követően Balassagyarmat történetében az a második 300 év kezdődött el, amely folyamán a földesúri vásáros falu mezővárossá fejlődött. A legnagyobb változást újratelepülésében az jelentette, hogy királyi tulajdonból 1246-ban családi kézbe, a Balassák ősének birtokába került, a családi birtokok központja lett. Ezt követően kezdhette meg az akkor még lakatlan terület benépesítését Detre fia Miklós, aki a család ősei sorában a nagy telepítők közé tartozott. Ő építette azt a védelmi célokra is alkalmas lakótornyot, mely a későbbi városcímernek is mintaképe lett. A 14-15. században a település a Nógrád és Hont megyei nemesség nádori igazságszolgáltató gyűléseinek helyszínéül is szolgált. 1374-ben Nagy Lajos a várost a Balassák Balás nevű ősének birtokába adta, tőle vette  a család később vezeték-, a város pedig előnevét. Sajátságos módon a helység további számottevő fejlődéséhez a XV. század eleji huszita háborúk járultak hozzá. Ekkor a környék földesurai Gyarmatra húzódtak be és itt kuriális épületeket állítottak maguknak. Jelenlétük és igényeik meggyorsították a helyi ipar és kereskedelem fellendülését. 

1541-ben a török elfoglalta Budát és megkezdte az előkészületeket a bányavárosok elleni fölvonulásra. Az országgyűlés rendeletére megerősítették a nógrádi várakat. Ennek köszönhető, hogy ekkor még Szécsény, Hollókő és Gyarmat magyar kézen maradt. 1552-ben azonban Ali budai pasa a Szondi által hősiesen védett Drégely várát elfoglalta, majd Gyarmatot is feldúlta. A város a török hódoltság alatt a nógrádi szandzsákhoz tartozott. 

1795: székhely: Gyarmat, 1835-re elkészült a megyeháza impozáns épülete, háta mögött - ahogy akkoriban országszerte szokás volt - a börtönnel. A 19. század végétől az első világháborúig tartó időszak a nagy építkezések (kórház, bíróság, pénzügyi palota, tisztviselőtelep stb.) kora volt ekkor alakult ki a mai város szerkezete. Gyorsan növekvő lakosságú megyeszékhely igazgatási, kereskedelmi és pénzügyi központja lett a megyének.

A világháborút követő trianoni béke véget vetett a fejlődésnek, a város elvesztette vonzáskörzetének nagy részét. Ez ellen még bátor polgárai sem tehettek semmit, akik 1919. januárjában kiűzték a megszálló cseh csapatokat, elnyerve ezzel a Civitas Fortissima, a legbátrabb város címét. Az addig forgalmas megyeszékhely a határ szorításában elzárt területté vált, amin az akkoriban elnyert rendezett tanácsú városi cím, majd a megyei városi rang sem segített. A második világháborúban semmisült meg a város nevezetessége, Közép-Európa egyik legnagyobb zsinagógája és lett a haláltáborok áldozata a város korábbi virágzásában nagy szerepet játszó zsidóság.

1949-ben a megyeszékhely Salgótarján lett. 
A hatvanas évek második felében az új gazdasági mechanizmus idején a város sikeresen élt - vezetőinek a pártvezetéssel ápolt jó kapcsolatainak is köszönhetően - az új lehetőségekkel. A város szélén ipar- és lakótelepek épültek, nőtt a munkahelyek és ennek köszönhetően a betelepülők száma, fejlődött az infrastruktúra. Megpezsdült a város szellemi élete, kiadták a várostörténeti monográfiát, megalakult a Komjáthy Jenő Irodalmi Társaság, a Honismereti Kör és színház hiányában ugyan de újraéledt a színjátszás - 1967-től Balassagyarmat ad otthont az irodalmi színpadok nemzetközi és országos találkozójának.