A XVIII. század elejétől Keszeg község földesura a Huszár család volt. Kastélyukat Huszár József építette 1749-ben, majd Huszár Károly az 1870-es években udvari szárnnyal bővíttette az épületet.
A T-alaprajzú, késő barokk épület középrizalitos homlokzattal és nyereg- és manzárdtetővel rendelkezik. A tetőzeten copf vázák láthatók, amelyekből mára csak néhány maradt meg. A kastély mögött elterülő kertben egykor hatalmas fák álltak, közepén ma orosz katonai temető található. A kastély egykor gazdag berendezéssel büszkélkedhetett. A festmények között megtalálható volt egy korabeli Rákóczi-ábrázolás, valószínűleg Mányoki Ádám munkája, Philips Wouwerman, Rembrandt tanítványainak alkotásai. Értékes volt még a családi levéltár, illetve a 2000 kötetes könyvtár is.
Volt Huszár-Purgly kastély műemléki környezete
A kastély falai között megfordult az idők során Deák Ferenc, Madách Imre és Apponyi Albert is. 1926-tól a Purgly család tulajdonába került a birtok, amit Purgly Emil,a Károlyi-kormány földművelésügyi minisztere fiaival igazgatott.
Két melléképülete az udvari szárnnyal párhuzamosan, a telek szélén épült. A keleti épületben irodák, szolgálati lakások és magtár volt, míg a kisebb, nyugati építményben óvoda működik.
Ma már erősen elpusztult parkjában egykor hatalmas fák, gondozott utak és virágház volt. A műemléki környezethez tartozik a római katolikus templom kertjében a Huszár család néhány sírköve. A kastélypark északi részében a II. világháborúban elesett orosz katonák temetőjét találjuk. A falu 1803-ban állíttatta a ma is látható feszületet a templom elé, melynek szövege így szól: "Keszegh HeLységben Lakozók tslnáLtatták nyoLCzaDlk MáIusban." A kronosztikon, az évrejtés kedvelt forma volt abban az időben, s a kiemelt római számokból lehetett megfejteni az alapítás dátumát.
Magtár
A védett környezet határán, de azon kívül áll a műemlék magtár. Mint a kastély egykori gazdasági épülete, ez is a műemlék együttes részének tekinthető. A téglalap alaprajzú egyemeletes épületet a XVIII. században építették, s a Huszár család majorsági épületeihez tartozott. Bejárat a keleti oldalon nyílik, földszintjén és emeletén téglalap alakú, kőkeretes ablakai vannak. Falazat kőből készült, nyeregtetős. (Forrás: Nógrád megye műemlékei)
