Az épület feltárása során láthatóvá vált az épületet valaha övező 60-70 cm vastagságú fal maradványa. Az előkerült XVI-XVII. századból való középkori edények darabjai pedig megegyeznek a szécsényi kastélyban, a hollókői, illetve a krasznahorkai várban feltártakkal. A pince feltárása során előkerült cserépkályha töredékek, egyéb tárgyak megerősítik az építés időpontjaként a XVIII. század elejét. A törmelék mélyén nyugvó fémből készült csillárvázhoz hasonlót Fertőd kastélyának padlásán felújításakor találtak, kettejük között csupán méretbeli különbség van.
Az eddig feltárt levéltári adatok alapján vélhetően a XVIII. század elején épült barokk stílusban. Bár fellelhetőek olyan nyomok is, melyek arra engednek következtetni, hogy ezt a kúriát nem is a Bory család építette, hanem Stréter János II. Rákóczi Ferenc tüzérségi főparancsnoka.
Erre utaló jel, hogy a monogrammal ellátott téglák a korban hivatalos latin nyelv két betűjét viselik magukon ("S és I"), amelyek egymásra vannak rajzolva. A legújabb kutatások szerint elképzelhető, hogy gróf Sréter János vagy báró Sághy Imre volt az építtető, de a korábbi elgondolásokból adódóan a szakirodalom a Bory családhoz köti. A Bory család feltételezhetően vásárlás vagy öröklés útján juthatott az ingatlanhoz, amelyen vélhetően felújítást végzett. A kúriát később a Lehoczky család birtokolta. 1920-ban megosztották és átalakították. Jelenleg lakóépületként funkcionál.
További érdekességként említhető meg, hogy a korabeli Ipolytarnócon a XVIII. században tartott nemesi közgyűlések vélhetően a kastélyban voltak megtartva. Erre az enged következtetni, hogy a 1704. február 22-én, 1711. április 30-án és 1727. január 14-én megtartott közgyűlések időszakában egyértelműen hidegek voltak, viszont a kastély mindegyik helyiségét cserépkályhával lehetett fűteni, ezért képes volt az összejövetelek fogadására.
A Bory család címere eredetileg a hadcsapat vezérének sisakormán lévő jel, mely a csapat megannyi vitézének pajzsát is díszítette. A Boryak és Borfőiek századokon át nemesek voltak ugyan, de a török hódoltság koráig nem volt címerük. (IV. László 1275. évi adománylevele még nem említi a címert. Nagy Lajos pedig Borfői Jánost igazi nemessé tette ugyan, de címert nem adományozott neki.) Idővel azonban szükségszerűvé vált, hogy az Árpád korban gyökeredző Boryak se nélkülözzék a nemes emberek ékességét, azaz a címert. Arról nincsenek fellelhető adatok, hogy önmaguk vették-e fel címerüket, vagy a királyok tisztelték meg a török csatamezőkön jelen lévő Boryakat címerrel, de annyi kétségtelen, hogy a címer nem korábbi a XVI. sz. végénél és nem későbbi a XVII. sz. harmadik negyedénél.
Feltételezhető, hogy az eredeti épület szintes volt, mert a padláson feltárt burkolólapok alapján a saroktornyok nagyobb építési magasságra engednek következtetni. Az előkerült lépcsőházi maradványok alapján az is feltételezhető, hogy a régi épület hosszabb lehetett a jelenleginél. Az épület további érdekessége, hogy alaprajzát tekintve, építészetileg kastély, látványát illetően pedig kúria. A főutca végén derékszögben álló földszintes ingatlant magas lábazat, többrészes párkány veszi körül. Eredetileg manzárd tető fedte, melyet palaborítás váltott fel. Ácsolata nyeregtetős. A téglából rakott boltozatos mennyezetű helyiségek belső tereinek ismételt egybenyitása már az eredeti állapotot tükrözi. A helyiségeket kör alakú geometrikus stukkó ékesíti a boltozatokon.
Az egykori Nógrád vármegyében beiktatott Bory Mihályt 1754-ben vették fel a nemesek közé alsópetényi birtokaival. A kutatások során előkerült 1763-ban készült katonai térképen már látható az épület. A faluban élő idős emberek még látták az építési évszámot is tartalmazó táblát a főbejárat fölött. Emlékezetük első két számjegyként a 17-et őrizte meg, az utolsó kettő számjegyet azonban homály fedi.
