A Felvidékkel határos Ipolyvece legfőbb értéke a természet közelsége, a folyópart és a rétek nyújtotta békés táj és ezek különleges élővilága. Talán ennek köszönhető, hogy az ember már korán megtelepedett a területen. Ezt sugallja a falu nevében a vece szó, amely szláv eredetű és kis falut, falucskát jelent. az Ipoly előtag pedig a folyó közelségére utal.

A település első írásos említését 1285-ből ismerjük, mikor Huntffy Demeter birtokolta. Valahol Balog, Vece, Inám, Patak és Dejtár közt volt egy Kalade nevű település. Birtokosa a Kaladey, később Csitárinak nevezett család volt. Ennek szomszédjaként említik 1347-ben "villa Vesce" falut. 1400-ban említik az ipolybalogi határjelek között az "Balogh-Vechze", valamint a "Vechze-Nagfalva" utat. 1498-ban Szapolyai István nádor parancsából a sági /Ipolyság, ma: Šahy, Szlovákia/ konvent Szobi Mihály azon kérelmére, hogy a királynak nagyoroszfalvi jobbágyai a vecei /Ipolyvece/ határban károkat és foglalást követtek el, törvénybe idézte a királyt.
            
Az 1552-es esztendő nem csupán a közeli Drégely, hanem az egész környék életét megpecsételte. Hős várvédői élén Szondy György elesett, s nem volt kegyelem a környéken élőknek sem. A megpróbáltatások során a falu népessége elpusztult, illetve elmenekült. A százötven éves hódoltság után lassan indult újra az élet. Az elvadult földek megműveléséhez munkás kézre volt szükség. Ezért érkeztek a térség legtöbb falujába - így Ipolyvecére is - a Felvidékről érkező szlovákok. A török veszedelem, majd a Rákóczi-szabadságharc ütközetei és járványai utáni élet adatait vette számba az 1715. évi összeírás. Összesen 17 jobbágy és 5 zsellér családot találtak. 

II. József uralkodásának idején egy katonai szempontokat szem előtt tartó országleírásból ismerhetjük meg a XVIII. század végének faluképét. A falu népességére, a házak számára vonatkozóan sajnos nincs adatunk. A szomszédos településektől való távolságnál Balogot említik, hová egy fél órás út vezet. Szilárd téglaépületek közt csak a templomot jelzik. Az erdeje vegyes, a rétek többnyire vizesek, az utak rosszak. A település egy enyhén emelkedő hegyen fekszik.