A kálvária 1802-ben történt felújításakor építették fel a hegyen, a kálvária új kerítése mellett a barokk stílusú Szent Anna-kápolnát, és mellé a kis lakást, amelyet remetelaknak neveztek el. A kápolna teljesen berendezett volt, a kis lakásba pedig beköltözött a "remete", aki valójában a falu szegénye volt. Az ő feladata volt a kápolna felügyelete és rendben tartása, a harangozás és a misék alatt pedig ő kezelte az orgonát. A munkák elvégzéséért cserébe a helyiek gondoskodtak a szegény emberről. 

1961-62-ben felújították a kápolna megrepedt boltíveit, amelyek addig beszakadással fenyegettek. 

Az 1800-as évek végén a kápolnát bővítették és felújították, a Kálvária-hegyre vezető út mentén pedig hét "kápolnácskát" alakítottak ki, amelyekbe a 14 stáció kép kapott helyet. A kálvária falán lévő stációfülkéket ugyanebben az időben befalazták. 

1986-ban betörtek, és ellopták a kápolna szobrait és gyertyatartóit. Ezt követően helyezték át a főoltárképet és a harangot a Szent Márton-templomba.

2010 őszén kívülről felújították, emellett új berendezést és harangot kapott a kápolna. 

Az 1990-es évektől kezdve egyre sűrűbben jelent meg a vandalizmus a kápolna és a kálvária történetében. A kápolna berendezését tönkretették, egy stációs képet elloptak, többet megrongáltak. 

A kálvária, a Szent Anna-kápolna és a remetelak is műemléki védelem alatt áll.

2011 óta egy második harang is került a toronyba, és már mind a kettő villamosenergiával működtethető. Új mészkő főoltára lett, új stáció sorozatot adományoztak neki, és az éjszakai kivilágításnak köszönhetően messziről, sötétben is jól láthatóvá vált a kápolna.