Angeschmiegt in malerischer Umgebung des Ulrichsbergs steht eine Grotte. Sie wurde am 8. Dezember 1904 der hl. Muttergottes geweiht und der Kirche gestiftet. Erbaut aus Tropfsteinen nach dem Votivbild der "Grotte von Lourdes", wurde sie in einer halbkreisähnlichen Anordnung in das Gelände integriert. Ihr zu Ehren findet heute alljährlich eine Maiandacht mit Lichterprozession statt.