当社から国道50号線を挟んで北約500mに、茂呂山という標高39mの小高い丘がある。
現在、茂呂山公園として鹿などが飼われているこの丘には、かつては「茂呂山神社」という、江戸からも参拝客が来るほど著名な神社があったという。
神仏習合の時代は、飯田町にある光永寺が茂呂山神社の別当寺であったが、天保五年の光永寺の本堂建立も、茂呂山神社の賽銭によって成し遂げることができたというくらい信仰を集めた神社だった。
しかし安政三年(1856)5月24日に焼失。
慶応二年(1866)に再建されたが、その後何らかの理由で再び社殿が消失。
そこで明治年間に、村で講を立て神社再建のため寄付を募っていたが、結局、再建は実現しなかったという。
おそらく本社は茂呂山神社再建までの仮宮として建てられたが、神社再建に至らなかったため、そのまま本社化したものではないかと思われる。
なお、茂呂山の西側に「若宮」という町名があるが、これは当地に伝わる護良親王の伝説で、護良親王と、引地山日向寺などの縁起になっている南の局の間に生まれた王子が生まれ育った所だと伝わる。