当社から国道50号線を挟んで北約500mに、茂呂山という標高39mの小高い丘がある。
現在、茂呂山公園して鹿などが飼われているこの山には、かつては「茂呂山神社」という、江戸からも参拝客が来るほど著名な霊山だったという。
しかし、安政三年(1856)5月24日に焼失。
慶応二年(1866)に再建されたが、その後何らかの理由で再び神社が無くなってしまったという。
そこで村で講を立て、明治年間に神社再建のため寄付を募っていたが、結局、神社再建は実現しなかったという。
おそらく本社は茂呂山神社再建までの仮宮として建てられたものではないかと思われる。
神仏習合の時代は、南の飯田町にある光永寺が茂呂山神社の別当寺であった。
天保五年の光永寺の本堂建立も、茂呂山神社の賽銭によって成されたものだという。
なお、茂呂山の西側に「若宮」という町名があるが、これは当地に伝わる護良親王の伝説で、護良親王と南の局の間に生まれた王子が生まれ育った所だという。