往古、伊予彦命、伊予姫命が此の地に降臨したという。後に越智氏が此の地を領して二神を地主神として祀ったが、里人はさらに国常立尊、和多都美命を合祀して城の山に奉斎したという。
　正平年に河野通蕘が筑紫より凱旋のとき当社に心願をこめ、敵を破ったため神田を献じ社殿を改築し大永年間にも河野氏が再び社殿を再建した。