口碑によれば、当地は垂仁天皇の第二皇女で初代の斎宮として、天照皇大神のご神体を奉じて各地を巡歴し、ついに伊勢にこれを鎮祭して神宮を創祀せらた倭姫命の別荘のあったところである。そのため命の薨去後、里人が祠を建てて天照皇大勧請したという。際遇は土御門天皇の御代まで41代続いたが、この地は斎宮が禊を修められた所であるという伝えもある。嘉永元年（1848）の棟札によれば、往昔この村で初牛講行われた時、当家から出荷して村内全焼し、当社の古記録も悉く焼失したが、社殿は安泰であった。しかし、寛文年中に破損したので、改築、同九年（1669）11月20日造営を奉仕した。その後百八十年を経て嘉永元年改築、玉垣も新造し9月16日遷宮したという。現に寛文年中の棟札も社蔵している。
昭和三十年12月16日現在の社殿に改築した。（斎宮神社略記より）