所伝に拠れば、その初めは白鳳年間とも聞くが、天武の御時に山王の社の号はない。何れの頃か近江の國の坂本にある日吉大社より、古賀の上野という所に勧請したものであろう。
度重なる戦乱により文書類の殆どが散逸し詳細は不明であるが棟札銘に寛正五年の大修理時の年号が見られる。その後、諸説あるが永禄八年に現在地に遷座されたと思われる。