文治五年（1189）、平泉の藤原泰衝が滅んだ時、その妻が残党を率いて白旗城に立てこもり、城内の岩に皇大神を祭ったのおこりと伝えられ、その城跡といわれる場所が北200mほどにある。それは伊達政宗に謀殺された和賀忠親に妻だったともいう。

明治八年村社となり、境内に深山社、伊勢社があったという。神仏分離までは本尊十一観音の観音堂であり、現在も江刺三十三観音三十番札所として信仰されている。