創建年代は不明。伝説によると、昔、源義経の側室牛王姫が、兄、源頼朝に追われて奥州に逃れた夫義経の後を慕ってここまで来たが、難産のため亡くなった。
その牛王姫が、円教寺の開山日範上人の夢枕に立ち、「私は難産のため苦しんで死んだが、未だに成仏できないでいます。ニ、三日のうちにこの寺に徳の高い僧が来られるはずですので、その方に頼んで」