『観音霊験記』の縁起によると、1007年（寛弘4年）幻通の創建である。播磨（播州）書写山性空上人の「武蔵国秩父は観世音菩薩有縁の地なり、彼の地に行きて教化せよ」との命を受けて弟子の幻通がこの地に至り、里人を教化して朝夕妙典四萬部を読誦して供養を行い経塚を築き、秩父第一番の霊場としたものとされる。
また、四萬部寺の名前はこの縁起によるものである。

秩父三十四観音霊場 第一番札所