1234年（文暦元年）3月18日、覚了和尚の開山と伝わり、当初は高篠山の中腹の岩窟に所在したと推定されている。
その後、当地の名主堀内、家が現在地に建立し札所を移したと伝わっている。1847年（弘化4年）の火災で本堂が焼失したが、1858年（安政5年）に再建されている。
また、本堂左手の観音堂は、1870年（明治3年）に秩父神社境内にあった蔵福寺の薬師堂を移築したものであり、宝形屋根、三間四面の構造である。