寛文年間（1661～1673）勝山武兵衛なるものが三十番神をまつったのが始まり。
延享2年（1745）番神堂と改める。
天明4年（1784）風雨で堂宇が倒壊するが再建される。
明治初年に廃仏毀釈で神仏混交を改めるようにとの指導から祖師堂と改められる。
明治42年（1909）現在の堂宇が完成する。
昭和17年（1942）現在の寺号になる。