まず、この神社の前身として以下の二つの神社があったという。
――――――――――
【富俵山神社】
祭神：大名持命・味耜高彥根命・田心姫命
創建年代不明。古くは二荒山神社と称していたと思われる（祭神が日光二荒山神社と同じ）
文久三年(1863)白川伯王より正一位と扁額を賜る。明治維新の際に村社に列せらる。
――――――――――
【温泉神社】
祭神：武甕槌命・少彥名命
古くは湯谷権現と称した。社地も湯谷と言い、古くは温泉が涌いていて浴客が集まったという。
しかし天正年間、浮浪の徒が浴客を隠蓑に温泉に集まり謀反を企てていると噂され、これを聞き及んだ唐澤山城主の佐野氏が兵を出し温泉が血で汚され、社地と源泉も潰され冷泉となってしまう。
しかし、その時点ではまだ温泉も完全には止まっていなかったのか、しばらくは浴客が集まっていたそうだが、いつしか温泉も出なくなり廃れてしまった。
明治四十年(1907)四月三日，この二社に、鹿島神社と八坂神社も加え合併し、富俵山神社と改称する。