本社はもともと安賀部(赤部)山神と称し、安蘇郡の北隅、安蘇川の水源なる氷室山に鎮座していた。
宇多天皇の御代　仁和元年(885)秋山村開闢の時に勧請されたと云う。
天保五年(1834)江戸に大火あり、当時の秋山村領主であった宗対馬守の屋敷も火に包まれそうになった。
対馬守は、領地内の赤部山神へ火難退除を祈願し精神を静めて三度拝伏すると、たちまち大火は鎭まり宗家の屋敷と近所の家は無事であった。　対馬守は安蘇の方向を向いて感謝の遥拝をし、家来を氷室山神社に使わし参拝させたという。
弘化四年十二月十七日、正一位氷室山神を賜る。
明治四十五年、氷室山神社が深山の山頂で参拝困難のため　「梅の木の鹿島神社」のあった現在地の山上に遷座。麓に里宮も作られた。
同時に「堀の内諏訪神社」と「前沢の山神社」も合併して氷室山神社と称した。この時に主宰神が素盞嗚尊から建御名方神に変更されたらしい。

【安蘇の赤部天狗】
上記縁起では、宗対馬守の祈りに応えて赤部山神が霊験を現したことになっているが、民話ではやや異なる話が伝わる。
火が宗家屋敷に燃え移ろうとしていた時、逃げまどう人々を押し分けるように、背の高さが一丈(約3m)もある、籠のようなものを背負った大男が門前に現れた。炎に照らされて顔も手足も真っ赤で。眼は爛々と輝き、鼻がとても高く突き出ていた。
大男は、悠々と門の扉を外し､大団扇のように炎に向かって扇ぎはじめた。すると不思議なことに炎がだんだんと静まってきた。
それを見て、呆然としていた屋敷の武士や近所の住人も必死になって防火につとめたので、宗家屋敷と近所の家々は無事であった。
対馬守は、大男のめざましい働きぶりに感動し「お前の名は何というのか」と大声でたずねた。
すると大男は「おれか、おれはアソのアカベよ」と言ったかと思うとそのままどこともなく立ち去ってしまった。
対馬守は家来と一緒に考えた末、アソとは自分の領地である下野国の安蘇に違いないと考え、家来をやって調べさせたが、安蘇郡のどこにもそんな大男は住んでいないし見たこともないという。
最後に領民から「氷室の天狗様ではないか」という情報を得て調べたところ、安蘇の奥地、氷室の頂上に赤部天狗様を祀った神社が見つけることができた。