文武天皇３年（６９９年）に藤原義忠によって霊山富士二合目に奉斉されたと伝えられる。
その後７０８（和銅１）年に祭場の形を造り、７２０（養老４）、８０７（大同２）年に雨屋、社殿を創建された。
富士噴火のため焼失したが、その後、しばしば再興、増設された。社名の「御室」は、かつて祭祀を石柱をめぐらせた中で執り行っていたことによるものである。 天徳２年（９５８年）には、村上天皇により、氏子の祭祀の利便のため河口湖の南岸に里宮が創建された。中世には修験道、近世には富士講と結びついて発展した。特に戦国時代には甲斐武田家三代に渡り崇敬を受け、武田信玄公直筆の安産祈願文を始め、多数の古文書が今も保管されている。現在の本殿は、慶長１７年（１６１２年）に徳川家の家臣の鳥居成次によって建てられたものである。その後４回の大改修を経て、昭和４８年（１９７３年）に富士山二合目から里宮に移築された。構造は、一間社母屋造り、向拝唐破風造りで、屋根は檜皮茸形銅板茸きであり、桃山時代の特徴をもっている。国の重要文化財に指定されている。
平成２３年２月、二合目本宮境内地、並びに里宮境内地が『史跡富士山』に指定される