本社は天忍穂耳尊、栲幡千々姫命の夫婦二柱と、その皇子饒速日命の親子三柱を祭神とする。本社の根源は、奥之院、また岩屋殿と称する本社後山の山腹に座す陰陽の両巨巌である。これは今の社殿様式のように、定まった参拝設備のなかった時代での磐座信仰の名残りであり、この発祥は仁徳天皇三十一年と伝わる。後年宇多天皇の御世寛平年間に陽巌に天忍穂耳尊を、陰巌に栲幡千々姫命を、また岩前小社に大宅氏の祖神として饒速日命を祀る。約1100有余年前のことである。その御社殿は、治承年間に園城寺僧徒よ焼くところなり、旧記も共に失う。弘長二年に至って社殿は再建され今日に至る。現存する古代木製高麗狛は当時のものである。
また、中世に東・西・上の岩屋三社と呼ばれた神社は、東が当社であり、西が山科神社、上は不明である。