神谷神社の創祀は、太古、神々がこの渓谷に集い遊んだところからこの地を神谷と云い、又自然居士なる人がこの川淵に忽然と現れ、傍らの大岩を祭壇として天津神を祀ったと傳えられているがこの附近からは弥生時代の石鍬・石斧・土器などが出土し、神社の裏には影向石と呼ばれる磐座があって、その祭祀が古代に創ることを物語っている。
弘仁３年壬辰年嵯峨天皇の御代、阿刀大足（弘法大師の大叔父）が社殿を造営祭祀し、併せて春日四神を相殿に勧請し祀ったといわれ、貞観七年冬十月九日従五位上、貞観十七年戊申正五位下（三大実録記載）の叙位があり、延喜５年には國司班幣の神として延喜式神名帳に記載（延喜式内社）されている。
その後も度々叙位あってか建保７年建立の現本殿棟木には「正一位神谷大明神」の墨書銘がある。
かくのごとく古来より郷人は三ヶ庄（松山・林田）の総氏神として崇め、五社大明神・青龍社とも呼んで、その祭事には舞楽上納・大般若経の転読などが行われ、また武門の崇敬も厚く、荘官刑部正長は建保７年２月10日に本殿を再建（現本殿）、貞治年間白峰山下に陣した細川清氏は神号扁額を奉納。
讃岐の守護細川氏も社殿を修理増築あるいは祭田を寄進。
その臣安富・香西氏は神前に連歌を興行して奉納するなど、宝物として今に存する物も多く、その崇敬のほどを偲ばせている。
昭和29年国宝に指定された本殿は、その棟木に「正一位神谷大明神御宝殿、建保七年歳次巳卯二月十日丁未月始之、惣官散位刑部宿弥正長」の墨書銘があって、鎌倉初期に建築されたことが明かな三間社流れ造りで、当初のまま現存する社殿としては、我が国最古のものである。
　
2022.9.27　落雷による火災のため、国宝の本殿の檜皮（ひわだ）葺きの屋根が焼損。
本殿の修復や防災設備の修繕等のためのクラウドファンディングが行われている。
https://readyfor.jp/projects/kandani
（2023.1.11まで）