当社は務古の水門の一部にあたり治承2年(1178)には平清盛が上陸したとの記録（『山槐記』）もあり、古代の要津であった。そのため、来朝する外国人を検問する玄蕃寮（現在の税関にあたる）の出先機関があり、当社は、その役所内に奉斎された事に始まると伝えられる。

延元元年(1336)、足利尊氏が西国敗走の折、当社に奉詣して『今むかふ　方は明石の　浦ながら　まだ晴れやらぬ　我が思ひかな』と詠んで、社前の浜より乗船したという。

文政13年(1830)、髙井山城守石原清左衛門が社殿を改築し、井戸ノ町若中より狛犬一対が奉納される等、社頭整備が進み、明治26年(1893)、拝殿が新築された。その後荒頽したが、大正13年(1924)、社殿等の大規模な修築をし、八王子八幡神社に若宮社を始め村内の小祠を合祀し、「駒林神社」と改称した。

大東亜戦争中被災する事も無かったが、昭和63年(1988)、放火により社殿焼亡、翌平成元年に再建するも、平成7年(1995)の阪神淡路大震災により被災、同年社殿復旧、平成10年社務所を再建し、平成25年(2013)第62回神宮式年遷宮と出雲大社遷座祭を奉祝して大鳥居を再建し、共に駒ヶ林が「いかなごのくぎ煮発祥の地」である事を記した石碑が建てられた。