社伝によると、雄略天皇23年天照大御神が雄略天皇の夢に現れ「自分一人では食事が安らかにできないので、丹波国の等由気大神（豊受大神）を近くに呼び寄せるように」との神勅があった。 神勅により丹波国の比沼の真名井に坐せる豊受大神を伊勢国高倉山渡会の山田ヶ原へ遷す事となったが、遷宮の途中、摂津国三島郷大神木に仮宮を建て1年余り鎮座した。この間当地にあった巨木を仮宮の御神木とし、豊受大神が去った後は大神木神社として奉祀したのが始まり。