平治元年（1159）平治の乱に敗れた源義朝は美濃青墓（現、大垣市）から知多の野間に逃れていく途中、平氏の検問をぬけてこの地に至った時に、もう大丈夫だろうと舟荷の柴木を上げたので、この地を荷之上、柴ヶ森と呼ぶようになったと伝わっている。
現在の森は、その際に上げた柴が芽を出して森になったと伝わっている。
入口の柴ヶ森の碑は、旧佐屋町（愛西市）出身の内閣総理大臣であった加藤高明の著。
境内には源氏ゆかりの八幡神社が勧請され、宝永2年（1705）の銘を持つ石燈籠などがある。

名鉄尾西線「五ノ三」駅 から徒歩9分