由緒不明だが、すぐ近くにある矢部城の落城に纏わる伝説が伝わっている。
矢部城が小田原北条氏に攻められたとき、味方の応援が得られなくて孤立してしまった。このため、城もまわりの民家も一面焼き払われてしまった。このとき、城主は自害したが、ある家来が逃げるとき、城主の首を上矢部の愛宕神社の本殿の下に埋めて逃げたという。
その後、矢部城跡に祀られている八幡宮に手を付けようとすると、次々と奇怪な出来事が起こったとの伝承が伝わる。