高倉神社は、後白河法皇の第二皇子以仁王を祀った神社で、隣接して以仁王の御墓がある。
「平家物語」によると、以仁王は、治承４年（1180）源頼政のすすめにより、平清盛とその一族の追討を命じる令旨を諸国の源氏勢力にあてて出していた。このことが露見したため、平家の追討をうけ、南部の興福寺をたよって都を落ちる途中この地に至り、光明山寺の鳥居の前において流れ矢にあたって落命されたという。
後に、この地に王の御霊を祀ったのが、この神社の起こりと伝える。