伝承によれば、天平12年（740年）に行基がこの地に立ち寄り、地蔵菩薩の御利益を祈願したことに始まるという。諸国をめぐっていた行基は筑後国に下った帰路に求来里村杉原（現在の日田市求来里）に宿し、馬原村岩松ヶ峯（現在の日田市天瀬町馬原）の八幡宮に立ち寄ったのち高塚に立ち寄り地蔵菩薩を念じていると、ある夜、大きなイチョウの枝に金色の美しい光を放つものが見えた。お供の者が上って調べたところ、三個の宝珠が見つかった。

行基はさらに、国民の平和と幸福の印として、宝珠が形を変えて現れるよう祈願した。翌朝行基が木に登ると、乳房の形をしたものが残されていた。行基が「この霊物に祈れば一切の功徳が授かるであろう」といってそれを投げ上げると、それは霊妙な響きと共に天高く上って行ったという。

その後行基は一体の地蔵菩薩の木像を彫り、地元の人々に祈願するよう説いたという。その後、天暦6年（952年）2月に地元の人々がイチョウの木のそばに小さな堂を建て、行基が彫った地蔵菩薩を祀ったのが高塚愛宕地蔵尊の始まりとされる。

3月24日　春の大祭
9月24日　秋の大祭