向野寺は古くは岩屋堂のある別当山の麓にあり小野寺と呼ばれ、小野小町の父の小野良実が創建し、小町の菩提寺でもある。
 　深草少将が不幸にも亡くなると、小町は少将を二ツ森に手厚く葬り、小野寺に供養の地蔵菩薩を安置し、少将の植えた九十九本の芍薬に九十九首の歌を捧げた。
 　その後、小町は世をはかなみ、世を避けて表に出ることもなく、いつ頃からか、小野寺の奥の岩屋堂で、自像を彫りながら暮らすようになり、92歳で亡くなった。
　小町は小野寺に葬られ、小町自像も小野寺に納められた。その後小野寺は向野寺と名を変え、現在地に移った。向野寺には、今も小町自像が伝えられている。