むかし、いたずらなねずみがいた。
速く走る馬に憧れて、お地蔵様に「悪さをしないから馬にしてくれ」と願をかける。３５日間、お地蔵様との約束通り悪さもせずにお堂をキレイに掃除したりした。
とうとう満願の日、ねずみはお供えに来た女の子から団子をくすねてしまう。お地蔵様は願いを叶えてくれるが、顔は馬、他はねずみの格好にかえてしまう。
ねずみは怒りと情けなさにお地蔵さまの背面を一心不乱にがりがり彫り、疲れてねずみは息絶える。かわいそうに思ったお地蔵さまはねずみをそのまま観音様にかえてやりました。

【その他の伝承】
①観音様の甘酒待ちの日(10月の祭礼)には必ず強風が吹く、それも自転車が転ばされそうになるほどの強風。
②また、愛宕さんの女達の祭りの日には必ず雷が来る（同じ上郷町内、ネズミ観音から西方向に愛宕神社が二社存在する。または堂内の如意輪観音が「愛宕さん」か？）
③ネズミ観音の境内にある木を切ると子供が死ぬ。
④ネズミは「寝ず見」に通じ、四六時中見守ってくれるという意味もある。