平家物語”覚一本”によれば、三井寺園城寺の頼豪阿闍梨は白河天皇の皇子誕生の祈願を命じられ、早速100日間の祈祷を行い、見事に中宮が懐妊、無事に男児（敦文親王）が生まれた。天皇は喜び、恩賞は思いのままと願いを聞くと「三井寺に戒壇道場建立を」と願い出る。しかし延暦寺と三井寺の火種になることを怖れた天皇は比叡山の強訴などもあり、最終的に認めなかったのである。
これに怒った頼豪は二十一日間自坊に籠り、「我が祈祷でお生まれになった皇子である。お取り申しあげて魔道へ行くことにしよう」と護摩を焚き壇上の煙と果てます。間もなく皇子も病にかかり亡くなります。
この平家物語の「延慶本」に山門（延暦寺）があるから戒壇建立の宿願が叶わないとして呪詛の対象を延暦寺に向け、大鼠（頼豪鼠）となって延暦寺の経典や仏像を食い荒らしたとされている。さらに太平記ではその強念が鉄の牙、石の体の八万四千匹のねずみとなり、延暦寺に押し寄せたと伝えられています。
この頼豪鼠の攻撃にさしもの延暦寺も大いに悩まされ、坂本に「ねずみのほくら（秀倉・宝蔵）を建てて神として祀ったとのこと。また三井寺内にも鼠の宮があり、延暦寺に向かって建てられているため、これに対抗して猫を祀った「猫の宮」として建立されたとの説もあります。ただし日吉大社は境外末社の鼠社は頼豪を祀るものではなく、干支の”子”を祀るものであるとの見解を示しており（日吉社神道秘密記による）、却って頼豪の怨霊説が浸透している証左となっている。