寺は松山城をはじめ、松山の市街、瀬戸内海まで一望できる高台にあり、のどかな風情の境内周辺は、美しい自然の宝庫として景観樹林保護地区に指定されている。
縁起によると、天平勝宝年間に孝謙天皇（在位749〜58）の勅願により、行基菩薩が薬師如来像を彫造して安置し、建立したと伝えられ、天皇より祭具としての幡を賜った為にこれが寺名になったという説もある。弘仁年間（810~24）、弘法大師がこの地を巡錫し、寺に逗留された。
その後、寺は衰微するが伊予の国司・源頼義や僧・堯蓮らの援助で再興、弘安2年（1279）には後宇多天皇（在位1274〜87）の勅命をうけ、この寺で聞月上人が蒙古軍の撃退を祈祷している。また、時宗の開祖・一遍上人（1239〜89）が青年期に、太宰府から伊予に帰郷した際、有縁の寺に参籠して修行した。上人は晩年の正応元年（1288）、亡父・如仏が所蔵していた『浄土三部経』をこの寺に奉納されている。
また、天皇家の菩提寺である京都・泉涌寺とのゆかりも深く、応永2年（1395）には後小松天皇（在位1382〜1412）の勅命により泉涌寺26世・快翁和尚が、繁多寺の第7世住職となっている。こうした縁から寺には16弁のご紋章がついた瓦が残っている。
さらに江戸時代には徳川家の帰依をうけ、四代将軍・家綱が念持仏としていた3体のうちの歓喜天を祀るなど、寺運は36坊と末寺100数余を有するほどの大寺として栄えた。 | 
