「発心の道場」といわれる阿波最後の霊場。高野山真言宗の別格本山でもある。厄除けの寺院としては全国的に有名で、「やくよけばし」を渡って本堂に向かう最初の石段は、「女厄坂」といわれる33段、続く急勾配の石段「男厄坂」が42段で、さらに本堂から「瑜祇塔」までは男女の「還暦厄坂」と呼ばれる61段からなっている。各石段の下には『薬師本願経』の経文が書かれた小石が埋め込まれており、参拝者は1段ごとにお賽銭をあげながら登る光景が見られる。縁起によると、聖武天皇（在位724〜49）の勅願によって行基菩薩が開創したとされている。弘仁6年（815）弘法大師が42歳のとき自分と衆生の厄除けを祈願して一刀三礼し、厄除薬師如来坐像を彫造して本尊とされ、厄除けの根本祈願寺とした。大師は、この厄除け本尊の功徳を平城天皇、嵯峨天皇、淳和天皇の3代に相次いで奏上したところ、各天皇は厚く帰依し、厄除けの勅使を下して官寺とされている。
文治四年（1188）、火災で諸堂を焼失しているが、このとき厄除け本尊は、光を放ちながら飛び去り、奥の院・玉厨子山に自ら避難した。のちに後嵯峨天皇が伽藍を再建して新しい薬師如来像を開眼供養すると、避難していた本尊が再び光を放って戻り、後ろ向きに厨子に入られたと伝えられる。以来、「後ろ向き薬師」として秘仏にされている。境内には吉川英治著『鳴門秘帖』、司馬遼太郎著『空海の風景』に登場した石碑がある。