寺に伝わる宝物に『観音寺縁起』一巻がある。巻末に「享保十乙秋穀旦　南山沙門某甲謹書」の署名があり、享保10年（1725）に高野山の僧が筆写したことがわかる。その冒頭で「南海道阿波国名東郡観音寺邑　光耀山千手院観音寺縁起」と書き出し、観音寺が弘法大師によって創建され、大師自ら千手観音像を彫造して本尊にしたこと、また脇侍像に悪魔を降伏する不動明王像、鎮護国家の毘沙門天像を刻んだことや、徳島藩主の蜂須賀綱矩公が新築・移転に協力したことなどの寺史が詳しく記されている。この『縁起』とは別に、寺伝では聖武天皇（在位724〜49）が天平13年、全国68ヶ所に国分寺・国分尼に寺を創建したときに、行基菩薩に命じて勅願道場として建立した由緒ある古刹とされている。弘法大師がこの地を訪ねているのは弘仁7年（816）のころで、本尊像などを彫造して再興し、現在の寺名を定めたとされている。

その後、他の阿波各地の霊場と同じように栄枯盛衰の運命を歩み、「天正の兵火」（1573〜92）にも罹災、蜂須賀家の帰依を受けて万治2年（1659）に宥応法師によって再建され、現在に至っていると伝えられる。大正2年ころ、両親につれられて参拝した盲目の高松伊之助さんという方が、本尊のご利益により目が見えるようになり、松葉杖を奉納したはなしが語りつがれている。遍路道に面した和様重層の鐘楼門は、むかしの面影を残し堂々とした風格がある。