開基とされる真野長者、その長者が一夜にして御堂を建てたという縁起は興味深い。
長者は豊後（大分）でふいごの炭焼きをしていたが、神のお告げで久我大臣の娘・王津姫と結婚、いらい運が開けて大富豪となった。用明2年（587）、商いのため船で大阪に向かうとき大暴風雨に遭い、観音さまに無事を祈願したところ、高浜の岸で救われた。この報恩にと一宇の建立を大願し、豊後の工匠を集めて間口66尺、奥行き81尺の本堂を建てる木組みを整えて船積みした。順風をうけて高浜に到着、夜を徹して組み上げ、燦然と朝日が輝くころに本堂は建ち上がった。いらい「一夜建立の御堂」と伝えられている。
その後、天平11年（739）に聖武天皇（在位724〜49）の勅願をうけて、行基菩薩が十一面観音像を彫造し、その胎内に真野長者が瀧雲山で見つけた小さな観音像を納めて本尊にしたという。寺が隆盛したのは孝謙天皇（在位749〜58）のころで、七堂伽藍と66坊を数えるほど壮観であった。弘法大師は晩年の天長年間（824〜34）に訪れ、護摩供の修法をされて、それまでの法相宗から真言宗に改宗している。
のち、後冷泉天皇（在位1045〜68）をはじめに、後三条、堀河、鳥羽、崇徳、近衛の6代にわたる各天皇が、十一面観音像を奉納されている。いずれも像高は150ｃｍ前後で、本尊の十一面観音像とともに国の重要文化財。本堂内陣の厨子に安置されている。なお現本堂は長者の建立から3度目だが、真言密教では最大規模を誇り国宝である。 | 
