当山は天平（てんぴょう）6年（734年）聖武天皇の后である光明皇后の御願により、藤原房前（ふじわらのふささき）、行基菩薩（ぎょうきぼさつ）によって建立されました。
御本尊は天平6年（734年）行基菩薩御作（ぎょうきぼさつおんさく）、仁寿元年（851年）慈覚大師円仁御作（じかくだいしえんにんおんさく）、寛和（かんわ）2年（986年）恵心僧都源信御作（えしんそうずげんしんおんさく）の三体の十一面観音様です。
鎌倉時代火災がおこった際に御本尊三体自ら庭内の大杉の下に火を避けられたので、それより「杉の本の観音」と呼ばれたという言い伝えがあります。
また、礼を欠き、信心なくして馬で寺の前を通り過ぎる者は落馬するというので建長寺開山大覚禅師（だいがくぜんじ）が祈願し自らの袈裟で行基菩薩が彫られた十一面観音様のお顔を覆ったところ落馬する者がなくなったといいます。
本堂正面には、源頼朝公寄進の前立本尊十一面観音様が安置されています。