807年（大同2年）に徳一大師によって建てられた弁財天を祀る堂に始まると伝えられています。
その後、永享3年（1430年）に奈良興福寺法相宗の光蔵律師によって創建されました。
市の有形文化財である楼門には、風神「風の三郎」と雷神「雷の五郎」が鎮座しています。
また、「木像彩色八辟青龍辨財天像」を祀る「賢沼辨財天堂」も別当として管理されています。
隣接する賢沼は、昭和14年（1939年）に文部省が「天然記念物賢沼ウナギ生息地」として指定され、天然の大ウナギが生息すると伝えられています。