大永2年（1522）蓮上院十三世住職亮海の勧めにより、北条氏康が江之島の弁財天を武運と住民の繁栄を願ってこの地に勧請したのが起こりである。
弁財天は須佐之男命の女神、多岐津姫命、市杵嶋姫命、多紀理姫命の三女神を役小角（修験道の創始者）が印度の女神弁財天の魂と霊覚し、以後神仏習合の神、怨敲を滅ぼし、福徳宝を授ける神として信仰されている。
江之島の弁財天は、源頼朝が武運の神として信仰し、北条時政は参籠して奇瑞を豪り、龍の三鱗を授けられ家紋となし、小田原北条も三鱗を家紋となし弁財天を信仰した。
蓮上院の口伝によれば、北条氏の要請により、天守に安置された弁財天の祈祷を毎月続けてきたが、徳川の世となるにおよび大久保家により祭典が執行され、明治維新後は、護持者を失い、奇持社により数度うつり変わり、昭和28年石碑に記載された人々により、この地に安置された。

北条氏康