当社は鎌倉幕府没落の時、執権北条高時の弟、四郎慧性が、ある夜、日頃崇拝する江の島弁財天が夢枕に立ち
「汝等の池、上毛の郷に霊地あり。其処に逃れて居住なし、北条家の再興を図るべし」
とのお告げに従い、弟 荒間五郎友春と重臣三名（垣上駿河守・小久保図書・安藤作左衛門）を伴い、主従五名にて多々良沼に辿り着き、恩林寺を建て東林友丘和尚を開山として北条家の菩提寺となし、北条家代々の護り神たる江の島弁財天を恩林寺開山東林友丘和尚に悲請して勧請し、鎮守として建立したものである。　恩林寺縁起より
（神社由来碑より）
――――――――――
【四郎慧性】
北条泰家の出家後の僧号。
正中三年(1326年) 兄の高時が病によって執権職を退いた時、母 大方殿（覚海円成）と外戚の安達氏一族は泰家を後継者として推すが、内管領長崎高資の反対にあって実現しなかった。結果、高資の推挙で金沢流の金沢貞顕が15代執権となるが、泰家はこれを恥辱として出家。多くの人々が泰家と同調して出家した。
憤った泰家が貞顕を殺そうとしているという風聞が流れ、貞顕は出家してわずか10日で執権職を辞任。後任は北条守時となり、これが最後の北条氏執権となる。
正慶2年/元弘3年(1333年) 新田義貞が幕府に反旗を翻し、軍勢を率いて鎌倉に侵攻。
泰家は幕府軍15万を率い、武蔵分倍河原に迎撃し一時は勝利を収めたが、その後油断して新田軍に大敗。家臣の横溝八郎などの奮戦により鎌倉に生還。
幕府滅亡時には兄の高時と行動を共にせず、兄の遺児である北条時行を逃がした後、北条氏の所領のある陸奥国糠部郡を目指す。
この際、案内人に人夫を装わせ、泰家自身は粗末な輿に乗り、新田の負傷兵が上野国へ帰るさまを装い落ち延びようとしたという。 新田領の鼻の先の多々良沼という危険な土地にわざわざ落ち延びたのはこれが理由だろう。
その後、泰家（この頃は朝正と名乗る）は、鶉に1年ほど滞在後に奥州へ向かい、弟の荒間五郎友春（朝春）はこの地に留まり一生を終えた。
――――――――――
【鶉古城】
この地に逃れた泰家ら主従五人が、多々良沼に突き出た半島状の土地に築いた平城。
北条氏滅亡後は廃城となっていたが、戦国時代に館林領主 赤井氏の家臣 小曾根正好によって整備改修された。現在残る遺構はこの時代のものだという。
館林赤井、佐野、足利長尾、太田由良、小泉富岡など近隣小領主達の小競り合いを経て、やがて関東管領 上杉謙信と、"もう一つの北条氏"である小田原の後北条氏の争奪戦の場となり、最終的に後北条氏が覇者となる。
しかし1590年、豊臣秀吉の小田原征伐とそれに続く関東平定で、鶉古城は館林城とともに廃城となった。

（開基）四郎慧性(北条泰家)　（開山）東林友丘和尚