社伝では元禄年間（1688年-1704年）の創立であるとしている。
本町六丁目新居家文書によれば、元禄年間に本宿・堤両村の鎮守を現在地に移したとあり、白髭社そのものの創始は社伝によるものよりさらに古いと推定される。
明治42年（1909年）11月、東山の稲荷神社、吾妻山の吾妻耶神社、小曾根雷電山の雷電神社を合祀。
明治43年（1910年）2月、小曾根の琴平神社を合祀。
――――――――――
【配祀神の倭建命】
「明治42年に吾妻山の吾妻耶神社を合祀」の記載があるが、この社はもともと吾妻山の山頂にあった。
記紀神話の日本武尊伝説で、東国平定から帰還する日本武尊が山上で東国を振り返り、走水の海で入水した妃の弟橘姫を悲しみ「吾妻はや」と三度嘆き、それが東国をアツマと呼ぶようになったという地名説話がある。
この話の舞台は日本書紀では碓氷峠、古事記では群馬県吾妻郡嬬恋村の四阿山とされているが、当地の伝承では、桐生の吾妻山での出来事とされており、四阿山の別名もあったという。
かつては山頂に、麓の安楽土村の鎮守として日本武尊、小倉村の鎮守として橘姫を祀っており、安楽土村の鎮守のみが当社に合祀された。
石祠ではあるが、橘姫の社も今でも吾妻山頂に残っている。

《主》天児屋根命
《配》宇迦之御魂神・建御名方命・大物主神・菅原道真・素盞嗚命・栲幡千千姫命・伊弉冊命・倭建命・大雷神