当社の鎮座地は浜田城の旧地にして、浜田城は田原美作守忠秀の築城になる。3代城主・田原遠江元網の天正3年（1575）6月6日に織田家の与党滝川一益との戦に落城。此の城跡に神社を創祀した年代は不詳であるが、社伝によれば、慶長以後万治以前（1596～1658）の間に、田原家の旧臣等相謀り、中興の祖藤原秀郷朝臣及び忠秀以下の霊を祀る。社号を鵜森と称するは、当社海辺の森林にて、鵜の多く栖めるに因む地名を冠したものと考えられる。その後領主の忌諱に触れるところあり、別に御霊社を創祀し、忠秀以下四代の霊を祀り、鵜森神社には改めて天照皇大御神等を祀り、更に菅原神社を境内社として官准を得て祀る。明治42年、境内社菅原神社を本社に合祀。平成7年御霊社を本社に合祀。
（『三重県神社庁』HPより）