昔はこの辺りを呼続の浜といい、渡船場がありました。土居の浜には塩焼所があり伊勢神宮に塩を奉納していました。害虫を除き五穀豊穣を祈るため天照大神をまつりました。明治41年(1908)に津賀田神社に合祀されましたが、昭和15年(1940)に今の場所にうつされました。境内には天正17年(1589)の刻銘がある市内でもっとも古い月待供養碑、神道関係の碑としてほとんどない斗帳寄進碑(対のうちの一基は津賀田神社にある)、西行の和歌を愛した人が作ったという西行腰掛石があります。