昔は、伊勢屋と呼ばれていたが、明治以降五十鈴神社と改められ、通称「おんがみさん」と言い住民氏子に崇敬されている。「おんがみさん」とは、天照大神の事でこの地区では称している。