【主祭神】少彦名尊（すくなひこなのみこと）
群馬県内にある延喜の格式に記載のある十二の神社のうち、七之宮とされている。合祀されている祭神は、速玉男命・大日孁命・五十猛神・健御名方神・大國主神・誉田別命・伊弉册命・宇氣母智神・倉稲魂神・大名持神・大山祇命・八衢姫命・菊理姫命・軻遇突智命・八衢彦神・久那止神・市杵嶋姫命・事解男命・素盞鳴命・菅原道真公・藤原家隆卿の二十一柱。
　旧社格は郷社。ご神紋は「三つ巴」。近くを流れる烏川にかかる橋が聖石橋で、烏川の中に、「聖石」「赤石」「川越石」の三石があるといい、石と関係の深い神社であることがわかる。
　『三代実録』の元慶四年（八八〇年）五月二十五日条に、「正五位下、小祝神社」とある。『上野国神明帳』には、「正一位小祝大明神」とあり、群馬県西郡に「息災寺小祝明神」の記載があることから小祝神を奉斎する氏族は国府官人になったと見られ、先の「息災寺小祝明神」は、国府近くに建立された息災寺に氏神として当社から勧請されたものと推測される。
　延長五年（九二七年）成立の『延喜式』神名帳では上野国片岡郡に「小祝神社」と記載され、式内社に列している。尚、同帳では当時の読みとして「オハフリ」と振られている。「ハフリ」は、神に人間の言葉を告げることをいい、転じて神祇官の役職名になった。
現在の主要社殿は本殿・幣殿・拝殿から成り、これらが一体となった形式である。ただし、幣殿・拝殿は本殿よりも後の造営になる。現本殿は江戸時代の正徳三年（一七一三年）に高崎城主であった間部越前守詮房（まなべえちぜんのかみあきふさ）による造替で、享保二年（一七一七年）に棟上げされた。
形式は三間社入母屋造で、側面も三間からなり、正面には向拝三間を付す。屋根は、当初は桧皮葺または柿葺であったと見られるが、現在は銅板葺である。本殿内部は外陣（手前二間）と内陣（奥一間）に分かれ、内陣には厨子が安置されている。
この本殿は、高崎市の神社本殿としては最古であるほか、その背面に嵌め込まれた彫刻パネル（群馬県最古例）が類例の年代判定の指標にもなるとして、棟札・奉納額・寄進銘とともに高崎市指定重要文化財に指定されている