当神社の創建年代は不明だが、古代より神の宿る山(神奈備)としての信仰があり、神功皇后、後醍酵天皇祈願の伝承、尼子氏の寄進、米子城主代々の崇敬等も記録に残る、長い伝属と歴史をもった社である。山頂の御社殿は昭和十一年十二月再建のものであり、総台湾桧造りで屋根は銅板葺き、引浜地方随一を誇る。
御祭神の少彦名命は神代の昔、大己貴命（大国主命）と共にこの国をひらき、人々に医療の法を教え、禁厭の術を授け、万病よりお救いになった神であり、その尊い御神徳は『古事記』『日本書紀』に記されている通りである。
後に常世の国に御渡りになったその最後の地がこの栗嶋である。
栗嶋は、『伯耆国風士記』逸文によると、少彦名命が栗の穂にはじかれて常世国に渡られたので栗嶋と名づけたとある。
江戸時代中頃までは中海に浮ぶ小島であったが、江戸時代末期に埋立てられ陸続きとなった。一の鳥居にあるあたりが昔の海岸線であり、「三文渡し」の舟着き場があった。
海抜３８米、１８７段の石段を登れば四方の眺望はまさに絶景、特に南側、本殿裏の小路を下って展望台に立てば、東の伯耆富士大山、米子平野から西の安来十神山に至るなだらかな稜線に囲まれた水路はまるで瀬戸内の景観を思はせ、錦海八景の内「三県の秋月」として知られている。
［境内由緒書きより］

4月12日　春季大祭
7月11日　夏季大祭
10月12日　秋季大祭

粟嶋神社社叢(県指定天然記念物)