創建は大同２年（８０７）坂上田村麻呂が東夷東征の際、戦勝祈願する為に、自らの兜に納められていた薬師如来像を胡四王山（標高１８３ｍ）の山頂に一宇を設けて奉納したのが始まりとされます。
近世になり盛岡藩（岩手県盛岡市：本城－盛岡城）支配になると藩主である南部氏の祈願所となり社領８石１斗９升９合の安堵や社宝の寄進、例祭には藩主の代参が参拝を行うなど再び社運が隆盛しています。胡四王神社は古くから神仏習合していましたが、文化１５年（１８０４）に別当だった杉道春が還俗し改めて神官となった事を受けて本地仏だった薬師如来を廃し、大己貴命と少彦名命の分霊を勧請し矢沢神社に社号を改めました。明治６年（１８７３）に郷社に列し、昭和２９年（１９５４）に現在の社号である胡四王神社に改めています。