創立の年月不詳。社伝によれば、「大和国葛城に鎮座する神を奉祀した」という。鎌倉時代の文永二年（１２６５）『若狭国総田帖』に「泉岡一言宮壹反・・・」と記され、『若狭国神階記』には「正五位泉岡一言神社、正月初午日、八月朔日に祀り能楽を催せり。」とある。また寛延年間（１７４８～１７５１）の社記に「創建由緒知不申候」、縁起書には「盤境を以って宮となす。神告げていわく、吾れ宮祠を好まず、しいて影光を止めおくなら、野嶽をもって社とせよ。」とある。郷民神意にそって社殿を建てなかった。また「神の使者として青毛の馬あり」ということから、昔より馬を養ったことがない。口伝では「往昔一言大神が青馬に乗り給い、今の社地に降座された時、里人が此の所に宮殿を造営致しましょうと伺った時、吾は宮祠を好まず」といわれたという。
　古事記下巻の雄略天皇の項に、葛城山狩場での天皇と大神の問答に「・・・私は悪事も善事も一言で決めてしまう言離の神で、葛城の一言主之大神である」といわれた。天皇はおそれかしこみ太刀や弓矢を献上したと記されている。また『日本書紀』（７２０）の雄略天皇の条には、「一言大神は大和葛城山より影向の霊神として、山嶽・樹林を馳せ廻り、その神馳は無相で正邪に激烈な神である。人の道にかなっているなら、念ずるところを一言で「善し」といい願事を守り恵み給う」と記されている。
　『神社明細帳』に、社殿「即今無之」。境内「六百六坪官有地第一種　外千二百十二坪　三十八年一月十一日境内地編入許可」とでている。最近は、毎月一日の月並祭や正月二日の祈祷初詣には、遠近からの氏子・崇敬者の参拝者が多い。