神社自体の由緒は不明。
神名や祠名から相模の大山阿夫利神社からの勧請と思われる。
かつては墳丘上に、夭折した矢場氏(太田由良氏庶流)7代目当主を供養する観音堂もあり、これが「観音山」の由来とのこと。
【藤本観音山古墳】
藤本観音山古墳は、かつて下野国と上野国との境をなしていた矢場川右岸の標高約三〇メートルの平地にあります。発掘調査は昭和五十九年度に第一次発掘調査が行われ、平成十五年度までに七次にわたり実施されました。その結果、藤本観音山古墳は、前方部を西に向け、主軸をほぼ東西方向にとり全長一一七．八メートルの前方後方墳であることが確認されました。周溝は幅が広く浅いことが特徴で、平面形は長方形を基調としながらも、縁辺部は不整形で、特に前方部南西側は極端に狭まります。古墳は、墳丘下の旧表土中から、四世紀初頭に浅間山の噴火により降下した浅間Ｃ軽石が検出されていることや、出土遺物などから、四世紀中頃の築造と推定されます、周溝が狭まる部分の外側には、南北約一〇〇メートル、東西約七〇メートルの範囲で、古墳と同時期の竪穴建物二十一軒と土坑三基などが確認されています。時期や立地条件などから古墳築造の際の飯場や古墳祭祀などの場と推定されます。
（現地案内板より）