室町時代以降当地を領有した横井氏の居館で、横井氏は江戸時代に尾張藩の要職を務めました。
明治維新後、祖先を祀る神社が建立されました。