この寺は寺伝によれば、791年（延暦10年）坂上田村麻呂によって開かれたと伝えられる。明治維新の折、1868年（慶応4年）に行われた上野戦争で亡くなった彰義隊の隊員を現在上野公園の西郷隆盛像があるあたりでこの寺の住職が火葬を行っている。

そのため、この寺には火葬を行った場所の近くにあった上野寛永寺の総門（黒門）が移築され、亡くなった彰義隊の隊員の墓もある。