1202年(建仁2年)に創建。
1518年の坂下洪水で薬師の柱半分まで水に浸かる被害をうける。
1611年の大地震により堂舎倒壊する。1691年(元禄4年)に現在地に薬師堂が再建される。
1920年に薬師像が国宝に指定される。
1950年に薬師像が重要文化財(国第36号)に指定される。