元和二年二月見舞いのため駿府城にいた藤堂高虎と天海僧正は危篤の家康公の病床に招かれ三人処に末永く鎮魂まるところを造って欲しいと遺言された。そこで高虎の家敷地であるこの上野の山に寛永四年（1627）に本宮を造営した。その後将軍家光はこの建物に満足出来ず、慶安四年現在の社殿を造営替そし、江戸の象徴とした。