１３７０年（応安３年）、悦宗によって正蔵庵の名で知多郡篠島村に創建された。
１７４９年（寛延２年）に現在地へ移転し、正眼山安穏寺に改称した。
１７５５年（宝暦５年）、孝顕寺（埼玉県川越市）の住職、
同中異眼大和尚が檀家であった川越城主・松平大和守明矩（のち姫路城主）の帰依を受け、
安穏寺の中興開山となる。このころから広い境内地を有した。
かつては修行道場も設けられて歴代の住職が盛んに禅修行に打ちこんだと伝えられる。
現在も境内図や庫裏の部屋の名称等に僧堂の面影がしのばれる。
２００４年（平成１６年）までの数年にわたって、本堂や庫裏の修復工事・境内地の整備事業を行った。