当寺由緒記によると、藩祖直政公が上州より移封の折、当寺開山・殊山源寶（しゅさんげんぽう）大和尚がお供をされました。大龍寺という天台宗の寺を、開山和尚の前任地の寺号（長純寺）に変え、井伊家の位牌をお預かりしたのが始まりです。
当山五世・愚明和尚が藩令に功があり、清凉寺の開山となりました。その後、十二世までの世代が、歴住碑と由緒記の記述と相違しているが、井伊家の菩提寺が清凉寺と決まり、長純寺が岡本半助一統の菩提所となるなど、当時の混乱を反映したものと思われます。
最古の過去帳には藩祖の姉君「春光院殿」の戒名も記載されており、本堂の近くに墓所があり、五輪供養塔があります。また、松尾芭蕉十哲の一人、森川許六（もりかわきょりく）の墓もあります。