治承3年（1179）太政大臣藤原師長は平清盛により尾張国井戸田（現、瑞穂区）に流されました。許されて帰路につく際、そこで寵愛した村長の娘が名残惜しんでこの付近まで見送ったため、師長は薬師如来と自分の白菊の琵琶を形見として娘に手渡した。しかし、彼女は悲嘆にくれて「四つの緒の調もたえて三瀬川沈み果てぬと君に伝えよ」の一種を琵琶の甲に書きつけて池に身を投じたため、人々は池を琵琶池といい、周囲の地名が琵琶島と呼ばれるようになったといいます。師長は娘の菩提をとむらうために建立した寺が清音寺の起源と言われる。寺号はその娘の法号「清音院」に由来する。
永正年中（1504～1521）正眼寺の八世和尚が中興の祖となり、その際に曹洞宗に改宗。
美濃路開設以前は，現在地より600mほど北の枇杷島村の中心部にあった。
木曽の御嶽教の開祖である覚明がかつてこの寺で修行していたことでも知られている。
明治期の俳人で西枇杷島に住んだ大木静処（1828～1892）による明治26年建立の「海のそら苫屋の露にしつみけり」の塚がある。

松峰山