宝徳元年(1449)の開創と伝えられ、糠部三十三観音第四番札所にもなっています。
高松寺にあるカヤの木は、推定樹齢800年、樹高20m、幹周り3.6m、昭和42年、県天然記念物に指定。
   治承元年（1177）平清盛の子重盛が、高松寺の前身である小松寺を建立し、その記念樹として植えたと伝えられます。