「風土記稿」によると、天応院(相模原市下溝)の末寺で、山号を礒平山といい、観音菩薩を本尊としています。
また、開山は寛応で、慶安2年(1649) に7石6斗余の朱印地を与えられています。これについて寺伝では永禄年間(1558~70)に寛応閑体を開山、田所治左衛門を開基として創建されたと伝えています。
現在の本堂は、天井板の墨書より元禄11年(1698) に建てられたことがわかります。これは市内の寺院の中で確認できる最も古い建築であると考えられています。ちなみにこの本堂では江戸時代には寺小屋が、そして明治時代には「日新学舎」が開かれ、地域の児童教育の中心となっていました。
この地域には、古くから長尾景春の 「磯部城」があったとの伝承があります。その位置は諸説がありますが、能徳寺付近がその主郭ではないかといわれています。
近年、当寺では盆の行事として「灯篭流し」が行われるようになりました。相模川に無数の灯篭が流れる光景は、地域の新しい風物詩となっています。