曹渓山霊源寺は曹洞宗の古い歴史のある寺であり、元は千種区古井の光正院の末寺で、
始め万亀山大福寺と称していたが１７６０年（宝暦１０年）今の寺号に改められた。
霊源寺の墓の中に二基の墓碑が立っている。
一基は、曹渓円成居士と刻まれた墓碑。曹渓円成居士は、
この寺を開いた穀物問屋鵜飼屋の六代目服部重光のこと。１７６３年（宝暦１３年）亡くなる。
もう一基は、その妻の霊源妙誓法尼の墓。１７５６年（宝暦６年）亡くなる。
大福寺という名前から霊源寺という名前に寺号が変わったのは、
鵜飼屋の並々ならぬ帰依があったからであろう。荒廃した寺を
鵜飼屋は独力で再建し、山号曹渓と寺号霊源が用いられていることによって、
鵜飼屋夫婦とこの寺との深い関わりが感じられる。
名古屋空襲により本堂も、山門もすべて烏有に帰してしまった。
唯一、戦火をまぬがれたのが山門前に立っていた「不許葷酒入山門」の碑である。
戦火にあったのは、本堂や山門ばかりではなく、胎内にも小さな仏体を蔵している御腹籠（みごもり）観音と称せられた本尊も焼失してしまった。また、伝説の大黒天も焼失をした。