当寺は、京都の妙心寺に本山をおく臨済宗妙心寺派の寺院です。
往古の時代は、泉徳院という天台宗の寺院で、聖徳太子により開院されたと伝えられています。
永禄年間の信長上洛による兵火により伽羅全てを焼失してしまいましたが、御本尊としていた春日啓文会作の聖観世音菩薩は、村の人達の手によって河曲の田の中で兵火を免れ、その後は小堂に安置されていたそうです。
ある夜、齢仙寺の開山である拙山大和尚の夢に現れ、
「我れ小堂に埋没し、今池中に沈む事久し、只恨むらくば人の知ること無うして度生の悲願に便りなき事を、早く我れを出すべし、我が所在は西南に当たり、慈雲靉靆する所、是れなり」
と告げられました。
拙山大和尚は、目覚めるとすぐにお告げの場所を探し求められ、承応2年（1653年）2月の寒い日、慈雲棚引くこの地に到られました。
明暦元年（1655年）9月、伽羅を建立され、お告げの通り霊像のある所に慈雲が棚引いていたことより、霊像山慈雲寺と称しました。
後に、門前に泉のあるところから慈雲山霊泉寺と言われるようになりましたが、享保年間に寺内に不幸が重なったため、霊泉寺（霊が泉のごとく）から齢仙寺（年齢が仙人のごとく）と改称され、現在に至ります。
開山拙山大和尚より350余年を経ています。
