香林寺は、大本山諸嶽山總持寺の妙高開基の通幻寂霊大和尚禅師の生誕地に建っていました。通幻寂霊禅師は、曹洞宗が全国に広まる礎を築いた名僧で、その誕生にまつわる「飴買い幽霊」の民話でも有名です。また、香林寺は、江戸幕府大老の井伊直弼の師である佛洲仙英大和尚禅師が得度した寺です。
鳥取藩次席城代家老（倉吉荒尾）の荒尾嵩就（透關院殿、倉吉荒尾初代）の三男で瑞松山景福寺（鳥取市新品治町）の中興開基である荒尾秀就（瑞松院殿、倉吉荒尾三代）は、兄の荒尾宣就（満正院殿、倉吉荒尾二代）の妻である池田備中守長幸の娘（香林院殿心岳理清大姉）の菩提を供養する為に浦富に地霊山香林寺を建立し、陣屋敷のある倉吉にも荒尾家（倉吉荒尾家）先祖代々の牌所（菩提寺）として父と兄の戒名を山号と寺号とする透關山満正寺を建立しました。
香林寺は、鳥取藩主の池田家、次席家老の荒尾家、浦富を管轄していた家老の鵜殿家、御用商人などの牌所と祈願所になっていましたが明治期に廃寺となり、香林寺の過去帳と檀家を永明寺が継承し、香林寺を合併しました。永明寺では本堂に香林寺の霊廟壇を設け、香林寺歴代住職と香林寺を庇護していた池田家、荒尾家、鵜殿家の方々の供養をしています。
香林寺開山の彌峰理天大和尚は、浦富の土葬神(つげのさい)の墳墓（通幻寂霊禅師の生誕地）のそばに草庵をむすび隠棲していましたが、宮城の金剛山輪王寺十六世となるにあたり、弟子の独之が草庵に住持していました。元禄三年（1690年）に鳥取藩城代家老の荒尾秀就は、兄の荒尾宣就室の香林院殿（池田備中守長幸の娘）の二十五回忌に景福寺十六世の徳翁孫隆大和尚（香林寺初祖、満正寺開山）と独之の両者と合議して、瑞應山本光寺の末寺で白地にあった雪渓山龍泰寺を改称して瑞松山景福寺の末寺の地霊山香林寺とし、香林院殿の牌所（菩提寺）としました。
香林寺は、佛洲仙英禅師の実家が火元となった「坂根屋火事」で浦富の繁華街と香林寺が焼失する香林寺八世の佛山本宗大和尚（景福寺三十二世、吉祥院十世、本光寺二十五世、佛洲仙英禅師の得度師）までは景福寺の退居寺（隠居寺）として堂宇が存在していました。しかし、「坂根屋火事」ののち香林寺九世の讓山謙觜大和尚（周源院八世、龍澤庵二世）から香林寺十七世の鐵山全牛大和尚（洞泉寺六世）までは景福寺住職をしておらず、景福寺の退居寺としての性格は弱まり幕末を迎えました。
鳥取藩次席城代家老（倉吉荒尾）の荒尾嵩就（透關院殿、倉吉荒尾初代）の三男で瑞松山景福寺（鳥取市新品治町）の中興開基である荒尾秀就（瑞松院殿、倉吉荒尾三代）は、兄の荒尾宣就（満正院殿、倉吉荒尾二代）の妻である池田備中守長幸の娘（香林院殿心岳理清大姉）の菩提を供養する為に浦富に地霊山香林寺を建立し、陣屋敷のある倉吉にも荒尾家（倉吉荒尾家）先祖代々の牌所（菩提寺）として父と兄の戒名を山号と寺号とする透關山満正寺を建立しました。
香林寺は、鳥取藩主の池田家、次席家老の荒尾家、浦富を管轄していた家老の鵜殿家、御用商人などの牌所と祈願所になっていましたが明治期に廃寺となり、香林寺の過去帳と檀家を永明寺が継承し、香林寺を合併しました。永明寺では本堂に香林寺の霊廟壇を設け、香林寺歴代住職と香林寺を庇護していた池田家、荒尾家、鵜殿家の方々の供養をしています。
香林寺開山の彌峰理天大和尚は、浦富の土葬神(つげのさい)の墳墓（通幻寂霊禅師の生誕地）のそばに草庵をむすび隠棲していましたが、宮城の金剛山輪王寺十六世となるにあたり、弟子の独之が草庵に住持していました。元禄三年（1690年）に鳥取藩城代家老の荒尾秀就は、兄の荒尾宣就室の香林院殿（池田備中守長幸の娘）の二十五回忌に景福寺十六世の徳翁孫隆大和尚（香林寺初祖、満正寺開山）と独之の両者と合議して、瑞應山本光寺の末寺で白地にあった雪渓山龍泰寺を改称して瑞松山景福寺の末寺の地霊山香林寺とし、香林院殿の牌所（菩提寺）としました。
香林寺は、佛洲仙英禅師の実家が火元となった「坂根屋火事」で浦富の繁華街と香林寺が焼失する香林寺八世の佛山本宗大和尚（景福寺三十二世、吉祥院十世、本光寺二十五世、佛洲仙英禅師の得度師）までは景福寺の退居寺（隠居寺）として堂宇が存在していました。しかし、「坂根屋火事」ののち香林寺九世の讓山謙觜大和尚（周源院八世、龍澤庵二世）から香林寺十七世の鐵山全牛大和尚（洞泉寺六世）までは景福寺住職をしておらず、景福寺の退居寺としての性格は弱まり幕末を迎えました。
