笠谷和比古氏著・主君「押込」の構造によると、細川家に関する風聞として宝永四年ころ「在国にては、執権ともに押込らるべきやととて在江戸のよし」という話が実しやかにささやかれていたらしい。是が書かれているのが、尾張藩士・朝日定右衛門の「鸚鵡籠中記」である。
「国許に帰ると家老たちに押し込められてしまうので、（帰国せずに）江戸に居られるようだ」ということである。
父・光尚亡き後、七歳で大国肥後をまかされた綱利は、寛文元年（1661）二月三日十九歳となり、「初て御暇被仰出 三月廿七日江戸御発駕、 四月廿八日熊本御着」している。その後最後に帰国するのは、「 元禄十六年四月十三日御暇被仰出 九月廿八日晩江戸御発駕小倉路御旅行 十一月五日熊本御着」している。「御暇被仰出」から「江戸発駕」に至る期間が長いのは「此年御老母様御侍養之儀依御願秋之末御発駕」の故である。
そして、「宝永元年 （元禄十七年改元） 三月廿五日熊本御発駕 四月三日江戸御着」した。綱利の江戸・熊本の上下は都合４３年間で２４回ありこれが最後となった。６２歳の壮年である。
噂話が出た頃、宝永四年前後を見てみると、綱利は滞府をさかんに幕府に願い出ている。
確かに異常とも思える。
一、宝永二年（1705）二年四月十一日依御願今年可為御滞府之旨御奉書御到来
一、同三年三月廿九日御滞府御願之通井上河内守正通様御宅江御招被仰渡之
一、同四年三月十九日大久保加賀守忠増様御宅江右同断
一、同年八月十一日 御老母様為御侍養 今年茂御滞府御願之通 秋元但馬守喬朝様於御宅右同断
一、同五年御滞府
此年正月如御願利武公 後宣紀公と御改 被為成御養子
四月利武公御国江之御暇被仰出 七月初而熊本御着
一、同六年御滞府 此年利武公初而御参府
一、同七年御滞府 此年二月十二日滞府之儀宣紀公江御暇御願之通同十六日被仰出之
（この年三月廿九日・生母清高院死去92歳）
一、正徳元年（1711） 宝永八年改元 四月十二日御暇被仰出 此年茂御滞府尤御滞府御願之儀不相見
一、同二年御滞府 此年御足疾ニ付四月十三日以御使者御家老木村半平御参勤之御礼御献上之
此年七月十一日綱利公御隠居 宣紀公御家督
一、同四年十一月十二日綱利公御逝去（享年72歳）
正徳元年「御暇被仰出」されたにもかかわらず、綱利は江戸を離れようとしない。
在熊の執政に於いても「まずい」と考えたのであろう、家老・木村半平を綱利の許に派遣する。
「肥後先哲偉蹟」木村秋山（半平）項に次のようにある。
妙応院様御行跡乱りがはしく成られし故にや、木村半平とて其比旅家老たりし人、御前に申上る事ありとて、
罷出ければ、君にも御悟遊ばされけるが、兎や角の事にて、御逢成されぬ故、三日程詰間に坐して不動けり、
其間には御近習の面々を、立更り入更り、見せに遣はされ、歸ったかと度々聞せ玉ふ、然るに右の如く三日
迄詰たりければ、君にも後はたまり兼、御自身に右の詰間を御のぞき遊ばされたるを見受、つと立向ひしに、
君足早に御部屋に入らせ玉ふ時、御袴の裾をひかへければ、君立留り玉ひ、何を申す事のあるやと仰られ
ければ、木村答て曰、早々御隠居遊ばされようと申ければ、承知々々と頷き玉ひて、直に御隠宅遊ばされと
りとなん 以下略 （隋聞録）
上記記録の正徳二年の項にかかわる逸事と思われる。押し込みの噂は風聞であったのだろうが、それに近い正史に見えない裏の事情があったことはたしかなようだ
