以前 藪小路 江戸名所図繪と浮世絵 で書いた御屋敷は、元禄十六年九月十九日に「細川熊次郎愛宕下藪小路之屋敷御用に付差上、この屋敷は忠興以来今年迄持ちつたえたもの」として収公された。（熊本藩年表稿より）
いわゆる三齋公の隠居屋敷であるが、元和八年ころの家作とされ三齋死去後は宇土支藩の屋敷となった。
北野隆熊本大学名誉教授によると、建物は寛永十年ころ上屋敷・下屋敷その他に移築されたというから、敷地だけが宇土支藩の管理の元にあったという事だろうか。
熊次郎とは後の宇土支藩三代目の伊豆守（のち山城守）興生のことである。元禄十二年の生まれだが、十六年九月六日父有孝が病気のため隠居、弱冠五歳で藩主となった。そのわずか十三日後のことである。
国立図書館デジタルコレクション「芝愛宕下絵図」の「加藤越中守」とあるのが、かっての三齋屋敷であり、絵図の屋敷の下方には「三才小シ（三齋小路）」の書き込みが見える。そしてすぐ近所、毛利安房守屋敷の前に「細川豊前守」屋敷として、宇土細川家の屋敷が見える。
