あいは、寿衛に踊りや唄を習わせていたようだが一政は陸軍を辞して程なくして亡くなったために家族は財産を失い屋敷も売却、一家は飯田橋で菓子屋を始め、成長した寿衛も店を手伝うようになったのだ。
前稿でも記した通り、二人は出会い同棲を始めるがすぐに長女園子が誕生する。その直後、寿衛は夫や娘を置いて京都へ行き、兄の世話になっているようだが、東京に戻ってからのち寿衛の兄弟や母あいの記録が出ることがないため寿衛は実家との縁を切ったのではないか? と予測されている。唯一、彦根に住む従兄との交流があったようだ。
こうして、富太郎も寿衛も裕福な家庭に育ちながら実家の援助が受けられない立場になっていた。しかし富太郎は小学校中退という学歴しか持っておらず関係が悪化していた松村任三が教授となっていた東大で助手として働くが給料は安かった。それでも高価な書籍購入や標本作成のための旅行を繰り返す。毎年のように子どもが生まれるため寿衛は借金取りとの交渉上手になって行ったらしい。また富太郎か地方で採取した植物を家族で協力して標本にもしていた。
時々、富太郎を助ける人物も現れ、同郷の佐川出身の政治家田中光顕の紹介で岩崎弥太郎(三菱財閥の創業者)が借金の肩代わりをしたこともある、貴重な標本を海外に売ることも考えたが国内で支援者が現れ回避している。
貧しい生活の続くなか、牧野家は関東大震災を経験する。さいわい大きな被害はなかったが大切な資料や標本が焼ける可能性を恐れた寿衛は安全な自宅を所有することを目指すようになり、母の縁から待合を始める。
この事業に成功し、翳りが見える前に他者に譲った資金で自然に囲まれた自宅を購入するのだがその直後に心労が祟った寿衛は55歳で亡くなってしまうのだった。
富太郎は、新種の名前に私情を挟むことを嫌っていて、シーボルトが紫陽花に日本人妻の名前「オタクサ」と付けたことを非難していた。しかし寿衛が亡くなったときにこの意見を曲げてまで新たに見つけた植物に「スエコザサ」と命名した。そしてスエコザサは富太郎の墓の近くに植えられているのだ。
牧野富太郎の墓近くのスエコザサ(高知県高岡郡佐川町)撮影読者