明治6年（1873）1月、太政大臣三条実美は国内が多事な時、政府の中が「無人」でいろいろと「不都合」も生じているので、大久保と木戸の両名にすぐ帰国するよう岩倉に訴えた。三条の「不都合」とは、予算問題をめぐる大蔵省と他省の対立であり、それは留守政府における近代化政策が絡んでいた。近代化政策は、岩倉使節団の調査研究を待つことなく着手されていた。明治維新の三大改革といわれる学制・徴兵令・地租改正をはじめとする近代化政策は、留守政府によりほとんど実施されていた。それも、各省が功を競うように、急進的に行われていた
文部省は長官大木喬任（たかとう）を中心として、着手から8ヵ月後の明治5年（1872)8月、学制を制定している。フランスをモデルとする学区制で、財政基盤が不十分なため、教育費は国民負担とされた。教育費の負担と就学強制に反発を招き、各地で反対一揆が起こった。陸軍省は次官山県有朋が中心となり、明治6年(1873)1月、徴兵令が制定した。フランス軍制をモデルに、20歳以上の男子を対象にするものであるが、広範な免役条項が設けられていたので、これを利用する徴兵忌避が行われ、国民皆兵とは名ばかりとなった。大蔵省は長官大久保が欧米視察に出発する以前から地租改正に取り組み始め、土地売買の自由・地券の発行・地価への租税賦課という根本方針を定め、大久保不在中は次官井上馨が中心となって、法制化を進めた。大久保が帰国した明治6年4月から5月の地方官会同で、審議・議決された。公布されたのは7月であった。地価の算定をめぐり農民の反対一揆が起こったが、土地私有権が確立し、近代租税制度は樹立された。司法省は江藤新平が長官に就任すると、裁判権の独立を目指して動き出す。地方裁判権を大蔵省管轄から司法省管轄への移管・吸収することが行われた。
改革は統一的・漸進的に実施するよう、岩倉使節団派遣時の事由書に明記されていたが、実際には現状を深く考慮する余裕もなく、西洋化という至上課題のもとで、諸改革がバラバラ・急進的に行われた。そして独自に改革を進める諸省は、それぞれ予算を要求する。大蔵省は財政難のもとで、すべての要求を受け入れることは出来ない。ここに、予算をめぐって大蔵省と他省の対立が発生した。この経緯はすでに記述済みである。明治6年2月、大蔵省官員北代正臣は使節団メンバー佐々木高行に政府の内情を次のように語っていると、勝田政治著「＜政事家＞大久保利通 近代日本の設計者」で記述している。井上大蔵省次官は昨年10月から「閉居」、西郷参議（廃藩置県に激怒した島津久光は西郷・大久保を政府から追放せよとの要求を三条公に迫る）は鹿児島へ帰省、山尾庸三工部省次官は「引入」り、江藤司法長官もつづいて「引入」り、板垣参事は仕事を「大投げ」して、辞めたいといっている。西郷の「心事」も辞職模様。この二人が辞職したら参議は大隈一人となる。三条大臣はただ一人「苦慮」している。
この状況を三条は岩倉宛の手紙で政府「無人」と評した。この留守政府の混乱は、廃藩置県後の官制改革（太政官三院制）に大きな原因があった。最高機関の正院に行政責任者の各省長官が参加できない仕組み、本来は正院が政策の調整・決定すべきであったが、実際は各省の政策を追認するに過ぎない場となってしまった。この正院の統制力・指導力を回復するため、三条がとりあえず考えた措置は、大久保・木戸の召喚策であったと、勝田氏はいう。
帰国した大久保は、参議でもなかったので、「現状はどうしようもない状況に立ち至っており、「有為の志」があってもいかんともし難く、「愚存」はあるが使節団が帰国するまで「傍観」している」とヨーロッパ留学生に手紙を書き送っていた。この「愚存」とななにか、勝田氏は追跡する。
