米国上陸前に木村から乗組員に対して、私的な宿泊など勝手な行動を戒める指令が出た。木村は規律を重んじる一方、自ら持参した金から乗組員に手当を配って慰労するなど、物事の機微が理解できる人物でもあった。他にも様々な費用がかかったため木村が帰宅したときには一銭もない状態だったという。サンフランシスコでは、福澤は通訳の中浜万次郎とともにウェブスターの辞書と短文集『華英通語』を土産として買った。それだけでなく、外出のできない木村のために土産物を買っておいたことで、木村は家族に土産を渡すことができ面目を保てた。米国においては、木村の欧米の風習を理解した社交性が目立った。現地新聞も木村の姿を「温厚仁慈の風采」、「貴人の相貌」と評した。

当初の予定では、副使であった木村は咸臨丸を降りて使節団に同行し、ポーハタン号で首都ワシントンに赴く予定であった。しかし、木村なしでは咸臨丸内の秩序が保てず、乗組員からも反対があり、木村は仕方なくワシントンに行かずに咸臨丸を指揮して帰国の途に就いた。途中ハワイに寄港し、国王カメハメハ4世に謁見し、補給を済ませて、万延元年5月（1860年6月）帰国した。予定していたワシントン訪問を断念したため、西洋文明にふれることができなかったことが木村はよほど悔しかったようで、晩年になっても「終生の遺憾」、「彼邦文明の景境を熟覧し一二の裨益を得ず」と嘆くほどであった。一方の福澤は、咸臨丸に乗船して異国であるサンフランシスコとハワイの地を踏み見聞を広めたことは、「机上の学問を実にした」経験であり、「畢生の利益」を得ることができたと満足した。その点で木村に終生の恩を感じたのである。

その後、木村は長年の経験と知見から、開国と幕府に海軍力を集中する海軍改革を進言した。ところが、幕府と諸大名との共同の海軍を構想する勝海舟の意見が通ったため、文久3（1863）年、軍艦奉行を辞任した。慶応2（1866）年、再び軍艦奉行並として復帰し、のち軍艦奉行、勘定奉行となった。その間も欧州から帰った福澤が、「西洋事情」を添付した「長州再征に関する建白書」を木村に託し、老中小笠原長行に提出した。

米国からの帰国後も互いの家が近かったこともあり、福澤との関係は親密で毎日のように福澤は木村宅に出入りしていた。万延元年11月（1860年12月）に福澤が幕府外国方翻訳方に仕えた頃には、仕事帰りに俸給50両を手拭いに包んで提げたまま木村宅を訪れ、木村の妻弥重に「今日もらってきました。勇気はこれにあり」と言って大笑いしたという。またあるとき、福澤は親友の医師髙橋順益とともに村宅を訪問した。2人はいつも面白いことを言っては周りを笑わせてばかりいた。弥重がワッフルを焼いて出したところ、福澤は「これはとても面白い。自分も器械を借りて1つやってみたい」と言い出したので、木村は老僕に持って行かせた。福澤は自ら粉に卵を混ぜて焼いてみたが、卵の加減がうまくいかず、パチパチと撥ね始め、福澤の服にも見に来た髙橋にもかかった。髙橋が口悪く言うと、福澤は「黙って見ておれ、そのかわりに鰻を奢るから」と返事をして、実際に鰻をご馳走した。

木村はその場にいなかったものと思われるが、おそらく後から笑い話として聞いたのであろう。3人の仲の良さが伝わるエピソードである。

明治維新後、木村は頼まれても新政府には出仕せず、余生を過ごした。その生活の中で、明治14（1881）年9月に書きためた随想を『菊窓偶筆』と題して出版することを思い立った。福澤に相談すると、彼は印刷・出版の一切を引き受け、費用も負担し、数百部の冊子を完成させて木村に贈った。また、24（1891）年10月には、幕末の対外関係史をまとめた『三十年史』を刊行する際、三男駿吉に「序文は福澤先生に書いてもらえれば最も光栄なことだ」と言われたが、福澤は従来他人の本に序文を書かないことで知られていたため、わざわざ福澤の手を煩わせることはないと否定した。しかし、駿吉は本を持って福澤を訪ねて懇願した。すると福澤はすぐに承諾し、1日で序文を書き上げたという。序文には、「芥舟先生は、少少より文思に富み、又、経世の識あり。常に筆研を友として老の到るを知らず」という一節があり、簡潔に木村の人物を表現している。

福澤は恩人である木村に対して、盆暮れの贈答品や腸チフスの際の費用負担などで支え続けた。さらに、海軍軍人となった芥舟の次男浩吉（長男は夭折）に、万が一の際には芥舟夫妻の面倒を見ることを約束した。あるとき、軍人として確固たる地位を得た浩吉が、福澤にこれまでの厚情に感謝しつつ、「失礼ながら、今後の贈答を辞退したい」と申し出ると、福澤は顔色を変え、強い語気で「私は何もあなたに差し上げているのではなく、ご尊父様に対する私の心を尽くしているまでのことだ」と述べて不機嫌になったという。強い意志をもって恩義に報いていたことがわかる。福澤は家族に対して深い情を持っていたことが知られているが、恩人に対する情もまた家族同様に深かったといえる。木村も福澤を聖人と呼びつつ、一個人として長く付き合いを続けた。

明治34（1901）年1月25日、木村は病気から回復した福澤を見舞いに訪れた。2人は咸臨丸乗組員の話や『時事新報』に掲載された石河幹明の「痩我慢の説に対する評論について」を話題にした。福澤の元気そうな様子を見て安心した木村が、最近の食事について聞いたところ、福澤は「魚や肉の類いは一切食べず、そばも止めました。粥と野菜少しばかり、牛乳二合ほど、つとめてのみます」と明確に答えた。木村が帰る際に玄関まで見送りに来たのが福澤との永訣であった。

その後すぐ脳溢血が再発し、福澤は2月3日に世を去った。木村は生前に感謝の気持ちを伝えられなかったことについて、「胸裂け腸砕けて、本当に悔やんでも悔やみきれない」と手記に綴った。その後、木村も病に倒れ、同年12月9日、後を追うように71歳で世を去った。

※所属・職名等は本誌発刊当時のものです。