明治38（1905）年、高橋は三井鉱山理事に転出し、さらに明治42年には王子製紙会社専務取締役に転出した。しかし、なかなかうまくいかなかった。王子製紙では経営陣内部で対立が起きて、明治44年に辞職する。この時高橋は、「自身の稍（やや）得意と信ずる多方面に於て、ヨリ有効な仕事を見出し、之に後半生を託する方が、遥に得策ならん」と考えて、実業界を去る決断をする。「年齢五十に達すれば、実業社会より退身せんとするのが、最初身を此社会に投ずる時からの予定」だったそうだが、辞職のショックを隠すための強がりかもしれない。

いずれにせよ、高橋のセカンドライフは実に豊かであった。高橋が茶道を始めたのは三井呉服店に移った35歳頃だったが、退職によって趣味に時間を割けるようになって、冒頭で述べた通り数寄者・箒庵として名を馳せた。茶道研究のために集めた書籍は1000冊に上り、現在は高橋箒庵文庫として慶應義塾図書館に所蔵されている。また政財界で築いた人脈は退職後も多岐に渡り、山県有朋やアインシュタインをお茶席に招いたこともある。昭和９（1934）年刊行の『福澤先生を語る』は、高橋が大隈重信や犬養毅など、政財界の要人に聞いた福澤のエピソードをまとめた書籍であるが、その人脈があったからこそ成し得た仕事だったといえよう。

なお、こうした豊かなセカンドライフを過ごすには資金が必要である。高橋は引退後株や土地の売買で利益を得たので、趣味に生きることができた。相場を読む力は、イーストマン商業学校が学生に習得させようとしていたものである。高橋の洋行はわずか２年間だったが、その経験は生涯を通して役立ったわけで、〝洋行して良かった〟と何度も思ったに違いない。

※所属・職名等は本誌発刊当時のものです。