安政5年(1858)江戸藩邸勤めの父に従い、
江戸に出た。昇20歳。
安井息軒の塾に入って桂小五郎と知り合い、
桂の勧めで神道無念流の道場・練兵館に入門。
斎藤弥九郎とその長男・新太郎の指導を受け、
塾頭の桂らと稽古に励んだ。
渡辺は練兵館随一の実力者となり、
桂と並び「練兵館の双璧」と称された。
『練兵館』
斎藤弥九郎によって開かれた、神道無念流の道場。
「技の千葉」（北辰一刀流・玄武館）、
「位の桃井」（鏡新明智流・士学館）と並び、
「力の斎藤」と称され、
幕末江戸三大道場の一つに数えられた。
長崎の歴史