五高第二代校長平山太郎については五高においては在任期間が短く、又第五高等中学校創建の整備がなされていなかった時代であった為か、大きなエピソードはあまり見出せない。
明治二十二年二月十一日初代文部大臣森有礼は山口県士族西野文太郎に刺され翌十二日に死去した。このことは五高関係者に大きな衝撃を与えた。特に森文相の腹心であり創建から第五高等中学校を育んで来た校長野村彦四郎の失望は大きかった。
森文相の後を次いだのは旧幕臣で戊申戦争で最後まで官軍と戦った函館五稜郭の司令官榎本武揚であった。そのためか校長野村彦四郎は九月三日には突然非職になった。五中の第二代校長を拝命したのは平山太郎であった。
平山太郎は、初代校長野村彦四郎が豪放酒落であり、武人方の荒武者であったのに対し、資質を有した学者的なタイプの感じの紳士であった。宮崎県佐土原の出身で、明治二年は藩の留学生として米国に留学している。明治七年に帰国するまでの五年間、外国生活を体験しているので当時の社会では全国でも屈指のエリートであった。帰国後は海軍省、文部省を経て東京図書館長、文部省書記官等を歴任し、野村校長が非職を命ぜられたことに伴い第三高等学校幹事から、明治二十三年二月十四日付けを以って第五高等中学校(五高)校長に赴任した。
第五高等中学校(五高)は学校設立後ようやくに建物も黒髪の地に完成・移転したばかりであり学校経営はまだまだ軌道に乗っていない時期であった、全てのことが平山校長の双肩にかかった。まず平山校長以下学校関係者は開校式の準備に追われ明治二十三年十月十日に決定するまで幾多の紆余曲折があったが、十月十日に開校式を挙行したことは特筆すべきことであろう、
その後この十月十日が五高の開校記念日となっている。
平山校長は開校式祝辞で、「開校の式典、誠に意義深い。諸君は本校建学の主旨を体し、偉大なる未完成品たる修養を積み、大器晩成、国家棟梁の材たらんことを心がけよ。・・・」と説いていることは日本の将来を見据えた姿が思い浮かばれる。その他平山校長の時代には、勅語謄本下付が明治二十四年一月十六日に、御震署の勅語下賜が明治二十四年一月二十二日にありそれを受領している。
五高卒業生を始めとする五高関係者に今尚追慕の情を禁じえない古武士の風格のあった秋月胤永老教授を五高教授として招聘したことは記憶すべき平山校長の功績の一つであろう。