日本の大学ランキングが急落した理由とは？その３（ほんとうの理由）

　前回のちょっと気が狂いそうにもなる「被引用数」の話を一応ご理解いただいたものと仮定して、いよいよ、なぜ、タイムズ世界大学ランキングで日本の「被引用数」スコアが急落したのか、という本題に入ります。

　まず図表30を見てください。横軸がタイムズ社の2014年の被引用スコア（以下Citationsと書きます）、縦軸が同じく2015年のCitationsです。

 

　どちらも「累積分布関数」によって表されています。これは、例えば、この値が「80」の大学は、その大学の下に80％の大学が存在することを意味します。その大学の上に約20％の大学が存在するといってもいいでしょう。2014年のタイムズ社Citationsは約700大学で分析されていますので、「80」の大学というのは、その下におよそ700×0.80＝560の大学があるということであり、上には約140の大学があるということを意味します。つまり、700大学中約140位。

 それでは2015年で「80」の大学はどうでしょうか？2015年は800の大学で分析されていますので、その大学の下におよそ800×0.80＝640の大学があり、上には約160の大学があるということになります。つまり、800大学中約160位。

 この図表30のグラフを見ると、右半分に点が偏っていますね。これは、2014年のタイムズ社のランキングでは分析された約700大学のうち上位400大学の値が公表され、それを下回る大学については公表されていないためです。なお、2015年は800大学の値が分析され、800大学の値が公表されています。

 そして、2014年と2015年の値を比べると、2014年に比べて2015年の方が高くなっている大学が多いことがわかりますね。点の集まりの傾向としては上に凸の三日月型をしています。しかし、赤丸で示した日本の大学は、むしろ低くなっています。なぜ、他国の大学が上がっているのに、日本の大学が下がったのか、これが、今日のテーマです。

 また、グラフをみて他に気づくこととしては、2014年から2015年にかけて大きくCitationsの値が低下した大学が、ぱらぱらと散在していることです。このような、集団から大きく外れた値を「外れ値」といいますね。

 図表31には、タイムズ社世界大学ランキングにおいて、2014年から2015年にかけてのCitationsの変化に影響したかもしれないと思われるデータ処理工程の違いをまとめてみました。

 

　まずは分析担当機関がトムソン・ロイター社からエルゼビア社に代わり、そして、学術文献データベースが「Web of Science」と呼ばれるデータベースから「Scopus」と呼ばれるデータベースに変更されていることです。データベースの変更により、扱っている論文数は大きく異なっています。なぜ、論文数が大きく異なっているかということについては、「Web of Science」の方はトムソン・ロイター社が一定の質の評価を与えた学術誌のみを収載していることが一つの理由として考えられます。

　データベースが代われば、Citationsの値が違って当たり前、と言ってしまえば、それまでなのですが、それでは身も蓋もありませんね。全く同じ結果を期待するのは無理としても、異なるデータベースにおいても、よく似た結果が出ないことには、「被引用数」や「被引用インパクト」なるものが、大学ランキングの普遍的な指標として認められにくくなりますからね。

　データベースの変更以外にも、いくつかのデータ処理工程の違いがあります。

 まず、分析対象大学の数が約700～800に変わったことです。これは、上にも少し触れましたが、累積分布関数表示をする時に影響してきます。それから、対象とする論文の発行年が異なります。2014年では2008-12年の5年間の論文、2015年では2010-14年の５年間の論文が分析されています。この2年間の経過の間に、被引用数が変わる可能性がありますね。

 また、論文種が変更されています。論文には、原著論文、総説論文、会報論文などいくつかの種類があるのですが、2014年は[原著＋総説]で分析されており、2015年は[原著＋総説＋会報]で分析されています。「会報」という論文種が加わったことにより、被引用数が変化する可能性があることは、前回の頭の痛くなるようなブログでご説明しましたね。

 もう一つ大きな変更点がありました。地域調整の変更です。

 トムソン・ロイター社が担当していた時には、被引用インパクト（正確には分野調整被引用インパクトCategory Normalized Citation Impact CNCI）が、国や地域によってかなり違うので、その差を弱めるために、高い国が低くなるように、そして、低い国が高くなるように、係数をかけていました。具体的には、その国や地域全体の被引用インパクトの平方根の逆数です。

 それが、エルゼビア社に代わった2015年は、係数を掛けない生の値と、掛けた値を等しくブレンドしたと書かれています。つまり、地域調整の程度を半減させたということですね。

 このように、データベースの変更という大きな変更以外にも、いくつかのデータ処理工程の変更がなされています。今回の検討では、図表32および33に記しましたように、トムソン・ロイター社のInCites™のデータを用いて、2014年～2015年にかけて行われたデータ処理工程の変更と類似のデータ処理工程（図表33の1-6）をたどって分析し、データベースが異なる2015年のタイムズ社Citationsを推定することを試みました。

 

 

　

　この方法には、限界があります。それを、先ほどの図表32に記しました。特に、　現時点でInCites™を使って分析できるのは、その論文が発行された時から現在までの被引用数であり、それは、タイムズ社の分析がなされた時点の被引用数とは異なる、ということにも注意が必要です。

　全く異なるデータベースで、しかも、分析当時の被引用数とは異なる被引用数で、分析担当機関が代わったことで各指標の算出方法が同一であるという保証もない状況で、果たして使用に耐えうる確度で推定ができるのでしょうか？

　ちょっと無謀と感じられる試みですが、とにかくやってみることにしました。

 

＜外れ値の検討＞

　データ分析をする際には、まず外れ値を検討するのが定石とされていますので、それに従ってみました。

 　図表30にもどっていただいて、三日月型の点の集まりの下に、ぱらぱらと散らばっている点が、外れ値と考えられます。その中で、特に2014年のCitationsが90以上で、25ポイント以上低下した6つの大学について、毎年の被引用インパクト（CNCI）を調べてみました。すると、図表34の左図のように、どの大学にも急峻なピークが観察されます。これは、小規模大学にしばしば見られる、被引用数のブーストです。被引用数が非常に高い論文が1個あるとこのようなことが起こります。

 

　ここには、日本の首都大学東京（前回のブログでご紹介しましたね）が含まれています。また、最も極端に下がった米国のフロリダ工科大学（Florida Institute of Technology）も含まれています。

 この被引用数のブーストが、外れ値に何らかの関係があったのではないかと推測しています。図表34の右図は、図表30について、2008-2012年の論文数が6000以上あった大学、つまり大規模大学だけをプロットした図です。そうすると、図表30で見られた外れ値の大学は、ほとんど除かれてしまいます。

 

　図表35左図は、InCitesで求めた2014年のCitations推測値と2015年のCitations推測値の関係性を調べた図です。InCites™で求めた値どうしでも、パラパラと外れ値が観察されます。これらのほとんどは被引用数のブーストがみられる大学です。例えば、2015年Citations推定値で非常に高い値となり上に外れた大学は、2008-2012年の間にはブーストが起こらず、2010-2014年の間にブーストが起こった大学です。

  図表30のタイムズ社Citationsの2014と2015の相関図では、右半分の上に凸の三日月型の集団になりましたが、推定値では、このようにS字状になります。2014年のタイムズ社のCitationsにおいても、400大学だけではなく700大学のデータをプロットすれば、このようなS字状になるはずです。このS字状カーブから、2014年のCitationsが概ね半分より高かった大学ではより高く、低かった大学はより低く変化しているということが感じ取れますね。

 赤丸で示した日本の大学は、軒並み低くなっています。ただし、最初から低い大学は、それ以上低くなりようがないので、低いままです。また、右上に一つ赤丸がありますが、これが首都大学東京です。InCites™の推定値では高いままなのですが、タイムズ社Citationsでは、大きく低下しています。このように、InCites™による推測と、タイムズ社のCitationsが大きくずれる大学が一部にあり、これが今回の方法の限界（つまり、データベースが変わったからということでしか説明できない部分）と考えています。

  2008-12年の論文数が6000以上の大学に限ると、右図のように外れ値がほとんど観察されなくなります。首都大学東京も除かれてしまいます。

  外れ値を示す大学の中には、必ずしも被引用数のブーストを示さない大学もあります。そのような大学は、どうも特定の国に多いように感じられました。そこで、国・地域を図表36に示したように、3つに分けて、2015年推定値と2015年タイムズ社Citationsの相関を調べてみました。

 

　グループAは、英・独・北欧・北米・イスラエル・豪・ニュージーランド、グループBは東・東南アジア、グループCは、仏・南欧・東欧・ロシア・中東・南米です。そうすると、グループAとBは、左図に示したように比較的集団がまとまっていましたが、グループCは右図に示したようにばらついており、推定の確度がかなり落ちることがわかりました。

　なぜ、グループCで推定値と実際の値との相関がばらつくのか、という理由については、例えばグループCの諸国を中心に、Web of Scienceにはあまり収載されていなかった種類の論文や学術誌（例えば英語以外の言語で記述された論文・学術誌やトムソン・ロイター社による評価の低い学術誌など）がScopusに多く収載されている等の可能性もありうるのではないかと考えていますが、確認をしておらず、詳細は不明です。

 

＜2014年タイムズ社Citationsの推定＞

　2014年のタイムズ社のCitationsはトムソン・ロイター社によって行われたので、同じ会社の同じデータベースに基づいているInCites™によって、簡単に推定できるはずと思われるかもしれませんが、先に限界のところで触れましたように、分析した時点が違うことにより異なった被引用数を用いて分析をしているので、必ずしもそうは言えないのです。

 幸いInCites™には、CNCI-country adjという指標が参照できます。これは、トムソン・ロイター社がタイムズ社のCitationsを計算した時に使った指標であり、当時の分析時点の値と考えられます。図表37にこの、CNCI-country adjと2014タイムズ社Citationsの相関を示しました。両者は良く相関し、ほぼ同等の指標であると考えられます。

   一方、InCites™により、現時点でのCNCIから求めた2014年Citations推定値と、タイムズ社2014Citationsとほぼ同等とみなせる2008-12CNCI-country adjの相関をみると（図表38）、先ほどの図よりもばらつきが大きくなります。これは、分析時点の違いにより、異なった被引用数を用いているために生じる差であると考えています。しかし、まずまずの相関を示しているので、InCites™による現時点（2016年1月27日データ抽出）での被引用数を用いて評価可能と考えます。

 

＜分析対象大学数の増加の影響＞

  タイムズ社のCitations算出において、2014年と2015年とでは、分析対象大学数が約700から800に変更され、700大学の一部は800大学に含まれておらず、一部入れ替わっています。

  仮に500大学の分析で、Citationsが累積分布関数値で80だったとしましょう。これは、上位20%の位置にあることを意味し、順位としては100番目ということです。これに、その下位の大学が500加わり1000大学になったと仮定して計算しますと、この大学の順位は100番目で変わりませんが、上位10％に位置することになり、累積分布関数値は90に上がります。

  これを、今回のタイムズ社Citationsで約700大学から800大学に変わったことで、どの程度累積分布関数値が変化するかをInCites™のデータで計算したのが、図表39です。85程度の大学では約2％上昇し、15程度の大学では約2％減少することがわかります。

 

＜地域調整係数について＞

　次に地域調整係数について説明します。

   図表40に、計算方法を記しました。2014年では国・地域全体のCNCIの平方根の逆数。2015年では、それと「１」との平均値が地域調整係数と考えられます。

　

 右端の表に主要国の二つの地域調整係数と、その増減率が示してあります。もともとCNCIが高かった国ほど高くなり、低かった国は低くなることがわかりますね。日本は-3.9%とわずかに低くなっています。

  高々-3.9%ですが、他の多くの国が増えているので相対的に順位が下がり、累積分布関数で表示しますと、けっこうガクッと下がります。

  このようにして求めた地域調整係数をCNCIに掛けて、2015年Citations推定値を求めますが、実際のタイムズ社Citationsと比較すると、なお、国・地域ごとにずれが観察されます。

  図表41の右図は、米国の大学において、累積分布関数値を標準化値に変換して（平均0、標準偏差1）、2015年推定値とタイムズ社Citations値の相関を見たものですが、かなりきれいな直線相関関係が得られ、回帰直線はほぼ原点を通ります。

 

  一方、左図に韓国と日本の大学を示しましたが、特に韓国の2015年推定値と実際の値とでは、回帰直線が原点を通らずに、少し上にずれています。これは、InCites™のデータで求めた地域調整係数と、実際にタイムズ社が使った地域調整係数のずれであると考え、補正を加えることにしました。

  ただし、この方法は、推定値と実際の値とがばらつくグループCの国々では使えません。

  ちなみに、米国で最も大きく外れ値となっている大学はフロリダ工科大学（Florida Institute of Technology）、日本は首都大学東京です。

 

＜はたして推定値はどの程度実際の値を推定できたのか？＞

  さて、このようにしてInCites™によって求めた2015年Citations推定値と、実際のタイムズ社2015年Citationsは、どの程度合致したのでしょうか？

   例によって、2008 -2012年の論文数が6000以上ある大学だけに限ると、図表42にお示しするように、まずまずの直線相関関係が得られました。また、グループCの諸国では、推定値と実際値とはかなりばらついていましたが、論文数6000以上の大学に限ると、グループAとBの大学の集団のばらつきの範囲に収まりました。

  このデータから、規模の比較的大きな大学に限れば、InCites™によって、タイムズ社2015年Citationsを、ある程度の確度をもって評価可能であると判断しました。

 

＜日本の大学のタイムズ社Citations急落の原因は何か？＞

  最後に、今回の分析の最終目的である、2014年から2015年のタイムズ社Citationsで、日本の大学が急落した原因についての分析をお示しします。

 

  図表43は、各データ処理工程におけるCNCIの累積変化を国・地域ごとの平均値を示したグラフです。

  累積分布関数の性格上、両端の大学は、変化が少ないので、中ほどにあるCitationsが25～75の大学についてだけお示ししてあります。2008－2012CNCI-country adj（2014タイムズ社Citationsとほぼ同等と考えられる）から出発し、InCites™で求めた2014年Citations推定値、そこから地域調整を解除した値、大学数を変更した値、経年被引用インパクトの変化を加えた値、論文種を拡大した値、そして、再度半地域調整を適用した値、そして、地域調整係数の補正を加えた値をプロットし、最後に実際の2015年タイムズ社Citationsの値を示しました。

  全体としての傾向は、上位（50より上）にある国では、地域調整の解除で上がり、各国によって、各工程での変化に多少の違いが見られ、半地域調整の適用でやや低下しています。下位の国（50より下）では、地域調整の解除で下がり、半地域調整の適用でやや上昇しています。つまり、上位にある国は、さらに上位になり、下位にある国はさらに下位になって、その差が広がる傾向がありますね。

  赤で示した日本は、地域調整の解除でガクッと落ちて、その後の工程でさらにわずかに低下し、半地域調整の適用でやや戻っています。

  国によっては、地域調整以外の影響が大きい国もあります。例えばイタリアは、地域調整よりも経年的な被引用インパクトの上昇が大きくなっています。米国の大学（ここに含まれる大学は上位大学ではありません）では経年の被引用インパクトが低下していますね。その結果、最終的なCitationsの米国の順位がヨーロッパ諸国に比べて低下しています。中国は、論文種拡大によるマイナス効果が大きく出ています。韓国では、Incites™では推定できない地域調整係数の上昇がみられます。タイムズ社の本拠があるイングランドの大学は、順調にランキングを上げていますね。

  日本の場合は、地域調整の解除以外のファクターはほとんど影響しておらず、日本の大学のタイムズ社Citations急落の原因は地域調整の減弱化であると断定していいでしょう。

  図表44は、国・地域別に、半地域調整を適用した場合の推定値、およびそれにさらに補正を加えた推定値と、実際のタイムズ社のCitationsの値との相関を見たものですが、当然のことですが、補正を加えた場合の方が、相関が良くなっています。

  図表43と同じことを日本の各大学別に示したのが図表45です。一番上にある大学が東京大学ですが、地域調整の解除でガクッと落ちて、あと、若干の低下がありますが、半地域調整の適用である程度回復しています。東大、京大は、推定値が実際のCitationsの値に近い値となっています。しかし、東北大学ではずいぶんとずれています。このずれについては、InCites™のデータでは説明できず、現時点ではデータベースが違うから、ということでしか説明できません。

 

  今回の検討の結論を図表46にまとめました。

 

＜おまけ、その１＞

  日本にプラスの地域調整係数が掛けられていた理由は、そもそも、日本全体の分野調整被引用インパクト（CNCI）が低かったからです。その優遇措置が今回半分に減らされたことにより日本のCitationsが急降下し、大学ランキングの低下の主要因となりました。

  もしも、今後、優遇措置が完全に外されることになると、日本の大学のCitationsのランキングはどのようになるでしょうか？

　「2014年→2015年→優遇措置が完全に解除された将来」の順に示しますと、

• 東大　　　約175位→約320位→約400位
• 京大　　　約300位→約420位→約520位
• 阪大　    約360位→約500位→約570位

　となり、さらに惨憺たる結果が待ち受けています。

 

  なお、タイムズ社のランキングでは、被引用数に関連した指標としてCategory Normalized Citation Impact（分野調整被引用インパクト）が用いられているのですが、実は日本の大学は「分野調整」を適用されると、低い被引用インパクトがいっそう低くなるのです。このことについては、次回にお話しすることにいたします。

　

＜おまけ、その２＞

  つい最近、タイムズ社が規模の小さい大学（学生数が5000未満）のトップ20位ランキングを発表しました（The world’s best small universities 2016）。その中には、日本の東京医科歯科大学（タイムズ社大学ランキング2014年276-300位→2015年401-500位）、横浜市立大学（400位圏外→601-800位）、東京海洋大学（400位圏外→601-800位）が含まれています。

  そして、その中にはInCites™のデータでは説明のできないCitationsの大きな低下よって大学ランキングが大きく低下した米国のフロリダ工科大学（Florida Institute of Technology）（タイムズ社大学ランキング2014年200位→2015年601-800位）もちゃんと含まれています。

  InCites™では説明のできないCitationsの大きな低下をきたした日本の首都大学東京（大学ランキング226－250位→401－500位）は、残念ながら含まれませんでした。学生数が5000を上回っていますしね。

   昨年、タイムズ社の世界大学ランキング担当機関から外れたトムソン・ロイター社は、2015年9月15日に世界で最も革新的な大学ランキングを発表し（The World  Most Innovative Universities）、その100位以内に、大阪大学を筆頭に日本の大学が9大学含まれていました。今度は、2016年1月16日にタイムズ社が小規模大学の世界ランキング20を、申し訳的な感じがしないでもありませんが発表し、その中に日本の大学が３大学含まれていました。

  これは、ランキングなるものが、評価軸の設定によって、全く異なる結果をもたらすものであることを如実に示しています。

  今回、世界的に大きな影響を与えているタイムズ社とトムソン・ロイター社が相次いで従来の評価軸とは全く違うランキングを発表したことは、大いにけっこうなことであると僕は思います。

  これによって、大学ランキングなるものの無意味さを感じる人の割合が増えたかもしれませんし、また、大学ランキングにそれなりに意味を感じている人々にも、少なくとも評価軸が複数存在するということが分かっていただいたのではないでしょうか？

  ただし、この大学ランキングシリーズの最初のブログで書きましたように、「第一次安倍内閣の時、平成19年6月の教育再生会議第二次報告では「世界の上位10校以内を含め上位30校に少なくとも5校が入る。」と書かれており、また、第二次安倍内閣の平成25年6月の日本再興戦略に「今後10年間で世界大学ランキングトップ100位以内に10校以上を入れる。」と書かれています。なお「世界のトップ100大学に10校」は、平成25年1月23日の第一回産業競争力会議において竹中平蔵議員が提出した資料の中に書かれています。

  つまり、日本国家は、大学に関係したほとんど唯一の数値目標として、大学ランキングを掲げているのです。この現実は、国民や関係者が心して受け止めておかねばなりません。

　　今までは、日本の財政状況が厳しいことから、今後はそれに加えて人口減少への対応として、引き続き行政活動や公的予算の縮小がなされていくと考えられますが、その時に何から切り捨てていくかの意思決定に、一面的な評価軸に基づいたランキングの下位から切っていくということがなされる可能性があります。実際、平成19年には、教育再生会議第二次報告に大学への「選択と集中による重点投資」や国立大学の「運営費交付金の大幅な傾斜配分」の文言が書かれ、小規模大学の切り捨てがなされようとしました。

　このような一面的な評価軸による選択と集中政策や意思決定は、日本の歩むべき道を誤らせる危険性を常にはらんでいると思われます。

　トムソン・ロイター社の革新的大学ランキングにおける日本の9大学と、タイムズ社の小規模大学ランキングにおける日本の３大学を合わせると、10大学を超えることになり、一応100位以内に10大学という目標を達成していることになりますが、果たして産業競争力会議の皆さんは、これをどう評価されるのでしょうか？