日本の大学ランキングが急落した理由とは？その２（被引用数とは？）

 今回は「被引用数」についてお話をしていこうと思いますが、その前に前回のブログでお話をしたタイムズ社の世界大学ランキングにおける、「評判（Reputation）」スコアの急落について、少し追加しておきます。

  トムソン・ロイター社からエルゼビア社にデータ分析担当機関が変更になったことに伴って、日本と韓国の大学の「評判（Reputation）」のスコアが急落したのですが、タイムズ社世界大学ランキングのウェブ・サイトには、変更点としては以下のようなことが書かれています。

１）回答者数

　2014年は2013年の3月から5月にかけて調査がなされ、10,536の回答が133か国から得られた。2015年は2014年の11月～2015年1月にかけて調査が行われ、10,507の回答が142か国から得られた。

２）回答者の学問分野のバランスの見直し

　Engineering and technology （工学）　20%（←22％）

　Social Sciences （社会科学）　19%

　Physical Science  （自然科学（生命以外））　17%（←18％）

　Life Science   （生命科学）　15%（←13％）

　Preclinical, clinical, and health related discipline  （医療・保健）　13%

　Arts and Humanities  （芸術・人文学）　16%（←9％）

３）回答者の地域の見直し　　　　　　　　　　　　　　　　　　　

　北米18.2％（←25％）

　つまり、回答者総数にはあまり大きな違いはないと考えられますが、回答者のバランスが変更され、一つは芸術・人文学分野の回答者の比率が上がったことや、北米の回答者が減ったことなどが日本や韓国の大学の評判に影響した可能性は否定できません。

　また、図表17に教育の評判(Reputation)スコアと研究の評判(Reputation)スコアの相関をお示ししましたが、両者は強く相関しています。研究の評判には学術論文等からもある程度客観的な評価が反映されていると思われますが、教育の評判というのは、アンケートの回答者が何をもって高い点数をつけるのか、なかなかわかりにくい面があります。

　このデータからは、研究の評判の良い大学は、教育も良いと思われていることがわかります。ということは、研究面で劣っている大学が、しからば教育面だけでも上位大学を追い抜こうと、一生懸命教育に精力をつぎ込んでも徒労に終わり、教育の評判は変わらないということでしょうかね？

 ２．  タイムズ世界大学ランキングで、なぜ日本の大学の「被引用数」スコアが急落したのか？

　それでは、今回のタイムズ社世界大学ランキングで日本の「被引用数スコア (Citations)」が急降下したのはなぜか？という話を始めたいと思います。ただし、「被引用数」という指標は「論文数」に比べると格段にその扱いが難しくなります。

　タイムズ社世界大学ランキングのウェブ・サイトにも“ It is one of the most sophisticated indicators in the modern bibliometric toolkit.”　「これは、現代の計量書誌学のツールキットの中で、もっとも洗練された指標の一つである。」と書かれています。

 読者のみなさんには少し我慢をしていただいて、まずは、この「被引用数」なるものの基本的な性質からご理解いただかなければなりません。これはちょっとついていけないね、とお感じになる皆さんもいらっしゃると思います。どうしてもついていけない方は、今回はスキップして、次のブログから読んでいただいてもいいかもしれません。

 なお、今まで僕は、論文数の分析にはずっとトムソン・ロイター社のInCites™を用いていますが、最近バージョンアップされ（ニュー・ジェネレーション）、高度な分析が簡単にできるようになりました。今回の「被引用数」の分析も、ニュー・バージョンによって可能となりました。

 

１）被引用数の基本的な性質

（１）「被引用数」の性質　その１

＜被引用数は他の研究者からの「注目度」を反映する。＞

　「被引用数」とは、先にもお話しましたように、その論文が、他の研究者の論文に引用された回数をいいます。数多くの論文に引用されるということは、それだけ自分の研究が他の研究者から「注目」されたということであり、これは一種の「質」を表すと考えられます。論文をたくさん書いても、他者から顧みられない論文であっては、ほとんど価値がありませんからね。タイムズ社の世界大学ランキングでは「被引用数」の指標の意味を「Research Influence（研究の影響力）」と表現しています。

　ブログですと「閲覧数」や「訪問者数」、あるいは。各種検索エンジンで検索した結果、リストの上位に表示されるかどうかが「注目度」を示していると考えられます。これらは「被引用数」とは違う指標ですが、「注目度」を反映するという点では同じような趣旨になると思います。

 ツイッターの「リツイート数」も、ツイートを見た人が、その情報をさらに他の人たちに拡散する価値があると判断した数ですので、「注目度」を表す指標ですね。これはかなり「被引用数」に似通った指標であると感じられます。

　もっとも、「リツイート」の場合は、批判の対象として拡散されることが時々あり、これは「炎上」と呼ばれていますね。学術論文の場合も、批判の対象として引用されることもありますが、ほとんど良い評価に基づいています

 

　「被引用数」を学術論文の「質」を示す指標として使うことについては、以前から議論があります。タイムズ社世界大学ランキングの2010-2011版の説明には、以下のような文章が書かれています。

 「「被引用数」を質の指標として使うことについては議論がある。イギリスにおいて「被引用数」を用いて、「新たな卓越研究の枠組み」における15億ポンド以上の研究資金の配分を決めようとしたが、長い話し合いの後に、大幅に縮小された。しかし、「被引用数」は、研究のパフォーマンスと強く相関するという明確な証拠がある。」

　タイムズ社の世界大学ランキングでは、「被引用数スコア(Citations)」の重み付けが30%もあり、単独の指標としては最も重視されています。他の大学ランキングにおいても、「被引用数」に関係した指標は何らかの形で必ず取り入れられおり、「被引用数」が難しい、あるいは議論があるといっても、軽視することはできません。

 

（２）「被引用数」の性質　その２

＜「被引用数」は、最初は少ないが年が経つと多くなる。＞

　たとえば、あなたが論文を書いたとしましょう。その論文が他の研究者の論文に引用されるまでには、少し時間がかかります。そして、時間が経つと次第に引用される回数が増えていきまず。ただし、普通はしばらくするとあまり引用されなくなります。累積の「被引用数」のカーブを書くと、最初は急激に増加して、次第に穏やかになっていくカーブが描けます。

 ブログの「閲覧数」や「訪問者数」についても同じことが言えますね。ただ、ブログなどでは、論文よりも変化が急激です。僕のブログでは、書いたその日からアクセス数が増え始め、翌日くらいがピークになり、その次の日には下がってきます。しかし、けっこう時間がたってもアクセスする人もいます。

 もっとも、一回も引用されない論文もけっこうあるのですが、この場合は、年月が経っても被引用数は「0」のままということになります。

 

（３）「被引用数」の性質　その３

＜「被引用数」は「論文数」を増やすと多くなる。＞

 あなた自身の「被引用数」を増やそうと思えば、論文を一つだけではなく、たくさん書けば「被引用数」は増えていきます。

 大学や国という単位では、どのような被引用数のカーブが描けるのでしょうか？

 図表18に、主要6か国の1990～2004年にかけての「論文数」と「被引用数」のカーブをお示ししました。左は、今までにも何度も見ていただいた「論文数」のカーブです。繰り返しになりますが、諸外国の論文数は増えていますが、日本だけが停滞しています。また、中国の伸びには目を見張るものがありますね。

 図表18の右図が「被引用数」です。「論文数」と違って、どの国のカーブも山を形作り、最近になるほど急激に少なくなっています。この図の見方は、たとえば2000年の値というのは、2000年に公表された論文が、現在までにどれだけ引用されたか、という数値を示しています。

 最近書かれた論文から逆にたどっていきましょう。2014年に書かれた論文は、まだ1年ちょっとしか時間が経っていないので、引用される回数も少ないわけです。2013年に書かれた論文は、現在までに2年ちょっと経っているので、それだけ多く引用されています。しかし、2000年頃に書かれた論文では、引用される回数がしだいに減り、また、当時の論文数は今よりも少ないのでそれだけ「被引用数」も少ないわけで、この両方の影響でカーブが緩やかになってきます。そして、頂上に達し、さらに年を溯るとカーブが下がってきます。

 中国の「被引用数」の山の頂上は、他の国よりも年が浅く、2009年頃ですが、これは、中国の論文数が2000年頃から急激に増えだしたことが反映されていると考えられます。

 このように「被引用数」は「論文数」にも影響され、また、論文が公表された年からの経過年にも大きく影響されるので、大学と大学、あるいは国と国や、研究者と研究者の間の単純な比較が難しいですね。

 そこで、「被引用数」を「論文数」で割ってやり、「論文数」の影響を除いた指標が考え出されました。この「被引用数/論文数」は、Citation Impact（被引用インパクト）とも呼ばれ、その大学（あるいは国や研究者）が、いかに効率よく注目度の高い論文を産生しているか、ということを表しています。

 この「被引用インパクト」を先ほどの主要6か国で図表19にお示ししました。

 

　そうすると、論文数や被引用数の順位とはやや違った順位になります。2000年頃の順位は、「米国―イングランド―ドイツ―日本―韓国―中国」なのですが、たとえば2014年の順位を見ようと思うと、カーブが急峻に低下してくるので、このグラフでは読みとりにくいですね。実は2014年の順位は、拡大して調べてみると「ドイツ―イングランド―米国―中国―日本―韓国」になっているんです。

　このように「被引用数」に対する「論文数」の影響を除くために、「被引用数」を「論文数」で割った「被引用インパクト」が考え出されましたが、でも、まだ、年が経つことによる影響のために、比較が困難です。

 そこで、年毎（あるいは数年間毎）に世界全体の「被引用インパクト」を基準にして、それと比較して何倍なのかを見よう、という指標が考え出されました。これが、「Impact Relative to World（対世界相対インパクト）」です。

 

　図表20の左図が主要国における「対世界相対インパクト（Impact Relative to World：IRW）」の推移を示しています。この指標ですと、「被引用数」や「被引用インパクト」のように、年を経るにしたがって急激に低下することはありませんので、比較しやすいですね。

 

（４）「被引用数」の性質　その４

＜「被引用数」は論文の種類（Document type）によって異なる。＞

 先ほどは、年毎に世界全体の「被引用インパクト」を基準にすると言いましたが、ここで、注意をしないといけないのは、「被引用数」は論文の種類（Document type）によっても、違った挙動をすることです。

 論文の種類には、原著論文(Article)、総説論文(Review)、会報論文(Proceedings Paper)、書簡(Letter)、など、いろいろとあります。このうち、「原著」は、研究者のオリジナルな新しい発見や発明を、しっかりとした科学的根拠を示しつつ公表するものであり、原則として査読がなされ、最も基本となる論文種と言えます。「総説」は複数の先行研究を体系的にまとめた論文です。「会報（Proceedings Paper）は学会等における発表に基づいた比較的簡易な報告であり、査読は必ずしもなされていません。

 実は、図表20の左図で基準にしているのは、データベースに収載されている世界の全論文の「被引用インパクト」を基準にしています。ということは、すべての種類の論文を含んでいることになりますね。

 図表20の左図では、日本の「対世界相対インパクト」の値は1.5前後を推移しているので、 “世界平均に比較して日本の論文は1.5倍も注目されている”と、思っていただいてはいけないのです。ここで分析をしようとしているのは原著論文(Article)だけに限った論文ですので、世界の全種類の論文を含めた被引用インパクトを基準にするのではなく、世界の原著論文だけを取り出した場合の被引用インパクトを基準にした方がより適切です。それが図表20の右図です。

 そうすると、日本は「１」前後を推移していますので、注目度は世界の平均程度ということがわかります。なお、日本が最近中国に追い抜かれたこともわかりますね。日本の論文の注目度は、先進国に比較してあまり芳しくないことがわかります。

 

　図表21は、同じことを総説で示した図です。総説の「対世界相対インパクト」は各国とも高い値を示しており、「総説」は論文種の中では最も引用されやすいことがわかります。右図の全世界の総説だけの「被引用インパクト」を基準とした場合は、「１」前後の値になっています。総説の日本の注目度は、この6か国の中では最低で、中国、韓国よりも低くなっています。

 

　図表22は、同じことを会報論文（Proceedings Paper）で示した図です。左図は各国とも非常に低い値となっています。会報は、他の論文種に比べて、引用される機会が非常に少ないことがわかります。全世界の会報だけの「被引用インパクト」を基準にした場合は、やはり「１」の周辺を推移しています。

 

図表23は、総説（左図）と会報（右図）の論文数の推移を示した図ですが、会報は非常に不安定な動きをしていますね。

 

　以上をまとめますと、論文当たりの被引用数（被引用インパクト）は論文の種類によって異なり、総説＞原著＞会報の順であること、会報については、被引用数は少なく、また、論文数も不安定な動きをすることがわかりました。

 このようなことから、研究力の評価においては、原著論文だけを取り出して比較するか、もしくは[原著＋総説]論文で分析することが妥当と考えられます。

  

（５）「被引用数」の性質　その５

＜「被引用数」は研究分野によって異なる。＞

 

　「被引用数」は研究分野によっても随分と異なります。研究分野の分類はおおまかな分類から細かい分類まで、いくつかの種類があります。

 また、それぞれの研究者が行っている研究を、既存の研究分野にきれいに分類することはしばしば困難であり、一つの論文を複数の研究分野に割り振ることもなされています。研究分野の分類というのは、なかなか難しい面をもっています。

 

　図表24には、InCites™で分析に用いることのできる研究分野スキームのいくつかをお示ししました。それぞれのスキームの由来等の説明については長くなるので省略させていただきます。InCites™のヘルプ(Help)などを参照願います。

 GIPPと名付けられた研究分野スキームは、全研究分野をわずか６つに分類する最も大まかな分類です。

 図表25には、Essential Science Indicators（ESI）と呼ばれる22分野に分ける分類から7分野を選んで、その全世界の「論文数」（左図）と「被引用インパクト」（右図）を示しました。なお、ESIという分類では人文学が含まれていないことに注意する必要があります。

 

　まず、各研究分野によって全世界の「論文数」に違いがあることがわかりますね。「被引用インパクト」についても、研究分野によって違いがありますし、そのパターンについても生命科学分野などは、年を逆にたどるとかなり早く立ち上がっていますが、経済・経営学や数学は、徐々に被引用数が増えていく傾向が伺えます。なお、論文の種類は「原著＋総説」で分析をしています。

 図表26の左図は、ESIから選んだ7研究分野の全世界の[原著＋総説]論文の「対世界相対インパクト(Impact Relative to World)」を示しています。基準にしているのは、全世界の全分野（人文学を除く）の全論文種の「被引用インパクト」です。分野によって、その「対世界相対インパクト」の値や、パターンが随分と違います。

 生命科学分野などの研究者の数が多い分野では、数学などの研究者の数が少ない分野に比べて、1つの論文を公表した場合に他の研究者から引用される確率が高くなります。つまり、「被引用数」は研究者コミュニティーの規模に左右されます。

 そうすると、研究者コミュニティーの大きい分野（例えば生命科学や物理・化学など昔から学問として確立されている分野）の研究を中心にやり、研究者コミュニティーの小さい分野（例えば数学・エンジニアリング・人文学などや、まだ、学問として確立されていない新しい分野）をやらない大学の方が、有利な値になってしまいます。

　ご存知のように大学にはいろいろな種類があり、総合大学もあれば単科大学もありますし、理系中心の大学もあれば文系中心の大学もあります。総合大学といっても、それぞれの学問分野への比重のかけ方は、各大学で違ってきます。

 そこで、そのような研究分野の違いから生じる「被引用インパクト」の不公平を調整するために「Category Normalized Citation Impact（CNCI）：分野調整被引用インパクト」という指標が考え出されました。これは、研究分野毎に、その分野全体の「被引用インパクト」を基準にして、それぞれの大学や国の「被引用インパクト」がどの程度かを示す指標です。年別に、研究分野別に、そして、論文の種類別に、調整がなされます。

 「分野調整被引用インパクト(CNCI)」の値が「１」ということは、その年（または数年間分）の、その研究分野の、その論文種に限って比較をした「被引用インパクト」が世界平均レベルということになります。

 

 　図表26の右図を見ていただきますと、各分野とも各年にわたって「１」が、ずっとつづいています。これが「分野調整被引用インパクト（CNCI）」です。（データベースに収載されている）全世界の各年の[原著＋総説]論文種における各分野の「被引用インパクト」を、同じく、全世界の各年の[原著＋総説]論文種における各分野の「被引用インパクト」で割っているので、つまり、自分自身で割っているので、どの分野も、どの年も、「１」になるのです。

 このあたりで、読者の皆さんの頭の中は、かなりこんがらがっているかも知れませんね。

 ここで、皆さんの頭をいっそうこんがらがらせるかも知れないことをお話ししますと、実はこの図表26ではESIという研究分野スキームを選んでいるがために、「分野調整被引用インパクト(CNCI)」が各研究分野で「１」になっているのです。これを他のスキーム、たとえばGIPPという研究分野スキームを選んで同じことをしても「１」にはなりません（図表27）。

 

　その原因は、ESIという分類では、各論文を各研究分野に重複なく1個ずつ割り当てているのに対して、GIPPという分類では、1つの論文を複数の研究分野に割り当てているケースが相当数あることに基づいています。

　では、複数の分野（仮にA分野とB分野にします）に割り当てられた1つの論文の「分野調整被引用インパクト(CNCI)」はどのように計算されているかというと、「１つの論文の被引用数」を世界全体で見た場合にA分野に期待される「1論文当たりの被引用数」で割った値と、同じく「一つの論文の被引用数」を、世界全体で見た場合にB分野に期待される「1論文当たりの被引用数」で割った値、の二つを足して２で割った値（つまり平均値）で求められているのです。

 なかなかややこしいですね。

　図表27の左図は、分野調整がなされていない「対世界相対インパクト」を示しており、右図はGIPPという分類を使った場合の「分野調整被引用インパクト(CNCI)」が示してあるのですが、右図はESI分類を使った時のように「１」にはなりません。しかし、左図に比べると分野間の違いは小さくなり「１」に近づいていますね。

　実は、タイムズ社の世界大学ランキングで使われている「被引用数指標(Citations)」は、この「分野調整被引用インパクト(CNCI)」に、さらに国別の調整を加えた「CNCI-country adjusted」が使われています。

 　この国別調整は、英語で書かれた論文の被引用数が多いという有利性を弱めるために、非英語圏国の大学の「分野調整被引用インパクト(CNCI)」に係数をかけて調整したものとされています。

 

（６）「被引用数」の性質　その６

＜「被引用インパクト」には、論文数の比較的少ない大学や分野でブースト現象が見られる＞

　小規模大学では、とびぬけて「被引用インパクト」が大きい論文が一つ産生されると、それが大学全体の被引用インパクトを大きく引き上げる現象（ブーストboost）が観察されます。

　これは、注目を集める論文の「被引用数」は、他の論文に比べて、圧倒的に多くなりやすいということと関係しています。つまり、論文を「被引用数」でもって分布させると、「被引用数」が圧倒的に多いごく一部の論文と、「被引用数」が極めて少ない大多数の論文という偏った分布になり、平均値よりも中央値が低くなります。

 　このような現象は、ベストセラーになった本や歌でも観察されますね。

 　大規模大学ですと全体の論文数や被引用数が多いので、一つの論文の「被引用数」に全体が引きずられる程度は小さくなります。

 　図表28は、研究分野スキームGIPP、原著＋総説、1995－2014論文数4000以上という条件で日本の大学を抽出し、2014年の「分野調整被引用インパクト(CNCI)」が上位の大学６つのCNCIをプロットした図です。

 

　2014年に公表された論文のCNCIのランキングは、藤田保健衛生大学、帝京大学、東京大学、首都大学東京、総合研究大学院大学、京都大学の順となっています。

 東京大学や京都大学のような大規模大学の経年の変動はそれほど大きくありませんが、他の大学は尖った山があり、変動が大きいことがわかります。

 特に首都大学東京は、非常に大きなピークが数年おきに生じています。このような、CNCIのブーストは、スーパースター研究者がいらっしゃることを想像させます。Incites™を使えば、そのような研究者を簡単に特定でき、Tamura, Koichiroさんであることがわかります。

　藤田保健衛生大学及び帝京大学の2014年の突然の上昇については、両大学とも被引用数が非常に多い一つの糖尿病についての多施設共同国際共著論文に名を連ねていることによると考えられます。その論文は140名の著者からなる論文であり、日本人が7名含まれています。このようなホットな国際共著論文に名前を連ねることができれば、仮にスーパースター研究者がいない場合でも、その大学の「被引用インパクト」が、ブースト効果で引き上げられることになります。

 なお、現時点でのCNCIの計算では、国際共著論文の被引用数が共著者に分けて割り当てられるのではなく、分けずにそのまま割り当てられているはずなので、国際共著論文にたくさん名を連ねることは、「被引用数」を（見かけ上？）増やす上で、けっこう有利になると思われます。

　このようなブースト効果のある評価指標は、中小規模大学にとっては、大規模大学と対抗できうる数少ない評価指標であり、それなりに存在意義があると考えられます。しかし、小規模大学ばかりが上位に名を連ねるようになっても、ちょっとおかしなこといなりますね。

　それで、タイムズ社の世界大学ランキングでは、ブースト効果があまりに極端になりすぎないように、いくつかの処置をほどこしています。

　まず、論文産生が年間200未満の大学は、最初から除外しています。それから1年間のデータではなく５年間にわたって公表された論文の被引用インパクトで比較しています。これで小規模大学の極端なブースト効果はある程度除けます。しかし、それでも、小規模大学のブースト効果はかなり見られます。

　図表29は、2010-2014年の[原著論文（Article）＋総説論文（Review）]で、この5年間に1000論文以上産生している大学(n=1641)を抽出し、横軸に論文数、縦軸に「被引用インパクト(Citation Impact)」をプロットした図です。

 

　全体の傾向としては、論文数の多い大学ほど、つまり大規模大学ほど、「被引用インパクト」が高いことがわかりますが、論文数の比較的少ない大学の中に飛び抜けて「被引用インパクト」の高い大学があり、そして小規模大学ほど、この頻度が高くなる傾向が伺われます。

　この1641大学のうち、日本の大学は101ありました。図では、それを赤丸で示してあります。まず、日本の大学が、全体的には低めの位置に分布していることがわかります。しかし、一つだけぽつんと「被引用インパクト」が飛び抜けて高い大学がありますね。これが首都大学東京です。

　

　さて、さて、今日のブログでは、「被引用数」という指標の基本的な性質についてお話ししましたが、読者の皆さんのがまんの限界を超えてしまったかもしれません。まさに「sophisticated」（洗練された、精巧な、きわめて複雑な）という形容詞が実感される指標ですね。

 　このあたりでいったん区切りをつけて、次回のブログでは、いよいよ、タイムズ世界大学ランキングで、日本の大学の「被引用数スコア(Citations）」がなぜ急落したか、という分析結果についてお話をします。