６月２日の日経朝刊・経済教室に，依田高典氏（京都大学）の「科学研究、定量的な評価を」と題する論文が掲載されている。依田氏と共同研究者は，21世紀 COE プログラムによって研究成果が向上したかどうかを計量的に分析した。COE を始めとして数々の公的研究資金は，その効果を納税者にきちんと示すことが求められている。その意味で，これは時代の要請に合致する。そうした評価が今後普及するようになれば，笑う研究者も泣く研究者も出てくるだろう。
依田氏らは，研究の量的効果の指標として（国際学術誌に掲載された）論文数，質的効果の指標として論文の被引用数を用いる。そして，COE プログラムの導入前後で指標の差分を求めたのち，「COE をもらった研究者の COE 前後の成果の差分から、資金をもらわなかった同じような環境の研究者の COE 前後の成果の差分を引」くことで，COE の政策効果を取り出そうとしている。こうした分析から，COE の量的効果は支持されたが，質的効果は支持されなかった。
つまり，COE の研究費を獲得することで論文投稿が増え，その結果採択数も増えた。ただし，全体としては論文の被引用数は増えていない。つまり，COE は平均的な質の論文の量産をもたらしたことになる。もちろん，それは必ずしも悪いことではない。いずれ量が質に転化するかもしれないからだ。また，論文の評価は短期に定まらないという面もある。真に革新的なので最初は無視されるが，長期的には評価され，被引用数が増えていくような研究もあるはずだ。
さて，気になるのが COE の効果を「資金をもらわなかった同じような環境の研究者」と比べるという操作だ。医薬品であれ広告であれ，その効果を検証したい要因以外について，影響が同一になるよう「統制」することは統計分析として正当である。ただ，それとは全く別の論点として「資金をもらわなかった同じような環境の研究者」もまた COE から資金を得れば研究成果を高めることができるのなら，なぜ彼らは資金をもらえなかったのかが気になってくる。
現実には予算は限られ，大学間，研究者間に政治力学があるので，同じ能力の研究者に同じ額の研究費が配分されるわけではない。皮肉なことに，研究費が 100% フェアに配分されると，上述の方法論で研究資金の効果を検証することができなくなる。政策の効果を検証するためには，ある程度フェアでない配分がなくてはならないということだ。もちろん，効果の検証のためだけなら，研究者間でランダムに研究資金を配分するのがベストなわけだが。
依田氏らは，研究の量的効果の指標として（国際学術誌に掲載された）論文数，質的効果の指標として論文の被引用数を用いる。そして，COE プログラムの導入前後で指標の差分を求めたのち，「COE をもらった研究者の COE 前後の成果の差分から、資金をもらわなかった同じような環境の研究者の COE 前後の成果の差分を引」くことで，COE の政策効果を取り出そうとしている。こうした分析から，COE の量的効果は支持されたが，質的効果は支持されなかった。
つまり，COE の研究費を獲得することで論文投稿が増え，その結果採択数も増えた。ただし，全体としては論文の被引用数は増えていない。つまり，COE は平均的な質の論文の量産をもたらしたことになる。もちろん，それは必ずしも悪いことではない。いずれ量が質に転化するかもしれないからだ。また，論文の評価は短期に定まらないという面もある。真に革新的なので最初は無視されるが，長期的には評価され，被引用数が増えていくような研究もあるはずだ。
さて，気になるのが COE の効果を「資金をもらわなかった同じような環境の研究者」と比べるという操作だ。医薬品であれ広告であれ，その効果を検証したい要因以外について，影響が同一になるよう「統制」することは統計分析として正当である。ただ，それとは全く別の論点として「資金をもらわなかった同じような環境の研究者」もまた COE から資金を得れば研究成果を高めることができるのなら，なぜ彼らは資金をもらえなかったのかが気になってくる。
現実には予算は限られ，大学間，研究者間に政治力学があるので，同じ能力の研究者に同じ額の研究費が配分されるわけではない。皮肉なことに，研究費が 100% フェアに配分されると，上述の方法論で研究資金の効果を検証することができなくなる。政策の効果を検証するためには，ある程度フェアでない配分がなくてはならないということだ。もちろん，効果の検証のためだけなら，研究者間でランダムに研究資金を配分するのがベストなわけだが。
