世界変動展望

私の日々思うことを書いたブログです。

論文数水増しによる業績評価について

2012-06-25 23:20:00 | 社会

研究者が論文の重複発表を行う最大の理由は業績を水増ししたいからだろう。重複発表の論文をすべて業績リストに記載し見かけ上の業績数を高く見せかけて過大な評価を受けようとする。それは不適切だ。

具体的な例として井上明久東北大前総長の二重投稿があげられる。井上は現在まで二重投稿を理由に8編もの論文が撤回されている[1]。さらにJSTの第三者委員会の報告書によれば60編以上もの論文で重複があるという[2]。これらの論文は追跡評価用資料に載っていた論文リストに記載されていたもので、全748編中60編以上が重複していたという[2]。

[2]では「(追跡評価用)資料中の業績論文リストに多数の重複があることは不適切と言わざるを得ない。[2]」と述べられている。私もそう思うが、皆さんはどう思うだろうか。さらに井上はこれまで論文を2800編以上発表したという。そんなに発表できるはずがないから、少なからずギフトオーサーシップで発表論文数を水増ししたのだろう。

JSTの第三者委員会が述べたのは論文の重複発表が不適切といっているだけでなく、評価用の業績リストに重複発表論文を記載することが水増しにあたり不適切だと述べていると思う。読者の中には論文数はインパクトファクターなどその他の要素をあわせて評価すれば誤信に基づく評価は起こらないので問題ないと考える人がいるだろう。しかし、水増しは正当な業績申告といえないのだから評価を誤信させる危険を避けるため止めるべきである。また、数に基づく評価は避けられないのだろうし、水増しで発表論文数の把握を困難にすると評価を誤信させる危険がある。

井上の場合はこの評価だけでなく、人事など色々な側面で水増しによる過大評価を受けてきたのだろう。一部の研究機関は競争で有利になるため、そうした水増しによる業績評価を適切だと考えているが、出資者である国民の目線から見てどうか。

例えばある研究者は発表論文数が90編でとても多い。優秀な研究者だからこの研究者が申告した研究テーマに対して巨額の研究費を出した。しかし、実態を調べてみると一つの論文を他の出版機関から81編出版し、実数は1編だった。実態的な全論文数は90編ではなく10編だった。それが判明したとき出資者である国民はどう思うだろうか。本来ならもっと優秀な研究者に研究費を出していたかもしれない。私なら騙されたという印象を持つ。

研究者や研究機関は自分達にとって有利になるために、こういう水増しを「発表した論文数としては間違いないから水増しでない。」「プロシーディングスとジャーナルの論文は別物だから重複していても水増しでない。」とか都合のいい弁明をする。

しかし、こういう研究者や研究機関にとってだけ有利な業績評価法は出資者である国民にとって幸福だろうか。研究者や研究機関にとっては予算などを多くもらえていいかもしれないが、国民からみると不当な評価に基づいて無用な出資をさせられ損失だと思う。重要なのは評価者や出資者である国民が業績を誤信して評価するおそれがあり、その点が不正だということだ。

こういう業績評価における水増しは上の井上の事例だけでなく、研究機関の人事や大学・独立行政法人評価([3])でも横行しているだろう。特に問題なのは大学・独立行政法人評価のケースだ。研究者の人事なら重複発表による水増しといっても数件の程度だろうし、無論これ自体不適切ではあっても大規模に水増し申告されるわけではない。しかし、大学・独立行政法人評価のケースは研究機関全体での申告になるから、水増し申告を許すと大規模になってしまう。見かけ上の発表論文数は1000編だったが、実数は700編だったということも実際に起こり得る。しかも、評価では業績リストと実物を照合して実数をチェックすることは対象の膨大さ故にまず行われないから、水増しによる誤評価の危険や損害はかなり大きい。しかも、こういう業績評価は毎年やっているので、こういう危険や損失が毎年繰り返されることになる。私なら、そういうのは絶対にやめてほしいと感じる。

テクニカルレポート、プロシーデイングス、ジャーナルの論文など様々な形で重複発表して、すべて業績リストに記載して水増し評価する。

こういう研究者や研究機関にとってだけ都合がいい業績評価方法は必ず改善すべきである。とはいえ、これはあくまで私見。皆さんは上のような評価方法をどう思いますか?

参考
[1]齋藤文良、大村泉、高橋禮二郎:"井上明久東北大総長の日本学士院賞受賞論文に見られるデータ改ざん疑惑(研究不正)" 2012.3.6 写し
[2]井上過冷金属プロジェクト研究成果確認調査チーム:"井上過冷金属プロジェクト研究成果確認調査報告書" 2012.1.18 、写し
[3]毎年研究機関の業績申告書に基づき所管官庁の評価委員会が業績評価を行う。これにより研究機関に対する予算や人材の配分が決まる。

(本来の発表日 2012-06-25 23:20:00)

--

武市正人(大学評価・学位授与機構教授、前日本学術会議副会長、同会議会員)が論文数水増しによる不当さに言及し、研究公正局を「研究不正だけでなく、経歴詐称や業績誇称など学術上の不正を防ぐための実効性のある組織として設置することが期待され(1)」ると言及しました。

武市正人のブログ
(1)"学術「公正局」について(追記)" 、写し 2013.8.31
(2)"「生涯論文数」について"、写し 2013.7.29
(3)"科学者倫理に思うこと"、写し 2013.8.16

同じ成果の口頭発表や論文を業績リストに記載することに関しても

『学会での発表でも、査読等によって発表論文の選考が行われる場合には、一般に、未発表の新規論文に限られるでしょうから、共同 研究者が別の場所で発表するというのも適切ではないといえます。一方で、国内の学会では、発表を希望する会員にその機会を与えることが多く行われていま す。口頭発表によって、参加者からの意見を聞いて、研究を深めるためのものといえるでしょう。この場合には、発表自体に問題はないといえるのではないで しょうか。しかし、学会等での口頭発表を業績評価の対象とするような場合には、同一の発表を複数の成果として数えるのは誇称ということになるでしょう。業績表では、同一の成果についての発表には、その旨を明記するのがよいと思います。これは、学術(原著)論文の場合も同じです。論文の成果を別の形で(たとえば、招待講演等で)発表したときには、関連する公表について重ねて数えることがないように表示すれば、「論文数の水増し」にはなりません。

ある学問分野で同じ分野の研究者が論文業績の内容を見て業績を判断するときにはまだしも、異なる分野の研究者や一般社会が研究業績を判断するときに は、「論文数」に頼りがちです。大括りにしてさまざまなものを数え上げてしまうと、業績を誇称することになってしまいます。それぞれの分野で、その分野の 研究者による査読を経て、新規性や独創性のある研究成果として認められた論文を「学術論文」と呼ぶことはどの分野にも共通しているので、この「論文数」を 示すべきでしょう。もちろん、このときには上にあげたようにして、「水増し」にならないようにすべきです。』-(2)より

(2013.9.2 追記)

日本の科学を考える
(4)"<緊急>研究不正問題のまとめのお願い"(写し) 2013.8.26
質問と武市の回答は2013.9.4頃

"・・・ORI(仮称)の役割を述べられていますが、これは例えば査読なし論文を重複発表して、すべて業績リストに記載する行為やギフトオーサーによる論文発表も業績誇称(不正)として取り締まるべきということでしょうか?"

という問いに武市は

"おっしゃるとおりです。

経歴詐称や業績誇称についても、学術界が責任をもって疑惑に答えるべく、大学や研究機関とは独立した組織のあり方を検討すべきではないかと思っています。ただ、(表現のことかも知れませんが)「取り締まる」ということについては、現時点では明確に判断できません。すでに触れたように、2005年に学 術会議は「審理裁定」機関の検討を提言しています。各研究機関等がその決定を尊重することのできる「審理裁定」を行うのが第一歩だと考えています。

なお、ここに述べた意見、およびこれまでにBlogを通じて表明した意見は、個人的なものです。もちろん、学術会議の一会員としての意見ですが、現在の所属機関における事業・業務に関わるものではありません。今後とも、このような立場で意見を述べさせていただきます。"

と回答。

(2013.9.6 追記)

この記事は武市正人のブログの"自律的な学術公正性の確保に向けて"(2013.9.28 写し)で紹介されました。

(2013.10.7 追記)



12 コメント

コメント日が  古い順  |   新しい順
ある研究室の場合 (匿名希望)
2012-06-24 06:46:06
世界変動展望様

いつもブロク、拝見させて頂いております。
下記、ある単科大学・研究室の准教授や講師の例です。

三年、六年と研究論文がない。
大学の年度毎の業績報告書や科研費申請書の論文業績欄に、プロシーディング、学会報告を載せています。
載せる理由は、PubMedなどの論文検索サイト(NIH管理のサイトで、誰でも無料で使用可)で検索すると、プロシーディング等は表示されるからだそうです。

“自分には任期更新のための論文は必要ない(任期制が課せられていないので、任期更新の研究業績がいらない)”“研究は論文数ではない”と言いながら、他人の論文数ばかり気にしてました。
最終的には、教員・研究者のモラルの問題なのでしょうか。わかりません、、。




返信する
水増し (世界変動展望 著者)
2012-06-24 15:35:56
>三年、六年と研究論文がない。
大学の年度毎の業績報告書や科研費申請書の論文業績欄に、プロシーディング、学会報告を載せています。
載せる理由は、PubMedなどの論文検索サイト(NIH管理のサイトで、誰でも無料で使用可)で検索すると、プロシーディング等は表示されるからだそうです。

(中略)
最終的には、教員・研究者のモラルの問題なのでしょうか。
--
さすがにそれはいんちきでしょう。モラルのある研究者はやらないでしょう。しかし、モラルのない研究者や研究機関は妙な理由をつけて水増し評価をやります。彼らの独善的かつ詐欺的な業績評価は必ず改善しないといけませんが、そういうことを研究者や研究機関に言っても彼らにモラルがないので無理です。監督官庁がきちんと指導しなければなりません。もっとも、彼らは全くやる気がありませんが。もっと職責をきちんと果たしてほしいものです。
返信する
監督官庁に (匿名希望)
2012-06-24 20:54:15
世界変動展望様

世界変動展望様のおっしゃるように、
モラルのない研究者や研究機関に言っても無理と思いました。ある研究室の教員は(特に相手に研究論文の知識がないと)自分の都合の良い理由を並べ立てて、自分を正当化するだけでした。大学も年度毎に業績評価をしているというカタチだけで、それ以上は何もしません。

監督官庁は“残念な方々、、”と放っておくのではなく、しっかりと現場に対応して欲しいです。

ありがとうございます。
返信する
私的な研究公正局の設立 (世界変動展望 著者)
2012-06-24 22:31:52
最近私的な研究公正局の設立を検討しています。幸い私のブログは研究不正の問題に関心のある固定読者がついたので、こうした問題を紹介して改善を促す世論形成に尽力したいと思います。

私は研究不正の問題に関心を持ってからいろいろ独自の調査をやってきました。そこで

・研究者の所属機関や利害関係機関に調査を任せると保身や慣れ合いのために不公正な調査裁定がなされることが珍しくない。

・研究不正以外でも業績水増しなど不当な評価が多く、研究機関も監督官庁も改善するつもりがない。

こういう不公正な調査で本来改善されるべき事がうやむやにされたり、研究者の独善的かつ詐欺的な業績評価で国民の血税から無用な予算支出がなされることは絶対にやめさせなければなりません。

研究機関や監督官庁がやらないなら個人レベルでやるしかないでしょう。そうでなければいつまでたっても改善しません。

具体的にどういう活動をするかは未定ですが、当面は協力メンバーの募集と不公正事例の紹介を行いたいと思います。

おっしゃっていただいたような事例は明らかに不正事例ですから、情報提供いただいて裏が取れれば紹介します。
返信する
個々でも声をあげれば (匿名希望)
2012-06-25 07:59:30
世界変動展望様

いろいろと教えて下さって、ありがとうございます。
現在、研究不正への関与を拒否した事が原因のパワハラ、人事での嫌がらせで裁判しております。
私の主張が認められれば、司法が研究不正を 認定した、となると考えております。
それにしても、裁判は時間をかけて進められるものと知りました。でも、時間がかかっても、裁判官に理解して貰えるよう、主張・立証を繰返していきたいと思っております。

個人でも“研究不正はいけない”に取り組む方々がいらっしゃるのを知りました。私的な研究公正局の立ち上げ、宜しくお願い致します。
返信する
設立 (世界変動展望 著者)
2012-06-25 21:27:35
あなたは前にメールをくれた方ではないですか?災難に関しては本当に大変ですね。はやく解決するといいですね。

研究公正局の設立は活動内容をもう少し具体的に検討する必要があります。Retraction Watchなどでやっていることと類似のページだと業績水増しなどが本当に改善していくのかわかりません。

また一人で活動するには限界があるので協力メンバーの募集も必須です。みんなで協力すればいろいろできると思います。あと、情報提供を希望の方がいました。連絡先は

lemon-stoism☆mail.goo.ne.jp

☆印をアットマークに変更して送信してください。
返信する
Unknown (Unknown)
2014-02-02 19:56:26
研究不正=公金横領
不正した組織の長の責任を問わないと
「下っ端が勝手にやったことだから」というヤクザと同じです。

ただファーストオーサーでないものを勝手に集計するのは
集計するほうが馬鹿なのであって、公金横領しているのはマヌケな集計をしている側だと思いますよ。
この場合はマヌケな業績評価をしている大学当局や予算当局が公金横領を行っているわけです。

ギフトオーサーっていったってファーストにしろって話ではないでしょう。
返信する
Unknown (Unknown)
2014-02-02 20:19:07
あと、既報論文内容と同一の講演発表は業績に入れるべきではないとのことですが、これは既報の論文よりも進展があったりすることもあるわけです。
どの程度進展があったかを業績を集計する側が見ていなければならないわけで。
研究者の業績進展を1か0かでしか判定できないような奴が事務方をやっているから、単純にExcel使って足し算するような「業績評価」しかやらないわけです。
業績の進展度を読み取れないような事務方こそ、業績水増し=公金横領の主犯だと思いますよ。
進展してない成果を小分けに発表したらExcelで論文数足してるだけの事務方なんか簡単に騙せますから。
こういう事務方は公金の番をすることで給与を得ているはずなのに、実際には見張っていないということになるわけで、論文数しか数えない事務方こそ公金横領しているんです。
返信する
数だけ数えても意味はない (匿名希望)
2014-02-15 15:58:11
多くの分野では、人事評価の際に提出する論文リストにプロシーディングは含めないのは常識ですし、プロシーディングを原著論文に混ぜてリストに掲載するような研究者は、もともとレベルが低くて、相手にされないのが実情だと思います。それよりも、プロシーディングスはジャーナルとは別物だということをきちんと理解し、原著論文と分けて評価することが重要です。プロシーディングスは、その会議のアクティビティーを示し、また、ある分野の内容を系統的に集める意義があります。会議の主催者に協力する意味でも、プロシーディングスは積極的に出すべきなのですが、プロシーディングスに書いたから、原著論文に書けないとなったのでは、会議を盛り上げ、意義深いものにすることができません。プロシーデイングスと原著論文はもともと重複して良いもので、問題はこれらを区別しないことにあります。ジャーナルに掲載した原著論文のリストが本来の業績リストであり、プローシーディングスのリストは、その人の科学的社会活動、科学コミュニティーを形成する活動として、原著論文とは区別して、正当に評価するべきものです。ただし、分野によっては、たとえば情報系では、会議の講演に採択されること自体がかなりの困難を伴う業績であって、プロシーディングスを主な業績としてカウントする習慣のある分野もあります。業績評価は、こういう分野による習慣の違いも熟知していないと出来るものではありません。大学の事務方などは、原著論文とプロシーディングスの区別もつかないようなので、(というか英語は読めないというレベル)、業績評価の能力はありません。
返信する
個人的な見解ですが (山本)
2014-02-17 21:28:09
世界変動展望様、こんにちは。

貴殿が議論の対象とされていらっしゃる方々は論文内容などに問題等があるのかもしれませんが、一応みなさん本名にて論文などの発表をされております。実名を公表しています。

貴殿は「世界変動展望」という名前で意見の公表をされており、本名ではないと思われます。(違っていますか?)
私は学術論文の世界は良くわかりませんが、ご自分を明かさず一方的にインターネットの世界でご意見されていらっしゃることに違和感を覚えました。
返信する