ドラゴンボール世代の方ならもちろんご存知だとは思いますが、これは「スカウター」といって相手の戦闘力が数値として測れてしまう（未来の？）ウェアラブル端末です。
人の価値が数値化できないように、研究者の実力を数値化することも非常に難しいことです。
しかし、研究者は人事や研究費の採択などの場面において、常に外部から評価される環境にいます。
そのため、賛否両論はあるものの、研究者をスカウターのような一定のものさしので評価しようという流れがあります。
この記事では研究者の業績（実力）を定量化する指標について、それぞれの定義、調べ方、長所短所、などについて解説しています。
最後に少しだけ私の意見も述べさせて頂きます。
Impact Factor (インパクトファクター)
みんな大好きインパクトファクターです。
研究者を評価する時に用いられる指標としては、インパクトファクターが一番有名です。
研究に携わっている方なら一度は気にされたことがあるのではないでしょうか。
インパクトファクター(IF)とは
インパクトファクターとは引用データベースであるWeb of Scienceに収載される雑誌の中で、自然科学と社会科学を対象にしている指標です。
クラリベイト・アナリティクス社（旧トムソン・ロイター）が集計しており、毎年6月頃に更新されます。
インパクトファクター(IF)の調べ方
インパクトファクターは「Web of Science」、「Journal Citation Reports」から調べることができます。
Web of Science
Journal Citation Reports
インパクトファクターを気にされる方はほとんどが何らかの研究機関所属の方だと思いますので、
この2つのうちどちらからは、図書館などが有料契約されていることが多いと思いますので、アクセス可能だと思います。
無料で調べる方法もあり、最近ではgoogleでも検索することが可能です。
例えば、「nature impact factor」と入力すれば、下記のように表示されます。
インパクトファクターの定義
2020年6月に発表されるものは2019年の1年間での引用数を元に集計されます。
ある雑誌について、2019年のインパクトファクターの計算方法は下記のようになります。
2020年からの変更点
2020年から、インパクトファクターの計算方法が試験的に変えられたようです。
「Early Access」つまり、公式にpublish されていないけれどon lineでは見られるようになっている論文の引用数も加えられるようになりました。
分母には「Early Access」の論文は加えられていないところが注意点です。
分子だけ大きくなるので、結果として2020年のインパクトファクターは大きくなる傾向があると思います。
インパクトファクターの長所と短所
長所
インパクトファクターは研究者を評価するものさしとして広く知れ渡っているので、その分だけ長所と短所が際立っています。
まず良い点として、インパクトファクターが良い雑誌には良い論文が多く載っています（載っていることが多いです）。
投稿者は「このデータならあの雑誌は無理かな」とか、「このクオリティのデータなら、あのインパクトファクターの雑誌には挑戦できるかもしれない」と考えて投稿します。
査読者は「このインパクトファクターを持つ雑誌だったら、これぐらいの質のデータをだしてもらわないと通せないな」という感じで雑誌の格を考慮しながら査読をします。
インパクトファクターが高い雑誌に通っているということは、それだけ厳しい査読を通過してきているので、自然淘汰の力が働いています。間接的に、インパクトファクターによって研究者や論文を評価できることになり、雑誌のある一定の品質を担保していることに役に立っていると思います。
短所
インパクトファクターの注意すべき点として、学術雑誌を評価する指標であるため、研究者個人や論文そのものを直接的に評価する指標ではないということです。特に、異なる分野間での比較にインパクトファクターは使えません。
例えば、循環器内科学で最もインパクトファクターの高い雑誌はCirculation誌で、23.603(2019年)のインパクトファクターです。
その一方で数学の最高峰の雑誌であるAnnals of Mathematicsのインパクトファクターは5.24 (2019年)です。
インパクトファクターの数値では4倍以上の差がありますが、その分野の人は最高峰の雑誌に競って論文を出すわけなので、論文の質に4倍以上の差はありません。
インパクトファクターで比較すること自体が無意味になります。
そして、インパクトファクターが高い雑誌であったとしても、つまらない論文が載っていることもあります。つまらないならまだしも、（インパクトファクターにおいて）世界最高峰の雑誌の一つであるNature誌でさえ捏造論文が載っていることもあるわけです。
逆にインパクトファクターが低い雑誌に載っている論文の方が、良い内容の論文であったりします。
例えば、大村智先生がノーベル賞を受賞することになった論文は、
Burg RW, … Ōmura S. Antimicrobial Agents and Chemotherapy; 1979; 15: 361–7.
であり、 Antimicrobial Agents and Chemotherapyのインパクトファクターは4.904(2019年)です。
インパクトファクターが低いから良くない論文ではないのです。
個人的にはJBC (Journal of Biological Chemistry, IF 4.238)みたいに、一つのテーマに対してカッチリと調べてある論文が好きです。JBCのデータはネガティブデータであっても信用できます。
5年インパクトファクター
インパクトファクターは過去2年間の引用数を用いますが、5年インパクトファクターとは過去5年間の引用数で集計します。
分野によっては引用される周期が長いものもあるため、5年間で計算する方が適していることもあります。
通常、「インパクトファクター」というと2年間の集計のものを指します。
H-index
インパクトファクターの次に有名なのが「H-index」だと思います。
H-indexとはHirschにより提唱された研究者の評価指数です。
H-indexの定義は、元論文によると
I propose the index h, defined as the number of papers with citation number ≥h, as a useful index to characterize the scientific output of a researcher.
J. E. Hirsch. Proc Natl Acad Sci, 102(46):16569–16572, 2005.
「被引用数がh回以上である論文がh本以上あることを満たす最大の数値h」が定義になります。
例えば、5回以上引用された論文が5本持っていれば、その研究者のH-indexは5ということになります。
H-indexの調べ方
H-indexは下記のサイトから調べることができます。インパクトファクターと同様に、これらも所属している研究施設が契約していることが必要です。
Scopus
Web of Science
その他にもH-indexを調べる方法があります。
Google Scholar での調べ方
Google Scholarでも簡単にH-indexを見ることができます。
検索したい対象（人）がプロフィール登録をしているということが条件になります。
例えば「落合陽一さん」のH-indexは次のように見ることができます。
自分のH-indexもGoogle Scholarにプロフィールを登録すれば、すぐに見ることができます。
登録方法とメリットについてはこちらに解説しています。
Google Scholarの使い方と登録する方法【登録するメリットとできること】
Research Gate
研究者向けのSNSであるResearch GateでもH-indexを見ることができます。
ProfileのScoreのところに書いてあります。
h-indexは使っているデータベースによって微妙に数値が違ってきます。
H-indexの長所と短所
長所
インパクトファクターと同じように、計算式が単純なので、単純明快である点です。
短所
短所の一つとして、研究歴の長い人ほどH-indexが高くなってしまうということです。
論文が引用されるまでにはある程度の期間が必要ですし、若い研究者は論文の絶対数も少なくなってしまいます。
もう一つは、多く引用された論文であってもH-indexに考慮されず、論文数に依存してしまうということです。
例えば100回引用された論文を3本持っていたとします（100回も引用されるというのは凄いことですが）。この場合H-indexは3にしかなりませんので、3回引用された論文を100本持っている人とH-indexは同じになってしまいます。
Google scholar metrics
Google scholar metricsでは、H-indexを用いて雑誌のランキングを見ることができます。
この場合はH-indexの対象として「人」ではなく「雑誌」を用いています。
ここの「Metrics (統計情報)」のところにあります。
Categoriesのところで、分野を変えて検索することができます。
「h5-index」とは過去5年間のその雑誌のh-indexです。
「h5-median」とはh5-indexの中に含まれている論文の中で、引用数の中央値を表しています。
アイゲンファクター（EF, Eigen Factor）
インパクトファクターは引用数を論文数で割っているだけですので、論文数が
アイゲンファクター(EF)の計算方法は、はっきりいって難しくてよく分かりません。
全論文誌の合計値が 100 になるように上の数値を 100 倍したものがEFになるそうです。。。
ネットワークの強さを数理学的に定量化しているそうで、簡単に言うと、Google検索のランキングと同じ方式です。
Googleはあるウェブページに上位のランキングをつける際に
- 多くのリンクをされている
- 権威あるサイトからリンクされている
- 厳選されたリンクをされている
このようなページを重要なページだと判断して、検索の上位に表示しています。
アイゲンファクター(EF)も
- 多数の論文から引用されている
- 重要な論文（権威ある雑誌）から引用されている
- 厳選された引用をされている
このような論文に上位のランク付けをします。
論文の質が同じと仮定すると、発行する論文数に比例して雑誌のEFは大きくなりやすくなります。
発行する論文数が大きいという意味で大規模な論文誌ほど，大きい EF 値 になる傾向があります。
EF はその雑誌の総価値を表しており、時価総額と同じようなものと考えると分かりやすいと思います。
アイゲンファクター(EF)はここから調べることができます。
2015年のEFの10位までは以下のようになっています。
PLOS ONEが1位なのは、論文発行数による影響がかなり大きいと思います。
また、http://www.eigenfactor.org/index.php
ではEFの他にAIやEFnという指標も並べて表示してありますので、ついでに解説します。
AIはArticle Influence Scoreで、EFnはNormalized Eigenfactor Scoreの略です。
Article Influence Score (AI)
AIの定義は
「EFを100で割って、さらにaiで割った値」
ai ≡(ある論文誌が5年間に発行した論文数)
ai で割るので，論文 1 本当たりの価値の指標になっていますので、インパクトファクターに意味が近い値です。
AIもインパクトファクターと同様に、個々の論文の価値を表すわけではありません。
あくまでも、その雑誌の中にある様々な論文の平均値であるということに注意しなければいけません。
これも興味がある方は「統計数理(2013)第61巻 第1号 147–166」
を御覧ください。
Normalized Eigenfactor Score (EFn)
EFnはアイゲンファクター(EF)の値を、JCRに毎年出される論文数で標準化したものです。
雑誌の影響力が真ん中の雑誌はEFnが1となります。
例えば、EFｎが10の雑誌があったとすると、平均的な雑誌よりは10倍影響力があるということになります。
SCImago Journal Rank (SJR)
SJRの定義は
The SCImago Journal Rank (SJR) indicator is a measure of the scientific influence of scholarly journals that accounts for both the number of citations received by a journal and the importance or prestige of the journals where the citations come from. A journal’s SJR is a numeric value indicating the average number of weighted citations received during a selected year per document published in that journal during the previous three years.
ジャーナルが受け取った引用の数と、引用元のジャーナルの重要性または名声の両方を説明する学術ジャーナルの科学へ影響の指標です。ジャーナルのSJRは、過去3年間にそのジャーナルで公開されたドキュメントごとに、選択した年に得た加重引用の平均数を示す数値です。
https://en.wikipedia.org/wiki/SCImago_Journal_Rank
この説明だけでは何だかかよくわかりませんが、簡単に言うとアイゲンファクター（EF）とほとんど同じで、ネットワーク理論を使って数理学的に雑誌を評価しています。
つまり、良い雑誌から引用されている雑誌が評価が高くなるということで、過去3年間で評価をしています。
SCImago Journal Rank (SJR)はここから調べることができます。
オルトメトリクス
オルトメトリクスとは
「Alternative (代替の)」+「Metrics (指標)」の二語を合わせた造語です。
最近では論文を投稿する際にTwitterアカウントを入力する項目があったりしますね。
今の時代はインターネット上のSNSやブログなどのソーシャルメディアの影響を無視することはできず、学術領域の論文も例外ではなくなってきています。
オルトメトリクスはこれらのソーシャルメディアなどの反応や影響を測定して、新しい研究がどれだけ世界に影響を及ぼしたかを評価する指標です。
オルトメトリクスの代表として「Altmetric」と「PlumX metrics」を紹介します。
Altmetric
雑誌のホームページで、次のようなカラフルな輪を見たことがないでしょうか？
これはAltmetric(オルトメトリック)という指標です。
輪の中の数値が高いほど影響力が高いと評価されている論文になります。
それぞれの色には次のような意味があり、それぞれの反応を数値化しています。
PlumX metrics
PlumX metricsとは
5 つのカテゴリーの指標について、影響度を円の大きさで表すことによって 論文の影響度を視覚的に確認することを可能にした指標です。
オレンジが「Citations」で引用数を表します。
黄緑が「Usage」で、ダウンロード数、図書館の蔵書数、学会での講演動画の閲覧数を表します。
紫が「Captures」で、ブックマークへの保存数、ソーシャルブックマークでの共有数、Mendeleyなどの文献管理ソフトへの保存数を表します。
黄色が「Mentions」で、アマゾンやGoodreadsでのレビュー数、ウィキペディアでのリンク数を表します。
青が「Social media」でツイッターやブログ、Google Plus、Facebookで評価された数を表します。
インパクトファクターなどの従来型の指標とインターネット上の反応などを合わせた新しい指標だと思います。
この5つの円は影響度が大きくなるに従って、このように成長していきます。
その他の指標
その他の指標として、「m-index」、「g-index」、「s-index」、「IQp」
など色々な指標がありますが、いまのところはメジャーでないですので、今回は割愛します。
まとめと意見
研究者を評価する様々な指標について解説しました。
このような指標は、数値として表すことができるので非常に分かりやすいです。その分かり易さゆえに、研究者の承認欲求を満たすための道具になってしまっていることは否めません。
私が知っている人の中には、机の前に自分の出した論文のインパクトファクターの表を書いており、それを眺めて喜んでいるような人もいました。
このように論文や研究者を数値化してしまうと、インパクトファクターの高い雑誌に論文を出すことが目的化してしまい、科学の本質を見失ってしまいます。
特に科学の真髄を見極めた方たちにとっては、これらの指標は本当に愚かなシステムだと思われているようでして、ノーベル賞受賞者の本庶佑先生や大隅良典先生はインパクトファクターを酷評されています。
インパクトファクターなるものを作った某社がありまして、これは極めて良くない
トムソンロイター社には直接申し上げたこともあります
論文の中身が分からない人が使うんですね
未だにそれを使われているということは、ほとんどの人が論文の価値を分かっていないということを意味しているこういう習慣をやめなければいけない
https://ja.wikipedia.org/wiki/インパクトファクター
若手は論文の数や、雑誌のインパクトファクターで研究テーマを選ぶようになってしまった。自分の好奇心ではなく、次のポジションを確保するための研究だ。自分の軸を持てないと研究者が客観指標に依存することになる。だが論文数などで新しい研究を評価できる訳ではない。
例えば一流とされる科学雑誌もつまる所、週刊誌の一つだ。センセーショナルな記事を好み、結果として間違った論文も多く掲載される。彼らにとって我々がオートファジーやその関連遺伝子『ＡＴＧ』のメカニズムを研究していることは当たり前だ。その機構を一つ一つ解明するよりも、ＡＴＧが他の生命現象に関与していたり、ＡＴＧの関与しないオートファジーがあるという研究の方が驚きをもって紹介される。研究者にとってインパクトファクターの高い雑誌に論文を掲載することが研究の目的になってしまえばそれはもう科学ではないだろう。
視野の狭い研究者ほど客観指標に依存する。日本の研究者は日々忙しく異分野の論文を読み込む余裕を失っている面もある。だが異分野の研究を評価する能力が低くては、他の研究を追い掛けることはできても、新しい分野を拓いていけるだろうか。研究者は科学全体を見渡す能力を培わないとダメになる。
本来、一人の研究者が年間に10本も論文を書くことはおかしなことだ。３年に１本良い論文を出していれば十分良い研究ができている。また科学者は楽しい職業だと示せる人が増えないといけない。
https://ja.wikipedia.org/wiki/インパクトファクター
全く仰る通りなのですが、私はこれらの指標は完全否定するわけではなく、ある場面では必要なのではないのかなという立場です。
研究が面白くて研究をやっているのですが、満足のいくような研究をするためにはどうしてもお金が必要になってきます。
近年では大学の運営費交付金が削減されて、競争的資金への配分を増やされてきておりますので、
研究をするためには何とかしてでも競争的資金を獲得しないといけません。
じゃあどうやって優劣をつけて評価するのか、どこの馬の骨とも分からない人に多額の研究費をあげることはできない訳です。
そのような場合には、数値で定量化することができる客観的な指標が必要であることは間違いないはずです。
これらの指標は賛否両論がありますが、長所と短所を知った上で上手く使っていくのが良いのではないかと思っています。
コメント