世界的な大学ランキングの評価指標を眺めよう　その5　Leiden Ranking編

Leiden Ranking は2008年からライデン大学のCenter for Science and Technology Studies (CWTS)によって提供・公開されている。
分野差を考慮した研究機関のインパクトによる研究評価が目的。

世界の約1000大学にリストアップした後、トップ500機関が公表される（人文科学は対象外）。
2010年からインターネット上でアップデートしており、最新版も2013年の4月17日に公開予定。

分析対象となるデータソースはWeb of Scienceにインデクシングされた
ドキュメントタイプが「article」,「letter」,「review」の文献。


いわゆる「計量書誌学（ビブリオメトリクス）」といわれる学問分野の手法を
きっちり用いた感じの指標群です。コテコテです。




2011/2012の指標はそれまでのものと異なっており、大きくわけて２系統の指標が扱われています。



インパクト指標

• P
• 各大学の論文数
• MCS
• 各大学の１文献あたりの平均被引用数
• MNCS
• 分野、出版年、ドキュメントタイプの補正をかけたMCS
• ※引用する回数・される回数は分野、ドキュメントタイプなどで異なるため補正をかけている
• PPtop10%
• 各大学における、世界のトップ10％以内にランクされる高被引用論文を出版している割合。分野、出版年、ドキュメントタイプ補正をかけた。

コラボレーション指標

• PPcollab
• 一つ以上の他機関とコラボした論文の割合
• PPint collab
• 一つ以上の他国とコラボした論文の割合
• MGCD
• 各大学における、論文ごとの所属機関距離（著者所属機関のうち地理的にもっとも遠い二地点の距離）の平均を計算。
• 地理データはどこからとってきているのかよくわからない。
• 遠ければ遠いほどワールドワイドな交流をしていると考えられる指標
• PP>1000km
• 各大学において1000km以上離れた共著を行っている論文の割合

また、論文はフルカウントと分数カウント(fractional count)の二つの数え方が選べるようになっています。
分数カウントとは、５人の著者が１本の論文を書き、そのうちA大学の著者が２人いる場合、
A大学がこの論文から得る得点は　2/5 = 0.4　とする数え方。
フルカウントの場合はそのような『案分』という方法をとりません。



それと、他の大学ランキングと異なり
指標に重みづけを行って合成したランキングは作りません。潔いね。



追加で具体的な方法が見たければ以下の解説論文を読むように案内があります。

The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation (arXiv)

関係ないことばかりやっているので本人も忘れがちですが
本来僕はこの畑の生き物なので読みました。


文献からを補足するとこんな感じ。

• 大学病院の研究員は病院名を書くけど大学の肩書きを書かない場合もあり、正確にカウントしきれないかもしれない。著者が明示していない場合でも大学病院は大学に含めている。
• 2005-2009の500大学（世界トップレベル）のデータだと、3200本から61600本までの論文を生産した大学があり、平均すると1大学あたり9000論文、中央値でも6900論文生産していることになる。これはWeb of Scienceの61.3％にあたるそうだ。
• letterは１/4点にしてカウント
• 対象大学（論文数が多い大学）として中韓の組織が増えている
• MCSとMNCSは相関がある（r = 0.84）。あまり変わらない場合もあるが、分野による補正をするMNCSでランクが変わる場合もある。
• MNCSとPP10％で自己引用をのぞかずに計算してみたら、多くの大学は自己引用を無視できることが分かった
• PP10%を5%と20%にした場合もあまり変わらない。
• データ対象がどうしても英語に偏りがちになる所が問題かもしれない。

MNCSで第２位のゲッチンゲン大学は、
極端な高被引用論文によって上位にきているため、
Stability Interval（安定性区間）の幅が広い（ランキングを表示したときに横に広がる棒が長い）。
棒はとりうる誤差みたいなもので、
安定してよく引用される論文が多い大学ではこの区間の棒が短い。

長ければ「今の位置にいるのはマグレでは？」って話になるということです。
統計の信頼区間と同じようなもの。


東大の順位もなかなか面白くて、
Pでは世界第4位なのに、MCSでは211位、MNCSでは296位になります。

世界で5本の指に入るほど論文を生産するけれど、
引用される度合いでいえばそこまでではないということですね。

MNCS（分野差、ドキュメントタイプ差、出版年の差を補正した一本当たりの平均被引用数）でも300位くらいで、値も1.02だから、「対象となっている大学としては、ごく平均的な値」という解釈になるしなぁ。


「なぜ引用されないのか」というのは極めて難しい問題。

少なくとも今回の場合はWeb of Scienceのデータが対象なので、
Impact factorがつくような注目度の高い収録対象誌がデータソースだから、
「論文を大量に生産するけど誰も見ないところでひっそり公開した」というわけではないと思うし。

なんだろうなぁ。興味深いなぁ。


あとはコラボ指標の類は軒並みヨーロッパの大学がランク上位を占めていて笑う。
陸続き国家の方が有利なんじゃないのかなぁ。
そのあたりをじっくり眺めたら楽しいだろうか。よし暇な時にやって遊ぼう。