2013年2月17日日曜日

世界的な大学ランキングの評価指標を眺めよう その2 ARWU編

今回は2003年から行われているShanghai Ranking Consultancyの
Academic Ranking of World Universities、通称 ARWU (または上海ランキング)です。

世界1200以上の大学を対象に
指標を基にしたスコアを算出してランキングをつけたのち以下のように公開。
  • 世界のトップ500大学
  • 5領域(FIELD)の各トップ200大学
    • 自然科学と数学
    • 工学と科学技術、コンピュータサイエンス
    • ライフサイエンスと農学
    • 臨床医学と薬学
    • 社会科学
  • 5分野(SUBJECT)の各トップ200大学
    • 数学
    • 物理
    • 化学
    • コンピュータサイエンス
    • 経済とビジネス

(正しい訳を考えると悩む。フィールド=領域、サブジェクト=分野、くらいの感覚でいるんだけどどうなんだろう?)


世界的な大学ランキングを探すとだいたいいつも一番最初に出てくるので
注目度はNo.1なのではなかろうかと思います。



さて、それでは方法を眺めていきましょう。

まずトップ500と、各領域、分野のランキングでは
スコアの計算方法が異なることには注意が必要。

トップ500の場合はこんな感じ。

訳は全体的にWikipediaから拝借しつつ、
公開されいているメソッドとEUAのGLOBAL UNIVERSITY RANKINGS AND THEIR IMPACT(※PDF)というレポートに記述されていた内容もあわせて書いてみました
  • 受賞卒業生の数 [Alumni: 10%]
    • ノーベル賞もしくはフィールズ賞を受賞した卒業生数
    • 受賞者の卒業した年によって計算が変わる仕組みになっている。2001-2010であれば1、1991-2000であれば0.91981-1990であれば0.8…という感じ。古い受賞者ほど少ない点数。
  • 受賞スタッフ数 [Award: 20%]
    • ノーベル賞(経済学賞も含む)もしくはフィールズ賞を受賞したスタッフ数(受賞時に当該大学に所属していたスタッフの数)
    • 受賞した年が2011年なら1、2001-2010であれば0.91991-2000であれば0.8…。なお複数の受賞者がいる場合には、賞金額の配分と同じ比率で点数をシェアする。
  • 高被引用研究者数 [HiCi: 20%]
    • トムソンロイターによって定義された21の分野において特によく引用された研究者の数
    • それぞれの分野から250人ずつ。複数の所属がある著者には直接問い合わせる。
    • データはこちらから
  • ネイチャー誌とサイエンス誌に掲載された論文数 [N&S: 20%]
    • 両雑誌に発表された論文の数
    • 過去5年間の"Article"または"Proceedings Paper"が対象
    • コレスポンディングオーサーに1、第1著者(または第1著者所属がコレスポンディングオーサーと同じ場合の第2著者)に0.5、次の著者に0.25、その他には0.1という点数をつける。
    • 人文社会系の場合、N&Sではなく他の指標で置き換えられているらしい。
  • 論文数 [PUB: 20%]
    • 前年、Science Citation Index - ExpandまたはSocial Science Citation Index(論文等を探すための引用索引データベース)に登録された"Article"または"Proceedings Paper"の数
    • SSCIでカウントされる場合は2とする。
  • 規模 [PCP: 10%]
    • 上記5つの指標の総合スコアをフルタイムのスタッフ数で割った数
    • スタッフの数は各国機関(教育や統計の省庁など)から
    • 2005年に名称が変更。それまでは、Size of Institution。

各指標の最終的なスコアは、最高値の大学を100とするように計算されます。
例えば、仮にX大学のN&S352Y大学が398(最高値)だとした場合、X大学のN&Sスコアは352/398*100=88.4となります。
つまり最高値に対する百分率で表示します。
それに各指標の重みを考慮して最終的なスコアを出してランキング。



領域(FIELD)ごとにランクを決める場合の主な違いは以下の通り。
  • 人文科学系は含まない
  • PCPは使わない
  • 工学分野ではAlumni,Awardの指標を使用しない代わりにFundという指標を追加
  • 「"各分野でImpact Factorがトップ20%に入る雑誌"に含まれる論文の割合(指標名:TOP)」が追加。各領域のトップ3大学の10%に満たない論文数しか出ていない大学はTOPを使わず、その分他の指標で代用されるらしい
  • 重みづけの比率が異なる
分野(SUBJECT)ごとにランクを決める場合の主な違いは以下の通り。
  • コンピュータサイエンスと経済分野でチューリング賞が使われる

だいたいこんなところでしょうか。


個人的にはN&Sの部分の数え方がおもしろいです。
この手の分析やる場合には「1論文につき1点になるように案分、複数著者がいる場合でも同じスコアに」というのが標準だと思っているのでそんなやり方をするなんて珍しいなぁと。


あとTOPとかで出てくる指標の再重みづけ(its weight is relocated to other indicators)がどのような仕組みで行われるのかはっきり確認できなかったけれど、
たぶんその指標を含めずに初期状態の重みに応じた増やし方をするんだろう。


今の段階ではランキングをどうしたいわけでもないので細かいことはかまわないのですが
このランキングで衝撃を受けたのは
最新版ではハーバード大学がPCP以外の指標でスコア100(つまり全部1位)だってことですかね。
指標のウェイトなんて大差ないという剛勇無双ぶり。

Alumniは性質上むこう10年そう簡単に覆るものとも思えないし、2位とのスコアに開きが大きい上、HiCi、N&Sでもそこそこ2位以下を引き離しているから将来的な備えもばっちり。

これを覆すには一流とされる大学が合併するぐらいのビッグイベントでもない限り厳しそうだな…。
ケンブリッジとスタンフォードがこれだけのために合併したら笑うのになぁ。


0 件のコメント:

コメントを投稿