本来、指標やそれに基づくランキングというのはあくまで
「ある観点に基づいた見方とその結果生まれる順位」ですので、
「僕が見たことある大学の中でなんか良いと思ったランキング」などを作っても
評価は評価だしランキングはランキングです。
もちろん 貴様の脳内にしまっておけ！ と言われるでしょう。
もうちょっと高度な理由をつけて否定するとなれば、
- 客観性がない（主観的すぎる）
- 評価指標が不透明で再現性がない（評価する軸が謎。誰がやっても同じになるわけでもない。さては気分か。）
- 評価対象が不明（どこの大学がエントリされるのかわからない）
- 評価対象が少ない（一人で見られる数なんてたかが知れてる）
- 有用性がない（使いどころがない）
多くのランキングはそのような問題をクリアしていますが、
ランキングの有効性を視野に入れて使いこなすためには
やはり指標を一段掘り下げ、対象データの特徴を抑え、傾向を掴む必要があると思います。
そもそも世界にある高等教育機関の数はいつくあるかご存知でしょうか？
約17，000だそうです（シリーズ第一回に書いたEUAのレポートによると）。
トップ500だ、トップ50だ、トップ5だとやってますが、
比率だけ考えればそれぞれ
クラスNo.1だ、学年No.1だ、10年に一人の逸材だ、ってことでしょうか。
そもそもエントリされただけですごいことなんですね。
そこはしっかりおさえなければいけません。
大多数の大学はランキングにエントリもされてないわけですし。
現実的に全ての組織を対象に分析を行うのは
とても骨が折れるから無理でも仕方がないとは思いますが（たぶん下位の方は差がないし）、
それでも「世界は広いからランキングに載らなくても仕方ない」と言えないのは
やはり"学術的"な世界の指標だからかもしれません。
アカデミックの業界は標準が「対世界」なところありますものね（人文系はちょっと違うけど）。
そして指標を大雑把に分けると
学術系：論文数、被引用数、h-indexなど
評判系：同業者からの評判、学生・教員からの評判など
ステータス系：学生数、教員数、助成金数、博士取得者数など
使われておりましたが、
それぞれの指標にもバイアスや定義の違いによる微妙な差があると
されている所には注意が必要です。
たとえば、論文生産数や被引用数の場合、
カウントするデータベースを何にするか、
分野、言語・地域的な対象範囲、対象年などの要素をどう設定するかが数字に影響してきます。
だからこそ「分野の平均的な数で割って標準化した」とか
「自己引用（自分で自分の論文を引用する）を除いて数えた」とか書いてあったりするわけです。
このあたりの要素も暇を持て余したらまとめてみるかなぁ。
さて
いろいろ含めて考えると、
完璧で唯一のランキングなど作れるはずがないことになりますが、いろいろ含めて考えると、
どうにもこの「評価」「ランキング」周辺は殺伐としているように感じます。
各種ランキングの類は単純な好奇心を満たすためのものではなく、
助成金、学生の獲得、国際的な競争力など
限られた資源を奪い合ったり効果を確認したりという経営戦略に使われるので
低く評価された団体や個人から不満が出たりとか、
うちの組織はこのままじゃいかんとかなるわけです。
ランキングが公表されると世間からの評判に影響するというのも問題でしょう。
それを考えると評価方法に合わせて行動を変えるのは当然だし、
ビジネス的にはここにコンサルティングのチャンスがあることもわかったものの、
一方で、指標にあわせて行動を変えた後に生まれる結果は、
本来出るべき結果といえるのか？ 指標はある側面から見た本質を見る道具ではなかったか？
人為的な操作をされた後につけられるランキングの信頼性はあると言えるのか？
という疑問も湧いたりします。
難しい問題です。真理を探る道具なのか、応用するための道具なのか。興味は尽きません。
まあ、そのあたりは考えてもしょうがない気がするし、
できるかぎり指標やデータや傾向の特徴をおさえたランキングの使い方を
これからも考えていきたいものですね。
0 件のコメント:
コメントを投稿