Сравнительный анализ THE World Reputation - 2016

Вчера был опубликован репутационный рейтинг университетов от агентства THE, в котором в топ-100 вошли три российских вуза, причем МФТИ вошел впервые. С чем коллег и поздравляем!

Теперь посмотрим на цифры. Рейтинг складывается их двух составляющих: репутации образовательной (teaching) и исследовательской (research). Причем обе репутации великолепно коррелируют между собой с коэффициентом R2 = 0.97.



Видимо, респонденты не делают большого различия между этими репутациями, заполняя анкеты. Кстати, только 8 вузов смогли набрать более 30 баллов по любому из видов репутации. Т.е. разрыв между суперлидерами и основной массой топ-100 в репутационном плане очень велик.

THE указывает, что "This is the sixth annual list of the world’s 100 most prestigious universities, as voted for by more than 10,000 senior academics from across the world." Если каждый из опрошенных мог дать свой голос в пользу 10 университетов, то суммарно получается около 100000 голосов. Оценим количество голосов на балл в рейтинге, исходя из предположения о прямой пропорциональности между баллами и голосами, а также сделаем допущение, что можно было выбирать только среди топ-100 вузов, т.е. все 100000 мнений распределились только между 100 вузами. Интеграл по баллам университетов топ-100 получим, экстраполируя неизвестные значения для вузов в диапазоне 52-100 степенной функцией.



Интеграл составляет примерно 1400, что в указанных приближениях дает около 70 анкет на балл. Таким образом, вузы на позициях 40-50 со средним баллом около 7 могли получить около 500 голосов каждый. А вузы в конце первой сотни с оценочным баллом около трех - примерно 200 голосов каждый. Относительная погрешность выборки для этих вузов по порядку величины составляет \Delta = 1/sqrt\[200]≈0.07 . Приведенный анализ показывает,что результаты в конце первой сотни не совсем достоверны, и это правильно учитывается рейтингом THE в виде указания диапазона мест во второй полусотне рейтинга вместо точного положения. Не умаляя заслуг наших университетов, которые туда смогли попасть в этом году, подчеркнем возможность и для других вузов повторить этот блестящий результат при наличии целенаправленной PR компании.

Складывается впечатление, что рейтинг THE World Reputation Rankings в первую очередь измеряет "бренд" университета как интегральную характеристику. С учетом погрешности по выборке порядок во второй половине репутационного рейтинга не столь важен, как сам факт присутствия в топ-100 лучших университетских брендов.

Сравним, насколько бренд университета соответствует текущей научной репутации его сотрудников, которую учитывают редакторы и рецензенты ведущих научных журналов, принимая статьи к публикации. Научную репутацию сотрудников организации можно оценить, используя рейтинг R3. Методика рейтинга состоит в суммировании отношения импакт/количество аффилиаций для 100 топовых публикаций от организации в заданный год. Суть рейтинга R3 точно отражает механизм принятия публикаций в печать в рецензируемых журналах, когда рецензенты и редакторы ориентируются как на новизну и ценность публикации, так и на текущую репутацию исследователей, представивших результаты. Особенно это верно в части обзорных статей, где количество соавторов мало и которые часто пишутся по заказу редакций признанными специалистами в своей научной области.

Можно сказать, что корреляция между баллами R3 и репутационными баллами THE отсутствует.



Скорее всего, анализ репутации методом опроса делает больший акцент на уже сформировавшиеся бренды, которые в текущий момент могут находиться по тем или иным причинам не в лучшей публикационной форме. В первую очередь низкие баллы по исследовательской репутации R3 имеют российские и, особенно, французские вузы, вошедшие в топ-100 репутационного рейтинга THE.