27 июля 2015 года рейтинговое агентство QS сообщило об изменениях в подсчете баллов университетов, которые касаются двух параметров: академической репутации и цитирования НПР. Вкратце, суть изменений по академической репутации сводится к расширению периода усреднения результатов опросов НПР по всему миру до 5-ти лет вместо предыдущих 3-х (пояснения в блоге Бена Соутера).
С подсчетом числа цитирований все гораздо сложнее, так как с этого года вводится весовая шкала для пяти укрупненных направлений, т.е. цитирования в Art&Humanities «весят» в несколько десятков раз больше, чем цитирования в медицине. Решение спорное, выбор самого индикатора – цитирований, - для оценки гуманитарных наук вряд ли представляется обоснованным. Технически предложенное решение пока выглядит как усиление в 40 раз белого шума от гуманитарных цитирований. Также введены весовые коэффициенты по странам, смысл которых также не до конца понятен, и исключены статьи, содержащие в списке аффиляций более 10 организаций. Ниже приведенные выдержки пояснений от QS иллюстрируют процедуру расчета.
Очевидно, что без знания поправочных коэффициентов самостоятельная оценка вузами параметра «цитирования на НПР» становится невозможной. Ранее QS не публиковало данные, необходимые для самостоятельной проверки расчетов рейтинговых параметров, и вряд ли следует ожидать изменения этой политики. Таким образом, последний из независимо определяемых по открытым источников параметр оценки эффективности вузов стал практически закрыт для анализа.
Учитывая, что оба измененных параметра теперь усредняются по периоду 5 лет, можно ожидать волатильности, связанной именно с введенными изменениями. Действительно, усредненное по вузам топ-400 абсолютное изменение их позиции по сравнению с предыдущим годом увеличилось в 2015-2016 году почти в два раза (Рис. 1).
Рис. 1. Среднее абсолютное изменение позиции в рейтинге по сравнению с предыдущим годом для вузов топ-400 рейтинга QS WUR.
Детальный анализ по параметрам рейтинга демонстрирует достаточно очевидный вывод – увеличение периода усреднения опросов по академической репутации не приводит к росту волатильности, в то время как пертурбации в подсчете цитирований сильно влияют на этот параметр (Рис. 2).
Рис. 2. Среднегодовое абсолютное изменение параметров в рейтинга QS WUR. AR – академическая репутация, ER – репутация у работодателей, FS – отношение преподаватели – студенты, CF – цитирования на НПР, IF – иностранные преподаватели, IS – иностранные студенты.
В числе выигравших от введения новой методики находятся университеты технологического и гуманитарного профиля
В числе проигравших, как и следовало ожидать, медицинские школы, а также естественно-научные университеты.
Среди стран, наиболее выигравших от нововведения – Индия, Сингапур, Китай, Гонконг, Южная Африка, Новая Зеландия, Малайзия. Среди прогиравших – Норвегия, Италия, Швейцария, США, Франция. Для России в целом нововведение по цитированиям было практически нейтральным по двум причинам. Во-первых, этот показатель у Российских университетов традиционно на низком уровне. Во-вторых, данные по цитированиям для большинства российских вузов недоступны, т.к QS не публикует детальные параметры для вузов ниже топ-400.
Для НГУ и МИФИ новая методика ухудшает ситуацию, т.к. существенный вклад в цитирования этих вузов давали работы, выполненные крупными международными коллективами в области физики элементарных частиц, генетики и археологии. Значительно улучшили свои позиции в предметных рейтигах ВШЭ и КФУ, а также СПбГУ.
Стоит ли относиться к этим изменениям, как к направленному сдвигу приоритетов агентства в область технологий и гуманитарных наук от медицины и фундаментальных исследований, или это неожиданный побочный результат?
.jpg "Ученый НГУ наблюдал полное солнечное затмение в штате Индиана")