"или там - или там"

[noyau]

"-Спереди всё в себя. Сзади подберитесь.
- как же так? или там - или там!
- Говорю же - всё в себя!" (Служебный роман)
Граждане пошумели и порадовались, когда оказалось, что в 2009 году СПбГУ попал в список 200 лучших университетов мира, скакнув с 224 на 168 место. Приятно, но непонятно. Что поменялось настолько, чтобы так скакнуть?
Посмотрим на параметры "лучшизма." Их шесть.
1 Оценка университета работающими/обучаюшимися в нем,
2 Оценка работодателей (или степень их удовлетворения качеством выпускников),
3 Отношение преподатель/студент (чем ближе к индивидуальному обучению, тем лучше)
4 Количество цитирований на душу сотрудника
5 Количество приглашенных международных специалистов
6 Количество иностранных студентов, обучающихся в вузе.
И чтобы попасть в рейтинг, нужно, чтобы значения этих параметров были около пятидесяти или выше. Я не вполне понимаю, как вычисляются некоторые из этих параметров, но идея ясна.
Итак, (1) у СПбГУ равно 63. Разумно. Большой ВУЗ, большой город, традиции и все дела.
(2) = 60. Эээ. Позволю себе интерпретацию в таком духе - работадатель доволен шестью из десяти выпускников. Ну вроде как тоже нормально.
(3) = 95 !!! Вот он, ключ к высокому рейтингу. Много преподавателей и мало студентов. Это параметр особенно помог нарастить прием последнего года, который впервые проводился по ЕГЭ и новым правилам и закончился с невиданным доселе недобором. Вот вам и невиданный скачок. А если вообще студентов не зачислять, то и на первое место можно выйти.
(4)= 21 А вот тут задница. такое низкое значение цитирования, а значит и признанности работ университета, в рейтинге встречается только у двух вузов: Национального автономного университета Мексики и университета Малазии. Оба ниже по рейтингу.
(5)= 16 Это, вроде как и нормально. По-прежнему этот параметр ниже только у двух университетов - университета Дели и университета Афин. Одинаковый рейтинг с университетом Бомбея. Но все-таки тут не все так однозначно, разброс очень большой и число это по-видимому, здорово зависит от специфики университета. Станфордский университет может похвастаться числом 25.
(6) = 20 Жить можно. У университетов Израиля, Китая и Индии это число меньше.
Посему предрекаю: когда способ поступления по ЕГЭ будет более отлажен, и университет натянет набор до своего нормального уровня, рейтинг упадет за счет параметра (2). Сокращение преподавателей, и их естественная убыль с закрытиями ставок усилят уменьшение. правда, уменьшение числа сотрудников теоретически может привести к росту параметра удельного цитирования, но активизация экспортной комиссии повлияет на параметры 4, 5 и 6 в сторону уменьшения. И рейтинг тоже сползет. Такие дела. Или там - или там.


Update: lanrusa доказал в комментариях, что я дура, мои выводы неверны, а рейтинг фуфло. так что можно не читать а пролистывать дальше. Спасибо за прививку от задирания носа.

Comments

[g-gor.livejournal.com]

Отличный пост! А то кричать про рейтинги и места все так любят - первый раз читаю что-либо по сути на эту тему!

[noyau.livejournal.com]

Ну, это такая интерпретация. :-)
а про рейтинги надо как раз усиленно кричать в этом году, чтобы на следующие годы осталось приятное послевкусие.

[lanrusa.livejournal.com]

То, как расставляли университеты (мой вольный перевод

[Error: Irreparable invalid markup ('<a [...] ”>') in entry. Owner must fix manually. Raw contents below.]

То, как расставляли университеты (мой вольный перевод <a href=” http://www.timeshighereducation.co.uk/story.asp?storycode=408562 ”>этого материала</a>)
Чтобы судить о качестве исследований, мы рассматривали цитирование – сколько раз цитировались опубликованные академические работы.
Мы рассчитывали этот элемент, приносящий 20 процентов полных очков, взяв полное количество цитирований всех работ, опубликованных институтом, и затем делили это число на количество эквивалент работников, работающих на полную ставку (<i>если я правильно понял это</i>). Это дает представление о плотности качества исследований в кампусе.
Наше представление об качестве преподавания есть просто измерение отношения штата служащих к количеству студентов. Это не совершенно, но оно базируется на данных, которые могут быть собраны для всех институтов, часто через национальные организации, и честно сравниваются. Мы предполагаем, что это говорит нам что-то выразительное о качестве студенческого опыта. На более простом уровне, это, по крайней мере, дает на представление имеет ли институт достаточное количество преподавателей, чтобы дать студентам внимание, которое они требуют. Эта величина дает 20 процентов в общую копилку.
Чтобы получить представление об международном статусе института мы измеряли пропорцию иностранного персонала, работающего в университете (дает 5 процентов в общее количество очков) и пропорцию иностранных студентов, которых он привлек. Это дает впечатление насколько институт привлекателен в мире, и говорит насколько институт включен в глобализацию.
Оставшиеся 50 процентов состоят из качественных данных из опросов информированных людей – университетских сотрудников и нанимателей выпускников.
Фундаментальный принцип этой классификации, как мы и говорили в предыдущие годы, - университетские сотрудники знают лучше, когда дело доходит до определения лучших институтов.
Таким образом, наибольшая часть классификационных очков – 40 процентов – основана на результатах экспертной оценки университетских сотрудников. Мы обратились к университетским сотрудникам во всем мире, от лекторов до президентов университетов, и попросили их назвать до 30 институтов, которые они считают лучшими в мире в своей области.
Были обработаны ответы последних трех лет, хотя брался только самый последний ответ от того, кто участвовал в опросах более чем один раз. Для таблиц 2009 года, мы использовали ответы 9 386 человек. Так, как каждый номинировал в среднем 13 институтов, то означает, что мы использовали около 120 000 пунктов данных.
Классификация также включает в себя результаты опросов 3 281 основных работодателей выпускников, дающее 10 процентов общего результата.

<a href=” http://www.timeshighereducation.co.uk/story.asp?storycode=407247”>Здесь</a> говорится, как данные переводились в очки. А именно:
Результаты, полученные каждым институтом во всех измерениях были проградуированы используя <a href=”http://en.wikipedia.org/wiki/Z-score”>Z-score</a>, с высшей оценкой 100, чтобы сделать таблицу более читаемой.
(Как я понимаю 100 – это лучше всех, 50 – это средний результат)

[noyau.livejournal.com]

Ну, все сходится. :-)

[noyau.livejournal.com]

Кстати, то что цитирование такое низкое, а сотрудников так много, может означать что печатается, опять-таки один из пяти.

[lanrusa.livejournal.com]

А откуда взялась цифра 1 из пяти?

[noyau.livejournal.com]

приблизительно с потолка. 20% от 100%

[lanrusa.livejournal.com]

Не, цифра 20, означает, что среди всех университетов довольно мало с такой плохой цитируемостью. Количество цитат оно характеризует весьма опосредовано.

[noyau.livejournal.com]

подожди. Количество цитирований делим на количество сотрудников. Получаем число. Находим университет с самым большим индексом цитирования. Применяем scaling procedure и из числа, например, 2 (две статьи на нос за год) получаем 100%. Тогда в том университете, где цитируемость после масштабирования равна 20% значит, что из 5 сотрудников только один осиливает 2 статьи в год. как-то так. И мне не кажется это нереальным.

[lanrusa.livejournal.com]

Нет.
Во-первых, они берут не количество написанных статей, а статей процитированных.
Во-вторых, после деления на количество сотрудников (наверное, включая уборщиц и разведчиков) получают число.
В третьих, строят распределение числа университетов с данным числом от этого числа.
В четвертых, The standard score is

z = \frac{x - \mu}{\sigma},

where:

x is a raw score to be standardized;
μ is the mean of the population;
σ is the standard deviation of the population

И далее, каким-то образом (я не понял каким) переводят так, что лучший университет получает 100 баллов (а вовсе не процентов)

[noyau.livejournal.com]

тут ты прав, путать статьи и цитирования - это уж с моей стороны совсем глупо.

Однако если я скажу что из пяти сотрудников факультета только на статьи одного появляется цитирование, то мне не кажется, что я попаду совсем уж в молоко.

[lanrusa.livejournal.com]

год peer empl. staff/ citat. int. int. tot. rank
rev rev. stud staff stud. score

2009 78 70 36 37 76 44 60.0 155
2008 80 72 39 31 17 25 56.9 183
2007 231
2006 42 28 30 3 1 7 37.0 93
2005 42 3 11 3 10 7 30.7 79


Это положение московского университета в этом рейтинге. Первое, что видно: раньше с меньшим количеством очком можно было занимать лучшие места. Второе: в последние годы ему стали больше давать очков от peer review и от работадателей (а это 50% полных очков). Третье увеличилось количество очков за цитируемость.

Приеду еще одни цифры в 2009 году в опросе приняло участие 9386 ученых и 3281 работадателей, в 2008 году 6354 ученых и 2399 работадателей. К сожалению, не имею данных по предыдущим годам, но думаю тенденция сохранилась.

Мое объяснение этих цифр: думаю, что 2008 году scopus (на котором основана цитируемость) стал учитывать большое количество российских журналов, что привело к увеличению этой цифры в 10! раз (это, конечно, не значит, что в 10 раз увеличилось количество ссылок, причем в любую сторону: может и в более количество раз, а может и в меньше)

Остальное, на мой взгляд, объясняется тем, что увеличивается территория охвата ученых и работодателей и растет их число. Думаю, что в 2008 и в 2009 много добавилось из России, что и привело к обсуждаемым результатам.

[noyau.livejournal.com]

Скопус был запущен в 2004 году и на приличные мощности вышел не сразу. Кстати, цитирование можно отслеживать web of science и sciFinder, так что вопрос чем считают.
Поэтому цирирование у всех, я думаю, подросло. И не исключено что именно в районе 2007 года и еще будет нарастать по мере того, как проиндексируют журналы 20 века.

Я тоже смотрела на московский университет, и что мне понравилось в их рейтинге - это более плавное распределение, без скачков.

[lanrusa.livejournal.com]

в 2008 или 2009 они смотрели в Scopus (как написано на сайте).

А про распределение, я чего-то не очень понял...

[noyau.livejournal.com]

в рейтинге МГУ нет параметров, с разницей в 95-16 = 79

[lanrusa.livejournal.com]

По поводу ключа к высокому рейтингу. Как я понял, он выбирается по всему штату сотрудников от ректора до уборщицы (хотя и не факт). Так, что его падение Санкт-Петербургскому государственному университету не грозит. На место каждого умершего преподавателя придет новый бухгалтер или сотрудник разведки :)

[noyau.livejournal.com]

Короче, ты опять всем доволен, я посмотрю.

Про сотрудников разведки верю. И, опять таки не забывай, что можно брать меньше студентов, тогда второй параметр можно дотянуть до 100%. При этом легче держать штат из сотрудников разведки - все равно никого учить не надо.

[lanrusa.livejournal.com]

Мне этот рейтинг, после того как я понял как он получается (спасибо твоему посту), вообще, сделался фиолетовым.

Цифра 100, кстати, значит, что этот параметр самый высокий.

[noyau.livejournal.com]

все-таки если всмотрется в цифры, представление-то некоторое складывается. И, в общем, правду он содержит.

[lanrusa.livejournal.com]

Кстати. "1 Оценка университета работающими/обучаюшимися в нем" это не верно. Это число отражает как много опрошенных людей (со всего мира) назвало конкретный университет в качестве лучшего в их области. Возможно, такая большая цифра связана с восточным факультетом, ну и тем, что стало (как мне кажется) довольно много опрашиваемых людей из России.

[lanrusa.livejournal.com]

(2) = 60. Эээ. Позволю себе интерпретацию в таком духе - работадатель доволен шестью из десяти выпускников. Ну вроде как тоже нормально.

Это тоже ерунда.

[noyau.livejournal.com]

Это свободная интерпретация. Моя личная.
Можно зайти иначе (если бы я прочитала правила, которые ты любезно перевел): из всех опрошенных, 60% упомянули СПбГУ как лучшимий в мире в своей области. А 40% не упомянули, потому что у них были проблемы с людьми/выпускниками/работами из этого университета.
Получается, что в 60 % люди довольны, а в 40% - нет.

[lanrusa.livejournal.com]

Нет, по крайней мере, по тому из того, что я понял,
На мой взгляд, это означает, что количество работадателей, которые говорили, что университет готовит лучшие для них кадры чуть больше (если я правильно понимаю, что 50 - это среднее значение) чем в среднем для других институтов.

Опять же, скорее это связано с тем, что много людей из России.
Скажем ты, руководитель какой-нибудь фирмы в Питере. К тебе приходят с вопросом: кто готовит лучшие кадры для вашей фирмы? Неужели ты скажешь, что какой-нибудь University of Chicago? Да ты их в глаза не видела этих выпускников. Естественно это будет какой-нибудь СПбГУ или техноложка или что-то гораздо более близкое к России...

[noyau.livejournal.com]

знаешь, я поняла иначе. даже из твоих переводов. Но что-то я утомилась с тобой бодаться. Непонятно, причем что мы тут доказываем.

[lanrusa.livejournal.com]

В общем, рейтинг - фуфло. Самое правильное в нем это оценка цитируемости (дает всего 20%). Второе, по правильности - это количество иностранных сотрудников и иностранных студентов (по 5%). А остальное просто какая-то ерунда: 1,2 - просто субъективные оценки и очень зависит от распределения по странам отвечающих на этот вопрос. 3 - странное число (по причинам, описанным выше).

[noyau.livejournal.com]

вот все-таки нет. Я, конечно, дура, читаю невнимательно и много фантазирую.
Я далека от того, чтобы придавать рейтингу абсолютное значение. НО вот кобинация показателей таки показывает.
по твоим выводам: количество иностранных сотрудников/студентов всегда будет топить НЕ англоязычные страны. См. рейтинг университета Хельсинки. Эти два параметра сильно зависят от распределения по странам. странно что на этом фоне СПбГУ остался с таким низким рейтингом, так как у нас охват по бывшим союзным республикам, которое теперь считаются иностранцами.
Отношение 3 и 4-го параметра показывает, как позиционирует себя позиционирует учебное заведение. Как обучающее или как исследовательское. См. свободный университет Берлина и Хельсинки. Оба - исследовательские.
субьективность 1 и 2 зависит от метода выбора опрашиваемых. тут уж не ты ни я не знаем, каков был алгоритм и опрашивались уборщицы, поэтому я не вижу причин, почему после опроса 9000 человек с погрешностью в 10-20% выделятся какие-то лидеры.