Математики из трех крупных институтов подготовили доклад, в котором подвергли сомнению релевантность существующего способа оценки научных работ, основанного на их цитируемости. С докладом можно ознакомиться здесь. На сайте Международного совета по промышленной и прикладной математике (International Council on Industrial and Applied Mathematics) представлено его краткое содержание.
Доклад был подготовлен Комитетом по количественной оценке исследований, в который входили представители Международного союза математиков (International Mathematical Union), Международного совета по промышленной и прикладной математике, а также Института математической статистики (Institute of Mathematical Statistics).
В настоящее время общепринятыми оценками научных работ и деятельности ученых являются импакт-фактор и индекс Хирша. Импакт-фактор колеблется от долей единицы до 50 и рассчитывается на основании статистических данных о цитируемости публикаций за трехлетний период в определенных изданиях. Индекс Хирша зависит от количества написанных исследователем работ и количества ссылок на них. Формально определение индекса Хирша звучит так: ученый имеет индекс h, если h из его N статей цитируются как минимум h раз каждая, в то время как оставшиеся (N — h) статей цитируются не более чем h раз каждая.
Авторы доклада указывают, что одной из основных причин применения импакт-фактор и индекса Хирша является уверенность в их точности, объективности и простоте. Однако в результате своего исследования математики выявили, что зачастую эти критерии используются неправильно. Авторы доклада подчеркнули следующее: во-первых, статистика не является точным методом оценки при ее неправильном использовании. Во-вторых, объективность использования индекса цитирования для оценки научных публикаций является условной, так как многие не до конца понимают термин "цитирование". Во многих случаях цитирование не аналогично импакт-фактору. В-третьих, желание иметь одно число как простой критерий оценки, не оправдано для научных публикаций. Сложные исследовательские работы трудно оценить, используя такой подход "в лоб". Он может повредить развитию науки в целом.
Математики также указывают, что, по их мнению, импакт-фактор является слишком грубой и усредненной оценкой научных публикаций. В частности, импакт-фактор журнала не является однозначным показателем того, насколько ценна опубликованная в нем статья. В настоящее время это является негласным правилом.
Таким образом, оценка научных работ только на основании их цитирования, по мнению авторов доклада, является неполной. Они считают, что для решения этой задачи необходимо разработать новый, более адекватный подход.