среда, 21 декабря 2011 г.

3. Преимущества постатейной оценки научного труда


Попробуем теперь обосновать, что все детали предлагаемого решения лучше существующей практики. Начнем со способа определения ценности научного труда.
Для начала согласимся, что эта задача не имеет и не может иметь идеального решения. Любой способ оценки в значительной степени субъективен. Значение некоторых работ бывает понятно лишь спустя годы. Поэтому не будем пытаться достичь идеала, а просто сравним имеющееся и предлагаемое.
Предлагаемая схема опирается на два предположения. (1) Что оценка уровня сделанной работы редакцией журнала и приглашенными экспертами не менее точна, чем оценка предполагаемой работы экспертами грантовых комитетов. (2) Что ценность научной статьи пропорциональна количеству ссылок на нее. Попробуем критически рассмотреть эти предположения.
(1) Довольно очевидно, что оценить работу после того, как она сделана, намного легче, чем до, и оценка эта будет более точной. Кроме того, уровень компетентности при оценке статей в журналах в среднем значительно выше, чем при оценке грантовых заявок. При этом, по моему опыту, уровень экспертов РФФИ еще довольно неплох, а вот экспертов Миннауки - непонятно какой, плюс в Миннауки оформление заявки де-факто важнее ее содержания.
Еще один важный аспект: при пост-оплате оценка работы жестко привязана к результату, тогда как в нынешней системе эта связь довольно расслаблена. Сейчас можно пообещать на рубль, а сделать на копейку, можно одной работой отчитаться по нескольким грантам, и часто так и происходит. То есть пост-оплата честнее. Но возможно, как раз это не всем понравится. В ней отсутствует некий элемент социализма, характерный для нынешней системы. Сейчас неудачливый (скажем так) ученый, не дающий приличных публикаций, вполне может продолжать получать гранты. При пост-оплате его жизнь станет труднее. Но разве это не в пределах справедливости? Более серьезную категорию проигравших составят обладатели административного ресурса, которые сейчас получают гораздо больше средств, чем заслуживают своими результатами.
Как дополнительный бонус отметим, что активные ученые не будут отвлекаться на оценку чужих грантовых заявок, что порой тоже требует немалых усилий.

Табличка: Оценку работ гораздо проще и надежнее производить пост-фактум.

Обычная система
Пост-оплатная
Обстоятельства
Работу предстоит сделать, успех не гарантирован
Работа сделана и оформлена
Эксперты
Специалисты в смежных или далеких областях
Специалисты в данной области
Усилия по оценке
Работа оценивается дважды: предварительно и на уровне статьи
Работа оценивается только на уровне статьи
Связь результата и оплаты
Расслабленная
Жесткая

(2) Ценность научной статьи пропорциональна количеству ссылок на нее. Если кто-то сослался на вашу работу, значит, она была полезна, помогла. Чем чаще это происходит, тем более полезна статья. Так что в первом приближении мысль очевидна. Более точные детали - в следующем посте.
Замечу также, что оценка качества статей именно по индексу цитирования (импакт-фактору) журнала фактически уже давно используется различными грантовыми схемами, в том числе наиболее "элитными".

На эту тему:
Б. Штерн. Формальные показатели, их польза, вред и разумное место.

Комментариев нет:

Отправить комментарий