что такое слепое рецензирование

Что такое рецензирование?

Уважаемые коллеги, представляем вашему вниманию небольшой материал о рецензировании, составленный на основе перевода страницы What is peer review? (сайт издательского дома Elsevier, который владеет наукометрической базой Scopus), а также материалов сборника Подготовка и издание научного журнала.

Рецензенты играют центральную роль в научной публикации. Экспертная оценка помогает подтвердить качество научных исследований, установить метод, с помощью которого они могут быть оценены, а также расширить возможности сетевого взаимодействия в исследовательских сообществах. Несмотря на критику, экспертная оценка (рецензирование) по-прежнему остается единственным широко распространенным методом подтверждения научных исследований.

Виды рецензирования

Одностороннее «слепое» рецензирование (Single-blind review)

Имена рецензентов скрыты от автора. Это традиционный метод рецензирования, который принято считать самым общим видом.

Преимущества. Анонимность рецензента позволяет принимать решения, справедливость которых не зависит от влияния автора.

Недостатки. Авторы опасаются, что рецензенты, работающие в той же самой сфере, могут отказаться от предоставления рецензии в целях отложения срока публикации, тем самым получив возможность первыми осуществить публикацию. Рецензенты могут использовать свою анонимность как оправдание чрезмерной критичности или жесткости при комментировании авторской работы.

Двойное «слепое» рецензирование (Double-blind review)

Анонимными остаются и автор, и рецензент.

Преимущества. Анонимность автора позволяет избежать предвзятости со стороны рецензента (страна, биография, предыдущие работы). Статьи популярных авторов рассматриваются на основании их содержания, а не на основании репутации автора.

Недостатки. Есть вероятность, что материал не будет по-настоящему «слепым», особенно если он относится к сфере узкой специализации. Рецензенты зачастую могут идентифицировать автора, основываясь на его стиле написания, теме статьи или цитировании им своих предыдущих работ.

Более подробную информацию для авторов можно найти в Руководстве по Double-Blind Peer Review

Открытое рецензирование (Open review)

Рецензент и автор известны друг другу.

Преимущества. Некоторые ученые считают, что такое рецензирование – лучший способ избежать жестких комментариев, предотвратить плагиат, пресечь желание рецензента быстрее выполнить свой план работы и получить открытую, честную рецензию.

Недостатки. Другие думают иначе. В открытом рецензировании некоторые видят наименее честный процесс, при котором вежливость или страх наказания могут вынудить рецензента воздержаться от критики или свести ее к минимуму. К примеру, младшие рецензенты могут посчитать, что лучше не критиковать почетных авторов, чтобы не навредить своей перспективе.

Более прозрачное рецензирование (More transparent peer review)

Рецензенты играют жизненно важную роль в академической публикации, но их вклад часто остается скрытым. Три журнала Elsevier теперь публикуют в ScienceDirect дополнительные файлы с рецензиями вместе со статьями. Признается значимая роль рецензентов в публикационном процессе. Качество опубликованных статей улучшается, обогащается опыт чтения.

Схема процесса рецензирования Elsevier

Более подробную информацию о рецензировании можно найти в Elsevier Publishing Campus.

Рекомендуемая литература

Надеемся, информация будет для Вас полезной. С уважением. Участники OSU.

Источник

Двойное слепое

Алексей Вдовин, доцент Школы филологии НИУ ВШЭ – Москва

В сентябре 2018 года сайт журнала Media Theory опубликовал провокативное эссе Let’s Abolish the Peer-Review System авторитетного голландского культуролога, теоретика литературы и искусства Мике Баль. Она сформулировала 10 тезисов, свидетельствующих, с ее точки зрения, о глубоком кризисе системы двойного слепого рецензирования в издательской практике. Основная причина – в окостенении правила, его превращении в незыблемое и не подлежащее корректировке требование, которое часто бездумно применяется редакторами и редакциями, что, с точки зрения Баль, препятствует взрывному, нелинейному развитию научного знания. Общей рамкой, внутри которой сложилась такая практика, она считает неолиберализм.

Если чуть подробнее разворачивать аргументацию Баль, то она сводится к критике рутинизации и излишней формализации процедуры анонимного рецензирования, приводящей к эрозии новых, непредсказуемых идей. Система стала слишком консервативной, нацеленной на воспроизводство уже устоявшегося знания и опирающейся на мнение ограниченного числа и рецензентов, и авторитетов, на которых нельзя не ссылаться. Работая в таком режиме, система подчас достигает цели, прямо противоположной декларируемой. Часто случается так, что редакторы журналов рассылают статьи на рецензию проверенным и знакомым экспертам не потому, что те являются признанными специалистами в данной сфере, но просто потому, что они напишут в срок, а ведущий специалист – никогда (ибо он вообще отказывается рецензировать). В итоге, как правило, публикуется то, что совпадает с мнением рецензентов, а если не совпадает, рискует так и остаться в рукописи или быть опубликованным в любом ином месте, где нет двойного слепого. Одновременно это можно описать и как симптом ослабления власти редактора, который оказывается заложником такой системы и может перекладывать ответственность на рецензентов, боясь публиковать рукопись, по тем или иным причинам не встретившую одобрения у экспертов. В принципе «одобряю, если и другие одобряют» Баль видит глобальную угрозу развитию научного знания.

Конечно же, эссе Баль не осталось без ответа: в комментариях на сайте появилось более 20 отзывов разной степени аргументированности. Можно согласиться, что Баль выбрала крайние случаи и без специальных замеров и исследований сделала из них далеко идущие выводы о состоянии всей системы. Вызывает большие сомнения и невнятный план Баль вернуться к старым добрым «редакционным советам», что якобы решит не решенные двойным слепым проблемы. Да, система может иметь издержки и порождать злоупотребления, но она лучшая из всех существующих, как считают многие.

Так или иначе, каждый, кто публикуется в англоязычных журналах и входит в их редколлегии, прекрасно знает, что многие из описанных Баль проблем действительно существуют, но в разных журналах проявляются в разных масштабах. Все мы хотя бы раз слышали печальные истории о том, как редакция отклонила рукопись автора только потому, что рецензенты считают выводы слишком смелыми, а предлагаемую интерпретацию чересчур «постмодернистской». При этом редакция отказывается брать на себя смелость не поверить рецензентам и опубликовать статью. Как мы помним из истории науки, всегда есть вероятность, что среди отклоненных окажется методологически прорывной текст, который опережает свое время.

Два с половиной года работы редактором в одном почтенном международном гуманитарном журнале убедили меня и в том, что пул рецензентов часто в самом деле узок и замкнут на любое региональное сообщество или на сложившуюся сеть экспертов с минимальным включением специалистов из других регионов. Если речь о русистике (или любых иных area studies), такой расклад может оказаться фатальным для дисциплины, поскольку отсекает потенциально компетентных экспертов. Особенно нелепо, когда за бортом оказываются русисты из российских университетов, которые в первую очередь должны быть вовлечены в дело. Поэтому важнейшей задачей для любого уважающего себя высокорейтингового журнала становится регулярное пополнение круга рецензентов новыми коллегами из разных регионов поверх привычных и милых сердцу сетей научного взаимодействия.

Многие известные журналы испытывают и другие проблемы, о которых не пишет Баль, но которые все чаще обсуждаются в научном сообществе. Так, холдинги-гиганты типа Elsevier оказывают на редакции журналов вполне ощутимое давление, диктуя некоторые экстранаучные параметры будущих номеров: это и язык (должен превалировать английский), и закрытый доступ, и возможный запрет автору распространять свой текст в интернете. Все эти ограничения со стороны издателя, преследующего чисто коммерческие цели, уже приводили и будут приводить к протесту со стороны ученого сообщества. Так, в начале 2018 года консорциум из 200 немецких университетов отказался от дорогостоящей подписки на 2500 эльзевировских журналов и добился, чтобы компания продлила им годовую подписку бесплатно.

В общем, нам есть чему поучиться у западных коллег – и не только в продвижении своих стандартов науки, но и в их критике.

Источник

International Journal for Computational Civil and Structural Engineering

Обеспечения требований слепого рецензирования

Для обеспечения требований слепого рецензирования при представлении статьи в журнал авторам необходимо удалить персональные данные, содержащиеся в тексте файла и его свойствах. Для этого необходимо выполнить следующие шаги:

Для обеспечения требований слепого рецензирования при представлении статьи в журнал авторам необходимо удалить персональные данные, содержащиеся в тексте файла и его свойствах. Для этого необходимо выполнить следующие шаги:
В тексте статьи следует удалить имена авторов и наименования их места работы.
Ссылки на работы авторов в списке литературы следует заменить на «Автор, год».
Для Microsoft Word 2007

Нажмите на кнопку офиса в левом верхнем углу приложения.
Выберите » Подготовить » из опций меню.
Выберите «Свойства».
Удалить всю информацию в поле «Автор» и других полях, где есть информация об авторах.
Сохраните документ.
Для Microsoft Word 2010

В меню Файл выберите пункт «Подготовка для совместного использования.»
Нажмите на иконку «Проверка по вопросам».
Нажмите на значок «Проверить документ».
Снимите все флажки, кроме «Свойства документа и личные сведения».
Запустите инспектор документов, если обнаружатся свойства, содержащие личные сведения, то в появившемся поле нажмите кнопку «Удалить все».
Для Microsoft Word 2013

В меню Файл выберите пункт «Cведения».
В меню «Инспектор документов» нажмите на иконку «Поиск проблем» и выберите «Инспектор документов».
Снимите все флажки, кроме «Свойства документа и персональные данные».
Нажмите кнопку «Проверить», если обнаружатся свойства, содержащие личные сведения, то в появившемся поле нажмите кнопку «Удалить все».

Источник

Сообщество машинного обучения — о вопросе рецензирования статей

Экспертная оценка (peer review) — необходимый процесс, в котором качество нового исследования проверяется другими экспертами в той же области. Качество сегодняшних конференций по компьютерному обучению (ML) в значительной степени зависит от экспертной оценки, так как она позволяют оценивать поданные статьи на соответствие принятым стандартам. Тем не менее, ряд недавних инцидентов и дискуссий в социальных сетях выявили необходимость проверки самой процедуры экспертной оценки.

Результаты отсутствия механизмов воспроизводимости результатов

По итогам ежегодной Конференции по компьютерному зрению и распознаванию образов (Computer Vision and Pattern Recognition, CVPR) выпускается один из трёх лучших в мире академических сборников в области компьютерного зрения (наряду с ICCV [International Conference on Computer Vision] и ECCV [European Conference on Computer Vision]). Одна из статей, принятая к публикации в сборнике CVPR 2018, недавно попала под вопрос. Пользователь Reddit утверждал, что предложенный автором метод не может обеспечить обещанную точность:

Идея, описанная в статье с названием «Пертурбативные нейронные сети» (Perturbative Neural Networks), заключается в замене свёртки 3×3 на свёртку 1×1, а к входным данным добавляется некоторый шум. Утверждалось, что такой алгоритм работает так же хорошо, как и со свёрткой 3×3. Мне это показалось подозрительным, поэтому я решил проверить. К счастью, авторы предоставили свой код, но при ближайшем рассмотрении выяснилось, что они неправильно посчитали точность тестирования. Поэтому результаты не могут считаться валидными.

Ведущий автор статьи Феликс Цзюэфэй Сюй (Felix Juefei Xu) быстро среагировал:

Мы перепроверим все наши эксперименты. Согласно полученным результатам мы обновим нашу документацию на arXiv, а также репозиторий в GitHub. И если новые результаты будут действительно намного хуже, чем те, которые указаны в первой версии статьи, мы отзовём её.

Пост на Reddit, который спровоцировал такую перепроверку, обращает внимание на не очень популярную до недавнего времени проблему. Заключается она в том, что рецензенты обычно недостаточно вкладываются в написание рецензий, они не проверяют программный код и не пытаются воспроизвести результаты эксперимента. Они скорее склонны полагаться на честность и компетентность авторов.

Некоторые ML конференции начали искать практические решения этой проблемы. В 2017 году исследователи из Монреальского института изучения алгоритмов (Montreal Institute for Learning Algorithms), Google Brain и Университета Макгилла (McGill University) организовали Международную конференцию по обучению представлениям (International Conference on Learning Representations, ICLR), где они уделили особое внимание вопросам воспроизводимости и тиражирования результатов исследований в области ML. В прошлом году семинар запустил марафон по воспроизводимости и призвал проверить воспроизводимость эмпирических результатов, представленных в ICLR 2018.

Отсутствие квалифицированных рецензентов

В одной из записей, опубликованных в начале этого года в Synced, пользователь Reddit, идентифицировавший себя как докторанта, сказал, что он был выбран в качестве рецензента для Конференции по машинному обучению и нейровычислениям (Conference on Neural Information Processing Systems, NIPS). Он попросил дать ему совет, как правильно писать рецензии для статей:

«Я начинаю учиться в аспирантуре этой осенью. Я никогда не публиковал и не рецензировал статьи для этой конференции раньше. Как выбрать, какие статьи рецензировать? Может в NIPS есть какая-то документация, где были бы инструкции для рецензентов? И самое главное, как мне написать хорошую рецензию?»

Многие комментаторы поставили под сомнение пригодность автора в качестве рецензента NIPS. Старший преподаватель Университет имени Бар-Илана (ивр. ‏אוניברסיטת בר-אילן) в Израиле и известный специалист по обработке естественного языка Йоав Голдберг (Yoav Goldberg) саркастически написал в твиттере:

Ага. Это «экспертная оценка», а не «оценка человека, который сделал 5 обзоров учебных пособий по TensorFlow.

На NIPS 2017 было подано рекордное количество статей — 3240, и ожидается, что их количество в этом году приблизится к 5000. Кто-то должен прочитать все эти материалы. Организаторы NIPS не имеют возможности справиться с растущим потоком статей иначе как расширением штата рецензентов. Но естественно, что исследователи ИИ, которые тратят месяцы или даже годы на исследования, результаты которых могут быть опубликованы в одной статье, будут серьёзно обеспокоены по поводу того, что, возможно, их статьи для лучшей конференции в этой области будет читать неквалифицированные рецензенты.

Термин «рецензент» традиционно указывал на то, что отзыв оставляет кто-то с аналогичным авторскому уровнем компетентности и опыта. Но быстрый рост исследований по ML приводит к тому, что квалифицированные рецензенты оказываются в дефиците. Помощник профессора в университете Карнеги — Меллона (Carnegie Mellon University) д-р Захари Липтон (Zachary Lipton) оставил в Твиттере следующую запись: «Для уничтожения области знаний достаточно лишь, чтобы она стала популярной. Если количество заявок на конференцию в области ML выросло с 4000 до 20000, значит число квалифицированных рецензентов на статью упало с 50% до 10%. Но это уже не может считаться полноценным рецензированием».

Как двойное слепое рецензирование может быть саботировано

Исследования показали, что на рецензентов часто влияет авторитет авторов статьи и их аффилиация. Поэтому лучшие конференции по ML теперь прибегают к двойному слепому рецензированию, в котором рецензентам не известны имена авторов представленных статей.

Но это не означает, что двойная слепая экспертная оценка будет идеальным решением. Статью, отправленную на ICLR 2019, недавно много комментировали в положительном ключе на сайте OpenReview — открытые рецензии («интересная работа», «многообещающие результаты» и т. д.). Это вызвало подозрение у одного комментатора:

На данный момент лишь у некоторых статей к ICLR 2019 есть комментарии. А у вашей уже семь. И все они положительные. Я думаю, вам уже ясно, о чём я говорю. Можно легко догадаться, что вы делаете. Пожалуйста, прекратите. Это не принесёт вам никаких преимуществ.

Интернет-журнал Synced проверил наличие этих комментариев на OpenReview и не нашёл их, — большинство из них были удалены.

Цель двойной слепой экспертной оценки заключается в минимизации предвзятости. Но не только авторитет авторов и институтов, в которых они работают, может влиять на мнение рецензентов — влиять могут и положительные или отрицательные отзывы других рецензентов. Например, ICLR не запрещает авторам размещать свои документы на arXiv или любых других площадках для обсуждения. Недавно статья «Масштабная тренировка GAN для высокого качества синтезирования естественных образов» (Large Scale GAN Training for High Fidelity Natural Image Synthesis) сильно активизировала дискуссию в социальных сетях. В статье представлена модель порождающей состязательной сети, способная генерировать впечатляющие изображения с высокой точностью (но с низким разнообразием). Некоторые люди в сообществе обеспокоились тем, что поток положительных комментариев под публикацией может предоставить статье преимущество в процессе рецензирования.

Создаёт ли экспертная оценка тревожные тенденции в публикациях по ML?

На ICML 2018 доктор Липтон из Университета Карнеги — Меллона и аспирант Стэнфорда Джейкоб Штайнхардт (Jacob Steinhardt) из Стэнфорда (Stanford University) опубликовали заметку «Тревожные тенденции исследований в области машинного обучения» (Troubling Trends in Machine Learning Scholarship). Она нацелена на обличение научных работ в области ML, которые «скрывают погрешности неполнотой объяснения процедуры получения результата», «грешат математической сложностью» и «стараются навести всяческую неясность». В статье поставлен вопрос, разрешаются или усугубляются вышеупомянутые проблемы процессом экспертной оценки.

Некоторые исследователи утверждают, что процесс коллегиального обзора использует плохие практики и идёт по ненаучному пути, и что это отрицательно влияет на то, как авторы пишут и оформляют свои документы. Исследователь из Google д-р Ян Гудфеллоу (Ian Goodfellow) отметил, что рецензенты, как правило, читают по диагонали сложные математические уравнения в статьях по ML, поэтому их легко убедить в правильности новых методов, даже если последние содержат ошибку. Он предположил, что некоторые авторы «затачивали» свои статьи под то, чтобы нравиться рецензентам, и чтобы таким образом просочиться в мир науки. «Экспертная оценка — это в принципе хорошая идея, но важно правильно реализовать её на практике», — прокомментировал Гудфеллоу.

Главный научный сотрудник Facebook Ян Лекун (Yann LeCun), тем временем, более широко смотрит на картину. Он написал в своём блоге, что «наша нынешняя система с акцентом на серьёзном уровне отбора очень предвзято относится к инновационным идеям и способствует продвижению мелких усовершенствований по хорошо зарекомендовавшим себя методам».

Есть ли какие-то решения?

Журнал Wired недавно рассказал, что научное издательство Elsevier, одно из крупнейших в мире, разработало программу на основе ИИ, EVISE, предназначенную для помощи в экспертной оценке. Программа отсылает текст статьи в стороннюю программу для проверки на предмет плагиата; выбирает подходящих рецензентов, чтобы избежать конфликта интересов; предлагает рецензентов, которые лучше разбираются в теме статьи; и даже посылает благодарственные письма рецензентам. Пока неизвестно, используют ли крупные конференции по машинному обучению похожие программные инструменты-помощники в рецензировании.

Некоторые исследователи ML в то же время предлагают обновить методики публикационного процесса. Лекун представил модель, в которой поведение участников было бы похоже на поведение финансовых агентов на стоковой бирже. В ней статьи играют роль ценных бумаг, а рецензенты — инвесторы. Все статьи и обзоры открыты для публики. Ожидается, что рецензенты будут разбирать и критиковать статьи в соответствии с самыми высокими стандартами качества, будут давать информативные и глубокие комментарии, потому что репутация рецензентов будет расти вместе с качеством рецензируемой стати.

Профессор Информационной инженерии Кембриджского университета (University of Cambridge) Зубин Гахрамани (Zoubin Ghahramani) предлагает дополнить эту модель так: конференциям и журналам ограничивать количество статей, доступных для отзыва каждому рецензенту. Если для статьи не найдётся рецензентов, её авторы могут её отозвать или отправить на другую конференцию.

Понятно, что традиционные подходы к экспертной оценке начинают устаревать по мере того как число исследований и статей в области ML растёт. Так как приближается конференция NIPS и другие крупные конференции по ИИ и ML, нам необходим новый подход, если мы хотим придерживаться стандартов качества статей. Наши товарищи по исследованию машинного обучения достаточно умны, нужно просто объединить силы и работать вместе, чтобы придумать практичный и эффективный новый механизм рецензирования.

Источник

На страже науки: как (не) работает peer review

Двойное слепое рецензирование в научных журналах — барьер против лженауки, подтасовки фактов и невольных ошибок в исследованиях. Таков, во всяком случае, замысел этой практики. Indicator.Ru выяснил, в чем идеалистическое представление о рецензировании расходится с реальностью.

Казус Зака

В конце января в Rejuvenation Research вышла статья московского математика Николая Зака о французской долгожительнице Жанне Кальмэ (в более привычной русской транслитерации — Кальман). Считалось неоспоримым, что она прожила 122 года — дольше, чем какой-либо другой известный науке долгожитель. Николай Зак доказывает, что никакого рекорда не было: настоящая Жанна скончалась еще в 1934 году, а следующие 63 года под ее именем жила ее дочь Ивонн. Причиной подмены, как считают сторонники этой гипотезы, был угрожавший семье Кальмэ разорительный налог на наследство настоящей Жанны.

Само по себе подозрение в «подмене» Жанны Кальмэ не ново, но лишь в прошлом году с подачи геронтолога Валерия Новоселова Зак взялся за расследование. Впервые он представил аргументы в пользу своей позиции в ноябре 2018 года на заседании секции геронтологии Московского общества испытателей природы. Вскоре Зак опубликовал препринт с изложением своей гипотезы (на момент публикации этой статьи документ просмотрен почти 60 тысяч раз). Появились первые интервью Зака и Новоселова в российских СМИ, а в декабре случился настоящий медийный взрыв: Юрий Дейгин — предприниматель, биохакер и вице-президент Фонда поддержки научных исследований «Наука за продление жизни» — рассказал о гипотезе Зака и о собственных выводах в англоязычной публикации на блог-платформе Medium. О сомнениях в рекорде Кальмэ начали писать крупные зарубежные медиа.

Пару месяцев позицию Зака, Новоселова и примкнувшего к ним Дейгина (который в некоторых публикациях фигурировал как единственный автор гипотезы о подмене) регулярно называли конспирологической и недостойной серьезного отношения. Рекорд Жанны Кальмэ подтверждался документально и давно стал частью науки о старении, его учитывали в сотнях научных исследований, статей и книг. А выкладки Зака и Новоселова оставались препринтами: добросовестность их аргументов не была подтверждена независимым рецензированием.

И вот такое подтверждение появилось: работа была опубликована в рецензируемом издании Rejuvenation Research. Гипотеза о подмене мадам Кальмэ официально вошла в науку. Но у экспертов появились новые сомнения: теперь многие считают, что в академический журнал работа Зака пробилась только благодаря поддержке главного редактора издания, скандально известного британского геронтолога Обри ди Грея. Как сообщил в онлайн-журнале «Демоскоп» младший научный сотрудник института социальной политики НИУ ВШЭ демограф Илья Кашницкий, эксперты подозревают ди Грея в намеренном подборе лояльных рецензентов. Кашницкий рассказал Indicator.Ru, что о начале внутреннего расследования в журнале он узнал от известного демографа Джима Вопеля, одного из ученых-валидаторов рекорда Кальмэ.

Нужно заметить, что сомнения в честности рецензирования еще не означают необоснованности самой работы Зака. По мнению Ильи Кашницкого, пусть некоторые аргументы в пользу гипотезы о подмене и выглядят слабыми (например, слишком избирательный математический расчет, в котором оценивалась вероятность появления рекорда именно к 1997 году, и малоубедительный анализ старых фотографий), другие действительно заставляют сомневаться в правдивости истории Жанны Кальмэ. Это нестыковки между документально подтвержденной информацией и поздними интервью Жанны, изменение со временем ее подписи и неправдоподобно небольшое снижение роста с возрастом. По данным паспорта, выданного Жанне в возрасте 56—57 лет, ее рост составлял 152 см. Почти через 60 лет рост 114-летней долгожительницы равнялся 150 см. Но по всем медицинским закономерностям за эти годы она должна была потерять не меньше 10 см. «Это (проверка рекорда Кальмэ — прим. Indicator.Ru) действительно важный вопрос для дальнейшего развития демографии и геронтологии, — заключает Илья Кашницкий. — Мне глубоко неприятно высокомерное нежелание некоторых из экспертов «связываться с этими русскими» и «реагировать на нерецензированный текст». Я рад, что публикация в научном журнале заставит их реагировать, и надеюсь, что дело дойдет до анализа ДНК».

Споры вокруг рекорда Жанны Кальмэ немало говорят не только о достоверности данных в геронтологии, но и об отношении научного сообщества к практике рецензирования. Ее часто воспринимают как один из главных инструментов поддержания научной честности, ведь каждое новое слово, попавшее в научный журнал, должно быть проверено как минимум двумя независимыми рецензентами. Гипотезы вне журналов могут быть теориями заговора или подтасовками, но, если статья прошла рецензирование, — ей выдана гарантия базового уровня адекватности. И все же при желании редактор может влиять на результат рецензирования. Какая тут объективность и научная честность?

Бывает ли слепым double-blind peer review?

Практика двойного слепого рецензирования (double-blind peer review), когда ни автор, ни рецензент не знают о роли друг друга, появилась в науке не так давно. Потребность во внешних рецензентах возникла только в середине ХХ века, до этого редакции журналов справлялись со входящими рукописями сами. Развитие рецензирования стало ответом на запрос о большей объективности в выборе статей, которые будут напечатаны. И двойное слепое рецензирование задумывалось как эталон непредвзятости, когда ничто, кроме содержания и качества работы, не влияет на решение рецензента.

В реальности в науке практически нет областей, где идеалистическое представление об «ослепленном» и объективном рецензенте работало бы, считает научный сотрудник Института востоковедения РАН, социолог Артем Космарский. По сути, «слепым» остается только автор работы: он действительно не знает, кому редактор журнала отправит его рукопись. Редактор же, если ему по каким-то причинам не безразлична присланная работа, может влиять на ее судьбу, выбирая рецензентов по своему усмотрению. Рецензентам, в свою очередь, тоже сложно оставаться «слепыми». Это опытные ученые, которые хорошо знают работающие в их области научные школы, и они без особого труда могут понять, где и кем выполнена та или иная работа. После этого на честность рецензирования влияют уже не столько научные, сколько социальные факторы.

Нетрудно заметить, что в современном виде процесс рецензирования крайне непрозрачен. Редакции не обязаны отчитываться о нем, и получается, что качество работы рецензентов не оценивает никто, кроме редакторов. Если рецензент из года в год нарочно останавливает публикацию всех статей соперничающей школы или не читает по-настоящему ни одной попавшей к нему работы, никто вне редакции журнала даже не узнает об этом. Такая закрытость процесса, по мнению одного из администраторов сообщества «Этика науки», научного редактора издательства ПедиатрЪ Руслана Сайгитова, ведет к постоянным манипуляциям со стороны журналов. Издания пользуются своим высоким «рецензируемым» статусом, при этом редакторы и рецензенты ни перед кем не отвечают за результат своей работы и могут публиковать статьи относительно низкого качества, а публикацию значимых результатов откладывать.

Польза или вред?

Хорошо известная шутка о том, что Эйнштейн никогда бы не опубликовал работу о специальной теории относительности в рецензируемом журнале, отражает мнение, что рецензирование — барьер на пути как откровенно слабых, так и гениальных работ. Не рассуждая о непризнанных гениях, отметим, что рецензирование всегда увеличивает срок публикации. Но причина этого не в злонамеренности рецензентов, а в их занятости. Это часть другой большой проблемы современной системы рецензирования: предполагается, что ученый должен не просто давать абсолютно беспристрастные оценки попавшим к нему рукописям, но и делать это бесплатно в ущерб основной работе. Между тем в 2017 году ежегодную стоимость работы рецензентов по всему миру оценивали в 1,9 млрд евро. Считается, что рецензирование — долг ученого, и потраченный труд вернется к нему, когда другой анонимный исследователь напишет рецензию на его статью.

«На практике оказывается, что основную часть выходящих в разных отраслях научных публикаций рецензирует небольшой процент профильных ученых, — говорит Артем Космарский. – Известны данные по биомедицинским исследованиям, где 20% ученых рецензируют от 69% до 94% статей. Это может показаться несправедливостью только по отношению к тем альтруистам, кто все-таки посвящает свое время рецензированию, но на самом деле в проигравших — все научное сообщество. Большинство ученых не принимают никакого участия в обсуждении новых работ, что плохо сказывается и на их качестве, и на содержании научных дискуссий».

Проблемы сроков рецензирования и ограниченного обсуждения новых работ отчасти снимаются в системе препринтов. В «горячих» областях науки, где идет постоянная гонка за открытиями, уже больше десяти лет принято публиковать свои работы на arXiv.org и похожих ресурсах. Препринт — доказательство выполненной работы для коллег (а сегодня и для грантовых фондов) на то время, пока будущая статья проходит рецензирование и правку по замечаниям рецензентов. Другие ученые могут комментировать препринты, и это немаловажный плюс. Интерес научного сообщества, как показано для наук о жизни на примере bioRxiv, связан с последующей судьбой статьи. Высокоимпактные журналы, подчеркивает Руслан Сайгитов, часто демонстрируют неприятие медийной популярности и отказываются от публикации материалов, уже опубликованных ранее в коммерческих изданиях. Но популярные препринты, которые много скачивают, наоборот, чаще публикуются в журналах с более высоким рейтингом. Кроме того, прием препринтов грантовыми фондами и работодателями чуть ослабляет давление на рецензентов: авторы готовы ждать рецензий и публикаций дольше, сроки не так критичны для них. «При традиционном подходе рецензент находится в цейтноте, торопится дать заключение, что влияет на качество рецензирования», — замечает Артем Космарский.

Однако, как показала и история с Заком, рецензирование тем не менее — необходимая опция для научных работ. Чтобы исследование замечали, оно должно пройти независимую оценку. Но как сделать эту оценку не формальной, а полезной для науки? Эксперты считают, что вместо необъективного и не всегда качественно работающего фильтра оно должно стать формой диалога. «Нужно открывать участников рецензирования и его результаты и дать научному сообществу возможность участвовать как в рецензировании, так и в обсуждении его выводов», – отмечает Руслан Сайгитов. Все новые варианты peer review ставят во главу угла открытость информации.

Зачем знать имена рецензентов?

«Открытое рецензирование — это не однородная система, а скорее набор принципов, в рамках которых peer review возможно перестроить в духе “открытой науки”, — говорит Артем Космарский. — С учетом этих принципов процедура станет более прозрачной, что откроет путь к совершенствованию системы рецензирования. Пока рецензии, по сути, скрыты от научного сообщества».

Что препятствует переходу на открытое рецензирование (open peer review)? Главное препятствие, пожалуй, это позиция журналов. Открытость подразумевает гораздо больше ответственности за качество процесса: все рецензии должны публиковаться вместе со статьями, в идеале с именами всех рецензентов и ответственных за публикацию редакторов. Очевидно, не все к этому готовы. Среди крупных журналов, практикующих открытое рецензирование, — BMJ, EMBO Journal, PeerJ, eLife, Biology Direct. По модели открытого постпубликационного рецензирования работает издательская платформа F1000Research.

Уже первый год работы F1000Research показал, что отказ от анонимности рецензентов не побуждает их писать хвалебные рецензии на статьи своих друзей или влиятельных ученых. Более того, когда рецензенты знают, что рецензии будут опубликованы, качество их работы растет — они более ответственно относятся к своим аргументам. Опросы показывают, что научное сообщество в целом положительно относится к открытому рецензированию, по крайней мере, к открытой публикации текстов рецензий (относительно раскрытия личностей рецензентов мнения разнятся). Новый механизм рецензирования, считают эксперты, будет особенно полезен для России. «Открытое рецензирование сделает возможными открытую научную дискуссию о публикациях и более быструю и эффективную обратную связь для молодых ученых, поможет «очищению» российской науки от недобросовестных авторов», — комментирует Артем Космарский.

Открытость результатов рецензирования выглядит и первым шагом к настоящему признанию заслуг рецензентов. Сегодня уже существуют проекты, где рецензенты могут получить некие внутренние баллы (и в перспективе полезное дополнение к CV) за свою работу. Но такие проекты — например, самый популярный среди них Publons — никак не решают проблему анонимности и не позволяют сообществу по-настоящему оценить, какие рецензии пишет ученый. Рецензирование – такая же часть научного труда, как работа над собственными статьями, и должна признаваться так же широко. По крайней мере, это отвечает этическим принципам современной науки.

Источник