Трудности репликации исследований

репликация исследованийРепликацией называют повторное исследование, цель которого заключается в том, чтобы определить, могут ли выводы оригинального исследования быть обобщены и распространены на другие группы участников и обстоятельства.

Почему может потребоваться репликация исследования?

Получение статистически значимых результатов в исследовании говорит о многом, однако более достоверными выводы могут считаться только тогда, когда применение тех же процедур и методов в работе с другими переменными приводит к тем же результатам.

Подобные исследования проводятся с целью:

  • определения степени надежности и достоверности результатов оригинального исследования;
  • обобщения результатов оригинального исследования для широкой группы людей;
  • раскрытия достоверности результатов оригинального исследования для других ситуаций и условий.

Как учёные проводят репликации?

При проведении исследования или эксперимента важно чётко определить все переменные, которые исследователи намерены измерить. При представлении результатов необходимо также описать методы, материалы, и процедуры, использовавшиеся для сбора данных.

При репликации раннего исследования экспериментаторы должны следовать этим же процедурам, однако работать им предстоит с другой выборкой участников. Если исследователи получают те же или аналогичные результаты в последующих экспериментах, это означает, что вероятность того, что результаты оригинального исследования носят случайный характер, крайне мала.

Так что же происходит, если оригинальные результаты не могут быть воспроизведены?

Означает ли это, что специалисты неправильно провели оригинальное исследование или, что ещё хуже, сфальсифицировали данные? На самом деле, фальсификация встречается редко, так как большинство учёных мотивированы на честность, ведь только так можно сохранить свою профессиональную репутацию и научный статус.

В большинстве случаев, невоспроизводимость исследования обусловлена ​​различиями участников или другими факторами, которые могут оказывать влияние на результаты эксперимента. Иногда различия могут быть не сразу заметны, только в некоторых случаях исследователи способны заранее определить, какие переменные могут оказать влияние на результаты. Например, незначительные различия в формулировке вопроса, погоде или даже времени суток могут оказывать неожиданно сильное влияние на результаты эксперимента. Исследователи стремятся к точному воспроизведению оригинальное исследования, но зачастую таких перемен избежать невозможно.

Почему результаты психологического эксперимента так трудно воспроизвести?

В 2015 году группа из более чем 250 исследователей опубликовала результаты своей пятилетней работы по воспроизведению 100 различных исследований, опубликованных в ранее трех ведущих журналах по психологии. Эти ученые тесно сотрудничали с авторами оригинальных исследований, с тем чтобы повторить эксперименты настолько точно, насколько это было возможно.

Результаты оказались неожиданными: 64% исследований повторить не смогли. В 97% оригинальных исследований выводы были признаны статистически значимыми, и только в 36% воспроизведённых исследований удалось получить статистически значимые результаты.
Как и следовало ожидать, эти мрачные выводы вызвали настоящий переполох в научном сообществе.

Результаты исследований психологии часто получают широкую огласку в популярной прессе, поэтому предположение о том, что большинство таких исследований может оказаться ошибочным, представляет серьезную проблему. Многие начинают сомневаться в том, что результатам психологических исследований вообще стоит доверять.

Так почему же эти результаты так трудно повторить? Один из журналистов The Guardian предполагает, что существует целый ряд причин, по которым это происходит. Намеренную фальсификацию он считает одной из самых редких причин, вместо этого считая, что невоспроизводимость результатов может быть связана с острой конкуренцией за финансирование и известность: ошеломляющие, но абсолютно случайно полученные результаты в таких случаях принимаются без перепроверки.

Брейн Носек, руководитель проекта по репликации исследований, подчеркнул в беседе с авторами сайта FiveThirtyEight.com, что цель проекта заключалась не в том, чтобы обвинить исследователей в обмане или плохой работе. Невозможность повторить результаты не означает, что оригинальные исследования были ошибочными, по его мнению. И цель проекта заключалась в том, чтобы показать: точное и верное воспроизведение всё-таки возможно.

Авторы проекта предполагают, что у этого явления существует три основных причины:

  • оригинальные результаты ложноположительны;
  • реплицированные результаты ложноотрицательны;
  • оба исследования были проведены верно, но имели незамеченные различия в условиях или методологии.

Наиболее значимым предиктором успеха репликации считается достоверность оригинальных результатов. Достоверные результаты, например, подтверждённые р-значением, чаще также повторяются и в реплицированных исследованиях.

Метки: ,

Если понравилась статья, поделись с друзьями:


Комментировать через контакт