У психологии всегда был «кризис воспроизводимости исследований», и это вновь и вновь проявляется, если кому-нибудь приходит в голову проверить измышления психологов. Такие проблемы характеризуют все патологические науки. В журнале Science опубликовали статью о том, как 270 психологов пытались воспроизвести 100 психологических экспериментов. Им это удалось, — но только на примерах самых примитивных умозаключений в 39% случаев.
Не было подтверждено самое главное для психологов, заявляющих о возможности управления поведением людей, как бы явление – «прайминг»: оно предполагает, что символы и объекты окружающей среды влияют на наше поведение, даже когда мы не обращаем на них внимания.
В 2011 году Даниел Канеман выпустил книгу «Думай медленно… решай быстро», посвящённую последним открытиям в области социальной психологии. Она стала бестселлером и заслужила множество наград — в частности, от газет Los Angeles Times, The Wall Street Journal, The Economist и от Национальной академии наук США. В своём лженаучном труде Канеман не обошёл вниманием и прайминг — он рассматривает это явление подробно, едва ли не с любовью, и цитирует множество связанных с ним исследований.
Проблемы начались уже в год выхода книги — тогда в фальсификации обвинили голландского учёного Дидрика Штапеля, который занимался, в том числе, изучением прайминга. Ещё через год исследователи из Бельгии сообщили, что им не удалось повторить эксперимент с замедлением темпа ходьбы, о котором пишет Канеман. Нобелевский лауреат адресовал автору оригинальной научной работы открытое письмо и призвал его и других коллег проверить воcпроизводимость исследований прайминга.
Но на этом история не закончилась. Недавно исследователь из Торонтского университета (University of Toronto) Ульрих Шиммак (Ulrich Schimmack) решил проверить статистическую достоверность исследований, процитированных Канеманом в главе о прайминге. Шиммак серьёзно озабочен кризисом в области психологии, в 2014 году он создал специальный сайт с целью «увеличить воспроизводимость результатов опубликованных научных работ». Учёный разработал специальный статистический инструмент — «индекс воcпроизводимости» («replicability-index»), который на основе статистической значимости и статистической мощности рассчитывает вероятность повторения экспериментов.
«R-индекс ниже 50 показывает, что статистически значимый результат был получен за счёт подгонки к особенностям выборки, хотя сложно рассчитать, насколько», — пишет Шиммак.
Он проанализировал исследования, упомянутые нобелевским лауреатом, и пришёл к неутешительным выводам: «В главе процитированы 12 научных работ, и 11 из 12 статей имеют R-индекс меньше 50. <…>
Читателям его [Канемана] книги не стоит рассматривать представленные исследования как научное обоснование того, что едва уловимые сигналы окружающей среды могут оказывать сильное и неосознаваемое влияние на поведение».
В комментариях к статье появился сам Даниел Канеман — он ответил на критику и не стал ничего отрицать:
«Авторы блога совершенно правы в том, что я слишком полагался на исследования с низкой статистической мощностью. Авторы блога, как и Эндрю Гельман (Andrew Gelman) до них, отмечают, что в этом есть определённая доля иронии, ведь первая опубликованная нами с Амосом Тверским статья была посвящена вере в «закон малых чисел», благодаря которому исследователи склонны доверять результатам исследований с неоправданно маленькими выборками. Мы также цитировали работу Овералла (John E. Overall) (1969), который показал, что «широкое распространение исследований с недостаточной статистической мощностью не только неэффективно, но и вредно: оно приводит к тому, что значительная часть опубликованных работ отвергает нулевую гипотезу без достаточных на то оснований». Наша статья была написана в 1969 и опубликована в 1971, но я не смог усвоить её урок».
Авторы блога Retraction Watch связались с Канеманом, и учёный подтвердил, что комментарий в блоге действительно принадлежит ему.
«Этот довод неопровержим: исследования, которые не обладают достаточной мощностью для выявления вероятных эффектов, должны периодически давать статистически незначимые результаты даже в тех случаях, когда гипотеза верна — отсутствие таких результатов говорит о том, что в публикации допущена ошибка. Более того, публикационное смещение негативно сказывается на двух основных инструментах, которые психологи используют для подтверждения гипотезы: метаанализе и концептуальной репликации.
Очевидно, что экспериментальные подтверждения идей, о которых я писал в этой главе, были гораздо менее убедительными, чем мне казалось, когда я писал книгу. Это была ошибка: я знал достаточно, чтобы умерить свой пыл по отношению к удивительным и элегантным исследованиям, на которые ссылался, но не продумал этот момент», — написал нобелевский лауреат Шиммаку.
Однако и отрекаться от скомпрометированных работ учёный не стал:
«Мне до сих пор симпатичны все процитированные мной исследования, и я не «разуверился в них», как выразился Дэниел Гилберт (Daniel Gilbert). Я был бы рад, если бы каждое из них воспроизвели на большой выборке. Однако я усвоил, что авторы, которые делают обзор какой-то области знаний, должны остерегаться подкреплять свои заявления яркими результатами исследований со слабой доказательной базой». http://www.psychology-online.net/