Жизнь

Четверть психологических исследований оказались недостоверными

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

 

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

 

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

 

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть "p<0,05" и "K=5,25") было нельзя.

 

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

 

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

 

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Минздрав: прививка от кори стала бесплатной и для взрослых
Взрослые любого возраста теперь тоже могут бесплатно вакцинироваться от кори, паротита и краснухи вакциной КПК. Также можно делать прививки младенцам в возрасте от 6 месяцев, для которых корь особенно опасна...
Выплаты на рождение ребенка в Украине повышать отказались
Кабинет Министров отказался от предложения по поднятию выплат при рождении ребенка и оставил их на прежнем уровне.   Народные депутаты предлагали "райские" условия: ● За первого ребенка 100 тысяч гривен; ● За второго 200 тысяч гривен; ● За третьего, четвертого и так далее - 400 тысяч гривен...
Королевского младенца назвали Арчи Харрисон Маунтбаттен-Виндзор
Герцог и герцогиня Сассекские назвали своего сына Арчи Харрисон Маунтбаттен-Виндзор. «Герцог и герцогиня Сассекские с удовольствием объявляют, что назвали своего первого ребенка Арчи Харрисон Маунтбаттен-Виндзор...
В Украине ввели новый праздник — День отца
Правительство одобрило указ президента о введении в Украине Дня отца: на заседании 8 мая Кабмин одобрил указ президента «О Дне отца», согласно которому, в третье воскресенье июня каждого года в Украине будет отмечаться День отца...
ООН: человечество вредит Земле больше, чем когда-либо
Население планеты Земля создает больше проблем для природы, чем когда-либо прежде в истории человечества. Согласно докладу ООН, который представили 6 мая в Париже представители ООН и ученые, деятельность человека сегодня привела к тому, что более 1 миллиона видов растений и животных находятся под угрозой вымирания, передает Громадське...
Турист решил заглянуть в действующий вулкан и упал в него
На американском острове Гавайи спасли посетителя Гавайского вулканического национального парка, который упал в кальдеру действующего вулкана. 32-летний мужчина перелез через ограждение наблюдательной площадки возле вулкана Килауэа и приблизился к краю вулканической кальдеры - огромной котловины с крутыми стенками и плоским дном, образующейся на месте извержения или после обрушения кратера...
Facebook хочет начать платить пользователям за просмотр рекламы
Соцсеть Facebook может начать платить своим пользователям за просмотр рекламы, которая повлекла за собой взаимодействие с контентом или же покупку на ее платформе. Компания в скором времени запускает собственную криптовалюту, которая будет подкреплена долларами, и именно ей соцсеть будет платить пользователям, пишет The Wall Street Journal...
Британские ученые нашли в креветках кокаин и кетамин
Во время тестирования рек на химические вещества в Великобритании ученые нашли кокаин в пресноводных креветках. Исследователи из Королевского колледжа в Лондоне, в сотрудничестве с университетом Саффолка, проверили 15 различных локаций около Саффолка...
Оказалось, что самые старые мумии хранятся в Перу: на 2000 лет старше египетских
Самые древние мумии хранятся в Чили, а не в Египте. Их начал делать народ Чинчорро, который поселился на территории современного Чили более 7 000 лет до нашей эры. Приблизительно за 5 000 лет до нашей эры они начали мумифицировать тела умерших - это произошло почти на 2 000 лет раньше, чем в Египте, пишет CNN...
Ночные заморозки не отступаютуходят из Украины
В ближайшие сутки в Украине будет по прежнему холодно, а на востоке страны ночью будут заморозки. Атмосферный фронт, перемещающийся с Беларуси, принесет небольшой дождь в большинство северных, центральных и южных областей, сообщает Укргидрометцентр...
Time опубликовал список самых влиятельных людей: Цукерберг, Леди Гага и Трамп
Авторитетный американский журнал Time опубликовал список ста самых влиятельных людей 2019 года. Рейтинг составлялся в пяти категориях: «Лидеры», «Пионеры», «Художники», «Иконы» и «Титаны», в каждую из которых вошло по 20 имен...