TN Примечание. Наблюдательный и критический анализ состояния науки косвенно выявляет источник ошибок в ложной науке, связанной с глобальным потеплением. Последнее предложение - хороший вывод: «Величайшие друзья культа науки - злейшие враги реальной практики науки».
Проблема с наукой заключается в том, что большая часть этого просто не так. Летом прошлого года Открытое научное сотрудничество объявило, что оно попыталось воспроизвести сотню опубликованных психологических экспериментов, взятых из трех самых престижных журналов в этой области. Научные утверждения основаны на идее, что эксперименты, повторяемые в почти идентичных условиях, должны давать примерно одинаковые результаты, но до недавнего времени очень немногие пытались систематически проверять, так ли это на самом деле. OSC была самой большой попыткой проверить результаты на поле и самой шокирующей. Во многих случаях они использовали оригинальные экспериментальные материалы, а иногда даже проводили эксперименты под руководством оригинальных исследователей. Из исследований, в которых первоначально сообщалось о положительных результатах, удивительный процент 65 не показал статистической значимости при репликации, а многие из оставшихся показали значительно уменьшенные размеры эффекта.
Их результаты сделали новость, и быстро стал клубом, с помощью которого можно расколоть общественные науки. Но проблема не только в психологии. В фармацевтике существует невысказанное правило, что половина всех академических биомедицинских исследований в конечном итоге окажется ложной, и в 2011 группа исследователей из Bayer решила проверить это. Рассматривая шестьдесят семь недавних проектов по открытию лекарств, основанных на исследованиях биологии доклинического рака, они обнаружили, что в более чем 75 процентах случаев опубликованные данные не совпадают с их собственными попытками воспроизвести. Это были не исследования, опубликованные в онкологических журналах, а исследования блокбастеров в «Науке», «Природа», «Клетка» и тому подобное. Исследователи «Байера» тонули в плохих исследованиях, и именно отчасти они объясняли таинственно снижающуюся урожайность наркотических трубопроводов. Возможно, что многие из этих новых лекарств не имеют эффекта, потому что фундаментальные исследования, на которых базировалась их разработка, не действительны.
Когда исследование не может быть воспроизведено, возможны две интерпретации. Во-первых, без ведома исследователей существовала реальная разница в экспериментальной установке между исходным исследованием и неудачной репликацией. В разговорной речи их называют «эффектами обоев», шутка заключается в том, что на эксперимент влиял цвет обоев в комнате. Это самое счастливое объяснение невозможности воспроизведения: это означает, что оба эксперимента выявили факты о вселенной, и теперь у нас есть возможность узнать, в чем разница между ними, и включить новое и более тонкое различие в наши теории.
Другая интерпретация заключается в том, что первоначальный вывод был ложным. К сожалению, оригинальный статистический аргумент показывает, что эта вторая интерпретация гораздо более вероятна. Впервые сформулированный Джоном Иоаннидисом, профессором Медицинской школы Стэнфордского университета, этот аргумент основывается на простом применении байесовской статистики. Предположим, что в определенном поле есть сто один камень. Один из них имеет алмаз внутри, и, к счастью, у вас есть устройство для обнаружения алмазов, которое демонстрирует процентную точность 99. Примерно через час перемещения устройства, поочередно осматривая каждый камень, внезапно вспыхивают сигналы тревоги и сирены, пока устройство направлено на многообещающий камень. Какова вероятность того, что камень содержит алмаз?
Большинство скажет, что если устройство объявляет процентную точность 99, то есть процентная вероятность 99, что устройство правильно распознает алмаз, и процентная вероятность 1, что оно дает ложное положительное чтение. Но учтите: из ста одного камня в поле только один действительно является бриллиантом. Конечно, наша машина имеет очень высокую вероятность правильно объявить ее алмазом. Но есть еще много камней без алмазов, и хотя у машины есть только 1 процентный шанс ошибочно объявить каждый из них бриллиантом, их сотни. Таким образом, если бы нам пришлось навести детектор на каждый камень в поле, он в среднем прозвучал бы дважды - один раз для настоящего алмаза и один раз, когда камень дал ложное показание. Если мы знаем только, что прозвучал сигнал тревоги, эти две возможности примерно одинаково вероятны, что дает нам приблизительно 50 процентный шанс того, что камень действительно содержит алмаз.
Это упрощенная версия аргумента, который Иоаннидис применяет к самому процессу науки. Камни в поле - это набор всех возможных проверяемых гипотез, алмаз - это гипотетическая связь или эффект, который оказывается правдой, а устройство для обнаружения алмазов - это научный метод. Огромное количество зависит от доли возможных гипотез, которые оказываются правдой, и от точности, с которой эксперимент может отличить правду от лжи. Иоаннидис показывает, что для широкого спектра научных установок и областей значения этих двух параметров совсем не благоприятны.
Например, рассмотрим команду молекулярных биологов, занимающихся выяснением того, связана ли мутация в одном из бесчисленных тысяч генов человека с повышенным риском развития болезни Альцгеймера. Вероятность того, что случайно выбранная мутация в случайно выбранном гене будет иметь именно такой эффект, довольно низка, так что, как и в случае с полевыми камнями, положительный результат более вероятен, чем ложный, - если эксперимент не является невероятно успешным при сортировке пшеница из соломы. Иоаннидис обнаружил, что во многих случаях для достижения даже положительных результатов 50 требуется невообразимая точность. Отсюда и привлекательный заголовок его статьи: «Почему большинство опубликованных результатов исследований являются ложными».
wpDiscuz