Вопиющее заблуждение Технократии состоит в том, что данные направлены на подтверждение их теорий. Это закралось, когда первые технократы осознали, что их «наука социальной инженерии» не может быть подтверждена законными данными. Сегодняшние новости разыгрываются как детская игра «Саймон говорит», но заменены на «Наука говорит». ⁃ Редактор TN
Несколько лет назад два исследователя включили наиболее используемые ингредиенты 50 в кулинарную книгу и изучили, сколько из них было связано с риском или пользой от рака, на основе множества исследований, опубликованных в научных журналах.
Результат? Сорок из 50, включая соль, муку, петрушку и сахар. «Все, что мы едим, связано с раком?» - задались вопросом исследователи в статье 2013 года на основе своих выводов.
Их исследование коснулось известной, но постоянной проблемы в мире исследований: слишком мало исследований имеют достаточно большие выборки, чтобы поддержать обобщенные выводы.
Но давление на исследователей, конкуренция между журналами и ненасытный аппетит СМИ к новым исследованиям, провозглашающим революционные прорывы, привели к тому, что такие статьи продолжают публиковаться.
«Большинство статей, которые публикуются, даже в серьезных журналах, довольно небрежны», - сказал Джон Иоаннидис, профессор медицины Стэнфордского университета, специализирующийся на изучении научных исследований.
Этот заклятый враг плохих исследований опубликовал в 2005 году широко цитируемую статью под названием «Почему большинство опубликованных результатов исследований ложны».
С тех пор, по его словам, был достигнут лишь ограниченный прогресс.
В настоящее время некоторые журналы настаивают на том, чтобы авторы предварительно регистрировали протокол своих исследований и предоставляли свои необработанные данные, что затрудняет для исследователей манипулирование результатами для достижения определенного вывода. Это также позволяет другим проверять или копировать свои исследования.
Потому что, когда исследования тиражируются, они редко дают одинаковые результаты. Только треть исследований 100, опубликованных в трех ведущих психологических журналах, может быть успешно воспроизведена в большом тесте 2015.
Иоаннидис сказал, что медицина, эпидемиология, популяционная наука и диетология не лучше, когда делаются попытки их воспроизвести.
«В биомедицинской науке и за ее пределами ученые не получают достаточной подготовки по статистике и методологии», - сказал Иоаннидис.
Слишком много исследований основаны исключительно на нескольких людях, что затрудняет возможность сделать более широкие выводы, потому что выборки имеют так мало надежды на репрезентативность.
«Диета - одна из самых ужасных областей биомедицинских исследований», - добавил профессор Иоаннидис - и не только из-за конфликта интересов с представителями пищевой промышленности.
«Измерить диету чрезвычайно сложно», - подчеркнул он. Как мы можем точно определить, что едят люди?
В этой области исследователи часто идут на дикий поиск корреляций в огромных базах данных, не выдвигая ничего, кроме начальной гипотезы.
Даже когда методология хороша, а золотой стандарт - это исследование, в котором участники выбираются случайным образом, выполнение может быть неудачным.
Знаменитое исследование 2013 о преимуществах средиземноморской диеты против болезней сердца пришлось отозвать в июне самым престижным медицинским журналом, Медицинским журналом Новой Англии, поскольку не все участники были набраны случайным образом; результаты были пересмотрены в сторону понижения.
Итак, что мы должны забрать из потока исследований, публикуемых каждый день?
Иоаннидис рекомендует задать следующие вопросы: это было замечено только один раз или в нескольких исследованиях? Это небольшое или большое исследование? Это рандомизированный эксперимент? Кто это финансировал? Исследователи прозрачны?
Эти меры предосторожности имеют основополагающее значение в медицине, где плохие исследования способствуют принятию методов лечения, которые в лучшем случае неэффективны, а в худшем - вредны.
В своей книге «Прекращение медицинского обращения» Винаяк Прасад и Адам Цифу предлагают ужасающие примеры практик, принятых на основе исследований, которые впоследствии были признаны недействительными, например, открытие мозговой артерии с помощью стентов для снижения риска нового инсульта.
Только после 10 лет тщательное рандомизированное исследование показало, что эта практика фактически увеличивает риск инсульта.
Решение заключается в коллективном ужесточении стандартов всеми участниками исследовательского мира, не только журналами, но и университетами, государственными финансирующими агентствами. Но все эти учреждения работают в конкурентной среде.
