Правда или ложь? Как читать научные новости

Большинство опубликованных научных данных не соответствует действительности — с этого громкого заявления в 2005 году началась медийная история Джона Иоаннидиса. Профессор Стэнфордского университета пришел к таким выводам после статистического анализа исследований, собранных в научных базах данных. Ирония в том, что его статья о ненадежности науки стала самой скачиваемой научной работой в Общественной научной библиотеке, собрала 2,5 млн просмотров, заработала высочайший индекс цитируемости в библиографическом сервисе Mendeley. Такими же хитовыми оказались и последующие работы Иоаннидиса. Из них мы узнали, что лучшие исследователи не всегда получают финансирование, что данные нейробиологии ненадежны, что клинические исследования по большей части бесполезны, а значение экономических — преувеличено.

Что это означает для нас, потребителей науки? Кому верить? Как выжить в хаосе медицинской дезинформации? Буквально так и звучит название еще одной работы Иоаннидиса. Чтобы получить ответы на эти вопросы, Reminder сходил на лекцию знаменитого ученого в петербургском ИТМО. Ее главная идея: доказательная медицина больна, но излечима. Простых рецептов он не дал. Зато привел много фактов, на основе которых мы составили небольшой гайд. Итак, на что обращать внимание при чтении медицинских новостей?

1. Кто, где, когда?

Будь то заметка о вреде сладкого или о пользе сна, мы всегда примеряем новую медицинскую информацию к себе. Но не всегда делаем это правильно. Спрашивается: какое исследование могло бы точнее всего показать, что вредно или полезно для вас? Идеальный вариант — тесты с вашим участием. Вот почему биохакеры при переходе на новый тип питания или новый режим активности всегда проводят мониторинг своего состояния. Не все из нас готовы, как Станислав Скакун, фиксировать по 800 бихимичеких показателей в месяц. Но каждый может задаться вопросом: насколько участники исследования похожи на меня? Начнем с самого простого.

Мыши или люди?

Удивительно, как часто в очередной заметке о вреде кофеина забывают уточнить, что опыты проводились на мышах. Насколько мыши похожи на вас? Кое-что общее есть: они тоже млекопитающие, живородящие, с головой и четырьмя конечностями. Но запах кофе им совсем не нравится. А общих генов у вас с ними — всего половина. Для сравнения: с шимпанзе — 96%. Хотя гены, кодирующие белки, у нас и мышей совпадают почти на 70%, благодаря чему они и стали «модельными организмами», мыши все равно отличаются от людей. Настолько сильно, что эффективные для них лекарства от диабета вообще не действуют на нас из-за различий в инсулин-синтезирующих клетках. Все, кто интересуется борьбой со старением, наверняка помнят, как 11 лет назад фармацевтический концерн GalaxoSmithKline выложил сотни миллионов долларов за препарат для омоложения Vivix на основе природного антиоксиданта ресвератрола, который называли новым словом в борьбе со старением, раком и синдромом Альцгеймера. А потом оказалось, что этот «эликсир молодости» продлевает жизнь только грызунам и дрожжам, но не людям.

Состав и количество участников

Даже если в исследовании участвовали не мыши, а люди, остаются вопросы: насколько они похожи на вас по состоянию здоровья и условиям жизни, одного ли с вами возраста и пола? Если вы 30-летняя жительница европейского мегаполиса, наверное, вы немного отличаетесь от 65-летнего фермера из Китая. Чем меньше у вас общего с участниками исследования, тем ниже вероятность, что его результаты применимы к вам.

Еще один важный вопрос: сколько человек участвовали в интересующем вас исследовании. Вы удивитесь, но часто это даже не сотни и десятки, а гораздо меньше. Например, в нашумевшем эксперименте по откату эпигенетических часов принимали участие всего 9 человек, а эффект наблюдался у семи. Причем среди них не было ни женщин, ни детей. С детьми вообще все сложно. Новые лекарства не тестируют на детях по этическим соображениям. Но часто прописывают им после тестов на взрослых. Так получилось с ингибиторами моторного насоса — это препараты нового поколения для лечения желудочно-кишечных заболеваний. Как пишет американский педиатр Аарон Кэрролл, после удачных клинических испытаний на взрослых их стали в семь раз чаще выписывать маленьким детям, пока, наконец, не выяснилось, что они приносят им больше вреда, чем пользы.

Дата проведения исследования

В продуктовом магазине мы, как правило, проверяем дату на упаковке, так же поступайте с научной информацией. У нее тоже есть срок годности. Классичесий пример — повторяющаяся в статьях и книгах информация о том, что 95% попыток перейти на здоровое питание терпит крах. Такие результаты действительно были получены в 1959 (!) году при обследовании сотни страдавших ожирением пациентов в одной-единственной больнице. Думаете, что подобные ошибки возможны только в популярных медиа? Но Иоаннидис еще в 2005 году показал, что от них нельзя застраховаться, даже если читать только рецензируемые научные журналы. (Кстати, их список можно найти здесь.) Он отобрал для анализа 49 научных работ, соответствующих самым высоким стандартам. Они были опубликованы в наиболее цитируемых научных журналах и являлись самыми цитируемыми публикациями за последние 13 лет. Все сплошь серьезные работы — статьи о гормонозаместительной терапии у женщин, о влиянии витамина Е на риск развития сердечно-сосудистых заболеваний, о контроле артериального давления с помощью ежедневного приема небольших доз аспирина. Итог: лишь три четверти этих исследований прошли перепроверку, и их результаты на 41% оказались ошибочными, что не мешало еще многие годы снова и снова приводить их в научных статьях.

2. Как проводилось исследование

Есть два типа исследований, которые чаще всего дают повод для громких заголовков: рандомизированные контролируемые (РКИ) и обзорные. Разница между ними, если свести ее к самому простому, заключается в том, что в первом случае изучают людей, а во втором — раннее проведенные исследования. Определить по короткой заметке, о каком типе исследования идет речь, довольно трудно, особенно если вы читаете переводной материал. Часто в переводе все называют одним словом — «исследования». Попробуйте найти оригинал в интернете. Там рандомизированные исследования, скорее всего, будут называться trial или research, а обзорные — survey. Мы в Reminder всегда даем ссылку на первоисточник.

РКИ

В таких исследованиях участники распределяются методом рандомизации, то есть случайным образом, по двум группам, в одной из которых применяется настоящее лекарство, а в другом плацебо. РКИ считаются «золотым стандартом» клинических испытаний. Но так ли это на самом деле? Иоаннидис приводит такую статистику: 25% «эталонных» рандомизированных исследований дают неверные результаты.

Обзорные исследования

В исследованиях такого типа сопоставляется информация, полученная в ходе других исследований и собранная в больших базах данных типа Medicare, Medicaid и Medpub. Имейте в виду, что используемые работы могли быть нацелены на решение совсем не той проблемы, которая интересует авторов обзорного исследования. Это могли быть обычные потребительские опросы или данные плановых медосмотров, изначально не предназначенные, например, для изучения влияния кофе на сердечно-сосудистую систему.

И еще важная деталь: в обзорных исследованиях всегда выявляется не причинно-следственая связь, а корреляция. И это не одно и то же. Например, вскоре после того, как в 1977 году в официальных рекомендациях по здоровому питанию правительства США американцам посоветовали есть меньше жирного и больше углеводов, началась эпидемия диабета второго типа. Есть ли корреляция между этими фактами? Скорее всего, да. Но есть ли доказательства, что первое послужило причиной второго? Нет.

Главная проблема обзорных исследований в том, что из одних и тех же данных можно делать разные выводы, если применять разные методы анализа. Стив Помрой из RealClearScience подсчитал, что из-за этого канцерогенами хотя бы раз объявлялись практически все продукты (и не только пищевые): от молока до фейсбука.

Это можно было бы расценить как шутку, если бы недавно такая же история не повторилась всерьез. Мы в Reminder писали о том, как ученые, используя другие статистические методы, проанализировали данные, на основе которых ВОЗ причислила красное мясо и мясопродукты к канцерогенам, и пришли к выводу, что это не совсем так. Когда обзорные исследования противоречат друг другу, Иоаннидис, сам один из создателей методики метанализа, предлагает «игнорировать их все». Мы советуем не такое радикальное решение: просто мысленно добавляйте ко всем заголовкам слово «вероятно» и не ошибетесь. Вероятно.

3. Кто платит?

Узнать это из популярной статьи не всегда просто. Но если там упомянут конкретный препарат, вы всегда можете посмотреть, кому принадлежит эта торговая марка. Вероятно, именно владелец финансирует исследования.

В оригинале научной публикации такая информация, по правилам, приводится в графе «конфликт интересов». Но мы не можем быть на 100% уверены, что авторы исследования раскрывают всю финансовую информацию, отмечает в своей лекции Иоаннидис. И приводит такую статистику: из 57 отчетов клинических испытаний, опубликованных в 2011 году, в 55 случаях было доказано, что продвигаемый спонсором препарат как минимум не уступает по эффективности уже имеющимся на рынке аналогам. Красноречивое совпадение.

Но есть и другая статистика. Фармацевтическая компания Bayer вынуждена закрывать почти две трети клинических испытаний по той простой причине, что результаты проверки препаратов не соответствуют положительным данным независимых исследований, которые финансировались научными учреждениями без всякого «конфликта интересов». А биотехнологическая компания Amgen в 2012 году смогла воспроизвести результаты лишь шести из 53 независимых онкологических исследований. Так что, если исследования проводятся на коммерческой основе, это еще не значит, что их данные автоматически менее надежны или недостаточно объективны. В конце концов, Стэнфордский центр инновационных метаисследований, который возглавляет Иоаннидис, тоже получил в 2013 году от фонда Джона Арнольда грант в $6 млн на борьбу за чистоту науки.

4. О чем на самом деле идет речь в исследовании?

Цели и результаты научной работы очень часто не имеют ничего общего с их интерпретацией в популярных медиа. Особенно это касается исследований в области здорового питания.

Иоаннидис — и сам живая иллюстрация этой проблемы. Его обвиняют в том, что он очерняет науку. Но своей репутацией разоблачителя он во многом обязан СМИ. На сайте Американского совета по науке и здоровью его даже сравнивают с четвертым всадником Апокалипсиса. А из статей о нем складывается впечатление, что он уличает ученых в фейках. Как же тогда ему удалось поработать с 1328 соавторами из 538 научных учреждений в 43 странах мира?

На самом деле научное сообщество благожелательно относится к его исследованиям. И на лекции в Петербурге было много представителей той самой доказательной медицины, которую он якобы разоблачает. Да, результаты разных исследований нередко не согласуются, порой даже прямо противоречат друг другу. А выводы, которые из них делают, не всегда обоснованы на сто процентов и часто опровергаются со временем другими исследованиями. Но так и работает наука, пишет о находках Иоаннидиса The Gardian. Ее методы постоянно совершенствуются, данные уточняются, ошибки обнаруживаются и исправляются. Так что, если медицинская новость кажется вам слишком хайповой, загляните в оригинал. В случае Иоаннидиса он будет звучать так: «Ошибаться в науке нормально и даже необходимо».