P-value: почему «статистически значимо» не значит «важно»

Как не попасться на крючок цифр, которые ничего не решают

Разбираемся, почему «p < 0,05» в исследовании — не приговор, и как отличить научный факт от статистического шума.

Вот два факта, которые ставят в тупик. Первый: в одном крупном исследовании препарат для снижения сахара показал «статистически значимое» улучшение — на 0,3% гликированного гемоглобина. Второй: в другом, не менее серьёзном, эффект тех же таблеток был «незначимым» — хотя разница с плацебо составила те же 0,3%. Как так? Ответ кроется в том самом p-value, о котором вы слышали в новостях о науке и который почти никто не понимает правильно.

Что такое p-value на самом деле

Формально p-value — это вероятность получить такие (или более крайние) результаты, если на самом деле никакого эффекта нет. Звучит как заклинание, но суть проста: это не «шанс, что результат верен», и тем более не «размер эффекта». Это фильтр, который отсеивает случайные совпадения. Если p меньше 0,05, исследователи говорят: «Скорее всего, эффект есть». Но насколько он велик и важен — p-value умалчивает.

Простыми словами
То же простыми словами: p-value — это не громкость сигнала, а уровень помех. Можно услышать писк даже в тишине — но это не значит, что вы поймали нужную частоту.

Ловушка №1: «Значимо» ≠ «Заметно»

Представьте: таблетка снижает давление на 2 мм рт. ст. При огромной выборке в 10 000 человек это будет «статистически значимо» — p < 0,001. Но для вас, живого человека, 2 мм — это капля в море. Ваше давление скачет больше от чашки кофе. А вот для популяции в целом даже такое снижение может означать на 5% меньше инсультов — и тогда это уже важно. Вся соль в том, что «значимость» — это математика, а «важность» — это медицина.

Цифра
0,3% гликированного гемоглобина — примерно столько же даёт замена белого хлеба на цельнозерновой. Статистически значимо? Возможно. Важно? Зависит от вашего стартового уровня.

Ловушка №2: Маленькая выборка — большие иллюзии

Когда в исследовании участвуют 20 человек, любой случайный выброс может стать «значимым». Это как подбросить монету 10 раз: три орла подряд — не закономерность, а везение. Хорошие исследования заранее рассчитывают размер выборки, но в новостях об этом часто забывают.

Спорно
Учёные спорят: некоторые предлагают вообще отказаться от жёсткого порога 0,05 в пользу доверительных интервалов. Другие защищают привычный критерий как «рабочую лошадку». Истина, как обычно, посередине: p-value — инструмент, а не истина в последней инстанции.

Ловушка №3: Множественные сравнения

Если проверить 20 гипотез, одна из них «случайно» окажется значимой просто по теории вероятностей. Это называется проблемой множественных сравнений. В грамотных исследованиях за это делают поправки. В неграмотных — молчат. Отсюда «чудо-диеты», «революционные добавки» и «тайные причины мигрени», которые живут ровно до следующего опровержения.

История
В 2011 году группа учёных специально провела исследование, в котором просила испытуемых выбрать любимую песню, а потом «доказала», что прослушивание музыки меняет цвет глаз. P-value был ниже 0,05. Разумеется, это была шутка — но она наглядно показывает, как легко обмануться.

Как это связано с вашим умным кольцом

Вы смотрите на график пульса и видите «аномалию» в среду. Приложение честно показывает цифры — но не говорит, что вариабельность сердечного ритма (ВСР) колеблется от десятков факторов: недосыпа, кофе, стресса. Если вы измеряете SDNN за ночь, норма — около 50–100 мс, но у здоровых людей бывает и 30, и 120. Резкое падение на 20% от вашей личной нормы — повод прислушаться, но не паниковать. А вот единичный «пик» на графике без повторения — это тот самый p-value: статистический шум.

Совет
Не гонитесь за «зелёными зонами» в приложении. Сравнивайте показатели с собственной нормой за 2–4 недели, а не с чужими «идеальными» цифрами. Организм — не лабораторный отчёт.

Как не попасться на крючок: чек-лист

  • ☐ Смотрите на размер эффекта, а не только на p-value: «насколько изменилось?»
  • ☐ Ищите доверительные интервалы: если они широкие — результат неточный.
  • ☐ Проверяйте, была ли контрольная группа и сколько в ней людей.
  • ☐ Спрашивайте: «Это изменение важно для моей жизни?»
  • ☐ Помните: одно исследование — не истина. Нужны повторения.
Осторожно
Если исследование обещает «революционный эффект» на выборке из 15 человек или не указывает, сколько людей выбыло — это повод усомниться, а не бежать за добавкой.

Итог: цифры — слуги, а не хозяева

Статистика — это язык, на котором наука говорит с нами. Но, как любой язык, она допускает ошибки перевода. «Статистически значимо» — это «мы услышали сигнал». А вот «важно» — это «сигнал меняет вашу жизнь». Между ними — дистанция огромного размера, и её нужно проходить с холодной головой.

Итог
P-value — это фильтр случайности, а не мера важности. Всегда спрашивайте: «Насколько велик эффект?», «На скольких людях проверено?», «Повторилось ли это в других работах?» И только потом решайте, верить ли заголовку.

Материал носит образовательный характер и не заменяет консультацию врача. При любых сомнениях в показателях здоровья обращайтесь к специалисту.