Метрики · 18 июля 2026 г.

Статистическая значимость простыми словами

Статистическая значимость — это ответ на один вопрос: могла ли разница, которую вы увидели в опросе, возникнуть просто из-за случайного набора респондентов? Если разница «статистически значима», значит, случайностью её объяснить трудно — обычно порог такой: вероятность получить наблюдаемое расхождение при отсутствии реальной разницы меньше 5%. Значимость не говорит, что разница большая, важная или полезная для бизнеса, — только что она, скорее всего, не шум. Ниже разберём, что на самом деле означает p-value, почему разница в 4 пункта на выборке в тысячу человек может оказаться незначимой, и как значимость обманывает — через подглядывание в данные и множественные сравнения.

Что такое статистическая значимость простыми словами

Вы сравнили два сегмента: в первом довольны 52%, во втором — 48%. Разница в 4 пункта. Вопрос: это настоящее различие между сегментами или просто так легли ответы конкретных людей, которые вам попались? Статистическая значимость отвечает именно на это. Логика проверки такая: предположим на минуту, что разницы нет вообще — сегменты одинаковые. Насколько тогда странно было бы увидеть расхождение в 4 пункта или больше? Если такое расхождение при полном отсутствии разницы возникало бы легко и часто — значит, ваши данные ничего не доказывают. Если бы оно возникало редко — значит, предположение «разницы нет» плохо согласуется с наблюдением, и разницу стоит принять всерьёз.

Предположение «разницы нет» называется нулевой гипотезой. Это не то, во что вы верите, а рабочая позиция скептика, которую вы пытаетесь опровергнуть данными. Такая конструкция кажется вывернутой наизнанку, но у неё есть смысл: доказать, что разницы нет, невозможно в принципе, а вот показать, что наблюдение плохо совместимо с её отсутствием, — вполне. Отсюда и вся асимметрия статистики: значимый результат позволяет сказать «разница есть», незначимый не позволяет сказать «разницы нет» — он позволяет сказать только «мы её не разглядели».

Что такое p-value и откуда взялось 0,05

p-value — это число, которым измеряют «странность» наблюдения при нулевой гипотезе. Определение точное и его стоит выучить дословно: p-value — это вероятность получить такое же или ещё более сильное расхождение, если на самом деле разницы нет. Если p = 0,42, то результаты вроде ваших возникают из чистого шума в 42 случаях из ста — никакой новости в данных нет. Если p = 0,01, то при отсутствии разницы такое расхождение случалось бы раз в сто повторений — это уже повод сомневаться в том, что разницы нет.

Порог 0,05 — это соглашение, а не закон природы. Он появился в начале XX века как удобная условность и с тех пор въелся в практику. Никакой качественной разницы между p = 0,049 и p = 0,051 не существует, хотя первое принято объявлять открытием, а второе — неудачей. Разумнее относиться к p-value как к непрерывной шкале доверия: 0,4 — данных нет, 0,08 — намёк, стоит перепроверить, 0,01 — серьёзный аргумент, 0,001 — очень серьёзный. Порог нужен, когда решение бинарное — выкатывать вариант или нет, — но превращать его в границу между истиной и ложью не стоит.

• Верно: p-value — вероятность увидеть такое расхождение (или сильнее), если разницы на самом деле нет.
• Неверно: «p = 0,03 значит, что вероятность отсутствия разницы 3%». p-value считается в предположении, что разницы нет, — оно не может измерять вероятность этого предположения.
• Неверно: «p = 0,03 значит, что вероятность повторить результат 97%». Воспроизводимость p-value не измеряет.
• Неверно: «p = 0,001 значит, эффект в тридцать раз сильнее, чем при p = 0,03». p-value зависит и от размера эффекта, и от размера выборки одновременно — оно не мера силы эффекта.
• Неверно: «p = 0,3 значит, разницы нет». Это значит только, что при вашей выборке разницу не разглядеть.

Сколько нужно ответов, чтобы разница стала значимой

Вот самое отрезвляющее из практики опросов. Возьмём тот же пример: 52% против 48%, по 200 человек в каждой группе. Считаем: разница 4 пункта, стандартная ошибка разницы при таких размерах — около 5 пунктов, отношение — 0,8, p ≈ 0,42. То есть при полном отсутствии реальной разницы такое расхождение возникало бы почти в половине случаев. Данных нет. Чтобы на выборках по 200 человек разница стала значимой, ей нужно быть около 10 пунктов — например, 55% против 45%. Всё, что меньше, на таких выборках просто неразличимо.

Числа условные, посчитаны для сравнения двух долей при уровне 0,05, но порядок величин настоящий, и из таблицы видно главное. Во-первых, разница в 4 пункта не значима даже при тысяче человек в каждой группе — а тысяча ответов на группу для большинства компаний недостижимая роскошь. Во-вторых, обратите внимание на нижний ряд: чтобы поймать разницу в 20 пунктов, хватает пары сотен ответов. Правило простое: маленькие выборки видят только слонов. Если вы ищете тонкий эффект в 3 пункта на выборке в 150 человек — вы его не найдёте, что бы ни показали цифры, и это известно заранее, до сбора данных.

Значимость — это не важность

Слово «значимый» в русском языке звучит как «важный», и это порождает постоянную путаницу. Статистическая значимость не говорит ничего о величине эффекта и его пользе для бизнеса — только о том, отличим ли эффект от шума. На гигантских выборках значимым становится что угодно: при 50 000 ответов в каждой группе разница в 0,4 пункта (50,2% против 49,8%) окажется статистически значимой с p меньше 0,05. Никакого практического смысла в ней нет — вы не станете переделывать продукт ради 0,4 пункта, — но формально критерий пройден.

Работает и обратное: практически огромный эффект может оказаться незначимым просто потому, что данных мало. Разница в 15 пунктов между сегментами по 40 человек не пройдёт порог значимости, хотя, будь она настоящей, это был бы важнейший факт про вашу аудиторию. Незначимый результат здесь не означает «эффекта нет» — он означает «выборка слишком мала, чтобы ответить». Это принципиально разные вещи, и подменять одно другим — самая дорогая ошибка при чтении опросов.

Поэтому значимость никогда не должна быть единственным критерием решения. Правильная связка — три числа рядом: размер эффекта (насколько велика разница), доверительный интервал для этой разницы (насколько мы в ней уверены) и p-value (различима ли она вообще). Первое отвечает на вопрос «стоит ли овчинка выделки», второе — «в каких пределах может быть правда», третье — «не шум ли это». Одно p-value без первых двух ведёт к решениям, которые проходят статистический критерий и при этом бесполезны.

Подглядывание в данные: как заранее сломать значимость

Вот сценарий, который выглядит абсолютно естественно и разрушает всю статистику. Вы запустили опрос, каждое утро смотрите на дашборд и ждёте, когда разница станет значимой. На третий день p падает ниже 0,05 — вы останавливаете сбор и делаете вывод. Проблема в том, что p-value скачет, пока данные накапливаются, и при полном отсутствии реальной разницы оно рано или поздно случайно опустится ниже 0,05 просто по закону больших чисел. Если проверять каждый день в течение двух недель, шанс поймать ложную значимость становится не 5%, а гораздо выше — по разным оценкам, до 20–30% в зависимости от числа проверок.

Лечится это просто и скучно: заранее решите, сколько ответов вы соберёте и когда остановитесь, и не смотрите на значимость до этого момента. Считать выборку заранее — не бюрократия, а защита от собственных глаз: человек, который каждый день смотрит на скачущую метрику и ждёт нужного результата, обязательно его дождётся. Если по бизнесу нужно останавливаться раньше — существуют специальные процедуры с поправками на промежуточные проверки, но применять их надо осознанно, а не «просто подсматривать».

Множественные сравнения: если резать долго, что-нибудь найдётся

Вторая массовая ловушка. Вы прогнали опрос и начали резать данные: по возрасту, полу, городу, тарифу, каналу привлечения, давности покупки. Получилось двадцать сравнений. Одно из них показало p = 0,04 — и вот вы уже рассказываете на планёрке, что клиенты 35–44 из регионов ведут себя иначе. Но арифметика беспощадна: если разницы нет нигде, каждое отдельное сравнение с вероятностью 5% всё равно даст ложную значимость. При двадцати сравнениях вероятность поймать хотя бы одну ложную находку — примерно 64%. То есть находка почти гарантирована и без всякого эффекта в реальности.

• 1 сравнение — шанс ложной находки 5%. Нормально.
• 5 сравнений — шанс ложной находки около 23%. Уже неуютно.
• 10 сравнений — около 40%. Находка становится вероятнее её отсутствия при полном отсутствии эффектов.
• 20 сравнений — около 64%. Вы почти наверняка что-нибудь «откроете».
• 50 сравнений — около 92%. Открытий будет несколько, и все ложные.

Что с этим делать. Первое: сформулируйте гипотезы до опроса и явно разделите их на подтверждающие (их проверяете формально) и разведочные (их только смотрите, но не объявляете выводами). Второе: если сравнений много, применяйте поправку — простейшая, поправка Бонферрони, делит порог на число сравнений: при двадцати сравнениях значимым считается p < 0,0025, а не 0,05. Она грубая и слишком строгая, но лучше, чем ничего. Третье, самое важное: находку из разведочного анализа честно называйте гипотезой, а не результатом, и проверяйте её на новых данных. Если эффект настоящий — он повторится.

Незначимый результат — это тоже результат

Незначимый результат обычно воспринимают как провал опроса: «ничего не нашли, зря потратили время». Но у него есть два разных прочтения, и различать их обязательно. Первое: разницы, скорее всего, действительно нет или она мала — и это ценный вывод, который останавливает бессмысленную работу. Второе: разница может быть большой, но выборка слишком мала, чтобы её увидеть, — и это вывод про качество опроса, а не про реальность.

Отличить их помогает доверительный интервал для разницы. Если он выглядит как «от −2 до +3 пункта» — вы действительно показали, что большого эффекта нет: даже самый оптимистичный край интервала не даёт ничего интересного. Если интервал «от −14 до +18 пунктов» — вы не показали ничего вообще: данные совместимы и с сильным ростом, и с сильным падением. Обе ситуации дают p > 0,05, но выводы из них противоположные, и p-value само по себе их не различает. Именно поэтому интервал для разницы важнее p-value.

Типичные ошибки при работе со значимостью

• Считать, что p > 0,05 доказывает отсутствие разницы. Это доказывает только, что вы её не разглядели на своей выборке.
• Читать p-value как вероятность того, что гипотеза верна. p-value считается в предположении, что разницы нет, — оно про данные, а не про гипотезу.
• Останавливать сбор ответов в тот момент, когда результат наконец стал значимым.
• Проверять два десятка срезов и отчитываться по единственному, где p оказался меньше 0,05.
• Применять тесты к нерепрезентативной выборке: тест проверяет случайность различий, но не спасает от систематически кривого набора респондентов.
• Забывать про размер эффекта: на большой выборке значимой становится разница, которую бессмысленно даже обсуждать.
• Сравнивать средние по шкале Ликерта тестом для долей — это разные величины и разные формулы.

И ещё одна ошибка, менее очевидная: применять статистические тесты к данным, которые собирались не как выборка. Если опрос висел баннером на сайте и его прошли те, кому было интересно, это не случайная выборка, и математика теста считает не то, что вы думаете. Тест ответит на вопрос «могло ли такое расхождение возникнуть случайно при случайном отборе» — но отбора-то случайного не было. Значимость в таком опросе — это значимость различий между самоотобравшимися группами, и переносить её на всю аудиторию нельзя.

Как проверять значимость на практике

1. До опроса сформулируйте гипотезу и решите, какая разница вам практически интересна: 3 пункта или 10. От этого зависит нужная выборка.
2. Посчитайте нужный размер выборки под эту разницу. Если он недостижим — меняйте постановку задачи, а не надейтесь на удачу.
3. Соберите данные до заранее назначенной точки остановки, не подглядывая в значимость по дороге.
4. Посчитайте размер эффекта, доверительный интервал для разницы и p-value — все три числа, а не одно.
5. Если сравнений много — примените поправку или честно назовите результаты разведочными гипотезами.
6. В отчёте пишите разницу с интервалом: «+7 п.п. (95% ДИ: 2–12 п.п.)» — это информативнее, чем «различие значимо, p < 0,05».

Арифметику здесь можно автоматизировать: в сервисе «До Сути» сравнение долей между сегментами и волнами считается по данным опроса, вместе с интервалами для разницы. Но решение, что делать с результатом, остаётся за человеком — и это не формальность. Машина не знает, что вы уже посмотрели пятнадцать срезов до этого, что опрос прошли только активные клиенты и что найденная разница в 3 пункта не окупит работу по её устранению. Всё это знает только тот, кто ставил задачу.

Итог короткий. Статистическая значимость — не печать истины, а фильтр от шума, и довольно грубый. Она отвечает ровно на один вопрос: «могло ли это получиться случайно». На вопросы «большая ли разница», «важна ли она» и «не перекошена ли выборка» отвечает человек — и ни один из этих ответов нельзя получить из p-value. Опрос, где написано «различия в пределах погрешности», честнее опроса, где значимость нашли с двадцатой попытки.