Метрики · 18 июля 2026 г.

Доверительный интервал простыми словами: зачем он в опросах

Доверительный интервал — это диапазон вокруг результата опроса, в котором с заданной уверенностью (обычно 95%) находится настоящее значение по всей аудитории, а не только по тем, кого вы успели спросить. Если из 100 человек 30 выбрали ответ «да», это не значит, что «да» ответили бы 30% всех клиентов: реалистичная оценка — примерно от 22% до 40%. Интервал и есть честная запись этой неопределённости: он говорит, что цифра 30% получена на выборке и могла бы оказаться другой, спроси вы других сто человек. Ниже разберём, что именно означает «95%», как интервал считается для доли, чем метод Уилсона лучше обычной формулы на малых выборках и в каких случаях интервалу верить нельзя вообще.

Что такое доверительный интервал простыми словами

Вы спрашиваете не всех клиентов, а часть — выборку. Значит, любой полученный процент — это оценка, а не факт. Она почти наверняка немного отличается от того значения, которое вы получили бы, опросив всю аудиторию до последнего человека. Доверительный интервал показывает, насколько сильно она может отличаться. Формат записи простой: «30% (95% ДИ: 22–40%)». Это читается так: наша оценка — 30%, но данные совместимы с любым значением от 22% до 40%, и мы не имеем оснований настаивать на конкретной точке внутри этого диапазона. Всё, что интервал делает, — переводит неопределённость из области ощущений («выборка маленькая, наверное, неточно») в число, с которым можно работать и спорить.

Проще всего понять интервал через мысленный эксперимент. Представьте, что вы повторили один и тот же опрос сто раз подряд, каждый раз случайно набирая новых сто человек из той же аудитории. Результаты будут скакать: 27%, 33%, 29%, 35%. Они рассыпаются вокруг настоящего значения, и разброс этот не хаотичен — он подчиняется математике и зависит в первую очередь от размера выборки. Доверительный интервал — это способ по одному-единственному проведённому опросу оценить, насколько широко разбросало бы результаты, если бы вы повторяли его снова и снова. Отсюда и уровень 95%: если бы вы строили такой интервал в каждом из ста повторений, примерно в 95 из них он накрыл бы настоящее значение, а примерно в пяти — промахнулся мимо.

Почему одна цифра в отчёте всегда обманывает

Голая цифра выглядит убедительнее, чем есть на самом деле. «Удовлетворённость 72%» звучит как измеренный факт — примерно как рост человека. Но рост меряют у конкретного человека, а 72% получены на 80 ответивших из 3000 клиентов, и следующая волна опроса может дать 66% просто потому, что попались другие 80 человек. Без интервала команда честно и добросовестно начинает разбирать, «почему упало на 6 пунктов», хотя падения могло не быть вовсе — были две случайные выборки из одной и той же неизменившейся аудитории. Это самая частая и самая дорогая ошибка в работе с опросами: время уходит на объяснение шума.

Интервал закрывает этот сценарий заранее. Если в отчёте написано «72% (95% ДИ: 61–81%)», то следующая волна с результатом 66% (95% ДИ: 55–76%) уже никого не пугает: интервалы перекрываются почти целиком, данных на вывод о падении нет. Вывод в этом случае не «всё стало хуже», а «мы пока не можем различить эти два числа — нужна выборка побольше или больше времени между волнами». Это менее эффектно, но это правда, а на правде можно строить решения. На красивой точной цифре без интервала строить нельзя — она в любой момент может рассыпаться.

Что «95%» означает, а что — нет

Здесь живёт главное недоразумение. Фраза «с вероятностью 95% настоящее значение лежит в интервале 22–40%» — привычная, ходовая и, строго говоря, неверная. В классической статистике настоящее значение — это фиксированное число, оно не случайно и никуда не прыгает; случаен ваш интервал, потому что он посчитан по случайной выборке. Поэтому 95% относятся к процедуре, а не к конкретному результату: метод устроен так, что 95% построенных им интервалов накрывают истину. Про ваш конкретный интервал нельзя сказать, повезло ему или нет, — он либо накрыл, либо промахнулся, и вы этого не узнаете.

• Верно: если повторять опрос много раз и каждый раз строить 95%-й интервал, примерно 95% этих интервалов накроют настоящее значение.
• Неверно: «настоящее значение с вероятностью 95% внутри моего интервала». Настоящее значение не случайно — случаен интервал.
• Неверно: «95% респондентов ответили в диапазоне 22–40%». Интервал — про оценку доли по всей аудитории, а не про разброс ответов людей.
• Неверно: «значения в середине интервала вероятнее краёв, значит, 30% — почти наверняка правда». Середина действительно правдоподобнее краёв, но 22% и 40% данные тоже не опровергают.
• Верно: чем шире интервал, тем меньше информации дал опрос. Ширина — это и есть цена маленькой выборки.

Как считается интервал для доли: обычная формула

В опросах чаще всего измеряют долю: сколько процентов выбрали вариант, сколько поставили 9–10 баллов, сколько дошли до конца. Классическая формула (её называют нормальной или интервалом Вальда) выглядит так: p ± z × √(p × (1 − p) / n). Здесь p — полученная доля в долях единицы (30% = 0,3), n — число ответивших на этот вопрос, а z — множитель, задающий уровень уверенности: 1,96 для 95% и 2,58 для 99%. Выражение под корнем — стандартная ошибка доли, мера разброса оценки. Вся формула читается по-человечески так: возьмите свой процент и отступите от него в обе стороны на две стандартные ошибки.

Пример на условных числах: 30 человек из 100 выбрали вариант «да». Тогда p = 0,3, n = 100. Стандартная ошибка = √(0,3 × 0,7 / 100) = √0,0021 ≈ 0,0458, то есть 4,6 процентного пункта. Умножаем на 1,96 — получаем примерно 9 пунктов. Интервал: от 21% до 39%. Это и есть та самая «погрешность ±9 пунктов», которую в отчётах пишут после цифры. Обратите внимание на масштаб: выборка в сто человек кажется солидной, а интервал занимает почти двадцать пунктов — на таких данных нельзя всерьёз обсуждать разницу в три-четыре пункта между сегментами.

Метод Уилсона: почему обычная формула врёт на малых выборках

У формулы Вальда есть неприятное свойство: она хороша только когда выборка велика, а доля не жмётся к краям. Как только n маленькое или p близко к 0% либо к 100%, она начинает откровенно врать. Пример, который виден невооружённым глазом: из 20 человек ни один не выбрал вариант. Тогда p = 0, стандартная ошибка = √(0 × 1 / 20) = 0, и формула Вальда выдаёт интервал «от 0% до 0%» — то есть утверждает, что вы точно, без всякой неопределённости, установили: этот вариант не выбирает вообще никто во всей аудитории. По двадцати ответам. Это, очевидно, абсурд, но формула не знает, что она абсурдна.

Метод Уилсона решает эту проблему. Формально он выглядит громоздко: центр интервала считается как (p + z²/2n) / (1 + z²/n), а полуширина — как z × √(p(1 − p)/n + z²/4n²) / (1 + z²/n). Идея за формулами простая: Уилсон слегка сдвигает центр интервала к 50% — тем сильнее, чем меньше выборка, — и не даёт границам выйти за пределы 0% и 100%. Для тех же нуля из двадцати он даёт интервал примерно от 0% до 16%: честное «мы не видели ни одного, но при такой выборке доля до одной шестой аудитории вполне возможна». Для 30 из 100 Уилсон даёт примерно 21,9–39,6% — почти то же самое, что Вальд, потому что на больших выборках со средними долями оба метода сходятся.

Числа в таблице условные и посчитаны для уровня 95%, но закономерность настоящая. Практический вывод: если ваши выборки исчисляются тысячами, а доли держатся в районе 20–80%, между методами нет разницы и можно пользоваться любым. Но в бизнес-опросах обычная ситуация — 40 ответов и доля 5%, и вот там Вальд выдаёт отрицательные границы или ложную точность, а Уилсон продолжает работать корректно. Поэтому по умолчанию разумнее считать интервалы для долей методом Уилсона всегда: на больших выборках вы ничего не теряете, на малых — не получаете чепухи.

Как размер выборки влияет на ширину интервала

Главный рычаг ширины интервала — размер выборки, и работает он не линейно. Чтобы сузить интервал вдвое, нужно увеличить выборку вчетверо: n стоит под квадратным корнем, и это меняет всю экономику опросов. Первые сотни ответов дают огромную отдачу — каждый новый респондент заметно уточняет картину. После первой-второй тысячи каждая новая сотня почти не двигает точность, зато стоит столько же, сколько первая. Отсюда и практика: массовые опросы почти всегда останавливаются в районе тысячи респондентов не потому, что это магическое число, а потому, что дальше кривая отдачи ложится горизонтально. Посмотрите на таблицу ниже — она показывает эту зависимость в цифрах для самого неудобного случая, доли около 50%.

Посмотрите на нижние строки: переход с 1000 до 4000 ответов — вчетверо больше работы, времени и денег — сужает интервал всего с ±3,1 до ±1,5 пункта. В большинстве продуктовых задач эта разница ничего не меняет: решение «дорабатывать раздел или нет» одинаково при 47% и при 51%. Именно поэтому массовые опросы обычно останавливаются на 1000–1500 респондентов — дальше платить приходится много, а узнавать нового почти нечего. И наоборот, переход с 50 до 200 ответов сужает интервал вдвое и часто превращает бесполезный результат в рабочий.

Второй фактор — сама доля. Интервал шире всего у 50% и заметно уже у крайних значений: при n = 400 доля 50% даёт ±4,9 пункта, а доля 5% — примерно ±2,1. Поэтому редкие явления в процентах измеряются точнее, чем спорные вопросы, где мнения разделились пополам. Отсюда практическое правило планирования: если вы не знаете заранее, какую долю ожидать, считайте нужный размер выборки для 50% — получите запас с гарантией, потому что хуже уже не будет.

Как сравнивать два интервала между собой

Самое частое применение интервалов — сравнение: два сегмента, две волны опроса, два варианта. Правило, которым пользуются в первую очередь, простое: если интервалы не пересекаются вообще, разница почти наверняка настоящая. Если один интервал полностью внутри другого, говорить о разнице нельзя. Между этими крайностями — серая зона: интервалы перекрываются частично, и здесь простое правило «перекрылись — значит, разницы нет» уже ошибается. Оно слишком консервативно: интервалы могут немного перекрываться, а разница при этом быть статистически значимой.

• Интервалы не пересекаются — разница есть, можно делать выводы (это правило строгое, но надёжное).
• Один интервал целиком внутри другого — разницы не видно, сравнивать бессмысленно.
• Интервалы перекрываются частично — нужен нормальный тест на разницу долей, а не глазомер: правило перекрытия здесь занижает чувствительность.
• Оба интервала очень широкие — вопрос не в сравнении, а в том, что данных мало для любых выводов.

Отдельная ловушка — сравнение подгрупп. Общая выборка в 400 человек даёт приличную точность в целом, но если вы режете её на четыре сегмента по 100, в каждом сегменте интервал становится вдвое шире, и половина «интересных различий между сегментами» растворяется. Прежде чем строить выводы по срезу, посмотрите, сколько ответов реально попало в этот срез. Сегмент из 23 человек не даёт вам процентов — он даёт вам 23 истории, которые полезно прочитать, но нельзя пересчитывать в доли с точностью до пункта.

Где доверительному интервалу верить нельзя

Это самое важное ограничение, и его почти всегда замалчивают. Доверительный интервал описывает только случайную ошибку — ту, что возникает из-за того, что вы взяли часть аудитории вместо целого. Он молча предполагает, что выборка случайная и представляет вашу аудиторию. Если это не так — а в бизнес-опросах это чаще всего не так, — интервал считается по формуле как ни в чём не бывало, но не значит ничего. Он не умеет замечать, что отвечали только лояльные клиенты, что половина аудитории вообще не увидела ссылку и что вопрос был сформулирован с подсказкой.

• Отвечали только те, кому не лень: интервал построен вокруг мнения активных, а не вокруг мнения аудитории. Формула этого не видит.
• Опрос показывали только в приложении: люди без приложения не имели шанса попасть в выборку — их мнения в интервале нет ни в каком виде.
• Вопрос подталкивал к ответу: интервал аккуратно опишет разброс систематически завышенной цифры.
• Опрос отправили после успешной покупки: недовольные ушли раньше и до анкеты не дошли. Интервал вокруг завышенной оценки будет узким и уверенным.
• Половина ушла с анкеты на середине: интервал считается по дошедшим до конца, а они отличаются от бросивших.

Типичные ошибки при работе с интервалами

• Считать интервал от общего числа респондентов, а не от числа ответивших на конкретный вопрос. Если вопрос показали не всем или его пропускали, n у него своё.
• Строить интервал по средней оценке шкалы Ликерта так же, как по доле. Для средних нужна другая формула — через стандартное отклонение ответов.
• Применять формулу Вальда к малым выборкам и крайним долям и получать границы вроде «−2% до 16%» или «до 104%».
• Считать интервалы для двух десятков срезов и объявлять «значимым» тот единственный, где границы разошлись. При множественных сравнениях случайные находки неизбежны.
• Округлять до целых и терять смысл: «30% ± 9» и «30% ± 1» — принципиально разные результаты, хотя точечная оценка одинаковая.
• Показывать интервал в приложении к отчёту мелким шрифтом, а на слайде — одну цифру. Решение примут по слайду.

Отдельно стоит сказать про конечную аудиторию. Стандартные формулы предполагают, что аудитория практически бесконечна по сравнению с выборкой. Если у вас всего 300 клиентов и вы опросили 200 из них, интервал по обычной формуле окажется шире, чем есть на самом деле: вы ведь опросили две трети всех, кто вообще существует. На этот случай есть поправка на конечную совокупность — она сужает интервал. В пределе, если вы опросили всех до единого, неопределённости от выборки не остаётся вовсе, и интервал схлопывается в точку.

Как писать про интервал в отчёте

Главное правило: интервал должен стоять рядом с цифрой, а не в примечании на последней странице. Если на слайде написано «72%», читатель запомнит 72% — и никакая методологическая сноска этого не отменит. Пишите «72% (95% ДИ: 61–81%, n = 80)» прямо в подписи к графику. На диаграммах рисуйте усы — они делают неопределённость видимой, и обсуждение само собой смещается с «почему упало на 6 пунктов» на «а различимо ли это падение вообще».

1. Всегда указывайте n рядом с процентом — по нему читатель сразу поймёт масштаб неопределённости.
2. Для долей считайте интервал методом Уилсона: на больших выборках он совпадает с обычным, на малых — не выдаёт бессмыслицу.
3. Не показывайте проценты для срезов меньше 30 ответов — показывайте абсолютные числа: «11 из 23», а не «48%».
4. На графиках рисуйте усы интервалов, а не голые столбики.
5. В выводах отделяйте различимые эффекты от неразличимых прямым текстом: «разница в пределах погрешности» — нормальный, честный результат.
6. Отдельным абзацем напишите, кто попал в выборку и кто не мог попасть, — интервал этого не покажет никогда.

Арифметику можно не делать руками: в сервисе «До Сути» доверительные интервалы для долей считаются автоматически и показываются рядом с результатом, а не прячутся в приложении. Но трактовка остаётся за человеком: сервис посчитает интервал и для выборки, набранной из одних лояльных клиентов, — формула не знает, кого вы спросили. Понять, что выборка перекошена, и решить, можно ли на этих данных строить вывод, может только тот, кто знает, как собирались ответы.

И последнее. Доверительный интервал не делает данные лучше — он делает честнее их описание. Иногда результат такой: «мы провели опрос, потратили две недели и получили 47% (95% ДИ: 32–62%) — то есть не узнали почти ничего». Это неприятный вывод, но полезный: он останавливает решение, которое иначе приняли бы на пустом месте, и подсказывает, что в следующий раз нужна выборка вчетверо больше. Опрос, который честно признаёт свою неопределённость, стоит дороже опроса, который её прячет за красивой цифрой.