Метрики · 18 июля 2026 г.

Погрешность опроса: как считать и как о ней говорить

Погрешность опроса (её же называют предельной ошибкой выборки) — это половина ширины доверительного интервала: число, которое пишут после результата в виде «42% ± 3 п.п.». Считается она по формуле z × √(p × (1 − p) / n): при 1000 ответов и доле около 50% погрешность составляет примерно ±3 процентных пункта, при 100 ответах — уже ±10. Главное, что нужно про неё знать: она описывает только случайную ошибку от того, что вы спросили часть людей, и ничего не знает о том, кого именно вы спросили. Ниже — как её считать, как она зависит от выборки и доли, что делать с подгруппами и почему «±3%» в заголовке новости — самая скромная из ошибок исследования.

Что такое погрешность опроса

Когда вы опрашиваете не всех, а часть аудитории, полученный процент — это оценка. Опросили бы других людей — получили бы другое число. Погрешность отвечает на вопрос «насколько другое». Технически это то же самое, что доверительный интервал, только записанное короче: вместо «42% (95% ДИ: 39–45%)» пишут «42% ± 3 п.п.». Обе записи означают одно: настоящее значение по всей аудитории, скорее всего, где-то в этих границах, а точку 42% не стоит воспринимать как окончательную. Погрешность — это способ признать в цифрах, что вы работали с выборкой, а не с переписью.

Обратите внимание на единицы. Погрешность измеряется в процентных пунктах, а не в процентах, и путаница здесь встречается постоянно. «42% ± 3 п.п.» значит «от 39% до 45%». Если бы имелись в виду проценты от значения, это был бы диапазон 40,7–43,3% — совсем другой разброс. Пункты — это разность между процентами, проценты — отношение. В отчётах пишите «п.п.» явно: читатель, который прочтёт «± 3%» как относительную ошибку, поймёт результат втрое точнее, чем он есть.

Формула погрешности и как ей пользоваться

Базовая формула для доли: погрешность = z × √(p × (1 − p) / n). Здесь n — число ответивших на этот конкретный вопрос, p — полученная доля в долях единицы, z — множитель уровня уверенности: 1,96 для 95% (стандарт) и 2,58 для 99%. Пример на условных числах: 420 человек из 1000 выбрали вариант. p = 0,42, n = 1000. Считаем: 0,42 × 0,58 = 0,2436; делим на 1000 → 0,0002436; корень → 0,0156; умножаем на 1,96 → 0,0306. Погрешность ≈ ±3,1 процентного пункта, интервал 38,9–45,1%. Вся арифметика — четыре действия, и её стоит уметь делать хотя бы раз, чтобы понимать, что стоит за автоматическим числом в отчёте.

Из формулы сразу видны два рычага. Первый — n под корнем: чтобы уменьшить погрешность вдвое, выборку нужно увеличить вчетверо. Второй — множитель p × (1 − p): он максимален при p = 0,5 и падает к краям. Поэтому при планировании, когда доля заранее неизвестна, считают для 50% — это худший случай, дающий гарантированный запас. Если реальная доля окажется 20% или 80%, погрешность будет меньше рассчитанной, и вы окажетесь в выигрыше, а не в проигрыше.

Таблица: погрешность при разных выборках

Числа условные, посчитаны для уровня 95%, но пропорции настоящие, и запомнить стоит несколько ориентиров. Сто ответов — это ±10 пунктов: на такой выборке различимы только очень крупные вещи. Четыреста ответов — ±5 пунктов: уже рабочий инструмент для большинства продуктовых решений. Тысяча — ±3 пункта: этим пользуются массовые социологические опросы, и не случайно именно 1000–1600 респондентов — стандарт индустрии. Дальше — закон убывающей отдачи: удвоение выборки с 1000 до 2000 сужает погрешность всего с 3,1 до 2,2 пункта, а стоит вдвое дороже.

Поправка на конечную аудиторию: когда клиентов мало

Обычная формула предполагает, что аудитория практически бесконечна по сравнению с выборкой. В массовых опросах населения это верно: тысяча из ста миллионов — капля. Но у бизнеса аудитория часто маленькая. Если у вас 500 клиентов и вы опросили 200 из них, обычная формула даст ±6,9 пункта — и это будет завышением, потому что вы охватили 40% всех, кто вообще существует. На такой случай есть поправка на конечную совокупность: множитель √((N − n) / (N − 1)), где N — размер всей аудитории.

Посчитаем: N = 500, n = 200. Множитель = √(300 / 499) ≈ 0,775. Погрешность: 6,9 × 0,775 ≈ 5,4 пункта вместо 6,9. Ощутимо лучше. Логика поправки прозрачна: чем большую долю аудитории вы опросили, тем меньше остаётся неопределённости. В пределе, если вы опросили всех 500 из 500, множитель обращается в ноль, и погрешности выборки нет вовсе — вы провели перепись, а не опрос. Это важный практический нюанс для B2B и внутренних HR-опросов, где вся аудитория — сто-двести человек: там обычная формула необоснованно пессимистична.

Погрешность у подгрупп: где рассыпаются красивые отчёты

Это самая частая практическая беда. Вы собрали 800 ответов — прекрасная выборка, погрешность ±3,5 пункта. Довольные, режете данные на сегменты: по городу, по тарифу, по стажу клиента. И вдруг обнаруживаете, что «в сегменте премиум-клиентов удовлетворённость на 9 пунктов выше». А в этом сегменте — 45 ответов, и погрешность у него ±14,6 пункта. Ваша «разница в 9 пунктов» полностью тонет в шуме. Погрешность считается по n конкретного среза, а не по общему n опроса, и об этом забывают почти всегда.

• Погрешность среза считается по числу ответов В СРЕЗЕ, а не по общему размеру опроса. Общее n здесь ни при чём.
• Разрезали 800 ответов на 8 сегментов — получили восемь выборок по сотне, каждая с погрешностью около ±10 пунктов.
• Срезы меньше 30 ответов вообще не переводите в проценты. «5 из 17» честнее, чем «29,4%» — второе создаёт иллюзию измерения.
• Пересечения срезов («женщины 25–34 из регионов на тарифе базовый») дробят выборку до единиц. Проценты там — фантазия.
• Если вы планируете сравнивать сегменты, размер выборки нужно считать под самый маленький из них, а не под опрос целиком.

Практическое следствие для планирования: решите заранее, какие срезы вам действительно нужны, и считайте выборку от них. Если критично сравнить четыре региона и вам нужна погрешность ±7 пунктов в каждом, то нужно примерно 200 ответов на регион, то есть 800 всего — но набранных так, чтобы они распределились по регионам, а не свалились на Москву. Иначе получится 700 московских ответов и по 30 из остальных, и сравнение регионов не состоится, хотя формально «выборка 800».

Чего погрешность НЕ покрывает

Здесь начинается главная часть, и её обычно проглатывают. «±3%» описывает только ошибку выборки — то есть тот факт, что случайно попались эти люди, а не другие. Она вычислена в предположении, что выборка случайная и представляет аудиторию. Все остальные источники ошибок — а их больше, и они крупнее — в этой цифре не отражены никак. Формула не знает, что треть аудитории вообще не увидела ссылку на опрос, что вопрос был с подсказкой и что половина ответивших приукрасила ответ. Она аккуратно посчитает погрешность вокруг систематически неверного числа.

Оценки масштаба в таблице ориентировочные и сильно зависят от темы, но пропорция принципиальна: случайная ошибка обычно самая маленькая из всех, и именно она — единственная, которую мы умеем считать точно. Получается парадокс: мы аккуратно измеряем и публикуем наименьшую из своих ошибок, а самые крупные оставляем без числа, потому что их не с чем считать. Отсюда правило: узкая погрешность не означает «результат верный», она означает «ответов много». Это разные утверждения, и подмена одного другим — источник большинства провалившихся исследований.

Как говорить о погрешности с командой и заказчиком

Формальный язык здесь работает плохо. «Доверительный интервал 95%» вызывает у нестатистика вежливый кивок и ноль понимания. Разговорный перевод, который работает: «если бы мы завтра опросили других четыреста человек из той же базы, мы бы, скорее всего, получили что-то между 39 и 45 процентами». Это понятно любому и сразу задаёт нужное отношение к цифре. Второй рабочий приём — привязать погрешность к решению: «разница между вариантами 4 пункта, а погрешность ±7 — мы физически не можем на этих данных выбрать вариант, нужен либо больший опрос, либо другое основание для решения».

1. Пишите погрешность рядом с цифрой, на том же слайде, а не в приложении. Решение примут по слайду.
2. Всегда указывайте n — по нему собеседник сам оценит серьёзность результата.
3. Указывайте единицы явно: «± 3 п.п.», а не «± 3%». Это разные величины.
4. На графиках рисуйте усы. Столбики без усов провоцируют обсуждение различий, которых нет.
5. Отдельным абзацем опишите, кто мог попасть в выборку, а кто нет. Погрешность этого не покажет.
6. Прямо говорите «разница в пределах погрешности», когда это так. Это законченный результат, а не отсутствие результата.

Отдельно про язык динамики. Фраза «показатель вырос с 68% до 72%» при погрешности ±5 пунктов — это не описание роста, это описание шума. Честная формулировка: «показатель изменился с 68% до 72%, но при погрешности ±5 п.п. мы не можем утверждать, что рост реален». Это менее приятно рассказывать, но эта формулировка спасает от квартала работы над проблемой, которой не было, — а такие кварталы в компаниях случаются регулярно и стоят дорого.

Типичные ошибки при работе с погрешностью

• Считать погрешность от общего n опроса и применять её к срезу из сорока человек.
• Писать «± 3%» вместо «± 3 п.п.» — читатель поймёт результат втрое точнее, чем он есть.
• Использовать погрешность как знак качества: «± 2 п.п., значит, данные надёжные». Она означает только «ответов много».
• Не применять поправку на конечную совокупность там, где аудитория маленькая, и завышать неопределённость на ровном месте.
• Считать погрешность по числу разосланных приглашений, а не по числу реально ответивших на конкретный вопрос.
• Обсуждать разницу в 2 пункта между волнами при погрешности ±6 и искать причины «падения».
• Прикладывать погрешность к результатам опроса, где люди сами решали, участвовать им или нет, и подавать её как гарантию точности.

Последний пункт заслуживает отдельного слова, потому что он касается почти всех бизнес-опросов. Формально погрешность можно посчитать по любым данным — формула не спрашивает, откуда они. Но её смысл держится на предположении о случайном отборе. В опросе, который прошли добровольцы, отбора не было, и посчитанные ±3 пункта описывают разброс внутри группы добровольцев — не аудитории. Это не значит, что такие опросы бесполезны: они полезны, но их погрешность надо подавать как нижнюю границу неопределённости, а не как её меру.

Как уменьшить погрешность разумно

Очевидный путь — увеличить выборку, но он самый дорогой и работает по закону квадратного корня: вчетверо больше ответов ради вдвое меньшей погрешности. Часто эффективнее вложиться в другое. Повысить долю ответивших — это уменьшает и погрешность, и, что важнее, смещение. Сократить анкету, чтобы её дошли до конца, — конец анкеты обычно теряет треть респондентов, и n у последних вопросов сильно меньше, чем у первых. Убрать вопросы, которыми вы всё равно не воспользуетесь, — они забирают ответы у тех, которые важны.

• Сначала выясните, какая погрешность вам достаточна для решения. Часто ±7 пунктов хватает, и гнаться за ±3 незачем.
• Считайте выборку под самый мелкий срез, который планируете сравнивать, а не под опрос целиком.
• Поднимайте долю ответивших: это дешевле, чем увеличивать рассылку, и попутно снижает смещение.
• Сокращайте анкету — брошенные на середине анкеты ответы уменьшают n там, где он вам нужнее всего.
• Не тратьте бюджет на выборку сверх 1500–2000, если у вас нет задачи различать эффекты в 1–2 пункта.
• Не пытайтесь размером выборки компенсировать кривой отбор. Это не работает: большая кривая выборка врёт увереннее маленькой.

Погрешность для каждого показателя можно не считать вручную — в сервисе «До Сути» она рассчитывается по фактическому числу ответивших на конкретный вопрос и показывается рядом с результатом, включая срезы. Что сервис не сделает за вас — не оценит, насколько ваша выборка вообще похожа на аудиторию: формула честно посчитает погрешность и для опроса, который прошли одни лояльные клиенты. Понять, кого вы не спросили, и решить, что из этого следует, может только человек, знающий, как собирались ответы.

Итог: погрешность — не бюрократическая формальность и не знак качества. Это единственная ошибка исследования, которую мы умеем измерять числом, и она же обычно наименьшая. Указывать её нужно всегда — но помнить, что она отвечает на вопрос «достаточно ли людей я спросил», а не на вопрос «тех ли людей я спросил и то ли я у них спросил». На второй вопрос отвечает методика, а не формула.