Метрики · 14 сентября 2026 г.

Критерий Мак-Немара: сравниваем «да» и «нет» до и после у тех же людей

Критерий Мак-Немара проверяет, изменилась ли доля ответивших «да» между двумя замерами у одних и тех же людей, когда сам ответ бинарный: планирует ли клиент продлить подписку до и после смены тарифа, согласен ли сотрудник рекомендовать компанию в двух волнах опроса. Обычный хи-квадрат тут не подходит — он рассчитан на независимые группы, а здесь один и тот же человек отвечает дважды, и его два ответа заведомо связаны между собой. Мак-Немара смотрит не на всех респондентов сразу, а только на тех, чей ответ изменился, и проверяет, одинаково ли часто изменение идёт в обе стороны. Ниже — как построить таблицу переходов, посчитать критерий и не спутать статистическую значимость с реальным масштабом сдвига мнений.

Когда нужен именно этот критерий

Критерий Мак-Немара нужен ровно в одной ситуации: один и тот же бинарный признак измерен дважды у одних и тех же людей, и вопрос стоит так — изменилась ли доля положительных ответов между замерами. Пример: перед изменением условий доставки клиентов спросили, планируют ли они заказывать снова, — ответили «да» или «нет». После изменения тех же клиентов спросили снова. Интересует не средний балл и не непрерывная величина, а именно доля «да» и то, сдвинулась ли она статистически значимо.

Важно не путать эту задачу с сравнением долей в двух независимых группах — там, где сравниваются разные люди, применяют обычный хи-квадрат или z-тест для двух долей. Мак-Немара нужен именно тогда, когда группа одна и та же в обоих замерах. Спутать эти два случая легко, потому что итоговые данные в обоих случаях выглядят как таблица с долями «да» и «нет», и только структура сбора — одни и те же респонденты или разные — подсказывает, какой тест верен.

Похожие задачи встречаются и вне опросов клиентов. HR-команда может спросить сотрудников до и после внедрения гибридного графика, планируют ли они увольняться в ближайший год; служба поддержки — изменилось ли намерение продлить контракт после серии звонков с решением проблемы. Во всех этих случаях общее одно: бинарный вопрос, одни и те же люди, два момента времени. Как только эти три условия выполнены одновременно, критерий Мак-Немара становится кандидатом номер один, а не факультативной альтернативой обычному хи-квадрату.

Таблица переходов два на два

Вся логика критерия строится вокруг таблицы сопряжённости два на два, где строки — ответ в первом замере, столбцы — ответ во втором. В ней четыре ячейки: оба раза «да», оба раза «нет», «да» в первом и «нет» во втором, «нет» в первом и «да» во втором. Первые две ячейки — респонденты, не изменившие мнение, — не участвуют в расчёте статистики вообще, и это первое, что стоит понять: чем однороднее аудитория в своём мнении, тем меньше людей реально влияет на итоговый результат теста, сколько бы их ни было опрошено.

В этом условном примере из двухсот клиентов сорок три поменяли мнение: двенадцать перешли из «да» в «нет», а тридцать один — из «нет» в «да». Именно эти два числа — двенадцать и тридцать один — и есть предмет теста: если бы изменение мнения было равновероятно в обе стороны, эти числа должны были бы быть примерно равны. Здесь переходов в сторону «да» заметно больше, и критерий Мак-Немара проверяет, можно ли объяснить такой перекос случайностью выборки, или он статистически значим. Цифры в примере условные и подобраны только для того, чтобы показать структуру расчёта, а не как ориентир для реального масштаба сдвига мнений в вашей задаче.

Как считается статистика

Базовая формула критерия использует только два несовпадающих числа из таблицы — обозначим их b и c, число перешедших в одну и в другую сторону. Статистика равна квадрату разности этих чисел, делённому на их сумму: (b − c)² / (b + c). Чем сильнее b и c отличаются друг от друга при том же их суммарном количестве, тем больше значение статистики и тем меньше итоговое p-значение. Полученное число сравнивают с распределением хи-квадрат с одной степенью свободы, как и во многих других тестах на категориальные данные.

На выборках небольшого и среднего размера, когда сумма чисел b и c меньше двадцати пяти, используют модификацию с поправкой на непрерывность, которая слегка уменьшает статистику и делает итоговый вывод чуть более консервативным по сравнению с базовой формулой — это защищает от ложных срабатываний на малом числе изменившихся мнение респондентов. При очень маленьком числе несовпадений, меньше десяти суммарно, точнее пользоваться точным биномиальным тестом вместо приближения хи-квадратом: приближение хи-квадратом в этой узкой зоне становится совсем ненадёжным независимо от общего размера всей выборки.

Что значит значимый результат

Значимый результат критерия Мак-Немара означает, что переходы между категориями асимметричны: изменение мнения в одну сторону происходит значимо чаще, чем в другую. Это не означает, что мнение изменилось у большинства опрошенных — в примере выше сорок три человека из двухсот, то есть около двадцати процентов, при этом результат вполне может оказаться статистически значимым. Формулировка вывода должна отражать именно это: не «клиенты стали более лояльны», а «среди тех, кто поменял мнение, переход в сторону согласия происходит значимо чаще, чем в обратную». Такая формулировка честнее и заодно защищает от завышенных ожиданий у тех, кто прочитает только заголовок отчёта, не вникая в детали расчёта.

Отдельно стоит смотреть на итоговую долю «да» до и после, а не только на результат теста. В примере доля «да» выросла с сорока восьми до пятидесяти семи с половиной процентов — на девять с половиной пунктов, и это тот показатель, который стоит выносить в заголовок отчёта, а результат критерия Мак-Немара — подтверждение, что такой сдвиг статистически неслучаен, а не сама суть находки. Путать эти два уровня — тестовую статистику и содержательный показатель — частая причина, почему отчёты со статистикой читаются тяжелее, чем должны.

Отличие от обычного хи-квадрата

Обычный хи-квадрат для таблицы сопряжённости проверяет связь между двумя категориальными переменными в независимых наблюдениях — например, зависит ли выбор тарифа от региона клиента. Он использует все четыре ячейки таблицы и предполагает, что каждая строка — это отдельный, ничем не связанный с другими человек. Применить обычный хи-квадрат к данным вида «один респондент дважды» — распространённая ошибка: тест не учитывает, что строки на самом деле — это два ответа одних и тех же двухсот человек, а не четыреста независимых наблюдений, и поэтому переоценивает степени свободы и даёт неверную оценку значимости.

Практическое правило простое: если таблица два на два получена из двух разных групп людей — хи-квадрат. Если из одной и той же группы, опрошенной дважды, — Мак-Немара. Разница на первый взгляд кажется технической, но приводит к разным числам в знаменателе формулы и, соответственно, к разным p-значениям на одних и тех же исходных данных — именно поэтому выбор теста определяется дизайном сбора, а не удобством расчёта.

На практике эта путаница возникает чаще всего при работе с готовыми выгрузками, где строка данных — это просто ответ, а не респондент. Если экспортировать оба замера в одну таблицу без явного столбца с идентификатором человека, легко случайно получить четыреста строк вместо двухсот пар и применить к ним обычный хи-квадрат, даже не заметив подмены дизайна. Прежде чем запускать любой тест на парных данных, стоит явно свести две волны в одну таблицу по идентификатору респондента и проверить, что строк ровно столько, сколько уникальных людей, а не столько, сколько собранных ответов.

Размер эффекта: во сколько раз чаще

• Считайте отношение шансов перехода: b, делённое на c — во сколько раз чаще респонденты переходят в одну сторону, чем в другую.
• Указывайте абсолютное число перешедших в каждую сторону, а не только итоговый вывод о значимости.
• Приводите долю «да» до и после как основной содержательный показатель, а тест — как подтверждение неслучайности сдвига.
• Сообщайте долю респондентов, вообще не изменивших ответ, — она показывает, насколько устойчиво базовое мнение аудитории.

Отношение шансов перехода в примере выше — тридцать один к двенадцати, то есть респонденты почти в два с половиной раза чаще переходили из «нет» в «да», чем в обратную сторону. Эта цифра нагляднее для отчёта перед бизнесом, чем абстрактное p-значение: она прямо отвечает на вопрос «насколько сильнее один поток по сравнению с другим», а не только на вопрос «есть ли вообще перекос».

Полезно также посчитать доверительный интервал для разности долей «да» до и после, а не ограничиваться точечной оценкой в девять с половиной процентных пунктов. Интервал показывает диапазон правдоподобных значений сдвига с учётом размера выборки: на двухстах респондентах он может составить, скажем, от четырёх до пятнадцати пунктов, и эта ширина честнее сообщает о точности оценки, чем одно число без разброса. При малой выборке интервал часто оказывается неожиданно широким, и это само по себе повод не переоценивать точность вывода.

Условия применимости

1. Один и тот же респондент или объект наблюдения в обоих замерах, однозначно сопоставленный.
2. Переменная строго бинарная: два взаимоисключающих исхода, а не шкала с промежуточными значениями.
3. Наблюдения независимы между собой — разные респонденты не влияют на ответы друг друга.
4. Достаточное суммарное число изменивших мнение — при сумме несовпадений меньше десяти нужен точный тест, а не приближение хи-квадратом.

Типичные ошибки

• Применять обычный хи-квадрат к парным данным вместо критерия Мак-Немара.
• Делать вывод об изменении мнения у всей аудитории, хотя значение имеют только изменившие ответ.
• Не указывать абсолютные числа переходов в обе стороны, ограничиваясь только p-значением.
• Использовать критерий для переменной с тремя и более категориями без предварительного объединения до двух.
• Игнорировать поправку на непрерывность или точный тест при малом суммарном числе несовпадений.

Отдельно стоит назвать ошибку интерпретации, которая встречается именно у Мак-Немара чаще, чем у других тестов: путать «изменение мнения асимметрично» с «эффект большой». На выборке в несколько тысяч респондентов даже перекос в пятьдесят пять переходов против сорока пяти при сотне изменивших мнение окажется статистически значимым, хотя разница между направлениями невелика по сути. Перед тем как делать организационные выводы, стоит посмотреть на абсолютные числа переходов, а не только на итоговое p-значение теста.

Ограничения

Критерий Мак-Немара работает только с бинарной переменной и только с двумя замерами; для переменной с тремя и более категориями существует его расширение — критерий Стюарта-Максвелла, а для трёх и более замеров бинарного признака — критерий Кокрана Q, о котором отдельный разговор. Как и любой тест значимости, он не объясняет причину перекоса переходов: рост доли «да» может быть вызван изменением, которое вы тестировали, а может — параллельным событием, никак с ним не связанным. И, как и другие критерии для связанных выборок, он требует однозначной идентификации респондента в обоих замерах — без неё построить таблицу переходов невозможно.

Ещё одно слабое место — чувствительность к тому, как сформулирован сам бинарный вопрос. Небольшое изменение формулировки между первым и вторым замером — «планируете продлить подписку» вместо «собираетесь ли отказаться от подписки» — способно само по себе сдвинуть долю «да», и критерий не отличит этот артефакт формулировки от настоящего изменения мнения. Правило то же, что для любого трекингового измерения: формулировка вопроса, шкала и порядок вариантов должны быть идентичны в обоих замерах буквально, вплоть до знаков препинания.

С чего начать

Соберите ответы с идентификацией респондента в обоих замерах и постройте таблицу два на два: сколько ответили «да» оба раза, «нет» оба раза, и сколько перешли в каждую сторону. В сервисе «До Сути» это делается через персональную ссылку на повторный опрос: идентификатор респондента сохраняется автоматически, и таблицу переходов остаётся только собрать из двух выгрузок ответов по этому идентификатору. Если суммарное число перешедших меньше десяти, используйте точный тест, а не формулу с хи-квадратом. Приводите в отчёте сразу три числа: p-значение теста, отношение переходов в одну и другую сторону и итоговую разницу долей «да» до и после — тогда результат будет понятен и специалисту по статистике, и коллеге из бизнеса, который статистикой обычно не пользуется вовсе.