Методика · 8 июля 2026 г.

A/B-тест или опрос: что выбрать и когда

A/B-тест измеряет реальное поведение: половине посетителей показывают один вариант страницы или продукта, половине — другой, и сравнивают конверсию. Опрос измеряет мнения и причины: люди сами рассказывают, что им мешает, чего не хватает и почему они выбирают вас или конкурента. Практическое правило такое: если у вас есть измеримая метрика и достаточно трафика — от нескольких тысяч посетителей на вариант, — гипотезу проверяют A/B-тестом; если трафика мало, метрику нельзя посчитать или вы ещё не знаете, что именно менять, — начинают с опроса. Сильнее всего методы работают в связке: опрос находит проблему и рождает гипотезу, A/B-тест проверяет решение на реальном поведении.

В чём принципиальная разница между A/B-тестом и опросом

A/B-тест — это контролируемый эксперимент. Аудиторию случайно делят на группы, каждой показывают свой вариант — заголовка, цены, формы заказа, письма — и сравнивают целевое действие: покупку, регистрацию, клик. Случайное разделение гарантирует, что группы одинаковы по составу, поэтому разницу в конверсии можно приписать именно изменению, а не сезону или составу аудитории. Тест отвечает на вопрос «какой вариант работает лучше» языком чисел и реального поведения.

Опрос — это разговор с аудиторией в структурированной форме. Люди отвечают на вопросы о своём опыте, ожиданиях, барьерах и предпочтениях. Опрос отвечает на вопросы «почему» и «что именно»: почему бросают корзину, чего не хватает в тарифе, как выбирают между вами и конкурентами, что раздражает в процессе заказа. Поведение он не измеряет — только его отражение в словах, и это отражение бывает искажено вежливостью, забывчивостью и желанием выглядеть рационально.

Отсюда фундаментальное различие зон применения. Тест силён там, где уже есть варианты решения и поток пользователей, на котором их можно столкнуть. Опрос силён там, где вариантов ещё нет, где нужно понять причины и собрать язык аудитории, а также там, где поведение просто негде измерить — например, услуга продаётся по телефону, а сайт служит визиткой. Противопоставлять методы неправильно: они закрывают разные этапы одного цикла принятия решений.

Когда выбирать A/B-тест

Тест — правильный выбор, когда выполняются три условия одновременно: есть чёткая метрика, есть конкретные варианты и есть трафик, достаточный для статистически осмысленного сравнения. Если хотя бы одно условие не выполняется, тест либо невозможен, либо даст шум вместо ответа.

• Вы выбираете между конкретными вариантами: два заголовка лендинга, две формы заявки, два порядка блоков в письме. Тест сравнит их честнее любого мнения.
• Изменение затрагивает деньги напрямую: цена, скидка, порядок тарифов. Слова людей о цене и реальные платежи расходятся, тест меряет платежи.
• Метрика считается автоматически: конверсия, средний чек, доля открытий письма, удержание. Не нужно ничего спрашивать — поведение уже фиксируется.
• Трафика хватает: на каждый вариант приходит от нескольких тысяч посетителей за разумный срок, а по конверсиям — хотя бы по 100–200 целевых действий.
• Цена ошибки высока: изменение выкатывается на всех, и откатить его дорого. Тест на части аудитории страхует от провала.

Классические примеры из малого бизнеса: интернет-магазин тестирует бесплатную доставку от определённой суммы против скидки, сервис доставки еды — два экрана оформления заказа, онлайн-школа — два предмета письма о запуске курса. Во всех случаях есть измеримое действие и поток людей, который можно поделить пополам.

Когда выбирать опрос

Опрос — правильный выбор, когда вы ищете причины, а не сравниваете готовые варианты, и когда поведение измерить нельзя или не на ком. Опрос запускается за день, работает на любых объёмах аудитории и приносит то, чего тест не даст никогда, — формулировки самих клиентов.

• Вы не знаете, что менять: конверсия низкая, но непонятно почему. Опрос ушедших и купивших покажет барьеры, из которых родятся гипотезы для тестов.
• Трафика мало: у локального бизнеса или B2B-компании с сотней посетителей в день тест конверсии будет идти месяцами. Опрос базы клиентов даст ответ за неделю.
• Решение ещё не построено: спрашивать «нужна ли вам такая функция» дешевле, чем строить два варианта функции и тестировать.
• Нужны причины и контекст: почему выбрали конкурента, как используют продукт, что чуть не остановило покупку. Поведенческие данные молчат об этом.
• Поведение вне цифровой среды: офлайн-магазин, услуги, телефонные продажи. Тестировать негде, а спросить клиентов можно всегда.
• Нужна сегментация по мотивам: кто ваши клиенты, на какие группы делятся по задачам и критериям выбора.

Пример: у студии маникюра падает возвращаемость клиентов. A/B-тест здесь не собрать — трафик маленький, вариантов нет. Короткий опрос клиентов за три месяца выясняет, что записываться неудобно: администратор отвечает в мессенджере с задержкой в часы. Студия подключает онлайн-запись — и это решение стоило одного опроса на 60 ответов, а не месяцев наблюдений.

Математика трафика: почему A/B-тест не для всех

Самая частая ошибка малого бизнеса — запуск теста на трафике, которого заведомо не хватит. Размер нужной выборки зависит от базовой конверсии и от того, какой прирост вы хотите надёжно поймать. Закономерность неприятная: чем меньше ожидаемый эффект, тем непропорционально больше нужно людей. Ориентировочно: при базовой конверсии 3 процента, чтобы уверенно отличить рост до 3,6 процента — то есть на одну пятую, — нужно порядка 13–15 тысяч посетителей на каждый вариант. Чтобы поймать рост на десятую часть, счёт идёт уже на десятки тысяч на вариант.

Отсюда простой расчёт перед запуском: поделите нужную выборку на дневной трафик страницы и получите срок теста. Если сайт посещает 300 человек в день, тест двух вариантов при конверсии 3 процента займёт несколько месяцев — за это время сменится сезон, реклама и сам продукт, и чистота эксперимента развалится. Тест длиннее четырёх-шести недель на малом трафике почти всегда лучше заменить опросом плюс здравым решением.

Вторая ловушка — подглядывание за результатами. Если каждый день смотреть на тест и остановить его в момент, когда разница случайно выглядит красиво, вероятность ложного вывода резко растёт. Размер выборки и срок фиксируют до запуска и до конца не трогают. Опрос в этом смысле проще: у него нет статистического ритуала остановки, а типичные 100–300 ответов собираются за считанные дни.

Сравнительная таблица: A/B-тест против опроса

Связка «опрос — гипотеза — тест»: как методы усиливают друг друга

Зрелый процесс улучшения продукта использует оба метода по очереди. Опрос — генератор гипотез: он показывает, где болит и какими словами об этом говорят. Тест — фильтр гипотез: он проверяет, действительно ли найденное решение меняет поведение. Пропуск любого шага дорого стоит: без опроса тестируют случайные идеи и месяцами перебирают цвета кнопок, без теста внедряют всё подряд и не знают, что из внедрённого сработало.

1. Соберите сигналы опросом: спросите не купивших о барьерах, купивших — о сомнениях перед покупкой, ушедших — о причинах ухода.
2. Сгруппируйте ответы по темам и выберите самую частую устранимую проблему.
3. Сформулируйте гипотезу: если убрать барьер X, конверсия вырастет, потому что о нём говорит каждый третий.
4. Постройте вариант решения, используя формулировки клиентов из открытых ответов.
5. Проверьте A/B-тестом, если трафик позволяет; если нет — внедрите на всех и сравните метрику до и после, честно помня об ограничениях такого сравнения.
6. Через волну повторите опрос: ушёл ли барьер из ответов, что всплыло следующим.

Пример связки: интернет-магазин детских товаров видит 70 процентов брошенных корзин. Опрос бросивших — короткая анкета в письме — показывает, что главный барьер не цена, а непонятные сроки доставки в регионы. Магазин добавляет калькулятор сроков на страницу корзины и проверяет тестом: конверсия в заказ у варианта с калькулятором выше. Опрос нашёл направление, тест подтвердил решение и оценил эффект в деньгах.

Типовые ситуации: что выбрать малому бизнесу

• Выбор между двумя офферами на лендинге при трафике от тысячи посетителей в день — A/B-тест: метрика ясная, трафик есть.
• Падение повторных покупок в кофейне — опрос: поведение офлайн, причин может быть десяток, нужны слова клиентов.
• Новая цена тарифа в сервисе с большой базой — сначала ценовой опрос для коридора, затем тест цены на новых пользователях.
• Идея новой услуги в барбершопе — опрос клиентов о задачах и частоте, тестировать пока нечего.
• Тема и время отправки рассылки при базе от десяти тысяч адресов — A/B-тест средствами рассылочного сервиса.
• Понимание, почему клиенты выбирают конкурента, — опрос ушедших и не купивших: тест на чужих клиентах не поставить.
• Порядок полей в форме заявки при 50 заявках в месяц — не тест и не опрос, а здравый смысл и лучшие практики: данных для теста нет, а спрашивать про поля бессмысленно.

Ошибки при выборе и совмещении методов

Обе методики страдают не столько от внутренних недостатков, сколько от неправильного применения. Вот что чаще всего идёт не так на практике.

• Тест без гипотезы: меняем кнопку, потому что можем. Даже выигравший вариант ничему не учит — вы не знаете, почему он выиграл.
• Опрос вместо теста в денежных вопросах: люди говорят, что купили бы, и не покупают. Заявленное намерение — повод для теста, а не финальный ответ.
• Тест на недоборе: остановили через три дня, потому что вариант Б красиво вырвался вперёд. На малых числах лидер меняется каждый день.
• Опрос только довольных: анкета в программе лояльности не расскажет, почему уходят. Спрашивайте и тех, кто не купил или ушёл.
• Наводящие вопросы: «понравился ли вам наш новый удобный каталог» — это не исследование, а сбор комплиментов.
• Игнорирование сегментов в обоих методах: у новых и постоянных клиентов разные ответы и разные реакции на варианты — усреднение прячет эффект.
• Вечный цикл опросов без внедрения: собрали причины, положили в стол, через полгода собрали снова. Опрос без действий обучает аудиторию не отвечать.

Чек-лист: выбираем метод за пять вопросов

1. Есть ли конкретные варианты решения? Нет — опрос для поиска направлений. Да — следующий вопрос.
2. Можно ли посчитать целевую метрику автоматически? Нет — опрос или замер до и после. Да — дальше.
3. Наберётся ли на каждый вариант несколько тысяч посетителей и хотя бы сотня целевых действий за 2–4 недели? Нет — опрос плюс внедрение лучшей практики. Да — дальше.
4. Понимаете ли вы, почему вариант может сработать? Нет — сначала короткий опрос, чтобы тест проверял осмысленную гипотезу. Да — запускайте тест.
5. После теста: победитель найден, но неясно почему? Опрос пользователей нового варианта закроет пробел и породит следующую гипотезу.

Итог простой: A/B-тест и опрос — не конкуренты, а два инструмента с разной оптикой. Опрос смотрит в головы людей и находит, что менять. Тест смотрит на руки людей и проверяет, сработало ли. Бизнесу с малым трафиком чаще нужен опрос, бизнесу с большим — оба, и всегда в правильном порядке: сначала понять, потом проверить.