Метрики · 24 сентября 2026 г.

Как посчитать долю негатива в открытых ответах опроса без специального софта

Доля негатива в открытых ответах — это процент ответов, помеченных как негативные, от всех содержательных ответов на открытый вопрос. Метрика полезна, когда нужно одной цифрой показать динамику настроения — вырос ли процент жалоб после изменения в продукте, — но её легко посчитать неверно, если размечать тональность на глаз, без явных правил. Специализированный софт для автоматического анализа тональности на русском языке ошибается на сарказме, двойном отрицании и смешанных оценках чаще, чем кажется, поэтому для выборок в пределах нескольких сотен ответов ручная разметка по чёткой инструкции часто даёт более надёжный результат. Ниже — как построить такую инструкцию, куда девать смешанные и нейтральные ответы и какие ошибки чаще всего портят цифру.

Зачем вообще считать долю негатива числом

Открытый текстовый вопрос вроде «что именно вам не понравилось» или «оставьте комментарий» даёт богатый текст, но текст плохо ложится в динамику: нельзя быстро сравнить сентябрь с августом по ощущению от чтения комментариев. Одна цифра — доля негативных ответов — решает эту задачу: её можно отслеживать на графике из месяца в месяц и точно так же, как метрику удовлетворённости, замечать резкий скачок и разбираться в его причине. Смысл не в том, чтобы заменить чтение текста, а в том, чтобы получить сигнал, когда чтение вообще стоит начинать.

Эта метрика особенно полезна там, где нет отдельного числового вопроса про удовлетворённость и весь замер держится на одном открытом поле — например, в форме обратной связи на сайте или в ящике жалоб. В таких случаях доля негатива по сути становится суррогатом NPS или CSAT, посчитанным не по шкале, а по содержанию текста. Это менее точный показатель, чем прямой вопрос с оценкой, но он лучше, чем вообще никакой числовой метрики поверх свободного текста.

Три категории вместо шкалы: негатив, позитив, нейтрально

Для прикладной задачи не нужна тонкая шкала тональности от минус пяти до плюс пяти — она создаёт иллюзию точности там, где разметку всё равно делает человек на глаз. Рабочая схема из трёх категорий: явно негативный ответ, явно позитивный, нейтральный или неопределимый. Нейтральная категория обязательна и не должна восприниматься как брак разметки — значительная часть ответов действительно не несёт явной оценки: это факты, пожелания без оценки текущего состояния, короткие технические уточнения.

Смешанные ответы — самая частая головная боль разметки, и правило по умолчанию должно быть зафиксировано письменно до начала работы, а не решаться каждый раз заново. Практика, которая работает в большинстве прикладных задач: если в ответе есть и похвала, и жалоба, ответ помечается по доминирующей части, а если доминанту выделить нельзя — по более конкретной части. «Неплохо, но хотелось бы быстрее» помечается как негатив, потому что конкретная жалоба на скорость несёт больше сигнала для действия, чем общая необязывающая похвала.

Почему сарказм и отрицание ломают автоматику

Автоматические инструменты определения тональности обычно работают по словарю: слово «отлично» добавляет плюс, слово «плохо» — минус, сумма определяет итоговую оценку фразы. Схема ломается на конструкциях, которые человек прочитывает мгновенно, а словарь — нет. «Ну просто отлично, три недели жду ответа» словарный алгоритм пометит позитивно из-за слова «отлично», хотя это явный сарказм с противоположным смыслом. Двойное отрицание вроде «не могу сказать, что не понравилось» тоже путает простые словарные модели, которые считают минусы буквально.

На русском языке проблема острее, чем на английском, из-за богатой системы словообразования и разговорных конструкций: «более-менее», «сойдёт», «бывало и хуже» несут явную, но не выражаемую отдельными словами тональность, которую словарный подсчёт не ловит вовсе. Для выборок в несколько сотен ответов, где точность важнее скорости, ручная разметка человеком по трёхкатегорийной шкале обычно оказывается быстрее, чем настройка и проверка автоматического инструмента под конкретный домен и стиль речи аудитории.

Как разметить вручную и не запутаться

Разметка тональности вручную устроена похоже на кодирование категорий, только вместо смысловых тем используются три оценочные метки. Правила стоит закрепить письменно до начала: что считается явным негативом, куда девать смешанные ответы, как быть с короткими односложными репликами. Без письменных правил один и тот же человек в начале дня и в конце размечает пограничные случаи по-разному, просто устав держать критерий в голове — это тот же эффект дрейфа, что и при кодировании открытых ответов по темам.

1. Зафиксируйте письменно правило для смешанных ответов до начала разметки.
2. Разметьте первую полусотню ответов и проверьте, устраивает ли распределение по трём категориям.
3. Досчитайте оставшийся массив по тем же правилам, не меняя критерий по ходу.
4. Дайте второму человеку независимо разметить пятнадцать-двадцать процентов массива.
5. Сравните расхождения и уточните письменное правило там, где мнения разошлись чаще всего.
6. Посчитайте итоговую долю негатива и отдельно долю нейтральных как знаменатель проверки.

Расхождение между двумя независимыми разметчиками — лучший индикатор, что правило работает. Если оба человека расходятся меньше чем в одной пятой ответов, метрика достаточно надёжна для отчёта. Если расхождение выше, дело почти всегда в нечётком письменном правиле для смешанных случаев, а не в невнимательности разметчиков — и решать это нужно уточнением инструкции, а не выбором более опытного человека для финальной версии.

Инструменты, которые ускоряют разметку

Специальный софт для ручной разметки тональности почти никогда не нужен — обычная таблица со столбцом для метки справляется не хуже, а порог входа у неё нулевой. Ускоряет работу выпадающий список с тремя значениями вместо свободного ввода текста: разметчик кликает, а не печатает, и это заметно снижает и время на сотню ответов, и разброс формулировок одной и той же категории. Отдельным столбцом стоит держать короткую заметку «почему», особенно для смешанных случаев — она пригодится при обсуждении расхождений со вторым разметчиком и при уточнении письменного правила.

Для регулярного трекинга важно, чтобы выгрузка открытых ответов приходила в одном и том же формате от волны к волне — иначе таблица с разметкой не подклеивается автоматически, и её приходится пересобирать вручную каждый раз. В «До Сути» открытые ответы выгружаются вместе с датой волны и сегментом респондента в одном файле, так что размеченный столбец с тональностью можно просто дописывать к уже знакомой структуре, не перестраивая таблицу заново под каждый новый замер.

Знаменатель: от чего считать долю

Частая методическая ошибка — считать долю негатива от общего числа респондентов опроса, включая тех, кто вообще не оставил открытый ответ. Если открытое поле необязательное и заполнило его лишь треть респондентов, знаменатель должен быть именно этой третью, а не всей выборкой — иначе доля негатива искусственно занижается просто потому, что молчаливое большинство механически попадает в знаменатель без оценки. Правильный знаменатель — число содержательных ответов, то есть без учёта пустых полей и односложных нейтральных реплик вроде «нет комментариев».

Сравнение волн: на что смотреть кроме доли

Голая доля негатива в динамике полезна, но неполна без пояснения, что изменилось внутри самого негатива. Рост доли с пятнадцати до двадцати пяти процентов может означать одну новую массовую проблему — например, сбой в оплате за последнюю неделю замера — или общее лёгкое ухудшение по десятку мелких тем сразу. Различить эти два сценария доля сама по себе не может, для этого негативные ответы нужно дополнительно закодировать по темам — какая категория выросла, а какая осталась на прежнем уровне.

• Считайте долю негатива отдельно по каждому сегменту, а не только по всей выборке целиком.
• Кодируйте негативные ответы по темам, чтобы объяснить рост, а не только зафиксировать его.
• Сравнивайте волны только при одинаковой формулировке открытого вопроса.
• Проверяйте, не изменился ли канал сбора между волнами — метод сбора сдвигает тональность ответов.

Пример разбора роста доли

Представим условные цифры — они здесь нужны только для того, чтобы наглядно показать сам формат разбора, а не описывают реальные данные конкретной компании. В августе доля негатива среди содержательных открытых ответов составляла пятнадцать процентов, а уже в сентябре она заметно выросла до двадцати шести. Само по себе число говорит только «стало хуже», но ничего не объясняет. После кодирования негативных ответов по темам выяснилось, что доля жалоб на скорость доставки не изменилась, а почти весь прирост дала новая категория — сбои при оплате картой, которой не было в августе вовсе.

Такой развёрнутый разбор превращает общую тревожную цифру в конкретную и решаемую задачу для конкретной команды: не расплывчатое «клиенты вообще стали недовольнее», а точное «после недавнего обновления платёжного модуля заметно выросла доля жалоб именно на оплату». Без кодирования по темам рост доли негатива остался бы поводом для беспокойства без понятного следующего шага, а с ним превращается в тикет для конкретных разработчиков с понятной формулировкой проблемы и примерами реальных цитат из ответов респондентов.

Ограничения метода

Ручная разметка тональности субъективна даже при письменных правилах: два добросовестных человека расходятся в оценке заметной доли пограничных ответов, и полностью убрать это расхождение невозможно, можно только держать его в известных рамках через проверку вторым разметчиком. Метод также требует времени, сопоставимого с кодированием по темам, поэтому на очень больших массивах в несколько тысяч ответов ручная разметка становится дорогой, и приходится либо размечать репрезентативную подвыборку, либо идти на компромисс с автоматическим инструментом и явно указывать его погрешность.

Ещё одно ограничение стоит проговорить отдельно: доля негатива хорошо ловит изменение настроения, но плохо показывает его глубину. Один респондент, написавший «это катастрофа, ухожу навсегда», и другой, написавший «немного расстроен задержкой», по трёхкатегорийной схеме оба попадут в один и тот же негатив, хотя интенсивность недовольства у них разная. Если для задачи важна именно интенсивность, а не просто факт негативной оценки, трёх категорий недостаточно и нужна более тонкая шкала — но тогда придётся смириться с заметно более низкой надёжностью разметки между людьми.

Типичные ошибки

• Считать долю негатива от всей выборки, включая тех, кто не оставил открытый ответ.
• Не иметь письменного правила для смешанных ответов и решать каждый раз заново.
• Полагаться на автоматический словарный анализ без проверки на сарказме и отрицаниях.
• Сравнивать волны с разной формулировкой открытого вопроса как будто они сопоставимы.
• Не разбивать негатив по темам и не понимать, что именно выросло.
• Игнорировать смену канала сбора между волнами при сравнении доли негатива.
• Публиковать долю без указания, сколько человек вообще оставили содержательный ответ.

Кто должен размечать: сам аналитик или отдельный человек

Разметку тональности открытых ответов часто поручают тому же самому человеку, который потом готовит итоговый отчёт и лично заинтересован в определённом выводе — например, менеджеру продукта, который искренне надеется и ждёт, что доля негатива после его недавних изменений заметно снизилась. Это создаёт тот же самый риск, что и при кодировании открытых ответов по смысловым темам: пограничные случаи неосознанно читаются в пользу той картины, которая желаема и ожидаема. Если управленческое решение, принимаемое по этой цифре, достаточно весомое и дорогое, лучше отдать саму разметку человеку без личной заинтересованности в конкретном результате или хотя бы провести независимую выборочную проверку кем-то посторонним со стороны.

С чего начать

Возьмите массив открытых ответов последнего опроса, разметьте первую полусотню по трём категориям с письменным правилом для смешанных случаев, посчитайте долю негатива от числа содержательных ответов. Затем закодируйте негативные ответы по двум-трём укрупнённым темам, чтобы не просто получить цифру, а понять, что именно за ней стоит. Этот же протокол потом переносится на следующую волну без изменений — и именно неизменность правил делает динамику доли негатива сравнимой во времени, а не просто набором несвязанных снимков от замера к замеру.

Запишите итоговые правила разметки в отдельный короткий документ на одну страницу и обязательно держите его рядом с общей таблицей ответов. Через полгода мелкие детали неизбежно забудутся сами собой, а следующему человеку, который продолжит этот же трекинг, готовый документ сэкономит целый рабочий день на восстановление прежней логики методом проб и ошибок.