Кратко о главном
- Отзывы о конкурентах показывают, за что клиенты в вашей нише благодарят и на что жалуются. По ним видно, что обещать на сайте и какие гарантии дать.
- На картах 90% оценок — пятёрки. Если читать отзывы в порядке по умолчанию, половину жалоб не увидите: из 619 негативных отзывов с Яндекс Карт 312 нашлись только с сортировкой «Сначала отрицательные».
- Перед разбором отзывы нужно почистить. Из 711 негативных отзывов в нашем корпусе 126 написали не клиенты: чаще всего это жалобы на рекламные звонки.
- Нейросеть сначала составляет список тем по выборке, потом размечает каждый отзыв, а считает итог скрипт. Так видно, сколько клиентов говорят об одном и том же.
- Клиенты агентств чаще всего ругают качество работы (39% жалоб), отсутствие результата (27%) и исполнителей, которые пропадают и не отвечают (25%). Хвалят за результат (27%) и сроки (26%), но конкретные цифры (заявки, трафик) приводят только в 4% отзывов.
Зачем разбирать отзывы конкурентов, если есть свои?
Своих отзывов обычно мало, и пишут их те, кто уже выбрал вас. Отзывы о конкурентах показывают всю нишу: за что клиенты благодарят других и на что жалуются. Каждая частая жалоба на конкурентов подсказывает, что пообещать на своём сайте и какую гарантию дать.
С этого мы начинаем исследование аудитории для любого проекта, в том числе для своего. Перед запуском ГенИИ мы собрали отзывы об агентствах и студиях в шести городах и разобрали их по темам. Подробнее о том, как отзывы встраиваются в исследование целиком, — в статье «Исследование целевой аудитории с помощью нейросетей».
Нейросеть может перечислить «типичные боли клиентов» и без отзывов, но это будут её догадки. В отзывах клиент сам говорит, что его задело, и по количеству таких отзывов видно, насколько это важно.
Из каких шагов состоит разбор отзывов?
Шагов шесть: собрать отзывы, почистить их, составить список тем, разметить каждый отзыв, посчитать результат и проверить его.
Где собрать отзывы и почему нужны две сортировки?
Отзывы о местном бизнесе есть на Яндекс Картах и в 2ГИС, о продавцах и услугах — на Авито, о товарах — на маркетплейсах и в Отзовике. Конкурентов удобно брать из поиска на картах по вашему городу и запросу: «разработка сайтов», «ремонт квартир», «стоматология».
На картах почти все оценки высокие. В нашем корпусе 90% отзывов — пятёрки, и часть из них заказная. Если читать карточку в порядке по умолчанию, сверху будут похвалы, а жалобы останутся ниже. Поэтому на Яндекс Картах мы проходим каждую карточку дважды: по умолчанию и с сортировкой «Сначала отрицательные», по 30 отзывов за проход.
Второй проход дал половину жалоб. Из 619 негативных отзывов с Яндекс Карт 312 нашлись только с сортировкой «Сначала отрицательные», в первых 30 отзывах по умолчанию их не было.
| Показатель | Значение |
|---|---|
| Города | Москва, Санкт-Петербург, Екатеринбург, Новосибирск, Казань, Челябинск |
| Компаний | 359 |
| Собрано отзывов | 11 338 |
| Осталось после чистки | 8 273: Яндекс Карты — 4 856, 2ГИС — 3 417 |
| Пятёрок | 7 450 (90%) |
| Негативных, оценка 1–3 | 711 |
Для небольшой ниши хватит 10–20 конкурентов из вашего города. Отзывы можно скопировать в таблицу вручную, по одному в строку. Мы собирали тысячи отзывов, поэтому делали это скриптом.
Как почистить отзывы перед нейросетью?
Сложите отзывы в таблицу с колонками: номер, текст, оценка, дата, площадка, компания. Номер нужен, чтобы потом проверить любой вывод нейросети по исходному отзыву. Имена авторов для разбора не нужны, их лучше не переносить.
Дальше убираем всё, что написали не клиенты или написали не о том. Из 11 338 собранных отзывов мы убрали 3 065:
- отзывы о компаниях не по профилю, которые попали в выдачу карт по нашим запросам, — 2 277;
- отзывы о наружной рекламе и полиграфии — 389;
- отзывы о курсах и обучении, не связанных с маркетингом, — 219;
- отзывы сотрудников о работодателе — 89;
- дубли — 90, и ещё один отзыв не на русском языке.
Ещё 508 коротких отзывов вроде «всё отлично» (до 60 знаков) мы оставили в корпусе, но в разбор тем они не идут: в них нет причины оценки.
Среди негативных отзывов чистка ещё важнее. Из 711 отзывов с оценкой 1–3 не клиенты написали 126. Из них 92 — жалобы на звонки с рекламой, остальные написали соискатели, соседи по зданию или авторы бессмысленных текстов. Ещё часть отзывов оказалась не про агентства: про рекламные площадки, хостинг, 1С. Отзывов клиентов именно об агентствах, студиях и фрилансерах осталось 346.
Как нейросеть находит, за что ругают и хвалят?
Если попросить нейросеть «сделай выводы по отзывам», она перескажет самое заметное и не скажет, сколько отзывов стоит за каждым выводом. Поэтому мы делим работу на два шага: сначала список тем, потом разметка каждого отзыва.
Шаг 1. Список тем по выборке
Нейросеть читает 100–150 отзывов и предлагает 8–12 тем с определениями. Отдельные темы нужны для отзывов «не от клиента» и для «другого», иначе нейросеть разложит мусор по настоящим темам. Список тем проверяет человек: объединяет похожие, переименовывает непонятные.
- Промпт: «Вот 150 отзывов о [ниша] с оценками. Предложи 8–12 тем, за что клиенты ругают компании. У каждой темы — короткое название и определение в одну строку. Добавь темы „Не отзыв клиента“ и „Другое“. Темы выводи только из текста отзывов».
Шаг 2. Разметка каждого отзыва
Затем нейросеть проходит все отзывы пачками по 50–60 и ставит каждому от одной до трёх тем из списка. На выходе получается таблица «номер отзыва — темы». Проценты нейросеть не считает: итог считает формула в таблице или скрипт.
- Промпт: «Вот список тем с определениями и 60 отзывов с номерами. Каждому отзыву поставь от одной до трёх тем из списка. Ответ — таблица: номер отзыва, темы. Не добавляй новых тем и не пересказывай отзывы».
По этой схеме мы разметили 711 негативных отзывов и случайную выборку из 700 положительных. Разметку делал ИИ-агент: на негативные отзывы у него ушло около семи минут.
Сотню отзывов можно разобрать прямо в чате с нейросетью. Когда отзывов тысячи, мы дополнительно группируем их по смыслу (эмбеддинги): похожие отзывы собираются в группы, и нейросеть описывает уже готовые группы. Так мы строили портреты клиентов по всему корпусу.
За что клиенты ругают и хвалят агентства в отзывах?
В отзывах об агентствах и студиях чаще всего ругают плохое качество работы (39%), отсутствие результата (27%) и исполнителей, которые пропадают и не отвечают (25%). Хвалят за результат (27%) и соблюдённые сроки (26%). У одного отзыва бывает до трёх тем, поэтому проценты в сумме больше 100.
| Тема | Отзывов | Доля |
|---|---|---|
| Плохое качество работы, ошибки | 135 | 39% |
| Нет результата за деньги | 92 | 27% |
| Пропадают, не отвечают | 85 | 25% |
| Сорвали сроки | 59 | 17% |
| Наобещали при продаже | 58 | 17% |
| Доплаты и скрытые платежи | 42 | 12% |
| Нет отчётов, непонятно, за что платим | 30 | 9% |
| Не вернули деньги | 27 | 8% |
| Не отдают домен, доступы или сайт | 15 | 4% |
| Грубость | 13 | 4% |
| Тема | Отзывов | Доля |
|---|---|---|
| Пошёл результат: заявки, продажи, позиции | 192 | 27% |
| Быстро, в срок | 179 | 26% |
| Вникли в бизнес, учли пожелания | 128 | 18% |
| Хвалят конкретного сотрудника | 126 | 18% |
| На связи, быстро отвечают | 98 | 14% |
| Объясняют, советуют | 97 | 14% |
| Хороший сайт, дизайн, креатив | 90 | 13% |
| Честно, есть отчёты | 78 | 11% |
| Цена и условия оплаты | 66 | 9% |
| Общие слова без подробностей | 66 | 9% |
Хвалят чаще за то, как шла работа: сроки, связь, внимание к задаче, конкретного менеджера. Результат для бизнеса назван в 27% положительных отзывов, а с цифрами (заявки, трафик, позиции) — только в 28 отзывах из 700, это 4%. Думаем, дело в том, что результат клиент видит не сразу, а работу с подрядчиком — каждый день.
За сорванные сроки и пустые обещания при продаже агентства и студии ругают чаще, чем остальные компании в выборке: 17% против 12–13%.
Самое полезное в таком разборе — редкие, но острые жалобы. «Не отдают домен и доступы» встречается всего в 4% отзывов, но почти всегда у агентств и студий. Закрыть такую жалобу на своём сайте можно одной строкой.
Как проверить, что нейросеть не ошиблась?
Нейросеть размечает быстро, но в спорных отзывах может ошибиться. Чтобы поймать ошибки, мы делаем пять проверок.
- Читаем выборку вручную. Берём 10–15 случайных отзывов и сравниваем их текст с темами, которые поставила нейросеть.
- Сверяем подсчёт. Проценты берём только из таблицы или скрипта: в длинном списке нейросеть легко сбивается со счёта.
- Ищем накрутку. Признаки заказных отзывов: серии отзывов об одной компании с одинаковыми словами, почти дословные повторы, штампы вроде «команда профессионалов». В нашей выборке пятёрок такие серии нашлись у нескольких компаний.
- Смотрим на обрезанные тексты. Площадки часто показывают длинный отзыв обрезанным, с многоточием. Тему такого отзыва нейросеть определяет по началу, и часть деталей теряется.
- Помним, кто пишет отзывы. На картах пишут после покупки. Страхи, из-за которых человек не решился купить, в отзывах почти не звучат: их ищут в интервью и поисковых запросах.
Что делать с результатами разбора?
Каждую частую жалобу на конкурентов превращаем в обещание на своём сайте, которое можно проверить. Из таких жалоб выросли гарантии ГенИИ: когда мы изучали аудиторию, отзывы об агентствах были для нас одним из главных источников.
| Жалоба на конкурентов | Что обещаем на сайте |
|---|---|
| Плохое качество работы | Перед сдачей результат проверяет специалист, тестируем сервис целиком |
| Сорвали сроки | Срок фиксируем в договоре, для лендинга, сайта и бота — с неустойкой |
| Наобещали при продаже | До договора бесплатно говорим, что сделать, сколько стоит и в какой срок |
| Доплаты и скрытые платежи | Недочёты исправляем бесплатно, цену новых доработок называем заранее |
| Не отдают домен и доступы | Код, база, домен и доступы остаются у клиента |
Похвалы конкурентам тоже полезны: они показывают, что клиенты считают нормой. Если в нише хвалят за «всегда на связи» и «конкретного менеджера», это стоит показать на сайте: кто ведёт проект и как быстро он отвечает.
Формулировки из отзывов пригодятся для текстов: клиенты описывают проблему своими словами, без терминов подрядчика. Но сами отзывы о конкурентах публиковать на своём сайте нельзя: это чужие отзывы о других компаниях.
Частые вопросы
Сколько отзывов нужно для анализа?+
Для небольшой ниши хватит отзывов о 10–20 конкурентах из вашего города, обычно это несколько сотен отзывов. Важнее собрать негативные: на картах 90% оценок — пятёрки, поэтому жалобы нужно искать с сортировкой «Сначала отрицательные».
Можно ли просто загрузить отзывы в нейросеть и попросить выводы?+
Выводы получатся, но без цифр: непонятно, сколько отзывов стоит за каждым. Надёжнее сначала составить список тем по выборке, потом разметить каждый отзыв и посчитать итог в таблице.
Сколько времени занимает разбор отзывов с нейросетью?+
Сотню отзывов можно разобрать в чате с нейросетью за один вечер. Больше всего времени уходит на сбор и чистку. Разметку 711 негативных отзывов ИИ-агент сделал примерно за семь минут, потом мы вручную проверили выборку.
Как отличить заказные отзывы?+
По сериям: несколько отзывов об одной компании с одинаковыми словами, почти дословные повторы, общие похвалы без подробностей. Живой отзыв обычно содержит детали: как было до работы с подрядчиком, что пошло не так, мелкий минус.
Можно ли использовать отзывы о конкурентах на своём сайте?+
Нет. Это отзывы о других компаниях. Их можно использовать для исследования: понять, что важно клиентам и какими словами они описывают проблему.
Хотите разобрать отзывы в своей нише?
Соберём отзывы о ваших конкурентах, разметим по темам и покажем, какие жалобы можно закрыть на сайте и в рекламе.