Обработка обратной связи ― один из самых простых, но трудоемких процессов. Исследователям порой приходится обрабатывать тысячи комментариев, что отнимает много времени и ресурсов. Впрочем, существуют различные инструменты, которые могут облегчить жизнь. Среди них ― искусственный интеллект (ИИ), который может категоризировать большие объемы фидбека автоматически. Как это работает, и какие особенности связаны с ИИ-тегированием, расскажем в этой статье, основываясь на опыте экспертов UX Feedback.
ИИ-категоризация (тегирование) фидбека — это процесс автоматической классификации и организации отзывов, полученных от пользователей, клиентов или других заинтересованных сторон, с помощью технологий искусственного интеллекта (ИИ). Этот метод позволяет более эффективно обрабатывать большое количество отзывов и извлекать из них полезную информацию для принятия решений и улучшения продуктов или услуг.
ИИ-тегирование фидбека основывается на различных технологиях:
― Машинное обучение (ML): Алгоритмы обучения на основе данных помогают моделям улучшаться со временем на основе накопленного опыта.
― Обработка естественного языка (NLP): Технологии NLP позволяют ИИ понимать и анализировать человеческий язык.
― Данные и аналитика: Большие данные и аналитические платформы обеспечивают хранение, обработку и визуализацию результатов анализа.
Как это работает, или плюсы ИИ-категоризации
Вика Макеева, Product Manager:
«Часто исследователи запускают сразу несколько кампаний по сбору фидбека в разных кусочках продукта. Всю эту обратную связь потом надо как-то обрабатывать. Сейчас у нас в продукте есть такая функция как ручное тегирование, либо тегирование с помощью правил. Тут все просто: читаешь комментарий, а потом присваиваешь ему тег, либо тематику. Есть еще второй вариант, ― раздел "Правила", где можно использовать регулярные выражения. Если пользователь оставил в виджете определенный заданный набор слов или словосочетаний, то в этом случае ему присваивается конкретный тег».
Однако, как это обычно бывает, есть нюанс. Ручное тегирование ― это долго, но очень точно, так как человек обрабатывает каждый комментарий сам. Правила ― это сложно, потому что необходимо разобраться в регулярных выражениях. Тут, по нашему опыту, нередко требуется помощь Customer Success. Еще один проблемный момент, ― какие-то комментарии могут быть пропущены, если нет определенного слова в регулярных выражениях. Соответственно, в случае если тег не присваивается, то это нужно делать вручную, а затем дорабатывать правила.
Адель Дукаева, BDM:
«Обработка ― это один из самых трудоемких этапов в работе с фидбеком. Разметить обратную связь несложно, но это большая задача, под которую нужны люди. Однако все инструменты, которые есть сейчас на рынке не исключают ручной труд. Получается, что чем больше компания собирает фидбека, и чем качественнее она хочет с ним работать, тем больше нужно ресурсов. Представьте, что вы работаете над чем-то и вам нужна обратная связь в моменте. Вот вы собрали несколько тысяч единиц фидбека и вам нужно обработать его прямо сейчас, иначе данные устареют. Для этого понадобится собрать команду и несколько дней не спать, чтобы быстро все категоризировать».
В случае же с ИИ этой разметкой занимается не человек и не правила, которые поддерживает тоже человек.
Вика:
«В нашем случае мы используем OpenAI, на котором работает ChatGPT. Как это работает? Мы выгрузили 10 тысяч комментариев из нашего личного кабинета, вручную проставили им теги и дальше "скормили" это ИИ с запросом, чтобы он научился обрабатывать фидбек по правилам, которые там прописаны. Соответственно, ИИ изучает комментарий, далее изучает присвоенный тег и начинает искать закономерности и паттерны. Все это он самостоятельно разбирает и анализирует, а дальше ему уже можно давать все новые комментарии без тегов. ИИ, на основе полученных знаний, начинает автоматически присваивать теги обратной связи».
У ИИ-категоризации большой потенциал: она снимает огромный объем ручной работы с исследователя. Часто мы видим, что разметку фидбека даже отдают на аутсорс, потому что это очень много монотонной работы. ИИ же значительно ускоряет процесс обработки и можно быстрее перейти на этап анализа. Тут еще есть один важный момент. Правила распознают фидбек только с точки зрения набора символов, которые должны совпадать с тем, что написано в регулярных выражениях. ИИ же воспринимает контекст, то есть он понимает, о чем именно комментарий.
Также ИИ может различать тональность, например, определять позитивный и негативный фидбек. Это помогает быстрее увидеть, что именно болит больше всего и начать с этим разбираться.
Адель:
«С ручным тегированием, например через регулярные выражения, связана еще одна проблема ― субъективность. Например, у нас есть комментарий: «Не могу оформить доставку онлайн». Один исследователь отнес его к категории «Оформление заказа», а второй посчитал, что его нужно протегировать «Доставкой». И тут оба могут быть правы, потому что нет какой-то единой схемы размечивания обратной связи. Так что некоторая субъективность всегда будет присутствовать. Даже в регулярных выражениях. Ведь они тоже настраиваются человеком.
И вот тут на сцену выходит ИИ, который может взять этот несложный, но большой по объему этап, на себя. Уже сейчас в нашем продукте мы пришли к тому, что точность ИИ-тегирования выше 80%, и эта цифра продолжает расти. То есть, уже в первой итерации мы получили довольно впечатляющий результат».
Какие проблемы есть сейчас у ИИ-категоризации
Очень легко объяснить, как работает правило: человек составил регулярное выражение и понимает, что туда входит и как это функционирует. А вот как работает ИИ «под капотом», очень сложно объяснить простыми словами. Он, по каким-то своим внутренним алгоритмам, определяет закономерности, поэтому есть недоверие и желание перепроверить, а действительно ли он правильно протегировал.
Второй момент ― процесс обучения. То, что специалисты обучили ИИ один раз, это не значит, что он не будет ошибаться. Соответственно, искусственный интеллект необходимо регулярно дообучать, чтобы получать более точные результаты.
Вика:
«Кроме того, чтобы использовать ИИ в продукте и автоматически тегировать фидбек, нужны ресурсы. Во-первых, большой объем данных для обучения, который изначально обработан вручную. В UX Feedback этим занимаются отдельные люди из команды продукта. Также они «тренируют» ИИ, чтобы он становился лучше. И это вторая проблема: нужны те, кто будут непосредственно работать над этим».
Еще ИИ не умеет сам определять тематики фидбека, ― ему необходимо задать уже готовый список тегов. Например, мы в UX Feedback создали собственное универсальное дерево тегов из 18 общих тематик, которыми оперирует ИИ при категоризации обратной связи. Это своего рода верхнеуровневая сегментация с возможностью встроить в процесс все необходимые подтемы.
Адель:
«Из проблемных моментов можно отметить то, что пользователям не хватает глубины. Например, в регулярных выражениях можно прописать тег с несколькими уровнями вложенности, скажем: «Доставка - курьеры - Москва». ИИ пока так не умеет».
Впрочем, несмотря на все обозначенные сложности, мы в UX Feedback продолжаем развивать этот функционал, чтобы снять с исследователей большой объем задач по обработке обратной связи. Это позволит сконцентрироваться на этапе анализа и поиске инсайтов, чтобы еще лучше понимать клиентов и принимать точные бизнес-решения.
Канал о том, как дружба с пользователями помогает улучшать продукты и двигать горы ⛰
Подпишитесь на наш телеграм-канал, чтобы читать о Customer Experience и получать советы про опросы и пользовательский фидбек
Подробнее
