Мы продолжаем делиться рассказами о внутренней кухне UX Feedback и работе с собственным продуктом. В этой статье продакт-менеджер Вика Макеева рассказала о том, как проводить количественные исследования прямо внутри продукта, и где они будут особенно полезными.
Проблематика
У нас есть несколько источников сбора фидбека, который мы заносим в специальную таблицу. Затем этот бэклог мы скорим по методологии RICE. Там мы оцениваем, какому сегменту пользователей будет полезна та или иная фича и как часто с ней будут взаимодействовать.
До прошлого года основными источниками для наполнения этой таблицы были Customer Success и Product. CS напрямую взаимодействует с клиентами, поэтому регулярно приносят новые идеи для бэклога. А вот продукт берет свои данные из интервью, которые мы периодически проводим, а также из конкурентного анализа. Затем раз в две недели мы встречались, скорили все, что у нас есть и получали оценку, которую использовали в дальнейшем для приоритезации нашего бэклога. На самом деле на то, будем ли мы делать фичу или нет, влияет целая совокупность факторов, но значение RICE ― один из самых важных среди них.
Впрочем, в какой-то момент мы заметили, что фичи, которые мы выпускаем, по какой-то причине перестали приносить ожидаемые результаты (например, ими мало пользовались или очень редко). У нас есть отдельная колонка Reach, или охваты, где мы оцениваем по 10-балльной шкале, какая часть юзеров будет пользоваться фичей. Однако когда мы начали проводить постанализ по новым фичам, стало понятно, что мы перестали попадать в ожидаемый Reach.
Мы, конечно, начали копать глубже, чтобы понять причины происходящего. Ведь раньше все работало. Мы пришли к выводу, что за последнее время число наших клиентов сильно выросло, и нам уже просто недостаточно тех каналов сбора фидбека, которые мы использовали изначально. Значит, пришло время искать дополнительные источники.
Второй момент ― тот самый Reach. Дело в том, что мы оцениваем его экспертно, исходя из информации, которую нам приносят CS и BDM. Здесь мы пришли к тому, что нашу экспертную оценку необходимо подкреплять количественными данными, чтобы по итогам релиза попадать в наши ожидания.
Что мы сделали
В третьем квартале прошлого года мы планировали закрыть потребность в смене цвета форм (темная и светлая тема). В нашем RICE она была достаточно высоко оценена, но, кроме того, мы знали что работа будет очень объемной. Еще мы знали, что не стоит так уж полагаться на наш Reach. Все это подтолкнуло нас к тому, чтобы провести валидацию охвата через количественное исследование.
Мы собрали все запросы, которые связаны с изменениями в стилях нашей формы, и собрали опрос. Он был разбит на несколько блоков. Мы спрашивали, насколько важно иметь возможность использовать темную/светлую тему, а также, насколько часто за последние шесть месяцев, у пользователя была необходимость использовать эту фичу. Вторая часть опроса была более общей, где мы спрашивали, а какие еще функции были бы интересны пользователям. В зависимости от выбора, мы также задавали дополнительный вопрос о частоте возникновения потребности. Получается, что кроме валидации охвата конкретной позиции, мы еще решили исследовать поле вокруг нее.
Что получилось
Во-первых, мы выяснили, что потребность, о которой мы спрашивали, очень важна только для 12% пользователей и просто важна для 20%. В сумме получается чуть больше 30%, хотя по нашему Reach мы оценивали, что больше половины наших клиентов будут ею пользоваться.
Во-вторых, мы словили интересный инсайт и по частоте использования, которая оказалась совсем невысокой в сравнении с нашими ожиданиями.
Но дальше было еще любопытнее. Вторая часть опроса показала, что возможность форматировать текст в опросе вообще нужна была 86%. Разница с результатами по светлой/темной теме огромная. Более того, из всех предложенных фич, форматирование получило самую высокую оценку по частотности. За последние полгода она нужна была пользователям больше всего, но у нас ее не было.
В итоге мы воплотили эту историю в продукте — и оно того стоило! Потому что фичей стали пользоваться буквально в первые часы после релиза. И мы затратили заметно меньше усилий, чтобы мотивировать людей воспользоваться ею. То есть мы выпустили, и она сразу начала «жить полной жизнью».
Что дальше
Мы планируем использовать подобные исследования и дальше, если фича будет требовать большого ресурса с точки зрения разработки. Если есть спорные моменты или мы хотим убедиться, что Reach мы выбрали правильно, то этот рисерч поможет ответить нам на возникшие вопросы. Например, в текущем году мы хотим добавить новый блок в конструктор, и выбирать мы будем именно по такому принципу.
Канал о том, как дружба с пользователями помогает улучшать продукты и двигать горы ⛰
Подпишитесь на наш телеграм-канал, чтобы читать о Customer Experience и получать советы про опросы и пользовательский фидбек
Подробнее
