Один из главных камней преткновения при дизайне опросов, ― какую шкалу выбрать? Числовой рейтинг, звезды, сердца или смайлы? С каждым из них связан ряд особенностей и скрытых нюансов, о которых мы поговорили с Head of Customer Success UX Feedback Полиной Трапезниковой. Поэтому материал будет представлен в формате монолога.
Проблематика
Когда мы говорим о том, какую форму нам выбрать для определенного исследования, допустим, это CSAT ― это вопрос, «насколько удобно пользоваться…?», плюс пятибалльная шкала.
В какой-то момент приходим на распутье: нам нужно выбрать смайлы, числовой рейтинг, звезды, сердца, может быть, что-нибудь еще? А в чем вообще отличие? И часто в компаниях решение принимается на уровне дизайна. Допустим, по нашим гайдам или UI-китам больше подходят звезды в наш фирменный стиль, или нам больше подходят смайлы. Или у нас слишком взрослая аудитория, например, 40+. И смайлы могут для них выглядеть не очень презентабельно, не слишком серьезно. А мы серьезная компания и должны производить серьезное впечатление. По сути, все эти утверждения являются правильными.Если бы мы вспомнили про маркетинг, про принципы позиционирования бизнеса, бренда.
Однако сейчас речь исключительно о плоскости исследований. Что значит эта разница с точки зрения сбора данных? И анализа этих данных.
Первое, с чего хочется начать: разница не в дизайне. Мы видим ее только в визуале, и поэтому нам кажется, что дело только в оформлении. На самом деле «под капотом» есть много особенностей. Я расскажу о каждом типе по отдельности и раскрою, что за ними кроется с точки зрения анализа данных. На всякий случай уточню: если знать, как правильно работать с той или иной формой в конкретном исследовании, то можно избежать серьезных ошибок при анализе и принятии решений.
Числовой рейтинг
Числовой рейтинг это 1, 2, 3, 4, 5 в случае с тем же самым CSAT на его примере. Да, шкалы могут отличаться, но на российском рынке CSAT обычно пятибалльный.
Во-первых, есть такая сущность, как шкала Лайкерта. Она подразумевает под собой расшифровку каждого пункта шкалы.То есть у нас есть один – очень неудобно, два – не очень удобно и так далее. До пяти ― очень удобно. В случае с использованием разных сервисов вы будете часто сталкиваться с тем, что есть от и до. Но среднего – нет.
С точки зрения использования пятибалльной шкалы в странах бывшего СССР, у нас есть очень сильная ментальная привязка. Это кажется элементарным, но психологические паттерны именно так и работают. Поэтому я бы сказала, что пятибалльная шкала часто переваливает в позитивную сторону просто потому, что колы не ставят ― это не принято в обществе. Даже на официальном уровне с разной периодичностью обсуждается, нужна ли единица в школьной системе оценивания. Все по той же причине, ― учителя их не ставят, или делают это в крайних случаях. Потому что двойка ― это уже плохо.
Есть еще один важный момент, связанный со шкалой Лайкерта: она будет хорошим выбором только в случае, если 2, 3 и 4 определены. Почему?
Когда у вас при анализе встанет выбор, а как нам интерпретировать 2, 3 и 4, все будет завязываться только на мнении того человека, который будет проводить анализ.
Как правило, это либо один исследователь, либо группа исследователей, которые принимают решение, как именно интерпретировать те или иные данные. Вот этот человеческий фактор может быть решающим в анализе. Поэтому, если мы выбираем пятибалльную шкалу, мы вспоминаем о том, что она может быть скошена вверх.
И если провести одно и то же исследование с разными шкалами, вы в этом убедитесь.
Например, длинные шкалы могут дать более точные результаты, так как «шаг» между точками меньше. То есть, респондент может яснее сопоставить свои ощущения с оценкой. В пятибалльной шкале разница между 4 и 5 может быть значительной, в то время как, например, в семибалльной такое «эмоциональное расстояние» меньше.
Какой есть выход? Вот, например, в UX Feedback есть классный функционал фидбек расширить.
Пользователю необходимо дать возможность высказаться и объяснить свой выбор. Почему вы поставили такую оценку? Что она для вас значит? И таким образом нам будет проще интерпретировать полученные данные.
Звезды
Звезды имеют одну очень интересную особенность. Особенно в различных метриках лояльности, типа CSAT, CES и так далее.
Дело в том, что у звезд нет глобального отличия в визуальной части. И вот здесь как раз визуал играет важную роль для человека, который проходит это исследование. Уже неоднократно об этом мы говорили и даже писали в своей книге про Voice of the Customer, что пользователи воспринимают это как наполняемость стакана. То есть, эта система не подразумевает негативную оценку. Как это странно бы не звучало.
Когда вы спрашиваете, насколько удобно и вам ставят одну звезду из пяти, это не означает плохо или ужасно. Это означает степень удовлетворенности, не оспаривая сам факт удовлетворенности, и буквально переводится как «мы довольны вот настолько». Например, на одну пятую. Или две пятых. Но мы довольны. Я бы сказала так: звезды делают любую метрику, даже негативно направленную, позитивно направленной, просто из-за своего формата. Это нужно учитывать при анализе.
То же самое касается сердец. Любые формы, которые подразумевают использование одного и того же изображения множество раз, означает, что мы приходим к формату стакана. Мы уже не сможем говорить о том, что у нас N негативных оценок. Мы сможем говорить о том, что у нас есть люди, которые довольны чуть меньше, то есть они довольны на одну звезду. И в интерпретации это иногда очень мешает. Особенно, когда мы пытаемся те же самые сердечки использовать в какой-нибудь каноничной метрике лояльности. Они не рассчитаны на эту систему подсчетов, несмотря на то, что мы при анализе это интерпретируем как «1», «2», «3», «4» и так далее, есть искажение на уровне того, что под этим подразумевал пользователь, который оставил эту оценку. Тут решающим будет восприятие респондента и степень влияния этого фактора будет всегда разным.
Смайлы
В нашей команде было очень много дискуссий на эту тему, но все единогласно приходят к одному выводу. Помимо того, что смайлы дают лучшую конверсию, чем те же самые звезды, сердца и числовой рейтинг, ― смайлы показывают большую объективность в оценке.
Нам кажется, что когда мы даем, например, числовой рейтинг, здесь нет двойного дна. Ведь мы это так интерпретируем потом в данных, мы так потом считаем эту метрику. И пользователи видят то же самое. Но здесь есть одна проблема. То, как именно они воспринимают эти 2, 3, 4, остается под большим вопросом для нас. И мы погружаем пользователя в контекст, когда ему необходимо свое ощущение, впечатление, эмоцию конвертировать в оценку.
Почему хороши смайлы? Во-первых, каждый смайлик подписан. Во-вторых, можно быстро сопоставить свое внутреннее ощущение.Его транслировать проще, чем пытаться конвертировать в цифры. Поэтому мы имеем более чистые данные. Мы не заставляем пользователя задумываться. Поэтому у нас снижается погрешность если говорить о ситуации, когда пользователь передумал. Например, он поставил единицу, а потом: «Ну это же совсем ужас. Было все не так плохо».
Мы задаем вопрос, в контексте пользователя. Мы даем ему пять смайлов.
И каждый этот смайл подписан. Он сразу понимает, что подразумевается под ним. Под капотом это все равно пятибалльная шкала. Но это доступный, человеческий способ собрать максимально чистые впечатления. А это как раз главная проблематика в исследовании. Поэтому здесь смайлы хорошо справляются с задачей.
Естественно, смайлы точно также поддаются сегментированию: критики, нейтралы, промоутеры. Мы точно так же привязываем открытые комментарии в зависимости от сегмента. Поэтому у негативных принято спрашивать,что нужно улучшить, у них контекст нужды. У нейтралов принято спрашивать, что можно улучшить. А у промоутеров мы рекомендуем не выбирать, между тем, что спросить: ключевые ценности продукта или проблематику. Потому что у самых лояльных пользователей все равно есть проблематика, с которой они сталкиваются. Просто они ее терпят, потому что любят вас.
Последний тренд ― задавать два вопроса. Самый лояльный пользователь означает самую большую готовность давать вам фидбэк. Поэтому у них можно в двух разных полях спросить, что нравится больше всего и собрать ключевые ценности продукта. И вторым вопросом спросить, можно ли что-то улучшить. И, как правило, именно эти пользователи дают самый развернутый ответ. Наравне с негативными. Вообще, с точки зрения интерпретации метрик, мы больше всего любим негативные и позитивные.
Как это работает на западном рынке
Что касается форм сбора фидбека, чаще всего мы наблюдаем звезды.
Часто это связано с тем, что очень долгое время минимализм в дизайне был ориентиром всех компаний. Звезды хорошо закрывают потребность минимализировать, сделать этот фидбек менее контрастным. В западных источниках часто можно встретить описание «звездных» шкал как «quick and straightforward», то есть «быстрые и простые». Ничего не искрится, все довольно лаконично. Они могут быть даже бесцветными. И это можно хорошо вписать в дизайн.
Впрочем, здесь есть одно важное ограничение, о котором нередко упоминают в иностранных исследованиях, ― звезды, в отличие от тех же смайлов, не могут быть «негативными». Если недовольный смайлик всегда ассоциируется с неприятными эмоциями, то со звездами (или сердцами) так не работает. Об этом стоит помнить при использовании подобных шкал.
Однако это вечная борьба дизайна и исследований. Очень важно находить баланс и выбирать какой-то оптимальный вариант между погоней за трендами дизайна и качеством обработки.
Канал о том, как дружба с пользователями помогает улучшать продукты и двигать горы ⛰
Подпишитесь на наш телеграм-канал, чтобы читать о Customer Experience и получать советы про опросы и пользовательский фидбек
Подробнее
