Метрики лояльности. Часть 3: метрики и опросники юзабилити (UX)

Подробно разбираем метрики лояльности в нашем большом обновлённом гайде. В этой части вы узнаете, что такое юзабилити, зачем и как его измерять — с деталями, примерами, готовыми опросниками и бенчмарками, на которые стоит ориентироваться.

Оглавление

• Что такое UX и юзабилити и зачем его измерять
• Метрики и опросники юзабилити:
  SEQ — оценка сложности выполнения задачи
  SUS — оценка юзабилити систем и интерфейсов
  UMUX — компактная оценка юзабилити продукта
  UMUX-Lite — укороченная версия UMUX
  SUPR-Q — комплексная оценка качества UX
  UEQ — комплексная оценка UX
  UEQ-S — сокращённая версия UEQ

Что такое UX и юзабилити и зачем его измерять

UX ≠ UI ≠ CX

Главное отличие от UI (User Interface, пользовательского интерфейса) в том, что UX охватывает весь процесс взаимодействия, а не только визуальную составляющую. Если провести аналогию с кофейней, то UI — дизайн меню и интерьер, а UX — общее впечатление от посещения: качество обслуживания, удобство мебели, скорость приготовления заказа.

UX и CX (Customer Experience, клиентский опыт) — ключевые понятия в работе с клиентами, которые часто путают. UX — один из важных, но не определяющих компонентов CX: даже отличный UX не гарантирует высокий CX. Это связано с тем, что клиентский опыт зависит от множества других факторов: качества обслуживания, работы поддержки, скорости доставки и общей атмосферы взаимодействия с брендом.

Основные компоненты UX:

• Информационная архитектура — логичная структура и навигация.
• Визуальная иерархия — правильное распределение акцентов.
• Микровзаимодействия — анимации и обратная связь.
• Доступность — удобство для всех категорий пользователей.
• Скорость работы — быстрая загрузка и отклик.

Что такое юзабилити и зачем измерять его и другие UX-метрики

Метрики юзабилити помогают оптимизировать интерфейс. Например, при анализе формы регистрации юзабилити покажет, насколько быстро и легко её заполнить. А глобально UX-метрики помогут оценить, насколько процесс регистрации приятен, вызывает доверие и желание продолжить взаимодействие с продуктом.

Хорошие показатели юзабилити и UX-метрик необходимы, но недостаточны для создания отличного пользовательского опыта (CX). А значит способны прогнозировать вероятность оттока и удержания пользователей.

В следующей части рассмотрим не только метрики юзабилити, но и готовые опросники с примерами и пошаговым разбором анализа результатов. Всё самое полезное, прошедшее проверку временем и способное в короткие сроки принести вам полезные инсайты.

SEQ — оценка сложности выполнения задачи

Зачем измерять

В целях измерения SEQ практически не отличается от CES — вы спрашиваете, насколько просто было выполнить какую-то задачу. Единственное отличие в том, что CES — это больше про глобальную цель, а SEQ — про конкретные шаги на пути к её выполнению.

Как измерять

Точно так же, как CES: 7-балльной шкалой от 1 до 7 и средним арифметическим оценок или в процентах:

Бенчмарки

По данным MeasuringU, хороший показатель SEQ — 5.5 и выше по 7-балльной шкале или 55%.

SUS — оценка юзабилити систем и интерфейсов

Зачем измерять

SUS широко применяется в UX-исследованиях для оценки удобства интерфейсов, веб-сайтов, мобильных приложений и других цифровых продуктов. Метод помогает выявить проблемные места и определить направления для улучшения пользовательского опыта.

Как измерять

Вот пошаговая инструкция по измерению SUS:

1. Подготовка

• Подберите целевую аудиторию.
• Адаптируйте опросник под ваш продукт.
• Подготовьте инструкции для участников.

2. Проведение исследования

• Дайте участникам протестировать продукт.
• Предложите заполнить SUS-опросник сразу после тестирования. Опросник должен содержать 10 утверждений с оценкой от 1 («совершенно не согласен») до 5 («полностью согласен»).

3. Расчёт результатов

• Для нёчетных вопросов (положительных утверждений) вычтите 1 из оценки пользователя.
• Для чётных вопросов (отрицательных утверждений) вычтите оценку пользователя из 5.
• Сложите все полученные значения.
• Умножьте сумму на коэффициент 2.5.
• Получите итоговый балл от 0 до 100.

Пример расчёта

Предположим, что нужно рассчитать SUS для приложения банка. Результаты опроса 5 пользователей для примера такие:

Расчёт SUS для каждого пользователя проводят отдельно. Рассмотрим схему расчёта на примере пользователя 1:

Нечётные вопросы (вычитаем 1 из оценки):

• 1: 5-1 = 4
• 3: 2-1 = 1
• 5: 1-1 = 0
• 7: 1-1 = 0
• 9: 1-1 = 0

Чётные вопросы (вычитаем оценку из 5):

• 2: 5-1 = 4
• 4: 5-5 = 0
• 6: 5-5 = 0
• 8: 5-5 = 0
• 10: 5-1 = 4
• Сумма: 4+1+0+0+0+4+0+0+0+4 = 13
• Итоговый балл SUS: 13 × 2.5 = 32.5

Бенчмарки

• 0-50 баллов — серьёзные проблемы с юзабилити;
• 50-68 баллов — ниже среднего уровня;
• 68-80 баллов — выше среднего уровня;
• Выше 80 баллов — отличный уровень юзабилити.

По данными MeasuringU, оценка SUS отлично коррелирует с бенчмарками NPS:

UMUX — компактная оценка юзабилити продукта

Зачем измерять

UMUX, как и SUS, отлично подходит для юзабилити-тестов, но из-за своей компактности является лучшей альтернативой для использования на сайтах или в приложениях.

Как измерять

Вот пошаговая инструкция по измерению UMUX:

1. Подготовка опросника с 4 утверждениями, например:

• «Этот продукт отвечает моим требованиям»;
• «Использование этого продукта — разочаровывающий опыт»;
• «Этот продукт прост в использовании»;
• «Мне нужно потратить слишком много времени, чтобы исправить проблемы с этим продуктом».

Чаще всего респондентам предлагают оценивать согласие с утверждениями по 7-балльной шкале Лайкерта (Ликерта), где 1 — «полностью не согласен», 7 — «полностью согласен».

2. Процесс измерения

• Проведите тестирование продукта с пользователями.
• Предложите участникам оценить продукт по 4 утверждениям.
• Соберите ответы по каждому вопросу.

3. Расчёт результатов

• Сначала рассчитайте среднее значение для положительных утверждений (вопросы 1 и 3): P = (Q1+Q3) / 2.
• Затем рассчитайте среднее значение для отрицательных утверждений (вопросы 2 и 4): N = (Q2+Q4) / 2.
• Примените основную формулу UMUX:

Пример расчёта

Предположим, пользователь дал такие оценки:

• Вопрос 1: 6
• Вопрос 2: 2
• Вопрос 3: 7
• Вопрос 4: 2

Расчёт:

1. P = (6+7) / 2 = 6.5
2. N = (2+2) / 2 = 2
3. UMUX = 100 − ((7−6.5)+2) × 100 / 14 = 82.1

Интерпретация

• 80-100 — отличный уровень юзабилити;
• 65-79 — хороший уровень;
• 50-64 — удовлетворительный уровень;
• 0-49 — требуется серьёзная доработка.

UMUX-Lite — укороченная версия UMUX

Эксперты MeasuringU утверждают, что UMUX-Lite может заменять SUS, не теряя в качестве оценки.

Как измерять

1. Для каждого ответа вычтите 1 балл.
2. Сложите полученные значения.
3. Разделите сумму на 12.
4. Умножьте результат на 100%.

Пример расчёта

Предположим, пользователь дал такие оценки:

• Вопрос 1: 6 баллов,
• Вопрос 2: 7 баллов.

Расчёт:

1. 6 - 1 = 5; 7 - 1 = 6
2. 5 + 6 = 11
3. 11 / 12 = 0.917
4. 0.917 × 100% = 91.7%

SUPR-Q — комплексная оценка качества UX

Зачем измерять

Как и большинство юзабилити-опросников, SUPR-Q не создан для диагностики конкретных проблем с UX или CX. Вместо этого он помогает оценить удобство использования, надёжность продукта в глазах пользователя Это ценный инструмент для анализа сайтов, который активно применяют и в приложениях.

Как измерять

Пользователям предлагается оценить 7 утверждений из разных групп по 5-балльной шкале (от «полностью не согласен» до «полностью согласен»), а 8-й вопрос — стандартный NPS со шкалой от 0 до 10.

Группы утверждений:

• Юзабилити: легкость использования и навигации;
• Доверие: безопасность и надежность взаимодействия;
• Внешний вид: привлекательность дизайна;
• Лояльность: готовность рекомендовать и возвращаться.

Формула:

Пример расчёта

Предположим, получены следующие оценки:

• Вопросы 1-7: 4, 5, 4, 3, 4, 5, 4.
• NPS (вопрос 8): 5.

Расчёт:

1. Среднее первых 7 вопросов: (4+5+4+3+4+5+4)/7 = 4.0
2. NPS/2: = 5/2 = 2.5
3. SUPR-Q = (4.0 + 2.5) х 100% = 65%

Сегодня SUPR-Q уверенно занимает высокие позиции по популярности среди исследователей и продактов, которые активно работают с фидбэком. Вот что говорит об этом продакт-менеджер Fun&Sun (онлайн-туроператора и одного из клиентов UX Feedback):

Мы берем в работу все пользовательские комментарии, анализируем их, так что многие из нужд наших клиентов мы уже реализовали. И после каждого такого изменения мы обязательно пишем пользователям, что мы их услышали, внесли корректировки и дополнительно спрашиваем, нравятся ли им новые фичи. И мы получаем много положительного фидбэка от людей благодаря тому, что мы начали работать с такими метриками, как CSAT и SUPR-Q.
— Елизавета Пихенько, продакт-менеджер в Fun&Sun

UEQ — комплексная оценка UX

Зачем измерять

Измерение UEQ необходимо для комплексного развития продукта и улучшения пользовательского опыта. Результаты исследований помогают:

• Улучшать продукт — выявлять проблемы, оценивать эффективность изменений и оптимизировать интерфейс.
• Принимать бизнес-решения — оценивать ROI от UX-улучшений и приоритизировать задачи, а также использовать результаты UEQ для сравнения двух версий продукта.
• Понимать пользователей — получать количественные оценки удовлетворённости и анализировать поведение.
• Развивать команду — предоставлять объективные данные для принятия решений.
• Усиливать маркетинг — подтверждать качество продукта и повышать лояльность.

Как измерять

Вот пошаговая инструкция по измерению UEQ:

1. Подготовка опросника

Классическая версия включает 26 пар противоположных характеристик по 6 параметрам:

Все пары утверждений распределяются в случайном порядке не только относительно категорий, но и относительно друг друга — в половине пар слева будет отрицательная характеристика, а в других положительная. При этом отрицательные сохраняют за собой оценку -3, а положительные — +3. Это сделано для минимизации случайных ответов.

2. Процесс измерения

• Проведите опрос с 30 или более респондентами.
• Предложите участникам оценить каждое утверждение по 7-балльной шкале от -3 до 3.
• Соберите результаты опроса.

3. Расчёт результатов

• Расчёт средних значений. Для каждой пары утверждений посчитайте среднее значение по формуле:

• Агрегация по категориям. Сложите средние значения всех пар в рамках одной категории и разделите результат на количество пар в категории.
• Расчёт общего показателя. Для каждой категории получите итоговый балл и сравните результаты с бенчмарками (они сразу после примера расчёта).

Пример расчёта

Предположим, что в опросе участвовали три респондента. Для примера рассмотрим оценку категории Привлекательность (в ней 6 пар утверждений). Аналогичным образом рассчитываются показатели по остальным категориям: ясность, эффективность, надёжность, стимуляция и новизна.

Ответы респондентов (по шкале от -3 до 3):

Расчёт средних значений по каждому утверждению:

• Современный: (2+1+3) / 3 = 2
• Стильный: (3+2+3) / 3 = 2.67
• Элегантный: (2+1+2) / 3 = 1.67
• Престижный: (1+2+3) / 3 = 2
• Трендовый: (2+1+2) / 3 = 1.67
• Изысканный: (2+1+2) / 3 = 1.67

Агрегация по категории:

Среднее по категории: (2+2.67+1.67+2+1.67+1.67) / 6 = 1.97

Интерпретация

Создатели метрики приводят такую таблицу средних значений:

Результаты расчёта из предыдущего блока можно интерпретировать так:

Интерпретация результата:

По шкале оценки полученный для категории Привлекательность результат (1.97) выше бенчмарка из таблицы (1.86). Значит, эту категорию респонденты оценивают как «Отлично», следовательно:

✔️ Пользователи воспринимают продукт как привлекательный.
✔️ Нет необходимости в срочных улучшениях данной категории.

UEQ-S — сокращённая версия UEQ

Зачем измерять

Рекомендуется использовать UEQ-S только в особых случаях, например:

• Когда время ограничено;
• При необходимости быстрого измерения;
• Когда полная версия неприменима.

Как измерять

Процесс измерения идентичен UEQ:

1. Проведите опрос с 30 или более респондентами.
2. Предложите участникам оценить каждое утверждение по 7-балльной шкале от -3 до 3.
3. Соберите и проанализируйте результаты опроса.

Однако опросник UEQ-S гораздо проще и выглядит так:

Вероятно, вы обратили внимание, что некоторые пары утверждений тоже очень схожи с полной версией UEQ. Всё так — создатели разделили классический вариант на гедонические и прагматические качества и выделили отдельный блок со шкалой привлекательности, который не вошёл в сокращённый UEQ-S. Затем сравнили и сопоставили средние значения пунктов UEQ-S и UEQ:

• Для прагматического качества сопоставили 4 пункта UEQ-S с 12 пунктами полной версии — эффективность, ясность и надёжность.
• Для гедонистического качества сравнили 4 пункта короткой версии с 8 пунктами шкал стимуляции и новизны полной версии.

Расчёт и интерпретация результатов UEQ-S базируются именно на этом сопоставлении.

Пример расчёта

Предположим, что в опросе UEQ-S участвовали 3 респондента и дали такие оценки по 8 утверждениям:

Расчёт прагматического качества (среднее по каждому утверждению):

1. Мешает / Помогает: (2+1+3)/3 = 2
2. Сложный / Простой: (2+2+1)/3 = 1.67
3. Неэффективный / Эффективный: (3+2+2)/3 = 2.33
4. Сбивает с толку / Понятен: (1+2+2)/3 = 1.67

Общий показатель прагматического качества: (2 + 1.67 + 2.33 + 1.67)/4 = 1.92 (хороший показатель).

Расчёт гедонического качества (среднее по каждому утверждению):

1. Скучный / Увлекательный: (2+1+2)/3 = 1.67
2. Неинтересный / Интересный: (2+2+1)/3 = 1.67
3. Обычный / Инновационный: (1+2+2)/3 = 1.67
4. Банальный / Трендовый: (2+1+2)/3 = 1.67

Общий показатель гедонического качества: (1.67 + 1.67 + 1.67 + 1.67)/4 = 1.67 (выше среднего).

Итоговый показатель UEQ-S:

(1.92 + 1.67)/2 = 1.79 (выше среднего, ближе к хорошему).