Рубрики
Фидбек

Основные ошибки при измерении NPS – Индекса потребительской лояльности

В этой статье разберём варианты использования Net Promoter Score, с которыми мы не согласны.

Дисклеймер: мы ни в коем случае не претендуем на истину в последней инстанции и, напротив, хотим подискутировать о популярной метрике. Наши наблюдения носят рекомендательный характер и основаны на личном опыте 😋

Кто не знает об NPS? Сегодня это одна из самых популярных метрик клиентского опыта, её обожает топ-менеджмент крупных западных компаний, в России с ней тоже хорошо знакомы. 

Как это часто бывает, что-то заимствованное всегда начинают трансформировать и подстраивать под себя. Это вполне естественный процесс, со своими плюсами и минусами, Net Promoter Score не стал здесь исключением.

И в последнее время мы всё чаще натыкаемся на «вариации» Индекса потребительской лояльности – переформулированные вопросы, другая шкала оценки, разный контекст, при котором пользователю предлагают ответить на вопрос. В этой статье хотелось бы расставить все точки над i и разобрать основные ошибки использования этой метрики.

Начнём с основ Индекса, чтобы погрузить в контекст тех, кто, возможно, с ним не очень хорошо знаком. Если вам не так интересна эта часть, воспользуйтесь оглавлением и сразу переходите к ошибкам:

Что такое NPS

Net Promoter Score – это Индекс потребительской лояльности. Метрика, которая показывает отношение клиента к вашей компании и помогает выяснить, с какой вероятностью он посоветует вас своим друзьям или родственникам.

Именно эта основа – вероятность рекомендации – была заложена в NPS с самого момента её создания. Frederick F. Reichheld, в 2003 году впервые предложивший этот термин, провёл множество опросов, протестировал креативы и нашёл вопрос, ответ на который лучше всего предсказывал поведение клиентов:

«How likely is it that you would recommend this company to a friend or colleague?» («Насколько вероятно, что вы посоветуете нашу компанию друзьям или коллегам?»)

Оценка NPS также сильно коррелировала с ростом компаний в течение времени. Reichheld утверждал, что эта метрика имеет право на жизнь, поскольку рекомендации и сарафанное радио – сильнейшие драйверы роста выручки для большинства компаний.

Он оказался совершенно прав. Согласно исследованиям Nielsen, 83% респондентов доверяют рекомендациям членов семьи и друзей больше, чем любым другим формам рекламы. Это значит, что даже один недовольный лояльный клиент может стоить вам сразу нескольких новых! Говоря о лояльности, такой пользователь ещё и почти в 5 раз дешевле нового и с большой вероятностью вернётся за покупками или кликами.

При этом, пусть Индекс измеряет отношение к компании в целом, повлиять на показатель могут проблемы на любом участке пользовательского пути (CJ). Представьте, что авиакомпания, которой вы сегодня летите, открыла только одну стойку регистрации на 300 пассажиров. Вымотав собственные нервы, вы в конце концов садитесь в самолёт, улыбчивые стюардессы разносят напитки и еду, через 3 часа комфортного полёта вы приземляетесь и без задержек получаете багаж. 

Вы ещё не подписаны?

Ежемесячные статьи о любви к клиентам 💙

Присылаем вам на почту всё самое важное о пользовательском фидбеке, Voice of the Customer и классном CX!


Отправляя эту форму, я соглашаюсь на обработку своих персональных данных

Пережив настолько негативный опыт лишь в одном участке своего CJ, сможете ли вы положительно оценить полёт в целом? А порекомендовать авикомпанию близким? Скорее всего, нет. NPS является индикатором – где-то что-то работает не так, как должно. И сказывается на репутации всего бренда.

Вот почему NPS укрепился в качестве основной метрики клиентского опыта. Сегодня Индекс потребительской лояльности измеряют крупнейшие компании мира, в том числе Apple, Microsoft, eBay, PayPal, Western Union. 

Как правильно измерять Net Promoter Score

Как уже упоминалось выше, в своём изначальном виде NPS строился на одном-единственном вопросе. Для ответа пользователю нужно было оценить вероятность по шкале от 0 до 10.

Респондентов, поставивших оценки, делили потом на три группы (0-6 баллов, 7-8 и 9-10). Средняя группа отбрасывалась, а из процента респондентов, поставивших высшие баллы, вычитали процент недовольных. Подробнее о подсчёте можно прочитать в этой статье.

Главные ошибки при измерении NPS

Суть любой методологии в том, что она существует в определённых рамках. Эти рамки появились неспроста – методологию протестировали сотни, тысячи раз, отбросили всё ненужное и оставили только то, что проверено и работает. Такого же подхода мы придерживаемся при работе с NPS. 

На наш взгляд, любые изменения вопросов или системы подсчёта создают новые сущности – такие опросы уже сложно назвать Индексом потребительской лояльности. А значит и выводы, сделанные на основе оценок, могут быть в корне неверными и увести компанию в другом направлении.

Поэтому разберём основные «постулаты» Net Promoter Score и расскажем, какие изменения в системе мы считаем критическими. 

Вопрос

Неслучайно на официальном сайте NPS вопрос «How likely is it that you would recommend this company to a friend or colleague?» назван основным, ультимативным.

Безусловно, пользователям можно задать любой вопрос и всё так же предоставить им для оценки шкалу от 0 до 10, вот только далеко не факт, что результаты будут валидными. От того, какой вопрос вы зададите, напрямую зависит и ответ респондента. Вот почему мы крайне советуем при измерении Индекса использовать классический вопрос и его различные стилистические формы – вольность перевода никто не отменял: «Насколько вероятно, что вы посоветуете нашу компанию друзьям или коллегам?»

Помните, что в основе NPS – оценка вероятности рекомендации, поэтому вопросы типа: «С какой вероятностью вы снова совершите покупку в магазине N?» – нерелевантны для измерения по системе Net Promoter Score.

Неклассическая шкала оценки

В основе NPS лежит шкала от 0 до 10. Ответы на укороченный вариант шкалы (например, от 1 до 5) не смогут быть подсчитаны по системе NPS. 

То же самое касается графических элементов. Например, как в этом варианте:

Как пользователю сориентироваться, какой из смайликов ему нажать? Да, вы скажете, что внутри цветовых групп разницы, какую оценку поставит пользователь, нет. А если выбрать нужно между 6 и 7 – границей, которая пролегает между Критиками и Нейтралами? Что сильнее по восприятию – оценки 6 и 7 или смайлики с опущенными уголками рта и прямой линией? На наш взгляд, с ответом на такой вопрос проще определиться при помощи цифр.

Ещё одна важная деталь, касающаяся оригинальной шкалы – будьте внимательны, она 11-балльная и начинается от нуля. Здесь снова можно сказать, что разница не существенна, однако отсутствие нуля в шкале способно повлиять на итоговый результат до 9%.

Расположение оценок не в ряд

11-балльную шкалу интерфейсно тяжело уместить в одну строку, но игра стоит свеч. Дело в том, что, по нашему опыту, далеко не все респонденты склонны фокусироваться на вариантах ответа в опросах. 

Не так давно наши клиенты наблюдали за пользователем во время юзабилити-тестирования своего сайта. В процессе выполнения задания появилась наша форма, которая предложила оценить контент на странице. Пользователь быстро ткнул нейтральный смайл и продолжил дальше искать информацию на сайте. 

На вопрос: «Почему вы поставили эту оценку?» – он ответил: «На автомате». Такое мы замечаем в первый раз, но теперь стараемся более осознано подходить к оценкам без комментариев. Какой вывод можно сделать? Мы не знаем, какая часть пользователей действуют импульсивно, но, очевидно, такие респонденты встречаются.

Воспринять 2 ряда оценки может быть тоже сложно. И тогда не самые внимательные пользователи (их даже не в чем здесь обвинить!) сделают ваш NPS не валидным. Понятное дело, что речь идёт о небольших выборках. Если в опросе участвуют несколько тысяч человек, «случайные» ответы утонут в общем числе.

Отсутствие дополнительного открытого вопроса

Когда вы измеряете NPS, у вас, скорее всего, есть цель или желание его улучшить. Но если пользователи будут просто ставить вам оценку, вы никогда не узнаете, почему вы получили 2 из 10 и как это исправить. Это хорошо показывает и пример из предыдущего пункта.

Можно бесконечно генерировать гипотезы и сверяться с обновлённым Индексом. Но сам по себе NPS не расскажет, что именно и в каких участках CJ у вас не так. Задайте респондентам дополнительный открытый вопрос, например, «Пожалуйста, расскажите, почему вы поставили нам такую оценку?». И с этого момента метрика заживёт новой жизнью.

О том, чем открытые вопросы отличаются от закрытых (в том числе, от вопроса NPS), мы рассказывали в этой статье. Мы настоятельно рекомендуем экспериментировать с ними. Классические надоевшие призывы «Пожалуйста, оцените качество обслуживания» или «Помогите нам стать лучше» зачастую генерируют негатив.

Честно расскажите респондентам, зачем вы просите их ставить все эти бесконечные оценки и писать отзывы.

Неправильный момент для опроса

Клиенту нужно дать «помариноваться» в процессах компании, прежде чем узнавать вероятность рекомендации. Вспомните, с вами наверняка бывали случаи, когда с первого «контакта» компания казалась манной небесной, но затем совершала какие-то факапы. Нерасторопная поддержка, проволочки с возвратом денег, упавшее качество товаров, репутационные скандалы. 

Вот почему, например, NPS часто присылают в e-mail-рассылках в течение недели или даже месяца после покупки. В среднем, хороший срок для Net Promoter Score – 10 дней после покупки/начала использования/доставки и 30 – после установки приложения.

С другой стороны, если вы продаёте услугу или впечатление, вам, напротив, стоит задавать вопрос сразу. По прошествии времени клиент может забыть, что он на самом деле думает о компании.

Фокус на Критиках

Причины критики очень важны, но понимание, за что вас любят лояльные клиенты, принесёт компании не меньше пользы. Поэтому излишний фокус на Критиках не всегда очевиден.

На самом деле, люди, ставящие высшие оценки, дадут вам не меньше классных инсайтов. Кроме того, они охотнее пойдут на контакт и согласятся поучаствовать в более серьёзных исследованиях.

NPS, измеряющий CX отдельных участков

Одна из самых распространённых ошибок, которую нам приходится встречать. Представьте, что вы скроллите главную страницу сайта в поисках нужной категории, и тут перед глазами вылетает «всплывашка» с опросом NPS. Почему вы должны рекомендовать компанию, если вы взаимодействуете с ней впервые и всего 20 секунд?

Другой пример. Вы купили товар на сайте, и вам тут же задают классический NPS-вопрос на странице «Спасибо за заказ». Может ли оценка в этот момент быть объективной? Ведь после оформления заказа/заявки происходит огромная череда процессов, которые могут сделать ваш опыт как положительным, так и жутко негативным уже через пару часов.

Если брать простой пример e-commerce, то повлиять на CX могут хамоватый колл-центр, необязательные грузчики, неработающий (или с дефектами) товар, неудобный процесс возврата и многое другое. Так как же, в таком случае, довериться оценке, которую вы хотите замерить в самом начале пользовательского пути?

NPS не может «замерять» отдельные участки CJ. Вы можете следить за CSI, CES или эмоциональным рейтингом – средней оценкой удовлетворённости сайтом, но NPS не подходит для этих целей. Использовать Индекс потребительской лояльности лучше только тогда, когда вы хотите понять общее отношение человека к вашей компании.

Для этого, как упоминалось выше, ему обязательно нужно дать «помариноваться» в ваших процессах. Тогда и оценка будет максимально приближена к ощущениям самого пользователя. 

NPS, не проходящий проверку временем

Из предыдущей исходит другая большая проблема: оценку одного и того же пользователя обычно не перезамеряют со временем.

Нет ничего постоянного – даже если вы «посчитали» NPS правильно, это ещё не гарантия того, что промоутер не поменяет свою точку зрения спустя пару месяцев. По нашему опыту, такие метаморфозы чаще всего происходят, когда человек попадает в сценарий, который водит его по кругу. В результате тот, кого мы считаем промоутером, становится нейтралом или, хуже того, критиком.

Понимание, почему именно из промоутеров люди переходят в другие «касты», – один из ценнейших инсайтов. Неспроста у продуктовых и UX-исследователей существует метод «Дневниковые исследования». Его основная задача – отследить, как меняется отношение к продукту со временем, и понять причины этих изменений.

Это очень хорошо работает, когда мы оцениваем сложные продукты, например, стриминговую платформу. Пользователь зачастую получает быстрый вау-эффект в начале своего CJ, но постепенно замечает всё больше недостатков.

Что-то подобное, на наш взгляд, необходимо делать и с NPS. Для начала убедиться, что вы собираете его правильно. Перезамерять его со временем и проваливаться на уровень тех пользователей, которые перешли из одного сегмента в другой. Причём интересны должны быть и критики, ставшие вдруг промоутерами.

Так вы лучше поймете, почему ваша компания (а главное – какими процессами) формирует у людей различный опыт.


NPS вкупе с открытыми вопросами может быть крутейшим источником инсайтов для вашей компании. Но на самом деле, никто не запрещает вам тестировать различные вопросы и системы измерений. Просто не стоит называть это Индексом потребительской лояльности и, тем более, пытаться высчитать метрику по стандартной методике.

Ручаться за результаты в случае экспериментов вам придётся самостоятельно. На этот случай просто знайте, что старый добрый NPS со своим классическим вопросом и шкалой оценки всегда готов будет помочь вам получить полезные данные от пользователей.

Узнайте о UX Feedback больше и опробуйте платформу для улучшения Customer Experience бесплатно

Канал о том, как дружба с пользователями помогает улучшать продукты и двигать горы ⛰

Подпишитесь на наш телеграм-канал, чтобы читать о Customer Experience и получать советы про опросы и пользовательский фидбек

Автор: Даниэль Виленчук

Контент-менеджер UX Feedback.

Добавить комментарий

Ваш адрес email не будет опубликован.

Отправляя эту форму, я соглашаюсь на обработку своих персональных данных