Когда компании занимаются развитием сайтов или мобильных приложений, зачастую они опираются или на данные систем аналитики, или качественные исследования, например, юзабилити-тестирования и глубинные интервью. Но в разделении количественных и качественных методов есть ряд существенных минусов.
О том, как и зачем проводить комплексное исследование пользовательского опыта, рассказывает директор по развитию направления аналитики AGIMA Олег Рудаков.
В целом, задачи, которые решает аналитика, можно разделить на три блока:
- Привлечение аудитории, т.е. решение маркетинговых задач. На этом этапе мы пытаемся при определенном бюджете привлечь максимальное число целевых пользователей.
- Оптимизация продукта. Задача этого блока — конвертировать максимальное число привлеченных пользователей в клиентов.
- Аналитика внутри продукта. Мы работаем над удержанием клиентов и повторными продажами. Это могут быть RFM сегментация пользователей для возврата нужных посредством директ маркетинга, разработка спецпредложений в программах лояльности, изменение правил в мобильной игре, запуск новых тарифов мобильного оператора и т.д.
Второй блок задач, т.е. анализ сайта или приложения как продукта, часто оказывается недооцененным. Кажется, что здесь все просто. Но такой взгляд не приводит к хорошим результатам: получаются либо банальные, шаблонные выводы, либо меняется только интерфейс («Эта кнопка нелогичная, она должна работать по-другому»). Чтобы этого избежать, нужно узнать у пользователей, каким они хотели бы видеть сайт.
Как начинать исследование?
Исследование продукта, на мой взгляд, это большая работа, которая позволяет сделать продукт еще лучше. Поэтому к моменту анализа у нас должен быть пройден этап с привлечением пользователей, и продукт уже должен генерировать прибыль.
Мы можем сами понимать, что требуется улучшить. У нас могут быть разные варианты, на основе которых мы принимаем решение. Например, мы видим, что большая часть пользователей уходит на этапе выбора доставки. Мы понимаем, что в этом месте наименьшая проходимость воронки, и если мы выясним проблему и решим ее, больше пользователей совершат покупку. Нельзя забывать, что сами пользователи дают нам большой массив информации, которая может нас подтолкнуть к началу исследования. Это могут быть обращения в техническую поддержку или колл-центр, отзывы на сайте, Яндекс.Маркете или сайтах-отзовиках и т.д. Наконец, поводом к исследованию может стать анализ данных систем веб-аналитики: если у нас не изменилась выручка по сравнению с прошлым годом при тех же вводных, значит, нужно искать дополнительные резервы.
Алгоритм проведения анализа зависит от конкретного сайта/приложения и тематики бизнеса. Но при этом можно выделить основные методы, которые стоит использовать для того, чтобы получить исчерпывающий результат, подтвержденный с разных точек зрения.
Опрос аудитории. На что обращать внимание?
Опрос позволяет сегментировать аудиторию. На этом этапе основная задача — выяснить, кто же такие наши пользователи. Для этой цели не подходит маркетинговая сегментация: с точки зрения продукта, как правило, не важен пол, возраст и достаток покупателей. Из этой информации не ясно, как они будут взаимодействовать с продуктом. Для нас важны поведенческие характеристики: почему пользователи покупают, что для них важно при взаимодействии с компанией и продуктом, на основании чего принимают решение и так далее.
В результате опроса мы получим n-сегментов. Это может быть сегмент постоянных покупателей, которые каждый день заходят на сайт, имеют высокий средний чек, покупают много товаров и генерируют около 80% дохода всей компании. Это могут быть новички, которые только пришли на сайт и еще ничего не знают. Это могут быть какие-то другие сегменты. Важно, что все они основываются на поведении пользователей.
В зависимости от того, что мы хотим узнать, составляются вопросы. Есть несколько базовых правил, которым нужно следовать при подготовке опросника:
- Не спрашивать информацию, которую мы можем почерпнуть из других источников. Если мы проводим опрос на своем сайте, то можем идентифицировать пользователя по логину и взять из базы количество покупок, средний чек и т.д.
- Не спрашивать сразу все. Чем меньше вопросов, тем выше конверсия прохождения и тем больше данных мы получим для анализа. Максимум 15-20 вопросов.
- Личные вопросы должны быть после общих. Сначала нужно выяснить детали, которые не идентифицируют человека, а после этого можно задавать вопросы о составе семьи, количестве детей, среднем доходе на семью и так далее.
- Не должно быть много открытых вопросов. Несмотря на то, что даже банальный вопрос «Что бы вы хотели улучшить на сайте?» дает полезную информацию, при большом числе таких вопросов сложно обрабатывать результаты и однозначно их классифицировать по темам.
Опрос можно проводить разными способами. Он может быть сверстан и запущен на самом сайте или приложении, либо в сторонней системе вроде SurveyMonkey или SurveGizmo. Независимо от реализации, для опроса важны:
- Удобная выгрузка результатов.
- Текстовый формат. Такой способ представления данных удобнее анализировать, чем, например, результаты телефонных опросов.
- Возможность задать логику в опроснике. Например, если для вопроса «Сколько у вас детей?» предусмотрен логичный ответ «Ни одного», то для пользователя, выбравшего данный ответ, не должен следующим идти вопрос «Сколько лет младшему?».
Дополнительные данные для анализа можно получить за счет связывания данных опроса с данными Google Analytics. Например, если для нас важны политические убеждения пользователей, их профессии и так далее, мы можем получить эти данные в ходе опросов, а затем загрузить их в Google Analytics, связав данные по clientId. Это позволит в любых срезах, доступных в Google Analytics, проанализировать данные по этим пользователям и тем самым обогатить результаты опроса.
Юзабилити-тестирование. На что обращать внимание?
После того, как мы сегментировали аудиторию, можно переходить к следующему этапу и взаимодействовать с пользователями в рамках юзабилити-тестирования.
Юзабилити-тестирование — это всегда взаимодействие с небольшим количеством людей. Например, опрос выявил 4 сегмента аудитории. Мы приглашаем по 6 представителей каждого сегмента. Таким образом, участие принимают 24 человека — это достаточный объем для данного этапа.
Мы рекрутируем этих пользователей, чтобы пообщаться с ними и попросить пройти те сценарии, которые мы заранее пропишем и проверим. Найти их можно по-разному: это могут быть сторонние пользователи, оставившие свои контактные данные участники опроса, или пользователи из нашей CRM. Главное учесть все сегменты пользователей. Например, в базе нет незарегистрированных пользователей, но они важны для исследования. И нам необходимо привлечь их иным способом.
Важно понимать, что юзабилити-тестирование создает определенные неудобства для пользователей: человек должен куда-то приехать, потратить время на дорогу и прохождение сценария, общаться с неизвестным ему модератором-аналитиком… Поэтому его нужно дополнительно замотивировать. Это могут скидки, подарки, брендированные вещи или банально - денежная компенсация.
Итак, как проводится тестирование. У нас есть набор респондентов, подготовленный сценарий, сайт или приложение, по которому пользователи под руководством модератора проходят данный сценарий. Модератор фиксирует все возникшие сложности и пытается выяснить их причину. Например, это может быть недопонимание («Я думал, что цена в карточке товара указана уже с учетом доставки, почему в корзине она отдельно?»), или пользователь не замечает функциональный блок. Это самые простые примеры, на деле же все зависит от конкретного продукта.
Важно отметить, что модератор ни в коем случае не должен вмешиваться в ход тестирования и пытаться что-то подсказать пользователю. Зачастую респонденты ищут какой-то поддержки или одобрения, хотят знать, правильно они что-то делают или нет. Помните: пользователь всегда все делает правильно, поэтому мы не должны давать никаких указаний.
Глубинное интервью. На что обращать внимание?
По нашему опыту глубинное интервью хорошо совмещать с юзабилити-тестированием. Пользователь уже находится у нас в офисе, мы наладили с ним контакт, он замотивирован скидкой или подарком и открыт к общению.
Человек сталкивается с компанией не только в вебе. Поэтому, когда мы анализируем сайт или приложение, не нужно замыкаться только на интерфейсе: возможно, пользователя устраивает наш сайт, но дальше начинаются проблемы, которые мы могли бы решить. Пример: у нас интернет-магазин детской одежды. Менеджеры обязательно подтверждают заказ по телефону. Пользователь — молодая мама, и ее ребенок спит. Поэтому телефонные звонки для нее неудобны. Эта проблема выходит за рамки интерфейса, но мы можем предусмотреть опцию «Подтвердить по смс» или «Пожалуйста, не звоните мне» в рамках оформления заказа.
Обнаружить проблемы такого рода можно в ходе глубинного интервью. Для этого нужно продумать весь Customer Journey и составить в соответствии с ним вопросы. Желательно в последующих интервью подтверждать полученную от респондента информацию. Но при этом не нужно пытаться сделать из интервью количественный метод — если проблему подтвердили 5-6 человек, то следует переходить дальше к следующей части исследования.
Настройка Google Analytics. На что обращать внимание?
Результатом проведения юзабилити-тестирования будет некий список существующих проблем. Прежде чем предпринимать какие-то действия, нужно убедиться, что проблемы повторяемы. Для этого нужны количественные подтверждения. В частности, их можно получить за счет разметки Google Analytics.
Сейчас уже практически нет сайтов, на которых бы не был установлен Google Analytics, Яндекс.Метрика или какой-то другой счетчик веб-аналитики. Но обычно их используют, чтобы подсчитать эффективность маркетинга: конверсию заявок с определенного источника трафика, рентабельность инвестиций в платный трафик, построить модель атрибуции для корректного перераспределения бюджетов и т.д. Но для проведения анализа сайта или приложения как продукта, также важно понимать и отслеживать взаимодействие с определенными блоками на сайте, его функционалом, даже если они напрямую не связаны с маркетинговой историей. По нашему опыту, для решения этой задачи нужно настраивать Google Analytics в два этапа:
- До старта проекта, когда следует разметить те элементы, которые вызывают опасения, или которые мы считаем неоднозначными.
- После юзабилити-тестирования, когда мы уже знаем ряд точечных проблем и хотим их подтвердить.
В результате, после проведения юзабилити-тестирования и сбора данных аналитики, мы получим приоритезированный список проблем. Приоритет будет зависеть от повторяемости и критичности с точки зрения прохождения сценария. В качестве примера возьмем интернет-магазин. Если у пользователя возникают проблемы на этапе выбора доставки, и он не может перейти на следующий шаг, то это проблема критичная — скорее всего он уже никогда не приобретет у нас товар. Если пользователь не понимает, какая указана цена — с учетом доставки или без, то это важная проблема, однако пользователь может пройти дальше. А вот что написано на кнопке — «Купить» или «Добавить в корзину» — наименее критичная из обозначенных проблем.
Итак, на данном этапе мы имеем список проблем, их приоритет, и мы можем работать дальше, решая их и проверяя на А/В тестах.
Кроме того, мы можем расширить этот объем исследования дополнительными методами. По опыту, чем больше информации мы получаем в ходе исследования, тем понятнее, куда нам нужно двигаться для оптимизации продукта.
Карточная сортировка. На что обращать внимание?
Далее мы можем дополнить этот объем данных в карточной сортировке. Мы заранее готовим карточки, на которых указываем все пункты меню, каталога, разделов и т.д. Далее мы предлагаем респондентам их рассортировать в том виде, который они считают правильным. Если разные люди предложат близкую структуру, то вероятно, что и другим пользователям она будет удобна. Проводить карточную сортировку можно как офлайн с реальными карточками, так и онлайн с помощью соответствующих сервисов, например, OptimalSort. В любом из вариантов важно, что нам необходимо получить большой объем данных для того, чтобы мы могли сделать статистически достоверный вывод.
При этом нужно помнить, что карточная сортировка позволяет не только правильно разложить меню, но и в целом изменить структуру сайта: где-то мы сократим путь, а что-то вынесем в фильтры.
Дневниковое исследование. На что обращать внимание?
Для продуктов, у которых долгий цикл принятия решения и долгий цикл использования (покупка автомобиля, квартиры и т.д.), полезно применять дневниковое исследование. Оно позволяет узнать, как изменяется поведение и опыт потребителей с течением времени (от нескольких дней до нескольких месяцев).
Для проведения исследования нам нужно заранее продумать Customer Journey Map. Мы раскладываем его на некое подобие опросника, в котором на каждом шаге спрашиваем особенности взаимодействия. Например, пользователь планирует полететь на Новый год в Таиланд. Он обращается в нашу туристическую компанию и выбирает путевку. Нам нужно понимать, по каким характеристикам он ее выбирает и на основании чего принимает решение. Затем идет этап оплаты: стоимость, наличные, рассрочки и т.д. После пользователь собирается в поездку. Нам нужно знать, достаточно ли компания ему помогает (сообщает, что взять в поездку, какие документы оформить, какие прививки сделать и т.д.), либо ему вообще не нужна наша помощь.
Таким образом, дневниковое исследование — это опрос, но не тот, на который клиент может ответить здесь и сейчас, а растянутый во времени. Поэтому дневниковый метод исследования требует от участников внимания и временных затрат. Чтобы получить необходимый уровень вовлеченности респондентов, мы должны их обязательно замотивировать.
Откуда еще получать данные?
Все, о чем я говорил выше, это этапы проведения анализа сайта или приложения как продукта. Но зачастую аналитики забывают о том огромном количестве контента, который генерируют пользователи. Поэтому все полученные данные нужно обогащать анализом пользовательских обращений в техподдержку или колл-центр.
Когда мы смотрим на какие-то цифры, мы часто забываем, что за ними стоят люди. Обращения позволяют нам увидеть то, чего цифры не дают. Например, система аналитики говорит, что на третьем шаге оформления заказа есть проблема. Но мы не можем увидеть, в чем она. Нам, из-за профессиональной деформации, часто кажется, что все просто и понятно. Только пообщавшись с реальными людьми, мы видим, насколько иначе они смотрят на наш продукт. Они могут не только подсказать нам, где проблема, но и дать идеи для ее решения.
Сайт и приложение. В чем разница подходов?
Этапы анализа сайта и приложения одинаковы: нам также нужно провести опрос, юзабилити-тестирование, настроить сбор данных в системах аналитики и так далее. Но есть некоторая разница в деталях.
Прежде всего, при анализе приложения следует уделить внимание мобильным платформам. Если iOS одинакова для большинства пользователей iPhone, то Android имеет большое число вариаций. Поэтому любое приложение будет по-разному работать на флагмане Samsung и китайском смартфоне. Для сайтов такой проблемы нет, они не в таком объеме используют технологии мобильных устройств — не подключаются к камере, геолокации и т.д. Мобильное приложение к этому критично. Поэтому при сегментировании аудитории важно учитывать не только поведение пользователей, но и мобильные платформы/производительность конкретных типов мобильных устройств.
С точки зрения использования мобильного приложения очень важен контекст. Представьте себе приложение с программой лояльности магазина. Человек будет его использовать вечером, когда он стоит в очереди, а за ним такие же уставшие и нервные люди, которые хотят быстрее совершить покупку. Это один сценарий взаимодействия с приложением. С другой стороны — Pinterest. Пользователь вдохновляется красивыми картинками, ищет новые рецепты. Он в это время находится дома, ему хорошо, спокойно, он расслаблен. Это совершенно другая ситуация.
Подводя итог
Чтобы провести качественный анализ сайта или приложения как продукта, нужно провести следующий комплекс работ:
- Опрос — дает сегменты аудитории.
- Юзабилити-тестирование — дает список проблем.
- Разметка Google Analytics — дает количественные подтверждения качественных данных.
- Карточная сортировка — позволяет продумать структуру сайта.
- Глубинное интервью — дает данные об опыте пользователей за пределами интерфейса.
- Дневниковое исследование — позволяет изучить поведение и опыт пользователей в динамике.
- Анализ текстовых и телефонных обращений — позволяет выяснить запросы пользователей.
После того, как мы пройдем по всем описанным этапам анализа, мы получим не только понятный список необходимых изменений, но готовую стратегию развития.
Чтобы учесть все нюансы использования продукта, я советую применять все возможные методы. Опрос дает сегменты, но не дает понимания, что делать. Данные систем аналитики говорят, где проблема, но не объясняют, как она возникает. Все методы анализа связаны друг с другом, но применение их в комплексе позволяет посмотреть на проблему с разных сторон: что-то пишут пользователи в техподдержку, что-то мы выявляем на юзабилити-тестировании, что-то узнаем по какому-то другому каналу. Чем больше мы применяем методов анализа, тем больше интересной информации мы получаем и тем более мы уверены в полученных данных. Так мы поймем наших пользователей и их требования на всем пути взаимодействия продукта.
Я кратко рассказал об этапах анализа продукта. Каждый из них имеет свои секреты, лайфхаки и полезные инструменты. О некоторых из них мы расскажем подробно 1 декабря на конференции Optimization 2017. У нашей секции есть определенная философия: мы хотим дать проверенные решения и инструменты, которые действительно работают. Приходите на Optimization и узнайте, за счет чего ваш бизнес может вырасти!
