Как тестировать гипотезы в маркетинге
Что такое тестирование гипотез и как его проводить?
В процессе оптимизации лендинг пейдж для получения максимального числа потенциальных клиентов и конверсий вам может встретиться такое словосочетание, как тестирование гипотез.
На первый взгляд может показаться, что это нечто сложное, подвластное только серьезным ученым, но на деле и рядовые маркетологи, стремящиеся улучшить результаты, все чаще обращаются к научным методам: это помогает им выжать максимум из своих кампаний.
Наука и маркетинг в наши дни образовали высокоэффективный союз, и вы легко сможете пожать плоды этого симбиоза.
Ниже — подробное руководство по тому, как с помощью тестирования гипотез повысить результаты ваших маркетинговых кампаний.
Содержание статьи
Что такое тестирование гипотез?
Тестирование гипотез — это процесс наблюдения и формирования предположений на основе той информации, которую вам удалось собрать, а затем попытки найти им подтверждение с помощью научного метода.
Прелесть этого метода заключается в том, что он не требует спешки, а каждая стадия исследования протоколируется; ваша гипотеза постепенно меняет свою форму, и все это продолжается до тех пор, пока вы не получите удовлетворяющий вас вывод.
Хотя метод тестирования гипотез и научный подход в маркетинге практиковали и раньше, перед маркетологами прошлых десятилетий вы имеете явное преимущество: в вашем распоряжении имеется множество инструментов, которые вы можете использовать для проведения тестирования и сбора данных, которые и помогут вам доказать (или опровергнуть) те или иные гипотезы.
Под таким ракурсом маркетинг может оказаться гораздо ближе к науке, чем вы привыкли думать. Ваша работа состоит в том, чтобы задавать правильные вопросы, формулировать теории, а затем разрабатывать соответствующие тесты, чтобы эти теории доказывать.
Главным результатом деятельности, конечно, станет посадочная страница, которая будет резонировать с потребностями аудитории. Она будет привлекать потенциальных клиентов и стимулировать конверсии, одновременно увеличивая доходы и рентабельность ваших инвестиций.
Звучит потрясающе, не правда ли?
Перейдем к следующему разделу, в котором процесс формирования гипотез для ваших кампаний будет разобран более детально.
Что является гипотезой, а что — нет
Гипотеза — это не более чем предположение, проверка которого и становится вашей главной задачей.
При этом предположение может служить гипотезой только в том случае, если оно доказуемо сбором конкретного типа данных.
Например, вы можете проверить, увеличится ли на 20% уровень конверсии при смене заголовка. Но вы не можете считать гипотезой вопрос «Приведет ли смена названия к росту числа конверсий?».
Другими словами, ваши гипотезы должны быть конкретными, четкими.
Однако по мере последовательного проведения тестирования гипотез вам придется постоянно изменять их, манипулировать ими, пока вы не придете к обоснованным и подкрепленным доказательствами выводам.
Чтобы уметь формулировать корректные гипотезы, вы должны быть готовы погрузиться в детали.
Вот отличный пример.
Допустим, у вас есть десять лендингов на платформе LPgenerator. Два из них весьма успешны. Они привлекли значительный трафик, получили много конверсий и даже были процитированы на некоторых социальных площадках.
Очевидно, что вам нужно свести к формату этих лендингов все свои остальные посадочные страницы, чтобы сделать их столь же успешными.
Вы отмечаете, что успешные лендинги содержат крупные изображения, а текст на них разбит на короткие абзацы.
Ваша гипотеза может звучать так: «Получат ли другие страницы столь же много внимания, если дополнить их крупными изображениями, а текст разбить на абзацы?».
После можно выполнить ряд тестов для оценки точности гипотезы. Удалось ли с помощью крупных изображений и более коротких абзацев привлечь больше трафика? Увеличилось ли число конверсий?
В этом и заключается смысл тестирования гипотез.
Проверка гипотез при помощи A/B- и мультивариантного тестирования
Возможно, вы уже знаете о таких популярных методах, как A/B- и мультивариантное тестирование — пора найти им применение в деле тестирования ваших гипотез.
Используя разные инструменты, вы можете подвергнуть бесчисленному количеству тестов любые элементы своих кампаний и проверить каждую из своих гипотез.
К примеру, если вы запустили ремаркетинговую кампанию, то можете задаться вопросом, а достаточно ли хорошо подходят друг другу использованные в рекламе изображение и текст и резонируют ли они с конкретным сегментом аудитории. При помощи сплит- и мультивариантных тестов вы сможете запросто определить, какой из разработанных вами вариантов больше трафика привлекает и конвертирует.
Другие примеры тестирования гипотез
Ситуация: две посадочные страницы конвертируют хорошо, а одна — нет.
Гипотеза: на этом лендинге заголовок имеет вид вопроса. Может ли его изменение на утвердительное заявление повысить значения целевых показателей?
Ваша задача — провести A/B-тест заголовков, чтобы выяснить, сможет ли эта страница с другим заголовком «догнать» остальные.
Ситуация: открываемость ваших электронных писем резко упала.
Гипотеза: возможно, это связано с использованным вами недавно новым шаблоном писем. Удастся ли вернуться к прежним значениям открываемости писем, если изменить шаблон или вовсе отказаться от них, использовав обычный текст?
Ситуация: в текущий момент ваш сайт испытывает небывалый всплеск показателя отказов.
Гипотеза: поможет изменение цвета сайта на более успокаивающий удерживать людей на ресурсе дольше?
Изображения могут быть слишком маленькими, а заголовки привлекать внимание слишком узкого сегмента аудитории. При помощи мультивариантного теста вы можете тестировать все эти элементы столько раз, пока не найдете наиболее удачную комбинацию.
Обратите внимание, как все эти гипотезы можно проверить с помощью данных. Это ключевой момент тестирования гипотез. Без данных никаких ответов на свои вопросы вы не получите и никогда по-настоящему не поймете обоснованность своих выводов.
Нулевая и альтернативная гипотезы
Нулевая гипотеза — принимаемое по умолчанию предположение о том, что между двумя наблюдаемыми событиями связи не существует.
Например, если вы увеличиваете размеры изображений трех лендингов, надеясь привлечь такой же объем трафика, каким располагают две других страницы с большими изображениями, ваша нулевая гипотеза может заключаться в том, что между размером изображений и объемом привлекаемого трафика нет никакой зависимости.
Иными словами, ваша альтернативная гипотеза заключается в том, что трафик будет расти за счет увеличения изображений, а нулевая гипотеза — в том, что размер изображения на самом деле не имеет значения. Это не тот результат, на который вы надеетесь, но так вы лучше понимаете, что именно вы пытаетесь опровергнуть.
Альтернативная гипотеза обычно противоположна нулевой гипотезе. И ваша задача — опровергнуть нулевую гипотезу. В примере, который был использован выше, альтернативная гипотеза заключается в том, что простое увеличение размера изображений на трех лендингах поможет привлечь больше трафика.
Как извлечь пользу из тестирования гипотез
Шаг 1: решите, что будете тестировать
На этом этапе вы должны выбрать те элементы, производительность которых хотите улучшить. Хотите ли вы решить проблему низкой читаемости некоторых постов? Увеличить открываемость ваших электронных посланий? Может быть, вы просто хотите больше конверсий на своем лендинге?
Как только у вас появится «испытуемый», можете приступать к разработке гипотез.
Шаг 2: сформулируйте гипотезу
В этом и заключается смысл всего мероприятия. Предположение, которое вы будете стремиться доказать при помощи сбора необходимых данных.
Если посадочная страница не конвертирует должным образом, вы можете предположить, что текст на ней недостаточно убедителен. Если ваши письма мало кто открывает и читает, вы можете предположить, что в этом повинен шаблон письма или используемый вами заголовок. Эти предположения в итоге и станут фундаментом тех экспериментов, которыми впоследствии вам предстоит заниматься.
Шаг 3: определите переменные
Будете ли вы проводить A/B- или мультивариантные тесты (или прибегните к другим видам тестирования гипотез), определите, какие изменения вы хотите внести, а затем протестируйте их на своей аудитории.
Вы можете решить изменить заголовок, собрать данные и провести их анализ. Либо можете изменить заголовок, hero-изображение и даже цвет на CTA-кнопке, но тогда ваше тестирование будет носить название мультивариантного.
Шаг 4: проведите тест гипотез
Итак, в вашем распоряжении имеются исходная гипотеза, альтернативная и нулевая. Можете приступать к экспериментам.
Шаг 5: проведите анализ результатов и наметьте план действий
Самое сложное — это не затягивать тесты и не завершать их слишком рано. Вы должны успеть собрать репрезентативный объем данных, который позволит вам сделать объективный вывод.
Не позволяйте своим эмоциям и предубеждениям влиять на оценку эксперимента. Если гипотеза доказана, у вас на руках будут неопровержимые доказательства того, что внесенные вами изменения пришлись к месту.
Если была доказана нулевая гипотеза, вернитесь на несколько шагов и найдите другие переменные. Вы должны проводить тесты до тех пор, пока не найдете идеальное сочетание элементов, которое больше всего нравится вашей аудитории.
Несколько вопросов о тестировании гипотез
В идеале, продолжительность теста должна быть не менее 7 дней. Например, вы можете собирать данные с понедельника по воскресенье, а потом провести анализ. Конечно, тест можно проводить и более длительное время, но и за неделю вам удастся собрать достаточно материала для работы.
На самом деле, если вы сомневаетесь в чистоте эксперимента, не стесняйтесь провести его еще раз. Тестирование гипотез — не разовое мероприятие. Это непрерывный процесс, отдельные эксперименты которого могут быть проведены заново, в разное время и на разных каналах.
И не забывайте: статистическая значимость теста должна быть не менее 95%.
Если что-то можно протестировать, вы должны это протестировать. Посетители лендинга могут конвертироваться благодаря удачным заголовкам, убедительному тексту, крупным и профессиональным изображениям, удобству навигации и многим другим факторам. Ваша задача — быть настолько любознательным, насколько это возможно, и задавать как можно больше вопросов, чтобы обеспечить тесты необходимым фундаментом.
Когда вы определитесь с гипотезой, в Личном кабинете вам нужно будет создать копию/копии уже существующей посадочной страницы («Копировать вариант»), указать соотношение распределения трафика («Вес») на каждую из версий, внести изменения и наблюдать за реакцией посетителей:
По прошествии определенного срока после запуска теста, проанализируйте данные и выберите, какой из вариантов приносит лучший результат.
Заключение
Любой элемент вашего лендинга или другого маркетингового актива улучшить, а тестирование гипотез — это лишь научный способ это сделать.
Не переставайте задавать вопросы и формулировать все новые и новые гипотезы — это придаст вашему тестированию систематический характер и сделает его наукообразным.
Независимо от того, что вы хотите увеличить — объем трафика, число конверсий или доход — тестирование гипотез должно стать неотъемлемым инструментом вашего маркетингового арсенала.
Как тестировать гипотезы и кратно расти? Теория. Практика. Инструмент
Как перезагрузить отдел маркетинга за 7 дней и получить первый значимый рост уже через 30 дней?
Сервис кратного роста hopox позволит наладить работу Growth Team и тестировать гипотезы роста непрерывно.
В статье теория, практика и интрумент собраны в единую Технологию кратного роста.
Итак, в чем секрет быстрого роста Twitter, Facebook, Amazon?
Возможно, у них изначально была гениальная идея? Или безумные инвестиции позволили нанять дорогих маркетологов? Быть может, просто повезло?
Сразу скажу ответ: на самом деле они не боялись экспериментировать, ошибаться, и делали это часто и быстро. Расположение кнопок в Facebook, механика удержания пользователей в Twitter, принуждение к покупке в Amazon или Booking через цепочку писем, ретаргетинг или скидки — это результат огромного количества экспериментов.
Все крупные компании делают это. Мобильное приложение Facebook постоянно требует обновления, Amazon меняет код на сайте в среднем каждые 11 сек, а вице-президент по продукту Twitter признался, что значительный рост начался, когда стали тестировать десять гипотез в неделю, а не одну в две недели.
Кол-во проведённых экспериментов в неделю = скорость роста компании.
Любые маркетинговые действия, даже изменение кода на сайте, можно интерпретировать как эксперимент. Но почувствуйте разницу между тем, чтобы “просто продавать” по телефону или продавать много, если процессы выстроены, персонал обучен, внедрена CRM-система. Разница как между ремеслом и производством, не правда ли?
В данной статье процесс кратного роста изложен как технология. Даны теоретические и практические аспекты работы, представлен инструмент для командной работы hopox. Используйте этот материал, чтобы рост в вашей компании перестал быть стихийным явлением. Теперь рост — это отлаженный, управляемый процесс, который можно измерить и на который можно влиять.
Теория кратного роста
Описываемая технология роста подходит только, если у вас уже есть продукт, в котором пользователи чувствуют себя счастливыми и платят за него. В этом случае кратный рост достигается с помощью — непрерывного поиска узких мест, снижения издержек и увеличения количества и ценности клиентов за счет быстрых экспериментов, базирующихся на данных.
Эксперименты могут быть в каналах привлечения, в воронке продаж, в монетизации, в алгоритме знакомства и использования продукта, в способах рекомендации продукта друзьям, в механизмах удержания активных клиентов и воскрешении отказавшихся клиентов и т. д. Разделить области экспериментирования можно с помощью “Пиратских метрик” Дейва МакКлюра: Привлечение, Активация, Удержание, Виральность, Доход. Эти пять шагов описывают путь пользователя, который способен дать максимальную ценность для бизнеса.
Однако, внутри каждой области экспериментирования есть еще несколько воронок, которые стоит оптимизировать. Например, виральность может содержать механизм приглашения друзей и содержать несколько шагов.
Например, в этом примере подключение адресной книги пользователя для быстрой отправки приглашений позволило увеличить виральность в 2,5 раза.
Итак, как проводить эксперименты по улучшению каждого показателя?
В книге “Бизнес с нуля” Эрик Рис описал научный подход вывода новых продуктов и услуг на рынок с минимальными затратами ресурсов с помощью постоянных экспериментов и обратной связи от клиентов. Вот несколько ключевых принципов, которые необходимо использовать для систематизации процесса экспериментирования:
— Любые маркетинговые инициативы надо воспринимать всего лишь как предположения. Для быстрой проверки предположений формулировать их в виде гипотезы с указанием прогнозируемого эффекта в цифрах.
— Любую идею, функционал, продукт можно проверить, создав Минимально Жизнеспособный Продукт (MVP), чтобы получить на него обратную связь от клиента и понять какой же продукт нужен на самом деле.
— Нельзя строить долгосрочных планов. Имея долгосрочное виденье, разделите план на короткие итерации сроком на одну, две недели и делайте только то, на что можно быстро получить отклик клиента.
— Запустите процесс непрерывного обучения в цикле Build-Measure-Learn. Этот цикл связывает в единый процесс проведение эксперимента, получение обратной связи от клиента в цифрах и осознание результатов эксперимента.
Методология HADI (Hypothesis — Action — Data — Insights) — это простейший алгоритм циклической проверки идей — от гипотезы, через действие к данным и выводам.
Цикл управления начинается с формулирования гипотезы (Hypothesis) по принципу «если», «то». На втором этапе необходимо провести ряд работ для запуска эксперимента (Action), затем собрать данные за заданный период (Data) и в заключении сделать однозначный вывод, была ли успешна гипотеза, что и как можно улучшить, запустив следующий цикл проверки гипотез (Insights).
Это и все теоретические знания, необходимые для кратного роста?
Нет. Но важно понимать, что каждый продукт уникален, каждая аудитория своенравна и то, что работает в одной компании, может не работать в другой. Кратное преимущество возможно тогда, когда вы не копируете чужую модель, а создаете свою, уникальную. Именно о том, как ее найти — рассказано в данной статье.
Практика кратного роста
На практике запустить в компании процесс постоянного экспериментирования через циклы Build-Measure-Learn или HADI не так просто. Во-первых, текущая рутина не дает сосредоточиться на росте и рост компании зачастую становится второстепенной задачей. Во-вторых, не понятно как настроить рабочий процесс внутри команды: кто отвечает за рост, как принимаются рискованные решения, кто отвечает за неудачи, сколько и какие ресурсы можно использовать и самое главное — причем тут цикл HADI?
Ниже приведена инструкция по созданию Команды роста из существующих сотрудников компании и то, чем им стоит заняться первые 30 дней, чтобы наладить устойчивый процесс экспериментирования и найти первые точки роста компании.
1. Выберите лидера Команды роста
Первым делом, стоит определиться с персоной, которая будет отвечать за рост компании. Желательно закрепить за ним должность содержащее слово рост или growth, например: Маркетолог Роста (Growth Marketer), Менеджер Роста (Growth Manager), Директор по развитию/росту (VP of Growth). Должность поначалу может быть виртуальной и совмещена с основной должностью CEO, CMO, CTO, PM, веб-аналитик, ведущий маркетолог.
Лидер Команды роста будет отстаивать идеи перед руководством, создавать благоприятную атмосферу для экспериментирования и стимулировать команду к продвижению вперёд.
Требования к лидеру типичные для руководителя: хорошо разбираться в продукте и иметь хелихоптер взгляд на бизнес, быть открытым к предложениям, иметь авторитет в компании и опыт руководства.
Обязательные условия его работы:
— Наличие мандата на нестандартные решения и ошибки. Для того, чтобы развиваться, необходимо прибегать к нетрадиционным методам и решениям. Которые зачастую разнятся с существующей политикой компании. Задача лидера компании роста — предоставить площадку для свободного проведения экспериментов;
— Материальная заинтересованность в росте компании.
2. Соберите Команду роста
Теперь надо отобрать до 8 сотрудников в Команду роста (Growth Team). Изначально она может не иметь строгого очертания, структурного разделения и быть динамичной, поскольку задача команды — еженедельное обсуждение гипотез роста и их исполнение параллельно с текущей деятельностью. Но о работе Отдела роста чуть позже.
Как собрать Growth Team и какими качествами она должна обладать?
В общем виде члены команды должны быть жадными до новых знаний, склонны к риску и действовать агрессивно, всегда основываясь на данных. Но есть несколько принципиально важных черт:
Открытость
Эта характеристика играет первостепенную роль, ведь лучшие идеи являются нелогичными, контр-интуитивными. Наибольший эффект достигается тогда, когда проверяются самые безумные гипотезы. Открытость, прежде всего, является ключевой чертой PM и Tech Leads — людей, наделенных полномочиями “убивать” идеи. Один человек, крайне пессимистично настроенный, может саботировать, парализовать работу всей команды. Обычно такие люди просто не готовы к изменениям и все воспринимают в штыки. Не включайте их в команду роста.
Собственное мнение
Крупные компании не редко сталкиваются с ложными утверждениями или с директивным управлением, исходящим от руководителей. Каждый член команды роста должен иметь склонность к здоровому скептицизму, к проверке того, что на самом деле есть “правильно”, основываясь только на проведенных тестах и данных, и, если потребуется, идти против принятых в компании принципов для проверки своих убеждений.
Способность быстро обучаться
Каждый участник команды роста должен быть способен к быстрому обучению. Маркетинговые задачи будут постоянно меняться от платного привлечения, до SEO и рассылки уведомлений. Вам потребуются люди, способные адаптироваться и обучаться в максимально сжатые сроки, читать множество статей и книг в тот момент, когда это действительно нужно.
3. Выстройте процесс
Итак, у вас есть лидер и до 8 сотрудников в команде роста. Теперь необходимо запустить непрерывный процесс тестирования гипотез, например, используя циклы HADI. Процесс экспериментирования — это гибкая методология, адаптированная под маркетинговые задачи, поэтому многое в процессе работы команды роста будет напоминать работу отдела разработки, но принципиальные различия все же есть.
Как выстроить процесс?
— Утвердить еженедельные встречи команды роста (Growth Meeting) длительностью не более часа перед встречами отдела разработки, поскольку в бэк-лог спринта должны попадать задания от команды роста на ряду с заданиями из отдела поддержки и других отделов.
— Проводить еженедельные встречи отдела роста со следующим расписанием: обсуждение результатов тестирования гипотез предыдущей итерации, генерация новых гипотез по выбранным ключевым метрикам, выбор наиболее эффективных гипотез, требующих минимальных ресурсов на проверку, распределение задач для тестирования гипотез между отделами и сотрудниками.
Более подробное расписание Growth Meeting и памятка по созданию гипотез в руководстве по технологии кратного роста после регистрации.
— После встречи, на протяжении всей итерации, лидер Команды роста должен контролировать ход выполнения заданий и запуск сбора данных по каждой гипотезе.
Схема работы команды роста по тестированию гипотезы через циклы HADI:
Для того чтобы добиться успехов уже в первый месяц, фокусируйте команду вокруг одной, максимум двух ключевых метрик продукта (новые подписчики, количество забронированных ночей, месячная прибыль и т.д.). Это намного упрощает расстановку приоритетов для роста и направляет команду на тот путь, на котором каждый способен генерировать идеи.
Праздновать каждую победу особенно важно первый месяц, например, бить в рынду, чтобы весь офис знал, что протестирована успешная гипотеза и случился рост.
Несколько месяцев спустя вы поймете, что точки роста есть буквально повсюду. Публикуя новый пост, создавая новое письмо, размещая презентацию в открытом доступе, можно расти, каждый раз улучшая эффективность таких простых, рутинных действий. Технология кратного роста легко масштабируется из Команды роста на весь отдел маркетинга. В ее основе всего два принципа: соизмерять свои действия с аналитическими данными о поведении клиентов и постоянно обучаться, совершенствуясь после каждого действия.
В итоге, все маркетинговые решения и действия будут основаны на данных о пользователях и их поведении. Это называется Маркетинг, основанный на данных (Data-Driven Marketing). Но об этом уже в другой статье.
Инструменты кратного роста
Как только вы получите несколько краткосрочных результатов, вы откроете для себя важность используемых инструментов для проведения глубокого анализа и проведения быстрых экспериментов.
C одной стороны, Команде роста нужны инструменты аналитики, вроде Google Analytics, KissMetrics и маркетинговые инструменты: контекстная реклама, рассылка писем, виджеты на сайт, соц. сети и т.п., которые выдают аналитические данные, как минимум, о количестве переходов.
Главные враги продуктивности — слабые данные о поведении клиентов и отсутствие инструментов
С другой стороны, инструмент командной работы, где можно систематизировать и распределять задания (теперь уже гипотезы), например: Trello, Asana и т.п. Поскольку процесс экспериментирования основан на гибких методологиях, для работы в команде лучше использовать сервис использующий кан-бан доску (agile доску).
hopox
hopox — специализированный сервис для работы Команды роста, в основе которого доска с гипотезами, где пользователь заранее выставляет метрики успешности задачи, а результат выполнения анализирует сервис, загружая данные из различных сторонних инструментов.
hopox пропитан идеологией Lean Startup и гибкими методологиями. Путь гипотезы на доске проходит через четыре статуса, согласно HADI-циклам:
Гипотеза. Создавайте новые гипотезы и сортируйте их в этом столбце. Записывайте сюда даже самые смелые гипотезы, а те, что решили протестировать — передвигайте в следующий столбик.
Действие. В этом разделе перечислите и распределите задания сотрудникам, которые надо выполнить, чтобы запустить тест, а также настройте метрики для сбора данных. Гипотезу можно переместить дальше, если будут выполнены все задания и указаны метрики успешности гипотезы.
Сбор данных. hopox автоматически начнет сбор данных из указанных источников, например, Google Analytics, Yandex Metrica, Facebook, VK, MailChimp, KissMetrics и многие другие. Как период сбора данных окончится, гипотезы переместятся в последний столбик.
Выводы. hopox сделает однозначный вывод об успехе гипотезы, на основе установленного критерия успешности и собранных данных. Вам останется записать вывод о результатах гипотез, чтобы поумнеть и не забыть.
Результат работы в hopox:
Фокусировка на росте
Наконец-то появилась возможность сосредоточиться на развитии. Методология hopox по созданию Команды роста позволяет отделить текущую рутинную деятельность от процесса роста и вдохнуть новую жизнь в ежедневную работу компании.
Системный рост
Рабочее пространство hopox — это пульт управления ростом. Здесь рождаются и сортируются идеи, здесь идеи тестируются на прочность, здесь работает вся Команда роста, здесь копятся знания о причинах успехов и поражений.
Естественный рост
Главная причина роста — постоянное обучение и совершенствование команды. Не надейтесь на покупку трафика, на одно конкурентное преимущество продукта. Ваше конкурентное преимущество — Команда роста, в которой привита культура экспериментирования.