Шаблон цикла HADI

Запишите план эксперимента, сравните данные с целью и решите, что дальше.

Короткое название, чтобы найти проверку позже. Можно оставить пустым.
Одно изменение и ожидаемый эффект. Это гипотеза, которую проверит эксперимент.
Опишите конкретное изменение и способ сбора данных.
Задайте наблюдаемый критерий до запуска. Это может быть число или проверяемое условие.
Укажите срок или объём наблюдений, после которого сравните результат с критерием.

Как проверить гипотезу по циклу HADI

Два бумажных прототипа интерфейса рядом с блокнотом наблюдений

Цикл HADI помогает проверить предположение небольшим экспериментом. Сначала запишите прогноз и заранее решите, какой результат будет достаточным. Затем проведите проверку, внесите наблюдения и выберите следующий шаг. Например, решили получить 10 заявок, получили 7 и заметили, что пример сметы открывался медленно. Теперь можно проверить, меняется ли отклик, когда та же смета видна сразу на странице.

Аббревиатура объединяет четыре этапа. H (Hypothesis) обозначает гипотезу, A (Action) действие, D (Data) данные, I (Insights) выводы. Шаблон сохраняет эти части в одной записи. Пока идёт эксперимент, заполните план и скачайте его для команды. Когда появятся данные, добавьте трактовку и решение. Можно открыть новый цикл для следующей проверки.

Что записать до начала эксперимента

Задайте гипотезе форму «если сделать X для этих людей, то изменится Y». Действие должно быть под вашим контролем: показать фото готовой работы, убрать одно поле из заявки, дать покупателю другую инструкцию. «Людям понравится» описывает впечатление. «Не менее пяти из двадцати участников запишутся на вторую встречу» задаёт наблюдаемое действие, которое двое участников команды смогут посчитать одинаково.

Укажите критерий и срок отдельно. У критерия есть число и понятная единица: 5 оплаченных заказов, 15 подтверждённых записей или 20 минут на обработку одной заявки. У срока есть конец: первые 200 показов или семь дней. Если тест заканчивается по двум условиям, задайте порядок. Например, остановиться при 200 уникальных посетителях или на седьмой день, смотря что наступит раньше. При остановке на 140 посетителях укажите фактический объём.

В действии запишите, откуда придут участники, что они увидят и как считать отклик. Для сравнения двух форм можно оставить одинаковыми предложение и источник посетителей. Если поменять и описание, и цену, результат будет относиться к этой связке. Чтобы проверить одну формулировку пользы, сначала пропишите, кому и чем помогает продукт, в конструкторе ценностного предложения.

Как связать данные с решением

В данных сохраните исходные количества вместе с долей. У двадцати заявок от ста человек и двух заявок от десяти одинаковая доля, 20%, но во втором случае одна дополнительная заявка изменит результат сразу на 10 процентных пунктов. Для вычисления доли пригодится калькулятор конверсии. Добавьте обстоятельства, которые влияют на чтение числа: повторные визиты, отключённую кнопку, праздничный день или смену источника посетителей.

Сравните факт и цель в тех же единицах. Если доля выросла с 8% до 10%, это +2 процентных пункта или относительный рост на 25%. Цель «рост на 2 пункта» достигнута, цель «рост до 12%» ещё нет. Если части наблюдения пропущены, так и запишите. Вывод может быть промежуточным, например «данных пока мало, продолжаем до заранее установленного срока».

Следующий шаг зависит от последствий ошибки. Когда изменения легко отменить, можно повторить пробу на другой неделе или в соседней точке. Перед крупными затратами стоит проверить более сильный сигнал, например оплаченные заказы вместо кликов. Если условий для теста не хватает, матрица SWOT поможет выделить ресурс, слабое место или внешнее ограничение, которое сейчас важнее проверить.

Примеры циклов с данными и выводами

Запись на мастер-класс. Студия решила проверить, даёт ли фото готовой работы больше записей. Критерий: 12 заявок из 150 посетителей за 5 дней. Фото добавили, цену и форму сохранили. Заявок оказалось 15, из них 9 подтвердили участие. Порог по заявкам достигнут. Следующий тест можно построить вокруг числа подтверждений, поскольку для подготовки нужно знать, сколько мест действительно займут.

Выдача заказа в магазине. Команда испытала отдельную полку для оплаченных заказов и хотела сократить время выдачи с 6 до 4 минут. В часы одинаковой загрузки замерили по 20 выдач. Среднее стало 4,5 минуты. Улучшение есть, до цели не хватило 30 секунд. В заметках видно, что время уходит на поиск номера. Следующая проба касается сортировки, а полка остаётся на месте на время сравнения.

Напоминания перед встречей. Онлайн-школа хотела, чтобы до пробного урока доходили хотя бы 18 из 30 записавшихся. Добавили напоминание за день. Встречу посетили 20 учеников, но 8 назначений перенесли за пределы недели. Для следующих циклов команда заранее задаёт окно наблюдения за каждым учеником, чтобы переносы учитывались одинаково, и сравнивает только завершённые окна.

Сравнение двух объявлений. Одной группе показали описание услуги, другой добавили пример отчёта. Получили 8 заявок на 100 просмотров и 10 на 100 соответственно. Команда видит разницу в 2 процентных пункта. До масштабирования она проверяет, сходны ли источники трафика и сохраняется ли результат в следующем периоде. Одной серии по 100 просмотров на вариант может оказаться мало для уверенного вывода.

Проверка платного тарифа. Авторы сервиса предложили тестовый тариф и заранее выбрали минимум 3 оплаты из 20 приглашений. Переходов по ссылке было 11, оплат не было. В данные записали 0 оплат и конкретные вопросы участников. По факту переходов виден интерес к описанию тарифа. Следующая проверка выяснит, что останавливало покупателей после перехода, прежде чем команда будет усложнять сам продукт.

Как вести несколько проверок

Давайте циклу название по проверяемому изменению, например «Фото перед записью» или «Выдача по номеру». Можно вести до 12 циклов и переключаться между ними через список. Сначала заполните план: гипотезу, действие, критерий успеха и срок. Кнопка «Собрать план» покажет карточку, которую можно передать исполнителю. После проверки нажмите «Записать результат», укажите наблюдения, вывод и следующий шаг. План и итог сохраняются в браузере на этом устройстве. Карточку можно скопировать, скачать в PDF или PNG; TXT сохраняет запись текстом. Пустые поля в файлы не попадают. Если браузер не позволяет сохранять записи, скачайте план перед закрытием страницы.

Открывайте новый цикл, когда меняется критерий, аудитория или способ проверки. Тогда спустя месяц будет видно, почему два похожих результата нельзя сравнивать напрямую. Если хочется исправить запись задним числом, сохраните первоначальный критерий и допишите, что поменялось во время эксперимента. Так команде проще отличить прогноз от находки по итогам проверки.

Вопросы о проверке гипотез

Условия теста определяют, что можно узнать по итогам. На практике решение часто зависит от масштаба проверки, длительности наблюдения и точности учёта.

Сколько гипотез можно проверить в одном цикле HADI?

Чаще удобно начать с одной гипотезы и основного показателя. При необходимости добавьте отдельный показатель безопасности. Например, ускорение ответа службы поддержки полезно, пока число повторных обращений остаётся приемлемым. Так один тест отвечает на основной вопрос и помогает заметить побочный эффект.

Можно ли сделать цикл HADI без контрольной группы?

Да, если цель состоит в проверке выполнимости или первичного интереса. Например, можно узнать, способен ли сотрудник обслужить поток через новое окно выдачи. Чтобы установить, вызван ли рост именно изменением, понадобится сопоставимое сравнение. Различия аудитории и дня недели могут дать тот же эффект.

Что делать, если в середине проверки результат плохой?

Если заранее обозначен предел затрат или появился риск для клиентов, остановите тест и запишите причину. В остальных случаях проверьте, работает ли сбор данных, и придерживайтесь согласованного срока. Решение об остановке по первым колебаниям затруднит сравнение с обычным периодом.

Подходят ли ответы из интервью для блока данных?

Да. Запишите, кого спрашивали, сколько бесед провели и какие действия или препятствия участники описали. Разведите намерение и пример из прошлого опыта. Утверждение «купил бы» даёт повод для следующей пробы, а совершённая покупка отвечает на отдельный вопрос о готовности платить.

Как отличить ноль откликов от отсутствия данных?

Ноль относится к завершённому наблюдению, при котором события учитывались. Если форма заявки не записывала отправки, число неизвестно. Укажите этот сбой отдельно. Снова проведите проверку после починки учёта и сравнивайте данные только за исправный период.

Что написать в выводе, если фактический результат ниже порога?

Укажите разницу, а затем решите, стоит ли проверять объяснение. При цели 10 заявок и факте 7 разница равна 3. Если часть посетителей видела ошибку на странице, можно устранить её и повторить наблюдение. Если условия выполнялись, стоит проверить другое предложение или канал.

Подходит ли HADI для регулярной работы с известным результатом?

Когда нужно выполнить утверждённую задачу по знакомой инструкции, достаточно списка действий и срока. Цикл помогает, когда результат неизвестен. Например, саму еженедельную рассылку можно планировать по календарю, а влияние нового времени отправки проверять отдельным экспериментом.

Похожие калькуляторы

Возможно вам пригодятся ещё несколько калькуляторов по данной теме:

Есть что добавить?

Напишите своё мнение, комментарий или предложение.