Нейросети для маркетологов: гипотезы засчитала, цифры вернула
Нейросети для маркетологов глазами маркетолога: какие гипотезы для A/B-тестов годятся, где расчёт трафика занижен втрое и как правильно просить расчёт.
Марина
Контент-маркетолог LibraChat
6 мин чтения
Трафик: ~12 000 визитов (по 6 000 на вариант) — достаточно для детекции +20 %.
Эту строку нейросеть написала уверенно и мимоходом, среди пяти гипотез для A/B-тестов. Отдельным запросом, с формулой, та же нейросеть посчитала иначе: нужно около 20 000 визитов на каждый вариант. Разница больше чем втрое.
Я разобрала ответ так, как разбираю любые гипотезы перед запуском теста: что пускаю в работу, что возвращаю на доработку. Нейросети для маркетологов оказались сильны там, где нужна идея, и опасны там, где нужна цифра.
Гипотезы мне понравились. Цифрам я бы не поверила ни одной.
Гипотезы я бы засчитала
Задачу я дала в LibraChat из своей профессии, от лица маркетолога онлайн-школы. Запрос можно копировать, заменив продукт и свои цифры:
Я маркетолог онлайн-школы английского для взрослых. Конверсия лендинга в заявку 2,1% при 6000 визитах в месяц. Предложи 5 гипотез для A/B-тестов: что меняем, почему это может сработать, какую метрику смотрим и сколько трафика нужно, чтобы увидеть разницу.
Пришли пять гипотез, и у каждой честная структура: что меняем, почему, какую метрику смотрим. Так оформляет гипотезы хороший джун. Лучшая, на мой вкус, про кнопку. Не сама идея поменять текст, а объяснение:
Почему может сработать: снижает барьер «бесплатный урок» (многие боятся навязчивого звонка) и даёт ощущение персонализации.
Это хорошая гипотеза про аудиторию: возможно, взрослые боятся не урока, а звонка продавца после него. Проверить её можно только тестом или опросом. В очередь я бы поставила её первой, но не как правку кнопки, а как смену оффера целиком: «бесплатный урок» против «плана обучения».
Сильная и гипотеза про отзывы. Ответ предлагает заменить общие отзывы кейсами с результатами и объясняет почему:
Почему может сработать: взрослые доверяют доказанным результатам похожих по возрасту людей больше, чем общим отзывам.
Взрослый покупает не уроки, а своё будущее «смог». Кейс человека его возраста с понятным стартом и понятным итогом продаёт это лучше пяти звёзд под словом «понравилось». Тут я бы только добавила: кейсы должны быть настоящими, с разрешения учеников.
Вторая находка — метрика в гипотезе про короткую форму:
Метрика: конверсия в заявку + качество лидов (доля дошедших до оплаты).
Вот это профессионально. Короткая форма почти всегда поднимает число заявок, а вместе с ними число случайных. Без второй метрики тест «выиграет» вариант, который принесёт больше пустых звонков. Ответ сам подстраховал меня от этой ловушки.
А что бы я вернула на доработку?
Три вещи я бы отправила обратно
Первая — две перемены в одном тесте. В гипотезе про кнопку меняются и текст, и цвет. Если вариант выиграет, непонятно, что сработало. Для теста нужно одно изменение, иначе выводы будут гаданием. Одно — не значит маленькое: это может быть целый новый оффер, но одна идея на тест. А следующий тест придётся строить уже на догадке, и ошибка потянется дальше.
Вторая — обещания в текстах. Заголовок из первой гипотезы обещает уровень B2 за четыре месяца. Обещать такой результат каждому взрослому школа не может: у всех разный старт и разное время на занятия. Тест такой заголовок, скорее всего, выиграет. А потом проиграют отзывы и возвраты. Пятая гипотеза предлагает пообещать деньги назад, если прогресса не будет. Это решение не маркетолога, а руководства и юриста. Тестировать его как цвет кнопки нельзя.
Третья — цифры трафика. И здесь история интереснее, чем кажется.
Цифры трафика оказались прикидкой на глаз
У каждой гипотезы был расчёт, сколько визитов нужно. Выглядел он солидно: тысячи, проценты, «95 % значимости». Я пересчитала по стандартной формуле для сравнения двух конверсий. При базе 2,1 % и росте на 20 % нужно около 20 тысяч визитов на вариант, а не шесть. Для гипотезы про форму, где ждут рост на 15–20 %, ответ уверял, что хватит «по 5 000». По той же формуле выходит в несколько раз больше: чем скромнее ожидаемый рост, тем больше нужно людей.
Почему так? При конверсии 2 % из каждой сотни посетителей заявку оставляют двое. Разницу между «двое» и «двое с половиной» на маленьких числах не отличить от случайности. Чтобы она стала заметной, нужны десятки тысяч визитов на каждый вариант.
Тогда я спросила о том же прямо, отдельным запросом, и попросила формулу. Этот запрос стоит сохранить себе:
Конверсия лендинга в заявку 2,1%, 6000 визитов в месяц. Сколько визитов на каждый вариант нужно для A/B-теста, чтобы заметить рост конверсии на 20% при значимости 95% и мощности 80%? Покажи формулу и расчёт по шагам. Если за месяц трафика не хватит, скажи прямо.
Ответ посчитал по шагам и сошёлся с моим расчётом:
Для A/B-теста с текущей конверсией 2,1 % нужно примерно 20 000 визитов на каждый вариант.
И сказал прямо то, что в первом ответе пряталось за словом «достаточно»:
Тест придётся проводить минимум 7 месяцев при текущем трафике.
Одна нейросеть, две разные цифры. Мимоходом, внутри большой задачи, она прикинула на глаз. Отдельно, с формулой, посчитала верно. Для маркетолога это главное открытие: цифры, сказанные между делом, — тоже гипотеза. Их нужно проверять так же, как гипотезы про кнопку.
А вывод для самой школы неприятный. При шести тысячах визитов в месяц тест на рост в 20 % идёт больше полугода. Значит, мелкие гипотезы вроде цвета кнопки при таком трафике не тестируют вовсе. Тестируют крупные изменения, каждое отдельно: новый оффер, другую структуру страницы, короткую форму. Или собирают обратную связь от людей, которые не оставили заявку. Ещё один выход — смотреть не на заявки, а на клики по кнопке: это событие случается чаще, и разница видна быстрее. Но клик — ещё не клиент, и делать выводы о продажах по кликам рискованно.
Что я теперь делаю с цифрами от нейросети
Что меняется в моей работе? Идеи и формулировки я беру у нейросети смело: их проверит тест. Цифры, бенчмарки и расчёты — только отдельным запросом, с формулой или источником. Порядок у меня такой. Сначала идеи, сколько угодно. Потом отбор по трафику и цене ошибки. Потом расчёт, отдельно. И сверка расчёта по формуле. Если цифра нужна для решения с деньгами, будь то бюджет, найм или запуск, проверяю её дважды: формулой и человеком, который за эти деньги отвечает. И всегда с фразой «если не хватает, скажи прямо»: в моём примере именно она вытащила вывод про семь месяцев.
Оба запроса из этой истории можно отправить в LibraChat, заменив продукт и свои цифры.
