Как тестировать рекламу в МАКС без ложных выводов

Сравнение двух постов не всегда A/B-тест

A/B-тест предполагает заранее спланированное сравнение вариантов с контролем условий. Если один рекламный пост вышел в понедельник в городском канале, а второй в пятницу в развлекательном, разницу нельзя уверенно приписать тексту. Изменились аудитория, время, окружение и, возможно, предложение. Такое сравнение полезно для разведки, но не доказывает причинный эффект креатива.

В обычных закупках рекламы в МАКС часто нет возможности случайно разделить читателей на независимые группы. Поэтому корректнее назвать работу сравнительным тестом размещений и перечислить ограничения. Это не делает тест бесполезным: он помогает принять следующее решение, если команда понимает, какой вопрос данные действительно позволяют решить.

Сформулируйте одну гипотезу

Плохая гипотеза: «Сделаем новый текст и посмотрим, станет ли лучше». Рабочая: «В объявлении о вымышленном сервисе ремонта заменим общий призыв на конкретное предложение расчёта стоимости; основной результат — подтверждённые запросы на расчёт». Укажите, что останется прежним: продукт, цена, посадочная страница и критерий заявки.

Не меняйте одновременно заголовок, изображение, аудиторию и форму. Если результат улучшится, вы узнаете только о сочетании изменений. Иногда именно это и нужно бизнесу, но тогда так и сформулируйте задачу: сравнить два комплекса предложения, а не измерить эффект одного слова.

Выберите единицу сравнения

Единицей может быть пользователь, размещение или канал. При случайном распределении пользователей можно оценивать различие вариантов при соблюдении условий эксперимента. При сравнении каналов нельзя считать каждого просмотревшего независимым участником: одна аудитория получает одинаковое воздействие, а люди могут пересекаться между каналами.

Для доступного полевого теста подберите несколько похожих площадок, заранее распределите варианты и повторите наблюдения. Сходство каналов уменьшает некоторые различия, но не устраняет их полностью. При повторе в одном канале возможны привыкание и повторные контакты. Запишите эти ограничения до получения результата.

Метрика и период до запуска

Выберите основной показатель, связанный с целью: стоимость подтверждённой заявки, доля полезных обращений или другой доступный результат. Дополнительные показатели помогают объяснить механизм: просмотры, переходы, визиты. Не выбирайте победителя по тому показателю, который случайно оказался красивее после теста.

Заранее определите длительность наблюдения и правило остановки. Если каждый час проверять числа и завершать тест при первом преимуществе, вероятность ошибочного вывода растёт. Не существует универсального правила «достаточно ста кликов»: необходимый объём зависит от исходной частоты действия, величины эффекта и дизайна исследования. При маленькой выборке честный результат может быть «данных недостаточно».

Пример осторожного вывода

В учебном сравнении вариант А получил 100 визитов и четыре заявки, вариант Б — 110 визитов и шесть заявок. Наблюдаемая доля заявок составляет 4% и около 5,45%. Это описание данных, а не доказательство превосходства Б. Две дополнительные заявки могут быть случайным колебанием или следствием различий площадок.

Проверьте качество заявок, одинаковость расходов и работоспособность формы. Не объявляйте «рост эффективности на 36%» как установленный результат продукта: относительная разница в маленьком наблюдении не является надёжной оценкой будущего эффекта. Для решения о масштабировании нужны повторение, достаточные данные и оценка неопределённости.

Подготовьте измерение

Создайте отдельные идентификаторы вариантов и размещений.
Разметьте ссылки и проверьте сохранение UTM.
Настройте одинаковое определение подтверждённой заявки.
Зафиксируйте модель атрибуции и окно оценки.
Отметьте технические сбои и изменения условий.
Сохраните исходные данные, включая неудачные размещения.

В каталоге Marketly можно подобрать площадки для сравнительного размещения, но сам подбор не превращает закупку в рандомизированный эксперимент. Сохраняйте условия каждого заказа и объясняйте, какие различия остаются. Методика анализа важнее названия теста в таблице.

Для последовательных публикаций в собственном канале Отложка помогает придерживаться расписания. Это устраняет часть организационных ошибок, но не распределяет аудиторию случайно и не доказывает причинность. Если тестируете время выхода, учитывайте день недели, тему поста и возраст публикации при измерении просмотров.

Как оформить итог

Напишите вопрос, фактический дизайн, полученные числа и границы вывода. Затем выберите действие: повторить тест, оставить текущий вариант, проверить другую гипотезу или прекратить закупку. Разделяйте статистическую убедительность и бизнес-пользу: даже устойчивое маленькое улучшение может не окупать стоимость внедрения.

Для переходов используйте инструкцию UTM, для расходов — формулы экономики. Документация Google по экспериментам приведена как пример работы с неопределённостью, а не как инструкция к функции МАКС.

Источники и границы материала

Ссылки на описание сервисов и определения показателей: Google Ads: оценка результатов эксперимента, Модели атрибуции Яндекс Метрики, Каталог Marketly. Проверено 23 октября 2026 года. Рабочие схемы и учебные примеры разработаны редакцией; они не являются обещанием результата.