Бесконечное A/B-тестирование карточек: как правильно тестировать фото на Wildberries, Ozon и Яндекс Маркете

Бесконечное A/B-тестирование карточки — это непрерывная ротация фотографий товара, при которой слабые варианты выбывают, новые претенденты заходят на их место, и цикл повторяется без финишной черты. В отличие от разового теста, у него нет момента «нашли победителя — закончили»: победитель текущего раунда становится новой точкой отсчёта, против которой соревнуются следующие кандидаты. CTR карточки растёт ступеньками — каждый раунд база поднимается выше.

Если вы хоть раз меняли главное фото товара «на глаз» и гадали, стало лучше или хуже, — эта статья отвечает на вопрос, как правильно тестировать фотокарточки: со статистикой, защитой от ложных выводов и без потери продаж ради красивых цифр клика.

Что такое бесконечное A/B-тестирование карточки?

Бесконечное A/B-тестирование (его также называют бесконечной оптимизацией конверсии карточек) — это методология непрерывного улучшения карточки товара на маркетплейсе за счёт постоянного соревнования фотографий между собой.

Работает так: у карточки есть фиксированное число слотов под тест (например, 5 активных позиций). В каждом слоте — свой вариант фото. Трафик идёт на все варианты одновременно, по ним копится статистика. Как только данных достаточно, чтобы отличить лидеров от аутсайдеров, аутсайдеры выбывают, а на их место заходят новые гипотезы, собранные из того, что уже сработало. Цикл повторяется бесконечно.

Главное здесь — система никогда не «застывает» на одном решении. Рынок, сезон и поведение покупателей меняются, поэтому и тест не останавливается.

Чем бесконечный тест отличается от обычного A/B-теста?

Обычный A/B-тест имеет начало и конец: вы запускаете два-три варианта, ждёте статистической значимости, фиксируете победителя и закрываете тест. Бесконечный тест — это цикл, который крутится постоянно.

Ключевая разница — в роли победителя. В разовом тесте победитель это финал. В бесконечном тесте победитель становится чемпионом — действующей базой сравнения, против которой бьются новые претенденты. Чтобы сменить чемпиона, претендент должен обойти его значимо, а не на десятую долю процента случайно.

Параметр	Обычный A/B-тест	Бесконечный тест
Длительность	Есть начало и конец	Цикл без финиша
Победитель	Финальный результат	Новая база сравнения
Состав вариантов	Фиксированный	Постоянно обновляется
Учёт сезонности	Нет	Встроен (переоценка чемпиона)
Рост метрики	Разовый скачок	Ступенчатый рост

Зачем тестировать фото карточки на маркетплейсе?

Главное фото — это первое, что видит покупатель в поиске и каталоге. От него напрямую зависит CTR (кликабельность): сколько людей из увидевших карточку кликнут по ней. А CTR, в свою очередь, влияет на то, как маркетплейс ранжирует карточку: чем выше кликабельность, тем больше показов получает товар.

Разница между средним и сильным фото — это часто десятки процентов кликов на том же бюджете и трафике. Поэтому фото — самый дешёвый рычаг роста: вы не доплачиваете за трафик, а извлекаете больше из уже имеющегося. Бесконечное тестирование превращает этот рычаг из разовой удачи в управляемый процесс.

Как работает методика: чемпион и претенденты

В основе методики лежат пять принципов, которые отличают рабочую систему от «крутим фото наугад».

Чемпион и претенденты. В системе всегда есть действующий чемпион — текущий лучший вариант. Он не выбывает «по сроку», а остаётся базой сравнения в каждом раунде. Новые фото — претенденты.

Не оптимизируй прокси в ущерб цели. CTR — это промежуточная (прокси-)метрика. Конечная цель — заказы. Бывает фото-клик-магнит: цепляет клик, но плохо продаёт. Если гнаться только за CTR, можно поднять клики и уронить выручку. Поэтому в методике есть защитный гейт по заказам.

Минимальная выборка до любого решения. Нельзя убирать вариант или объявлять чемпиона, пока не набрано достаточно показов и кликов. На малых данных «аутсайдер» может оказаться нормальным вариантом, которому просто не повезло на старте.

Поправка на подглядывание. Бесконечный тест по определению смотрят постоянно, а при многократных проверках обычная «значимость» завышает шанс поймать ложного победителя. Методика решает это байесовским подходом.

Учёт дрейфа. За месяц меняется всё: день недели, акции, сезон, эффект новизны. Чемпион может «протухнуть», поэтому его периодически переоценивают на свежем трафике.

Какие метрики отслеживать при тестировании карточек?

В бесконечном тесте всегда три уровня метрик, и путать их нельзя.

Главная метрика — CTR (клики / просмотры). По ней ранжируют варианты и принимают решения об отсеве. Она набирает статистику быстро — тысячи показов в день.

Защитная метрика — заказы с просмотра (заказы / просмотры) или конверсия в заказ (заказы / клики). Это гейт, который не даёт навредить. Набирается медленно, поэтому ей не ранжируют, но используют как фильтр: вариант с высоким CTR, но проваленной конверсией нельзя двигать в чемпионы; вариант с лучшей конверсией нельзя удалять только за слабый CTR.

Диагностические метрики — глубина просмотра, добавления в корзину, отказы. Они не для решений, а для гипотез: почему вариант ведёт себя именно так.

Ранжируют все варианты по вероятности быть лучшим (P2BB) — байесовской оценке «какова вероятность, что именно этот вариант настоящий лидер». Она даёт одно число от 0 до 100% на вариант (сумма по всем = 100%) и корректно работает при постоянном мониторинге.

Как устроен один цикл тестирования?

Карточка держит N активных слотов (рекомендуется 5, допустимо 3–10). Один раунд состоит из четырёх фаз.

Фаза 1 — Прогрев. Новые варианты получают трафик, пока не наберут минимальную выборку. До этого их не оценивают и не удаляют. Это защита от эффекта новизны и ранних ложных выводов.

Фаза 2 — Оценка. Считаем CTR и вероятность быть лучшим по каждому варианту, проверяем защитный гейт по заказам. Определяем лидера, кандидатов на оставление и кандидатов на вылет.

Фаза 3 — Отсев и пополнение. Аутсайдеры выбывают. Освободившиеся слоты занимают новые претенденты — гипотезы, собранные из того, что сработало у лидеров. Чемпион остаётся в карточке всегда.

Фаза 4 — Промоут чемпиона. Если один вариант значимо и устойчиво обошёл всех, он фиксируется как новая база. Следующий раунд претендентов соревнуется уже с ним.

Когда убирать вариант, а когда менять чемпиона?

Это сердце методики — конкретные правила с порогами. Все пороги настраиваемые, ниже — рабочие значения по умолчанию.

Когда можно вообще принимать решение

Не трогаем вариант, пока не выполнено хотя бы одно условие:

• набрано ≥ 2000–4000 показов на вариант;
• вариант прожил ≥ 3–5 дней (сглаживает день недели и эффект новизны);
• доверительный интервал CTR сузился до приемлемой ширины (порядка ±0,5–1 процентного пункта).

До этого — только прогрев, никаких отсевов.

Когда убирать вариант (отсев аутсайдера)

Вариант помечается на удаление, когда выполняются все условия сразу:

1. вероятность быть лучшим по CTR стабильно ниже 5%;
2. он значимо проигрывает чемпиону по CTR;
3. защитный гейт: он не является лидером по заказам с просмотра.

Если у варианта худший CTR, но лучшая конверсия в заказ — он не аутсайдер, его оставляем.

Когда менять чемпиона

Вариант становится новым чемпионом, когда:

1. вероятность быть лучшим по CTR ≥ 90% (устойчиво несколько дней);
2. он значимо обходит прежнего чемпиона по CTR;
3. защитный гейт: его конверсия в заказ не проваливается относительно остальных.

Если по CTR лидер ясен, но по заказам он явно слабее — чемпиона не меняем, а копим заказы, пока картина не прояснится.

Проблема подглядывания: почему обычная «значимость» врёт

Это самый тонкий момент бесконечного тестирования. Классический A/B-тест рассчитан на одну проверку в конце, при заранее выбранном размере выборки. Если же смотреть на значимость каждый день и останавливаться, как только она «провалилась ниже 0,05», вероятность ложного срабатывания будет не 5%, а намного выше — при ежедневных проверках за месяц она может дойти до 20–30%.

Простыми словами: наивное «дождались значимости — зафиксировали победителя» в непрерывном режиме систематически обманывает.

Методика решает это тремя приёмами. Во-первых, решения принимаются по байесовской вероятности быть лучшим, которая не накапливает ошибку от многократных взглядов так, как обычное p-value. Во-вторых, действует правило минимальной выборки — оно убирает основную массу ранних ложных срабатываний. В-третьих, требуется устойчивость: сигнал должен держаться несколько дней подряд, а не мелькнуть один раз.

Как распределять трафик между вариантами?

Есть два режима, и выбирают между ними по фазе теста.

Равномерно — в фазе прогрева. Пока варианты набирают минимальную выборку, трафик делится поровну. Это честно к новичкам и не даёт системе рано «похоронить» хороший вариант из-за невезения на старте.

Со смещением к лидерам — в фазе эксплуатации. После прогрева трафик распределяют пропорционально вероятности быть лучшим (метод Томпсона): сильные варианты получают больше показов, слабые — меньше, но не ноль. Так меньше трафика тратится на заведомо слабых, но у каждого остаётся шанс реабилитироваться.

Практический компромисс: прогрев — поровну, дальше мягкое смещение (например, лидерам до 40–50% трафика, аутсайдерам — гарантированный минимум, чтобы их оценка не «замораживалась»).

Откуда брать новые варианты фото?

Бесконечный тест жив только пока есть приток гипотез. Источники новых претендентов:

• Усиление того, что сработало. Разберите, чем выигрывает чемпион — ракурс, фон, наличие модели, текст на фото, цвет — и сделайте новые варианты, развивающие этот признак.
• Скрещивание. Возьмите сильный признак одного варианта и сильный признак другого, объедините.
• Контр-гипотезы. Намеренно проверьте противоположное (другой фон, инфографика против лайфстайла), чтобы не застрять в локальном максимуме.
• Подсмотренное у конкурентов и в смежных нишах — как источник идей, не для копирования.

Важное правило темпа: не меняйте весь состав разом, иначе теряется база сравнения и непонятно, что повлияло. За раунд заменяйте только выбывших — обычно 1–2 слота. Чемпион и сильные претенденты остаются, поэтому каждый новый кандидат всегда соревнуется с известным сильным якорем.

Почему чемпион «протухает» и как это учитывать?

Победа не вечна — на CTR влияют факторы вне самого фото.

Эффект новизны. Новый вариант часто даёт всплеск CTR просто потому, что он новый, а затем регрессирует. Поэтому решение по новичку принимают только после прогрева, а не на первом всплеске.

Сезонность и день недели. Абсолютный уровень CTR гуляет по дням, и это нормально. Честное сравнение возможно только когда варианты крутятся в одном трафике одновременно — что бесконечный тест как раз и обеспечивает.

Старение чемпиона. Аудитория привыкает к обложке, и CTR может медленно падать. Поэтому чемпиона раз в 2–4 недели заново сталкивают со свежими претендентами. Обошёл новый претендент — чемпион сменяется. Удержался — подтверждаем и продолжаем.

Пример месячного цикла тестирования

Ориентировочная раскладка для карточки с 5 слотами и нормальным трафиком.

• Неделя 1. Запуск 5 вариантов, равномерный трафик, прогрев. Решений не принимаем — копим до минимальной выборки. К концу недели первая оценка: явные аутсайдеры по CTR на заметку.
• Неделя 2. Отсев 1–2 худших (с учётом гейта по заказам), на их места новые претенденты. Включаем мягкое смещение трафика к лидерам. Формируется первый чемпион.
• Неделя 3. Новые претенденты против чемпиона. Снова оценка, отсев, пополнение. Параллельно копятся заказы — проясняется, не обманывает ли CTR-лидер по продажам.
• Неделя 4. Подтверждение или смена чемпиона на накопленных данных. Переоценка: не протух ли лидер. Заход в следующий месяц с более высокой базой CTR.

И так по кругу: каждый месяц база выше, претенденты сильнее, CTR растёт ступеньками.

Особенности тестирования на Wildberries, Ozon и Яндекс Маркете

Методика универсальна — логика чемпиона, претендентов и защитного гейта одинакова на любой площадке. Различается то, где вы читаете метрики и сколько вариантов реально успеваете прокрутить.

Wildberries. Высокий трафик позволяет быстро набирать выборку, поэтому раунды короче, а слотов можно держать больше. Главное фото решает почти всё: оно показывается и в поиске, и в каталоге. Следите, чтобы рост CTR не уводил вас от заказов — на WB разрыв между кликом и выкупом бывает заметным.

Ozon. Трафик на карточку может быть скромнее, чем на WB, поэтому минимальную выборку набирают дольше — не торопитесь с отсевом. Помимо главного фото, на конверсию влияет дополнительный контент карточки, так что защитный гейт по заказам здесь особенно важен.

Яндекс Маркет и другие площадки. Если товар продаётся через агрегацию офферов, CTR карточки всё равно влияет на её место в выдаче. Принцип тот же: одновременный показ вариантов, минимальная выборка, решения по вероятности быть лучшим.

Общий принцип для всех: сравнивать варианты честно можно только при одновременном показе в одном трафике. Поэтому переносить «победителя с WB» на Ozon без перепроверки нельзя — аудитории и контекст разные.

Типичные ошибки при тестировании карточек

• Резать по CTR, игнорируя заказы. Так можно выкинуть лучший конвертер — фото со слабым кликом, но сильной продажей. Всегда сверяйтесь с защитным гейтом.
• Принимать решение на первом всплеске. Это эффект новизны и невезение старта. Ждите минимальную выборку и устойчивость сигнала.
• Останавливаться по «значимости» при ежедневном подглядывании. Это завышает ложные срабатывания. Решайте по вероятности быть лучшим плюс устойчивость.
• Менять весь состав разом. Теряется база сравнения. Заменяйте только выбывших.
• Считать чемпиона вечным. CTR дрейфует и стареет — чемпиона надо периодически перепроверять.
• Сравнивать варианты из разных периодов. Честно только при одновременном показе в одном трафике.

Часто задаваемые вопросы

Чем бесконечное A/B-тестирование лучше обычного?

Обычный тест заканчивается на первом победителе и не учитывает, что рынок меняется. Бесконечный тест держит карточку в постоянной оптимизации: чемпион становится базой, претенденты бьются с ним, а сезонность и старение фото отслеживаются автоматически.

Сколько вариантов фото тестировать одновременно?

Рекомендуется 5 активных слотов, допустимо от 3 до 10. Больше слотов — больше гипотез за раунд, но каждому достаётся меньше трафика, и выборка набирается дольше.

Сколько показов нужно, чтобы доверять результату?

Ориентир — 2000–4000 показов на вариант и минимум 3–5 дней жизни, чтобы сгладить день недели и эффект новизны. До этого порога решения принимать нельзя.

Почему нельзя ориентироваться только на CTR?

CTR — промежуточная метрика. Фото может цеплять клики, но плохо продавать. Без защитного гейта по заказам легко поднять кликабельность и уронить выручку.

Можно ли менять фото каждый день?

Менять можно, но принимать решения об отсеве и смене чемпиона — нет, пока не набрана минимальная выборка и сигнал не устойчив несколько дней. Иначе вы ловите шум, а не реальный эффект.

Подходит ли методика для Ozon и Яндекс Маркета, а не только для Wildberries?

Да. Логика одинакова на всех площадках, различается только скорость набора данных и то, где смотреть метрики. Но победителя одной площадки нельзя переносить на другую без перепроверки.

Тестировать вручную или автоматизировать?

Всё описанное выше можно вести руками: таблица, формулы, дисциплина по порогам. Это работает, но требует, чтобы кто-то каждый день считал вероятности, проверял устойчивость сигнала и не поддавался соблазну «зарезать по первому всплеску».

Если не хотите держать всю эту статистику в голове — этим занимается сервис «Бесконечное тестирование CTR»: он сам ротирует варианты, считает вероятность быть лучшим, держит защитный гейт по заказам и подсказывает, кого отсеять, а кого двигать в чемпионы.

В основе методики — три расчётных модуля: тест значимости для пар вариантов, матрица попарных сравнений с поправкой на множественность и байесовская вероятность быть лучшим. Они и обеспечивают решения об отсеве, лидерстве и смене чемпиона на каждом витке цикла.