Почему A/B тесты падают: 3 ошибки которые съедают весь смысл

Почему A/B тесты падают: 3 ошибки которые съедают весь смысл

Арбитражники часто тестируют всё подряд и потом удивляются, что результаты не повторяются. Проблема не в самом тесте, а в том, как его готовят.

Ошибка 1: тестируют при разном трафике. Если в понедельник лил 100 клик в день на вариант A, а в среду — 500 кликов на B, то сравнение бессмысленно. Трафик разного качества, разные дни недели, разное время суток — всё это влияет на конверсию. Тесть нужно гнать параллельно на одинаковом объёме.

Ошибка 2: смотрят на абсолютные числа вместо процентов. "У варианта A 15 конверсий, у B — 20" — это ещё ничего не значит. Нужно считать коэффициент конверсии. Если на A потратили 500 кликов, на B — 300, то процент конверсии может быть совсем другой. Одна конверсия на 10 кликов — это не то же самое, что одна на 20.

Ошибка 3: закрывают тест слишком рано. Статистическое значение требует объёма. Если вы видите результат за день-два, это может быть просто случайность. Стандартное правило: минимум 100-200 конверсий на каждый вариант перед выводом.

Правильный тест — это когда вы гоняете два варианта одновременно, на одинаковом трафике, считаете проценты, и даёте процессу достаточно времени. Только тогда результаты будут воспроизводимы.