Почему тесты тем часто дают ложные результаты

Почему тесты тем часто дают ложные результаты

Тестируешь две темы письма на выборке в 10% аудитории — одна выиграла по открытиям на 3%. Запускаешь её на всех. Но на полной базе результат хуже исходной. Дело не в везении: ошибка в методике расчёта.

Главная проблема: сравниваешь проценты вместо абсолютных чисел. На малой выборке 2–3 открытия разницы могут быть статистической ошибкой. Пример: вариант А открыли 102 из 1000, вариант Б — 105 из 1000. Это +2,9%, но на самом деле случайность. На большой базе эта разница растворится.

Второе: игнорируешь фактор времени. Если тест А запустил вечером в пятницу, Б — в понедельник утром, результаты несравнимы. День недели, час отправки, состав аудитории в момент тестирования — всё влияет. Раздели выборку случайно, отправляй одновременно.

Третье: смотришь только на открытия, игнорируя клики и действия. Вариант с агрессивной темой может открываться чаще, но кликать по нему люди не будут. Проверяй всю воронку: открытие → клик → целевое действие.

Правило простое: считай не проценты, а доверительный интервал. Если интервалы двух вариантов пересекаются — разницы нет. Тест нужно продолжить на большей выборке либо признать, что вариант не лучше исходного. Спешка в выводах доро