A/B тест subject line в cold email: выигрывает не «красивый», а статистически чистый вариант

A/B тест subject line в cold email: выигрывает не «красивый», а статистически чистый вариант

В cold email subject line тестируют часто, но считают неправильно. Если открыть письмо в теле кампании — это ещё не победа заголовка. Считать нужно по reply rate или meeting rate, а не по open rate: он шумный, особенно с privacy-фильтрами.

Правило простое:
— меняйте только одну переменную: длину, вопрос, имя, цифру или benefit
— не смешивайте разные офферы в одном тесте
— держите одинаковые список, сегмент и время отправки
— сравнивайте не «на глаз», а после достаточного объёма на каждом варианте

Статистически значимым тест становится, когда разница повторяется на сопоставимом объёме, а не на 20-30 письмах. Если вариант B дал больше ответов, но аудитория у него теплее или сегмент уже, это не тест subject line, а ошибка в дизайне кампании.

Рабочий каркас: 2 subject line, 1 аудитория, 1 оффер, 1 метрика, 1 фиксированный промежуток добора. Потом оставляете победителя и тестируете следующую гипотезу. Так вы не «ищете магию», а накапливаете улучшения по 2-5% в каждой итерации.

Итог: хороший A/B тест в outreach проверяет не креативность, а дисциплину сравнения. Сначала чистый дизайн, потом выводы.