A/B тест subject line в cold email: когда отличие реально влияет на reply rate

A/B тест subject line в cold email: когда отличие реально влияет на reply rate

Если тестируете тему письма в cold outreach, не сравнивайте «более креативно» и «более формально». Сравнивайте один параметр: длину, персонализацию, вопрос vs утверждение, цифру vs без цифры. Иначе вы не поймёте, что именно двинуло ответ.

Минимум, который нужен для вменяемого теста:
— один сегмент базы, один оффер, один CTA;
— одинаковое время отправки и одинаковый sender;
— 2 варианта subject line, без изменения тела письма;
— фиксируйте не open rate, а reply rate и positive reply rate.

Если выборка маленькая, выводов не делайте. При 20–30 письмах на вариант случайный шум легко выглядит как победа. Для холодного email рабочее правило простое: сначала набирайте достаточный объём в одном сегменте, потом сравнивайте не «кто красивее», а кто даёт больше релевантных ответов.

Сильные тесты — это когда меняется только один триггер: «коротко vs длинно», «с именем vs без имени», «прямой вопрос vs нейтральная формулировка». Всё остальное держите одинаковым. Тогда победителя можно масштабировать в следующую серию касаний, а не гадать на открываемости.

Если тест не повторяется на второй выборке — это не гипотеза, а шум. Считайте по ответам, а не по кликам, и проверяйте одну переменную за раз.