Сравнивать сегменты между собой — любимая ошибка отчётности.

Сравнивать сегменты между собой — любимая ошибка отчётности.

Выглядит убедительно: у одного сегмента отклик заметно выше, значит, он лучше. На деле сравнивались разные люди в разных обстоятельствах. Активные покупатели откликаются лучше новичков всегда — не потому, что письмо удачнее, а потому, что это активные покупатели.

Что сравнивать можно:

— два варианта письма внутри одного сегмента;
— один и тот же сегмент до и после изменения, если больше ничего не менялось;
— доли внутри сегмента, а не абсолютные числа по разным по размеру группам.

Отдельная ловушка — вывод «этот сегмент лучший, давайте писать только ему». Он лучший потому, что там уже собраны самые лояльные. Если сузить отправку до него, рост остановится, а база начнёт стареть.

И про размер. В маленьком сегменте разница в несколько человек выглядит как большое изменение в долях. Прежде чем делать выводы, стоит посмотреть на абсолютные числа.

Отчёт должен отвечать на вопрос «что мы изменим», а не «какой сегмент похвалить». 📊