Факап: считал метрику неправильно и три недели радовался несуществующему результату

Ошибка была арифметической и обидной. Я считал долю дошедших от числа переходов, а часть переходов дублировалась: один человек возвращался и учитывался дважды.

Знаменатель был завышен, значит, реальная доля была выше расчётной. Казалось бы, хорошая новость. На практике вышло наоборот: я сравнивал источники между собой, а дублирование было разным, и сравнение оказалось нечестным. Я выключил канал, который на самом деле работал лучше остальных.

Что поменял:
— зафиксировал, что именно считаю в числителе и в знаменателе, письменно;
— проверил, как считаются уникальные события, а не все подряд;
— сверил свои цифры с другим источником данных, хотя бы приблизительно.

Главный урок не про формулу. Пока определение метрики не записано словами, каждый месяц оно потихоньку меняется у вас в голове.