Байка без имён: про аналитика, который нашёл аномалию и три дня выяснял, что аномалия — это он

Байка без имён: про аналитика, который нашёл аномалию и три дня выяснял, что аномалия — это он

В понедельник человек замечает всплеск активности в одном узком сегменте. Красивый, ровный, каждый день примерно в одно время. Обрадовался, полез копать: сегмент маленький, но ведёт себя идеально.

Во вторник построил вокруг этого гипотезу. В среду сделал презентацию и даже придумал объяснение, почему именно эта аудитория так себя ведёт. Объяснение было стройное и абсолютно убедительное.

В четверг на созвоне кто-то спросил, не попадают ли в сегмент внутренние тестовые заходы. Оказалось, попадают. Ровный всплеск в одно и то же время — это он сам и коллеги проверяли работу приложения перед стендапом.

Мораль, которую я из этого вынес, без иронии: прежде чем объяснять аномалию, проверь, не сам ли ты её создал. Красивая гипотеза обладает свойством объяснять что угодно, включая собственные следы в данных.