Conversion Lab Notes
Conversion Lab Notes
@ConversionLabNotes

Peeking at a test daily inflates your false-positive rate from 5% to ~30%.

Peeking at a test daily inflates your false-positive rate from 5% to ~30%.
The mistake: stopping the moment p < 0.05 appears. With one look you control error at 5%; with daily looks over two weeks you've taken ~14 shots at a 5% target.
— Fix: fix sample size in advance, or use sequential testing (mSPRT, group-sequential boundaries) that budgets the looks.
— Caveat: "reached significance" without a pre-set stopping rule is not significance.
Read the number, not the story. [error rate 5%→30% · 14 looks]
Этот пост опубликован в Telegram-канале Conversion Lab Notes. Подписаться можно по ссылке: @ConversionLabNotes.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.