Две ошибки портят больше проектов, чем неверно выбранная модель. Первая — переобучение: модель запоминает част

Две ошибки портят больше проектов, чем неверно выбранная модель. Первая — переобучение: модель запоминает частности обучающей выборки вместо общих закономерностей. На знакомых данных она безупречна, на новых бесполезна.
Вторая коварнее — утечка целевого признака. В данные случайно попадает то, что известно только после наступления события. Например, при предсказании отказа от подписки в обучение проникает поле, которое проставляется в момент отмены. Качество получается фантастическим, а в работе модель бесполезна, потому что в момент прогноза этого поля ещё нет.
Проверить обе беды помогает одно и то же: честное разделение данных по времени. Учить на прошлом, проверять на будущем относительно точки обучения, а не случайной выборкой из всего массива.
И самый простой сигнал тревоги — слишком хороший результат. Если модель предсказывает почти идеально, вероятность утечки выше вероятности гениального решения. Такое стоит не праздновать, а перепроверять 📉