Сборщик, который упал, — это хорошая новость. Плохая новость — сборщик, который продолжает работать и складыва

Сборщик, который упал, — это хорошая новость. Плохая новость — сборщик, который продолжает работать и складывать пустоту.

Падение видно сразу: задача завершилась с ошибкой, пришло уведомление, кто-то пошёл смотреть. Тихая поломка выглядит как обычный успешный запуск. Записи создаются, поля внутри пустые, и через месяц выясняется, что половина базы — мусор.

Что стоит проверять на каждом запуске:

— число собранных записей относительно обычного, с порогом снизу и сверху;
— доля пустых значений по каждому важному полю отдельно;
— доля записей, которые не прошли разбор, а не только те, что вызвали ошибку;
— разумность значений: длина текста, диапазон чисел, формат идентификатора;
— сравнение с прошлым запуском: сколько записей исчезло и сколько появилось.

Резкое изменение любого из этих показателей должно останавливать загрузку в основное хранилище, а не просто писать строчку в журнал.

Правило то же, что в любом сборе данных: молчание не означает, что всё хорошо. Оно означает, что вы не смотрите. 🔧