Раньше забивал на логи, пока один из моих скриптов не начал тихо «отваливаться» на середине задачи. Теперь трачу 2 часа на настройку нормального стека логирования, чтобы спать спокойно.
Мой выбор для отладки:
⭐️ ELK Stack — если проект разрастается до терабайтов данных
⭐️ обычный json-лог в файл — для мелких пет-проектов
⭐️ алерт в Telegram при падении статус-кода ниже 200
Когда видишь, что парсер начал стучаться в 403 ошибку в 4 утра — это кайф, потому что ты узнаешь об этом до того, как клиент напишет гневное сообщение.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🟢 Зачем я начал логировать каждый чих парсера
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.