Самая жесткая боль — это когда парсер работает неделями, а потом выясняется, что все данные «битые» или вообще пустые из-за кривого селектора. Короче, без алертов жить нельзя.
Как я себя страхую:
🔴 проверяю статус-код ответа
🔴 сравниваю длину спарсенного контента с исторической медианой
🔴 ставлю уведомления в телегу, если процент пустых записей выше 5%
Плюс я всегда пишу логи ошибок в отдельный файл. Кайф, когда утром просыпаешься и видишь, что парсер сам себя поправил или честно признался, что не может найти элемент. А у вас есть система мониторинга или «надеюсь, сработает»?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🔴 Ошибки, которые стоят денег
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.