Недавно заметил закономерность: половина багов в боевых парсерах — это не крахи кода, а молчаливое попадание в ловушку на сайте.
Тип: сайт вернул 200 OK, HTML валидный, селектор сработал — но данные неполные или с дефолтными значениями. Парсер записал в БД, никого не уведомил, и ты узнал про проблему через неделю.
Что помогает:
🔸 добавь ассерты на стадии валидации — если цена нулевая или дата не распарсилась, кидай ошибку
🔸 логируй не только краши, но и каждый распарсенный элемент с флагом успеха
🔸 сделай дашборд с процентом успешно спарсенных страниц — если упал ниже 95%, получай алерт
🔸 периодически вручную проверяй выборки из своей БД против оригинального сайта
А то потом объясняешь клиенту, что 10k строк в таблице — это не 10k хороших записей. Кайф, да?
Что вы используете для валидации спарсенных данных?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🕷 Когда парсер работает, но данные говно
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.