Scrapy ломается не на парсинге, а на мелочах: 5 проверок перед запуском

Scrapy ломается не на парсинге, а на мелочах: 5 проверок перед запуском

За неделю в репах чаще всего всплывает одно и то же: spider вроде живой, а данных мало, дубли растут, а сервер отвечает баном. У Scrapy сильная база, но стабильность тут держится не на «магии фреймворка», а на дисциплине вокруг него.

• Проверь selector’ы на пустые ответы и fallback-ветки: если верстка поехала, паук не должен молча собирать мусор.
• Не смешивай логику обхода и нормализацию данных в parse: сначала достань сырой payload, потом приводи к схеме.
• Для дубликатов используй стабильный fingerprint: URL без шума, canonical-поля, нормализация query string.
• Retry и timeout настраивай под тип сайта, а не «на глаз»: одна политика для API, другая для тяжелых страниц.

Отдельно проверь pipeline: если item валится на валидации, паук не должен падать целиком. Ошибка должна уходить в лог с контекстом, иначе отладка превращается в угадайку.

Если нужен устойчивый Scrapy-проект, сначала добейся предсказуемого failure mode, и только потом ускоряй обход и распараллеливание.