Не все сайты нужно парсить одинаково. Иногда лучше сразу понять, что игра не стоит свеч, чем тратить неделю на обход защиты.
Признаки того, что пора завязывать:
🔴 сайт отдает 200 только после полноценного прохождения капчи
🔴 динамическая подгрузка контента через WebAssembly
🔴 наличие проверки на «человечность» через датчики устройства
Если вижу, что на разработку уходит больше времени, чем на профит с данных — просто иду искать другую задачу. Проще найти проще, чем воевать с ветряными мельницами.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
📉 Как определить, что сайт «тяжелый» для скрейпинга
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.