Часто новички бьются об десктопные лендинги, где куча JS и тяжелые антифрод-скрипты. А мобильная версия того же ресурса — это почти всегда простой HTML, который «ест» меньше ресурсов.
Короче, мой подход сейчас:
🔸 сначала проверяю m.site.com или user-agent мобилки
🔸 там обычно нет половины защиты
🔸 выхлоп по данным такой же, а прокси живут дольше
Плюс я экономлю на CPU, так как не нужно рендерить лишний мусор через headless-браузер. Что думаете, пробовали так обходить сложные фильтры?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
📱 Мобильные версии сайтов — чит-код для парсинга
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.