Блин, иногда парсинг упирается не в антибот, а просто в то, как ты работаешь с TCP-соединениями. Если каждый раз открывать новое подключение — сервер тебя вычислит быстрее, чем ты скажешь «HTTP».
Пара советов:
👉 используйте Keep-Alive
👉 юзайте Session-объекты, чтобы не пересоздавать TLS-хендшейки
👉 лимитируйте количество одновременных соединений до одного хоста
Это банально, но по моим прикидкам, скорость скрейпинга вырастает в 1.5-2 раза на ровном месте. Да и вообще, нагрузка на прокси становится адекватнее. Что думаете, заморачиваетесь с низкоуровневой оптимизацией?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🔋 Как я оптимизирую работу с сетью
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.