Ребят, вечный вопрос. Кратко:
🔸 asyncio (Python): 500-2000 конкурентных запросов на одном ядре, если сеть — ботлнек. Идеален для HTTP-парсинга без JS.
🔸 threading: 20-50 потоков стабильно, дальше GIL и переключение контекста жрут больше, чем экономят.
🔸 multiprocessing: если parsing + heavy CPU (regex, ML). До 4-8 процессов на ядре.
Мой дефолт — httpx + asyncio. 800 rps на VPS $10/мес легко. Playwright только когда нужен реальный браузер.
Что думаете?
#Ворк
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🧮 Async vs threads в парсинге — что выбрать
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.