Хоменок: web-скрейпинг 🕷

🧮 Async vs threads в парсинге — что выбрать

Ребят, вечный вопрос. Кратко:

🔸 asyncio (Python): 500-2000 конкурентных запросов на одном ядре, если сеть — ботлнек. Идеален для HTTP-парсинга без JS.

🔸 threading: 20-50 потоков стабильно, дальше GIL и переключение контекста жрут больше, чем экономят.

🔸 multiprocessing: если parsing + heavy CPU (regex, ML). До 4-8 процессов на ядре.

Мой дефолт — httpx + asyncio. 800 rps на VPS $10/мес легко. Playwright только когда нужен реальный браузер.

Что думаете?

#Ворк
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.
editorial

Свежие посты в категории «Авторские каналы»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.