Хоменок: web-скрейпинг 🕷

🔎 Ищем API, а не парсим верстку

Все гоняются за сложными селекторами, хотя часто решение лежит в соседней вкладке DevTools. Блин, ребята, всегда проверяйте вкладку Network перед тем, как писать тяжелый Playwright.

Мой алгоритм:
👉 Открываю Network, фильтрую по XHR/Fetch
👉 Ищу JSON-ответы с нужными данными
👉 Изучаю параметры запроса (headers, payload)
👉 Пытаюсь повторить через обычный requests/httpx

В 60% случаев там чистый JSON, который летает в 10 раз быстрее любого браузера. Плюс никакой нагрузки на железо и риска словить бан за перерендер.

Кто чаще пользуется API, чем рендером — ставьте лайк.

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.
editorial

Свежие посты в категории «Авторские каналы»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.