Все гоняются за сложными селекторами, хотя часто решение лежит в соседней вкладке DevTools. Блин, ребята, всегда проверяйте вкладку Network перед тем, как писать тяжелый Playwright.
Мой алгоритм:
👉 Открываю Network, фильтрую по XHR/Fetch
👉 Ищу JSON-ответы с нужными данными
👉 Изучаю параметры запроса (headers, payload)
👉 Пытаюсь повторить через обычный requests/httpx
В 60% случаев там чистый JSON, который летает в 10 раз быстрее любого браузера. Плюс никакой нагрузки на железо и риска словить бан за перерендер.
Кто чаще пользуется API, чем рендером — ставьте лайк.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🔎 Ищем API, а не парсим верстку
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.