Запускать полноценный браузер ради сбора данных нужно гораздо реже, чем это делают.
Браузер стоит дорого: память, процессор, время на отрисовку, хрупкость всей конструкции. Один экземпляр съедает больше ресурсов, чем сотня обычных запросов.
Прежде чем идти этим путём, стоит проверить простые варианты. Часто данные уже лежат в самой странице внутри служебного блока — их достаточно достать и разобрать как структуру. Часто страница подгружает содержимое отдельным запросом, который можно повторить напрямую. Иногда достаточно версии страницы без сценариев или её печатного варианта.
Браузер оправдан, когда содержимое действительно собирается на стороне клиента из нескольких источников, когда нужен сложный вход в личный кабинет или когда важно поведение страницы, а не только её данные.
И если браузер всё же нужен, разумно его ограничить: отключить загрузку картинок и шрифтов, закрывать вкладки после каждой задачи, ставить жёсткий предел времени на страницу. Иначе сборщик умрёт не от блокировки, а от нехватки памяти.
—
Чтобы быть в курсе рынка — подпишись на @screen_capture_n1k_n1k
Парсеры и Скрейперы
@parsers_mkt_n1k_n1k
Запускать полноценный браузер ради сбора данных нужно гораздо реже, чем это делают.
Этот пост опубликован в Telegram-канале Парсеры и Скрейперы. Подписаться можно по ссылке: @parsers_mkt_n1k_n1k.