Свой парсер креативов на Playwright + Selenium спасает, когда антибот душит ручной сбор

Свой парсер креативов на Playwright + Selenium спасает, когда антибот душит ручной сбор

Если нужен не «скриншотер», а стабильный сбор креативов, разделяй роли: Playwright — для навигации, логина, кликов и ожиданий; Selenium — для старых кабинетов, сложных iframe и страниц, где нужен привычный WebDriver. Один инструмент редко закрывает всё без костылей.

Рабочая схема простая:
— сначала открываешь страницу и дожидаешься всех нужных селекторов;
— затем снимаешь DOM, src, href, alt, даты и подписи;
— медиа грузишь отдельно, а не через рендер экрана;
— любые селекторы хранишь в конфиге, а не в коде;
— если блок страницы меняется, парсер должен падать мягко, а не ломать весь прогон.

Самая частая ошибка — собирать креативы только из HTML. Часть данных лежит в lazy-load, часть приходит через запросы, часть подгружается после скролла. Поэтому полезно ловить и DOM, и network, и состояние элементов: видим ли мы баннер, доступна ли кнопка, не подменили ли контент заглушкой.

Для устойчивости делай ротацию профилей, паузы между действиями, повтор запроса на таймауте и отдельный лог по каждому слоту. Тогда ты быстро поймёшь, где сломался сбор: на авторизации, на рендере, на загрузке медиа или на антибот-проверке.

Лучший парсер — не самый быстрый, а тот, который переживает изменения без переписывания всего проекта.