Масштабирование GSA-фермы ломается не на сабмитах, а на синхронизации списков и инстансов

Масштабирование GSA-фермы ломается не на сабмитах, а на синхронизации списков и инстансов

Когда поднимаешь второй и третий движок, хаос начинается не в капче, а в листах. Если у каждого инстанса свой мусорный пул, получаешь дубли, пересечения footprint’ов и ложный рост LPM. Дальше статистика врет, а пробив на объемах превращается в лотерею.

Схема рабочая только одна:
— master-лист хранит чистые источники, дочерние инстансы получают только отфильтрованные срезы
— отдельно держи стоп-листы, дропы и уже отработанные таргеты
— на каждом инстансе свой профиль, свой темп и свой набор движков, без смешивания задач в одну очередь

Перед запуском синка режь дубли по домену, URL и анкору. Иначе один и тот же таргет может уйти в разные тирах, а потом ты будешь лечить не базу, а метрики. Чистим листы до блеска, потом уже гоним прогон.

Для контроля нужен один канал логов: кто взял лист, что отстрелял, где упал по captcha, где словил timeout. Без этого масштабирование превращается в набор разрозненных ферм, а не в систему. Срезаем косты на капчу там, где это не режет пробив.

Если хочешь держать ферму в плюсе, сначала выстраивай синхронизацию, потом добавляй инстансы. LPM решает всё только тогда, когда он одинаково считается по всем узлам.