Как масштабировать GSA-ферму без каши в списках и дублей между инстансами

Как масштабировать GSA-ферму без каши в списках и дублей между инстансами

Когда ферма растёт, ломается не движок, а дисциплина слоёв. Один список в двух инстансах, разные фильтры, несинхронные стоп-слова — и вы уже не масштабируете, а размазываете пробив по мусору. Срезаем косты на капчу и сначала фиксируем структуру: один source-of-truth для сырых листов, отдельные слои под target, verified, dead.

• Сырые списки не трогаем руками. Любая ручная правка создаёт расхождение между нодами и убивает повторяемость теста.
• Перед синком нормализуем формат: домен, путь, параметры, регистр, лишние пробелы. Дубликат должен исчезать до импорта, а не после.
• Инстансы делим по ролям: сбор, фильтрация, сабмит. Не смешиваем всё в одном пуле, иначе LPM падает из-за конфликтов задач.

Для синхронизации держим один мастер-каталог и зеркала только для чтения. Обновление идёт батчами: выгрузка, дедуп, разнос по сегментам, проверка контрольных сумм. Если контрольные суммы пляшут, значит где-то затесался лишний фильтр или сломался экспорт. Тестим пробив на объемах только после того, как листы совпадают побайтно.

Финальная логика простая: меньше ручных точек входа, меньше конфликтов, выше VPM. Чистим листы до блеска, а потом уже выстраиваем Tier-пирамиду и гоняем каждый инстанс как отдельный модуль, без пересечений в данных.