Масштабирование GSA-фермы ломается не на сабмитах, а на мусоре в списках и дублях инстансов

Масштабирование GSA-фермы ломается не на сабмитах, а на мусоре в списках и дублях инстансов

Когда ферма растёт, основной пробой идёт не в движок, а в управление входными данными. Если у инстансов разные версии листов, разные фильтры и разный мусор в кэше, ты получаешь псевдо-масштаб: LPM прыгает, а ROI проваливается в шум.

Рабочая схема одна:
— один master-источник списков, остальные только читают;
— раздача через отдельную папку или sync-слой, без ручных копий;
— жёсткое разделение: footprint-листы, target-листы, verified-листы;
— после каждого прогона чистка дублей, мёртвых URL и пустых шей;
— один формат именования, чтобы не ловить путаницу между Tier-ами.

Мультиинстанс без дисциплины убивает пробив. Если два окна пишут в один и тот же лист, ты не масштабируешься, а создаёшь гонку за одни и те же цели. Нормальная архитектура — когда каждый инстанс берёт свой кусок пула, а результаты стекаются обратно в один verified-слой. Так проще считать VPM и сразу видеть, где просела связка.

Ещё один узел — лимиты на CPU, RAM и диск. Если инстансы начинают душить друг друга, сабмиты идут рывками, а капча растёт как паразитный оверхед. Срезаем косты на капчу, выносим тяжёлые листы отдельно и тестим пробив на объемах, а не на одном «успешном» прогоне.

Держи ферму как конвейер: один источник, чистые слои, изоляция инстансов. Тогда LPM решает всё, а не случайность в файловой свалке.