В CERN входящий поток данных режут не «по ощущениям», а по цепочке фильтров.

В CERN входящий поток данных режут не «по ощущениям», а по цепочке фильтров.

Контекст: коллайдер генерирует объём, который невозможно хранить целиком. На лентах архива уже больше эксабайта, но до долгого хранения доходит лишь 0,01% событий. Остальное должно быть отброшено быстро, без потери критичных сигналов.

Действие: архитектуру строят как многоуровневый регламент.
1. Сначала — жёсткий первичный отсев на скорости события.
2. Потом — более точная фильтрация и выборка интересных случаев.
3. Затем — упаковка, запись, распределение по хранилищам и доступ для исследователей.
4. Каждый слой отвечает только за свой SLA: не тормозить поток и не пропускать важное.

Результат: система работает десятилетиями и не захлёбывается в данных.
Для ops-логики это обычный вывод: если входной поток больше ёмкости системы, спасает не «мощнее сервер», а схема отбора, лимитов и ответственности по слоям. ⚙️