CERN не просто «собирает данные». Он их мясорубит.

CERN не просто «собирает данные». Он их мясорубит.

За время работы коллайдера на ленты архива ушло больше эксабайта. Но до архива доезжает не всё: 99,99% событий выкидывают ещё на входе. Иначе железо утонуло бы в потоке быстрее, чем успел бы моргнуть любой DSP.

Как это устроено:
1) Детектор видит столкновение и выдаёт лавину сигналов.
2) Триггерная система за доли секунды решает: это физика или мусор.
3) Почти всё режется сразу.
4) Оставшееся уезжает в хранилища и живёт там десятилетиями.

Смысл простой: нельзя «попросить протоны сталкиваться помедленнее». Значит, надо строить архитектуру, которая умеет не сохранять лишнее, но не потерять важное.

Для adtech тут слишком знакомая логика:
— у вас тоже поток событий больше, чем можно хранить;
— тоже нужен жесткий фильтр на входе;
— тоже цена ошибки — либо лишний шум, либо потерянная конверсия.

Вопрос не в том, как собрать больше. Вопрос — как выбросить 99,99% и не обнулить ценность оставшегося.