Vector TikTok Ads: VLM-модель, которая лучше ловит видеоаномалии

Vector TikTok Ads: VLM-модель, которая лучше ловит видеоаномалии

В свежем исследовании по видеоаномалиям показали подход, который работает не на одном кадре, а на связке признаков: изображение, временное окно и причина отклонения. Авторы обучили VLM-модель для coarse-to-fine оценки и собрали датасет с разметкой по кадрам, времени и типам аномалий. На fine-grained бенчмарках прирост составил 25,7% accuracy.

Для TikTok-экосистемы это особенно полезная история. Чем больше в выдаче коротких видео, превью и сгенерированного контента, тем важнее уметь отличать нормальный ролик от дефектного не по одному сигналу, а по совокупности. Если система модерации, ранжирования или QA смотрит только на отдельный фрейм, она легко пропустит шум. Когда добавляется временной контекст, качество фильтрации становится заметно лучше.

Для команд, которые используют AI в креативном продакшене или контроле качества видео, вывод практический: оценивать нужно не только сам ролик, но и то, насколько модель понимает динамику внутри него. Именно это отличает поверхностную проверку от рабочей мультимодальной диагностики.