На днях возился с проектом, где персонаж должен был реально говорить, а не просто открывать рот как рыба. Обычные генераторы до сих пор лажают на длинных фразах.
Что я понял на практике:
🔸 сначала генерим визуал без движений губ вообще, с закрытым ртом
🔸 накладываем аудио через узкопрофильные нейронки для анимации лиц
🔸 главная фишка — не давать базовой модели «фантазировать» над мимикой, иначе поплывёт всё лицо
Короче, на чистый результат в 15 секунд уходит часа три, зато клиент не видит «зловещую долину». На самом деле, пока это единственный способ сделать рекламу, за которую не стыдно 🔥. Как вы решаете проблему с озвучкой? Юзаете синхронизацию или просто перекрываете лицо планами?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про AI-видео 🎥
Антон Хоменок про AI-видео 🎥
@xomenok_aivideo
🔒 Липсинк в AI-видео всё ещё боль, но есть костыль
Этот пост опубликован в Telegram-канале Антон Хоменок про AI-видео 🎥. Подписаться можно по ссылке: @xomenok_aivideo.