20.03.2024 | VLOGGER: новый ИИ Google оживляет людей на фотографиях |
Google представила ИИ-модель VLOGGER, которая позволяет генерировать видеоролики с говорящими людьми на основе одного изображения человека и аудиофайла. Новый метод стал возможен благодаря использованию генеративных диффузионных моделей, что отличает VLOGGER от предыдущих разработок. Метод не требует индивидуального обучения для каждого человека и способен работать без обнаружения и обрезки лиц, генерируя полные изображения, включая лицо и туловище, в различных сценариях.
Система VLOGGER работает в два этапа:
Особое внимание уделено разнообразию и реалистичности генерируемых видео. VLOGGER способен создавать видео с интенсивным движением и высоким уровнем детализации, сохраняя при этом идентичность и временную последовательность. Модель была обучена на новом масштабном наборе данных MENTOR, который включает 2200 часов видео и 800000 личностей, что в 10 раз больше, чем предыдущие наборы данных. VLOGGER находит применение в ряде областей, включая редактирование видео и создание видео с говорящими людьми на основе одного входного изображения и аудио. Модель может использоваться для редактирования существующих видео, изменяя выражение лица субъекта, например, закрывая рот или глаза, а также для адаптации видео под новые аудиодорожки на разных языках, обеспечивая согласованность движения губ и лица с новым аудио. |
Проверить безопасность сайта