Google работает над искусственным интеллектом – создателем видео

Логотип компании
06.10.2022
Google работает над искусственным интеллектом – создателем видео
На фото не «львица в чепчике», как можно подумать с первого взгляда, а результат работы нейросети от Google. Недавно компания подробно рассказала о своей работе над Imagen Video, системой искусственного интеллекта, которая может генерировать видеоклипы по текстовому описанию.

Пока результаты не идеальны — зацикленные клипы, генерируемые системой, содержат артефакты и шум. Однако компания считает, что их разработка — это шаг к системе с «высокой степенью управляемости» и знаниями о мире, включая способность генерировать клипы в самых различных стилях.

Как поясняет исследовательская группа Google, система берет текстовое описание и генерирует 16-кадровое видео с частотой три кадра в секунду и разрешением 24 на 48 пикселей. Затем система масштабирует и «предсказывает» дополнительные кадры, создавая окончательное видео из 128 кадров с частотой 24 кадра в секунду с разрешением 720p (1280×768).

Imagen Video обучался на 14 миллионах видео с текстовым описанием и 60 миллионах изображений, а также на общедоступном наборе данных изображения-текста LAION-400M. В ходе экспериментов они обнаружили, что алгоритм может создавать видеоролики в стиле картин Ван Гога и акварели. Кроме того, искусственный интеллект продемонстрировал понимание глубины и трехмерности пространства. Это позволило ему создавать видеоролики, подобные полетам дронов, которые вращаются вокруг и захватывают объекты под разными углами, не искажая их.

Важным улучшением по сравнению с доступными сегодня системами генерации изображений является то, что сервис может правильно отображать текст. В то время как Stable Diffusion и DALL-E 2 изо всех сил пытаются перевести текстовые выражения, такие как «логотип для (название бренда)», в читаемый текст, Imagen Video воспроизводит его без проблем.

Это не означает, что новый сервис не имеет ограничений. Клипы созданные с его помощью, местами искажаются и иногда смешиваются с другими довольно странными, физически невозможными и неестественными способами. Чтобы улучшить работу искусственного интеллекта, команда Imagen Video планирует объединить усилия с исследователями Phenaki, еще одной дебютировавшей системы для преобразования текста в видео, которая может превращать длинные подробные подсказки в двухминутные видеоролики, хотя и с более низким качеством.

Похожие статьи