Puppets.World запускает приложение для анимации портретов с помощью ИИ

15.09.2020
Анимированная марионетка, созданная при помощи приложения, — это Digital Human (цифровой человек) с начальной степенью автономности.

Компания Puppets.World разработала одноименное приложение для анимации фотографий, картин и рисунков с помощью алгоритмов искусственного интеллекта (AI/ML). Портрет, загруженный пользователем в приложение, повторяет слова и мимику человека в видео.


Приложение Puppets.World позволяет анимировать «марионетку» — фотографию человека, картину с портретом, рисунок от руки, изображение мультипликационного персонажа, благодаря применению алгоритмов искусственного интеллекта. Для этого нужно записать видео, которое будет использоваться для «оживления», выбрать «марионетку» и нажать кнопку “Puppet”. Система генерирует ролик, на котором «цифровая марионетка» повторяет слова и мимику пользователя на исходном видео.

Puppets.World можно скачать в App Store и использовать бесплатно. Для создания роликов длиной больше 30 секунд, рекомендуется приобрести PRO-минуты (PRO minutes). Это ускорит процесс генерации нового видео, улучшит качество, позволит удалить маркировку Puppets.World и рекламу.

Технология, разработанная компанией, принципиально отличается от процесса «морфинга», который используется в так называемых deepfake-приложениях ReFace и FaceApp, применяющих нейронные сети для модификации лица на исходном видео знаменитости так, чтобы оно приобрело черты пользователя. В итоговом ролике модифицированное лицо повторяет мимику знаменитости. Puppets.World применяет тот же класс нейронных сетей — Generative Adversarial Network (GAN), но подход к созданию видео отличается.

Существующие технологии, которые используются для создания и анимации персонажей в видеоиграх и фильмах, основаны на методе “body tracking”. Они подразумевают применение датчиков отслеживания движений и многочисленных сенсоров, закрепленных на теле актера. Технология Puppets.World делает возможным воспроизведение мимики без сложных компьютерных систем и дорогостоящего студийного оборудования.

Полученная анимированная марионетка — это Digital Human (цифровой человек) с начальной степенью автономности, отмечает разработчик.

Приложение предназначено для индустрии развлечений и медиа. Технология также может применяться в различных сценариях и отраслях: в маркетинге и рекламе, образовательных сервисах, контактных центрах банков и ретейлеров, для локализации кинофильмов.