Искусственный интеллект «запел» неслыханными звуками

Логотип компании
25.11.2024
Искусственный интеллект «запел» неслыханными звуками

Изображение: Shutterstock / Illus_man

Nvidia заявляет, что её новый музыкальный редактор с поддержкой искусственного интеллекта способен создавать звуки, которые ранее никто не слышал, включая такие необычные, как «мяукающая труба». Инструмент, названный Fugatto, генерирует музыку, звуки и речь на основе текстовых и аудиосемплы, с которыми он ранее не сталкивался.

В демонстрационном видео Fugatto создаёт композиции по нестандартным запросам, например: «Сымитируй вой саксофона, затем лай, а после этого добавь электронную музыку с лаем собак». Среди других возможностей, которые показала Nvidia, — создание уникальных звуковых эффектов по описанию, таких как «глубокие, грохочущие басовые импульсы, дополненные прерывистыми, высокими цифровыми щебетаниями, напоминающими пробуждение гигантской разумной машины».

Кроме того, Fugatto способен изменять звук голоса, трансформируя акцент или тон, делая его, например, спокойным или сердитым. Инструмент также поддерживает редактирование музыки: он может выделять вокал, добавлять новые инструменты или изменять звучание, например, заменяя фортепиано оперным вокалом.

В сопроводительной документации Nvidia приводит список наборов данных, использованных для обучения Fugatto, включая библиотеку звуковых эффектов BBC. Хотя на рынке уже есть другие ИИ-инструменты для работы с аудио, такие как Stability AI, OpenAI, Google DeepMind, ElevenLabs и Adobe, Fugatto выделяется своей способностью создавать звуки, которые не существовали ранее.

Стоит отметить, что некоторые стартапы, разрабатывающие музыкальные ИИ, сталкиваются с исками за нарушение авторских прав, а недавние расследования показывают, что такие компании, как Nvidia, обучали свои модели на субтитрах тысяч YouTube-видео. Для разработки Fugatto исследователям пришлось собрать массивный набор данных с миллионами аудиосэмплов и разработать инструкции, которые расширили функциональность модели, сделав её более точной и универсальной.

Пока неизвестно, станет ли Fugatto доступным для широкой аудитории и когда это произойдёт.

Читайте также
ИТ-компании «СИГМА» и «Прикладные решения» разработали и внедрили в крупной энергетической компании инновационную систему автоматизации управления автотранспортом и спецтехникой — АСУ АиСТ. IT-World рассказывает о проекте.

Источник: The Verge

Похожие статьи