Новая модель AI и перевод на тысячу языков мира

Логотип компании
23.05.2023Автор
Новая модель AI и перевод на тысячу языков мира
Meta* создала модель искусственного интеллекта, которая может распознавать и воспроизводить речь на 1000 языков мира. Это в десять раз больше, чем были способны языковые модели совсем недавно. По словам компании, это важный шаг к сохранению языков, которым грозит исчезновение.

Корпорация опубликовала свой код на GitHub. Открытый исходный код поможет разработчикам, работающим на разных языках, создавать новые речевые приложения, такие как службы обмена сообщениями, которые понимают любой язык, или системы виртуальной реальности, которые сможет использовать представитель любой языковой группы.

В настоящее время в мире используется около семи тысяч языков, но существующие модели распознавания речи работали только с сотней из них. Это связано необходимостью огромных объемов данных для обучения нейросети, а такие данные доступны только для небольшого числа языков.

Исследователи решили эту проблему, использовав существующую модель ИИ, разработанную еще в 2020 году. Они сделали поистине гениальный и одновременно лежащий на поверхности ход – обучили его на аудиокнигах, содержащих перевод Нового Завета и текстовых переводах этой же книги на 1107 языков мира, и дополнили аудиозаписями переводов еще на 3809 языках. С помощью этой базы, исследователи смогли научить алгоритм более легкому изучению нового языка даже без сопроводительного текста.

«Мы можем использовать алгоритмы этой языковой модели для быстрого создания речевых систем, при очень малом количестве данных», — говорит Майкл Аули (Michael Auli), научный сотрудник, работавший над проектом.

Тем не менее, команда предупреждает, что модель по-прежнему рискует неправильно расшифровать определенные слова или фразы, что может привести к неточным или потенциально оскорбительным выражениям. Они также признают, что их модели распознавания речи дали больше некорректных слов, чем другие модели, хотя и всего на 0,7% больше.

Хотя масштабы исследования впечатляют, использование религиозных текстов для обучения моделей ИИ может быть спорным, говорит Крис Эмезуэ (Chris Emezue), исследователь из Masakhane, организации, занимающейся обработкой естественного языка для африканских языков, который не участвовал в проекте.

*Признана экстремистской организацией. Деятельность на территории РФ запрещена.

Читайте также
Операторы «большой четверки» активно сокращают розничные сети и переводят продажи в онлайн. Пандемия и самоизоляция, инфляция, новые законы, ограничивающие число SIM-карт и вводящие обязательное подтверждение личности при их покупке – все это снижает поток покупателей и рентабельность офлайн салонов. IT-World разбирается в происходящем.

Похожие статьи