Новая модель AI и перевод на тысячу языков мира
Корпорация опубликовала свой код на GitHub. Открытый исходный код поможет разработчикам, работающим на разных языках, создавать новые речевые приложения, такие как службы обмена сообщениями, которые понимают любой язык, или системы виртуальной реальности, которые сможет использовать представитель любой языковой группы.
В настоящее время в мире используется около семи тысяч языков, но существующие модели распознавания речи работали только с сотней из них. Это связано необходимостью огромных объемов данных для обучения нейросети, а такие данные доступны только для небольшого числа языков.
Исследователи решили эту проблему, использовав существующую модель ИИ, разработанную еще в 2020 году. Они сделали поистине гениальный и одновременно лежащий на поверхности ход – обучили его на аудиокнигах, содержащих перевод Нового Завета и текстовых переводах этой же книги на 1107 языков мира, и дополнили аудиозаписями переводов еще на 3809 языках. С помощью этой базы, исследователи смогли научить алгоритм более легкому изучению нового языка даже без сопроводительного текста.
«Мы можем использовать алгоритмы этой языковой модели для быстрого создания речевых систем, при очень малом количестве данных», — говорит Майкл Аули (Michael Auli), научный сотрудник, работавший над проектом.
Тем не менее, команда предупреждает, что модель по-прежнему рискует неправильно расшифровать определенные слова или фразы, что может привести к неточным или потенциально оскорбительным выражениям. Они также признают, что их модели распознавания речи дали больше некорректных слов, чем другие модели, хотя и всего на 0,7% больше.
Хотя масштабы исследования впечатляют, использование религиозных текстов для обучения моделей ИИ может быть спорным, говорит Крис Эмезуэ (Chris Emezue), исследователь из Masakhane, организации, занимающейся обработкой естественного языка для африканских языков, который не участвовал в проекте.
*Признана экстремистской организацией. Деятельность на территории РФ запрещена.