Поиск

РынокТехнологии

ИИ-модель Microsoft превзошла результат человека

Екатерина Александрова | 15.01.2021

ИИ-модель Microsoft превзошла результат человека

Алгоритм понимания естественного языка (Natural Language Understanding, NLU) Microsoft DeBERTa превзошел человеческие возможности в одном из самых сложных тестов для подобных алгоритмов SuperGLUE.

На данный момент модель занимает первое место в рейтинге с показателем в 90,3, в то время как среднее значение человеческих возможностей составляет 89,8 баллов.

img

Рейтинг алгоритмов по прохождению теста SuperGLUE

Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 году. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов.

Для того чтобы добиться текущего результата в 90,3 балла, DeBERTa получила масштабное обновление архитектуры: теперь она состоит из 48 слоев и имеет 1,5 млрд параметров. Microsoft сделает публичной модель и ее исходный код. Кроме того, DeBERTa будет интегрирована в следующую версию Тьюринговой модели Microsoft Turing (Turing NLRv4). Тьюринговые модели используются в таких продуктах Microsoft, как Bing, Office, Dynamics и Azure Cognitive Services, чтобы совершенствовать, к примеру, взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и решение многих других задач на пользу сотен миллионов пользователей.

img

Архитектура модели DeBERTa

В отличие от других моделей DeBERTa учитывает не только значения слов, но и их позиции и роли. К примеру, в предложении «a new store opened beside the new mall» (англ. «новый магазин открылся рядом с торговым центром») она может понять, что близкие по контекстному значению «store» («магазин») и «mall» («торговый центр») играют разные синтаксические роли (подлежащим здесь является именно «store»). Она способна определять зависимость слов друг от друга. Например, DeBERTa понимает, что зависимость между словами «deep» и «learning» гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.

Несмотря на то что модель DeBERTa превзошла человеческие показатели в тесте SuperGLUE, это не означает, что ИИ-модель достигла уровня человека в понимании естественного языка. В отличие от машин, люди хорошо умеют использовать знания, ранее полученные при выполнении различных задач, для решения новых, это называется композиционным обобщением (англ. compositional generalization). Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык, полагают разработчики.

Microsoft Искусственный интеллект AI


Поделиться:

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Также по теме

Другие материалы рубрики

Мысли вслух

В статье из Harward Business Review авторы задались целью выявить поведенческие индикаторы того, что сотрудник собирается уйти.
А можно ли обойтись без этого гадания на ромашке "уйдет-не уйдет". Может, все проще?
Облачные технологии стали применять даже там, где раньше они не пользовались популярностью. Сравнительно недавними пользователями можно считать ретейлеров и сферу питания.
Даже если электронная запись не работает, всегда найдется возможность пройти вакцинацию.

Компании сообщают

Мероприятия

RuCode Festival
ОНЛАЙН
01.03.2021 — 25.04.2021
Форум промышленных инноваторов «Инновации и организационная трансформация в промышленных компаниях»
Площадка санатория «Юбилейный» ПАО «Магнитогорский металлургический комбинат»
Бесплатно
11.03.2021 — 12.03.2021