Генеративный ИИ от МТС занял 1 первое место в рейтинге больших языковых моделей в лидерборде MERA
12.04.2024
Изображение: Shutterstock.ai
Генеративная модель Сotype (ex. MTS AI Chat) заняла первое место в рейтинге больших языковых моделей в лидерборде бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures).
Всего в рейтинг вошли 30 языковых моделей, которые оценивались по 17 параметрам.
Показатель BPS у модели Сotype (ex.MTS AI Chat) составил с 0.23, PARus – достиг 0.884, а по задачам из «Что? Где? Когда?» (параметр CheGeKa) она продемонстрировала результат 0.05/0.022. Это означает, что Сotype (ex.MTS AI Chat) обладает наиболее полными знаниями о мире, развитыми логическими способностями и навыками причинно-следственного рассуждения и здравого смысла.
Основное назначение модели – работа с корпоративной информацией для решения бизнес-задач.
Отметим, что Сotype (ex.MTS AI Chat) создали менее чем за год, однако она смогла обойти более «взрослых» участников, например GigaChat Pro.