GigaChat лучший?

06.02.2024
 GigaChat лучший?
Изображение: Shutterstock.ai

Нейросетевая модель обошла большинство разговорных сервисов, находящихся в открытом доступе.

Для замера были представлены две инструктивные модели Сбера — GigaChat PRO и GigaChat Lite+. Бенчмарк MERA представляет собой набор из 21 задачи в формате инструкций на различные области знаний, в которых проверялся широкий ряд навыков моделей: от знаний о мире до умения программировать на Python. По итогу теста GigaChat PRO набрал 51,3 балла из 100, обогнав ближайшую модель Mixtral 8x7B Instruct (47,8). В бенчмарк были включены задачи, сложные для языковых моделей, поэтому на текущий момент они уступают только человеку.

Система открытый оценки позволяет объективнее и более прозрачно оценивать способности моделей. Чем больше модель набирает баллов, тем точнее искусственный интеллект может решать множество интеллектуальных или бытовых задач: помогать писать статьи в нужном стиле и формате, искать информацию и подготавливать на её основе аналитику. А бизнес с его помощью может создавать собственные решения и оптимизировать внутренние процессы.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка:

«В условиях, когда большие языковые модели активно развиваются, важно иметь актуальное представление об их реальных способностях. Благодаря оценке пользователи могут понять, как применять GigaChat, а исследователи — получить объективную информацию для дальнейшего обучения, адаптации и развития больших языковых моделей. Это не только признание работы нашей команды, но и задел совершенствовать сервис, чтобы он становился еще более полезным и удобным как обычным пользователям, так и бизнесу».

Концепция бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures) была анонсирована на международной конференции AI Journey 2023. В создании тестов участвовали ряд компании-участников Альянса, а также академические партнеры Skoltech AI и НИУ ВШЭ. MERA воплотила в себе концепцию единого независимого лидерборда с фиксированными задачами и стандартизированными конфигурациями промптов и параметров. Бенчмарк позволяет оценивать предобученные модели (формат претрейнов), а также модели дополнительно дообученные на инструкционных данных (SFT формат).

Недавно система искусственного интеллекта от Сбера получила мощное обновление. Модели стали лучше отвечать на экономические, медицинские и правовые вопросы. Появилось больше экспертности и точности в сложных терминах, что видно в соответствующих датасетах на MERA.

Читайте также
Цифровизация. Как избежать катастрофы
Процесс цифровой трансформации часто сталкивается не только с техническими сложностями, но и с сопротивлением внутри самих организаций. Многие воспринимают цифровизацию как удобный инструмент для автоматизации процессов, но на деле она представляет собой фундаментальное изменение структуры управления, перераспределение ресурсов и разрушение привычных бюрократических механизмов.
Как убедился IT-World, цифровая трансформация неизбежно затрагивает интересы различных участников бизнеса: от рядовых сотрудников до топ-менеджеров. Те, кто привык работать в условиях «ручного контроля» и неформальных договоренностей, видят в прозрачности процессов угрозу своему положению. Сопротивление этим изменениям принимает разные формы — от бюрократического саботажа до попыток дискредитировать саму идею цифровизации.

Похожие статьи