Новая модель Яндекса превзошла DeepSeek и Nemotron
Яндекс выложил в открытый доступ Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, полностью обученной с нуля. Разработку можно использовать в исследовательских и коммерческих проектах: она распространяется по свободной лицензии Apache 2.0.
По результатам тестирования модель показывает высокие результаты в программировании и задачах на рассуждение. На русском языке она также превосходит многие зарубежные аналоги, прежде всего там, где требуется знание фактов, актуальных для русскоязычной аудитории. Alice AI Foundation LLM обходит в том числе более крупные открытые модели, хотя для инференса ей требуется меньше вычислительных ресурсов.
Для Яндекса опубликованная модель носит экспериментальный характер. На ней компания проверяет архитектурные решения, которые планирует использовать при создании единой рассуждающей модели (ЕРМ). В дальнейшем ЕРМ должна стать основой агентных возможностей Алисы AI — с их помощью пользователи смогут поручать ассистенту выполнение конкретных действий.
В основе Alice AI Foundation LLM лежит архитектура MoE (Mixture of Experts). Модель насчитывает 80 млрд параметров, но одновременно использует только 3 млрд. Такая схема позволяет снизить вычислительную нагрузку и увеличить скорость работы.
При обучении в модель заложили способности, необходимые для рассуждений и работы в агентных сценариях. Их эффективность разработчики проверяли в том числе на сложных логических и программистских задачах. На олимпиадной математике Alice AI Foundation LLM решает подавляющее большинство заданий и делит лидерство с Qwen3.5-35B-A3B-Base. В тестах по написанию кода она опережает NVIDIA Nemotron-3-Super-120B-Base, хотя у модели NVIDIA число активных параметров в четыре раза выше.
Рассуждения и программирование рассматриваются как базовые навыки для AI-агентов. Они нужны системам, которые должны не ограничиваться генерацией ответа, а самостоятельно выполнять действия по поручению пользователя.
Отдельно разработчики оценивали способность модели работать с широким массивом фактических знаний. Здесь Alice AI Foundation LLM при меньшем размере и более низких требованиях к вычислениям опережает крупные открытые решения. В частности, она превосходит DeepSeek-V4-Flash-Base, которая содержит 284 млрд параметров и использует 13 млрд активных.
В тестах на знание фактов новая разработка достигает уровня предыдущей закрытой модели Яндекса Alice AI LLM. При этом у неё втрое меньше общее число параметров и в семь раз — количество активных.
Для проверки знаний, значимых для русскоязычной аудитории, Яндекс создал два собственных бенчмарка — WikiWebFacts и HardMultiQA. Компания объясняет их появление тем, что англоязычные тесты не позволяют объективно оценивать знания модели в русскоязычном контексте.
WikiWebFacts построен в формате пар «короткий вопрос — короткий ответ». С его помощью проверяется знание дат, определений, событий и персоналий. При составлении заданий использовались материалы онлайн-энциклопедий и частотные агрегированные поисковые запросы.
HardMultiQA ориентирован на более редкие области знаний и основан на анонимизированном потоке запросов к Алисе AI. Тематика заданий варьируется от медицины и права до IT и искусства. Формат при этом сложнее простого вопроса на воспроизведение одного факта. Модель может получить задание выбрать несколько правильных вариантов, назвать сразу несколько фактов, соответствующих заданному условию, или обнаружить фактическую ошибку в тексте.
Яндекс опубликовал оба набора одновременно с моделью. В открытый доступ также выложены эталонные ответы и полный протокол оценки. Разработчики и исследователи могут воспроизводить результаты тестирования и использовать одинаковую методику для сравнения разных моделей.
В процессе обучения разработчики изменили механизм работы оптимизатора, который управляет обновлением параметров модели. Передачу данных между видеокартами организовали параллельно с вычислениями. Раньше эти процессы требовали отдельных ресурсов времени; после изменения схемы шаги оптимизации удалось ускорить примерно вдвое.
Другой задачей стало сокращение затрат на подготовку обучающего корпуса. Чтобы отбирать качественные данные, документы необходимо было оценивать с помощью ресурсоёмкой модели. Обработка таким способом всего массива потребовала бы более 200 тыс. часов работы видеокарт.
Вместо проверки всего корпуса одной моделью Яндекс внедрил каскад классификаторов. Документы последовательно проходят несколько уровней отбора, причём более сложные и вычислительно дорогие модели подключаются уже к сокращённому массиву. По мере прохождения каждого этапа число документов уменьшается. В результате объём необходимых вычислений сократился в десятки раз, при этом система сохранила около 95% полезных материалов.
Одновременно разработчики расширили обучающие данные в отдельных предметных областях. База знаний модели была существенно дополнена материалами по праву, медицине и математике.
Alice AI Foundation LLM уже завершила основной этап обучения, на котором формируются базовая эрудиция, способности и потенциал модели. Опубликованную версию можно использовать как основу для собственных разработок.
