Российский бизнес берет ИИ-агентов под контроль

По мере совершенствования больших языковых моделей приоритеты ИИ-разработчиков меняются: на первый план выходит создание программного контура, который определяет порядок работы ИИ-моделей и обеспечивает управление их возможностями. В отрасли такой инфраструктурный слой принято называть harness — «обвязкой» ИИ-модели. Собственные технологии этого типа разрабатывают все крупнейшие российские технологические компании.

В Яндексе рассматривают развитие подобных технологий как одно из основных направлений следующей стадии эволюции ИИ-агентов. Компания создает собственные технологии интеллектуальной маршрутизации, которые определяют наиболее подходящий инструмент для обработки конкретного запроса. Параллельно ведется разработка собственных harness-решений, предназначенных как для пользовательских, так и для корпоративных продуктов. В «Яндексе» также сообщили, что развитие harness-инфраструктуры напрямую связано с появлением моделей нового типа: теперь они способны не ограничиваться генерацией ответов, а выполнять реальные действия, используя различные внешние инструменты. Такой инфраструктурный слой позволяет превратить возможности модели в надежно работающий сервис. Для этого ИИ связывается с локальными данными, поиском и другими продуктами, а его работа сопровождается механизмами контроля качества и безопасности.

Собственную разработку в этой сфере ведет и MWS AI, входящая в «МТС Web Services». Решение должно обеспечить переключение между различными моделями без изменения логики работы агента, дать возможность контролировать потребление вычислительных ресурсов и отслеживать каждое действие системы. Одна и та же языковая модель способна демонстрировать существенно различающиеся результаты в зависимости от качества инфраструктуры, в которой она работает. В MWS AI при этом считают более корректным говорить не об отдельном защитном агенте, а о программном контуре, превращающем языковую модель в полноценный рабочий инструмент. Именно он устанавливает, к каким данным получает доступ ИИ, какие инструменты ему разрешено использовать, каким образом должны выполняться многоэтапные задачи и в каких ситуациях необходимо подтверждение со стороны человека.

Собственную инфраструктуру этого класса развивает и «Сбер». Компания представила комплекс технологий для управления LLM и ИИ-агентами. Решения интегрированы как в продукты для массовой аудитории — GigaАгент и GigaCode, — так и в корпоративный GigaCowork. Инфраструктура позволяет организовывать ИИ-процессы с контролем используемых данных и получаемых результатов. Можно говорить о возникновении самостоятельного и быстрорастущего рынка технологий контроля и сдерживания ИИ-агентов, считают в «Сбере». В компании используют гибридную архитектуру: внутреннее инфраструктурное решение с нейросетями дополняется возможностью обращаться к внешним моделям через барьер LLM.

Сходную модель применяет ИТ-холдинг Т1. За последний год количество обращений бизнеса по поводу механизмов контроля ИИ-агентов увеличилось примерно в 3 раза. Если прежде компании прежде всего стремились как можно быстрее запустить ИИ-ассистента, то сейчас требования к безопасности все чаще становятся частью архитектуры еще на стадии проектирования. 80% подобных запросов касаются ограничения доступа к корпоративной информации, обязательной проверки человеком критически важных решений и предотвращения утечек данных. Наиболее высокий спрос на такие технологии наблюдается со стороны банков, промышленных компаний, государственных структур и предприятий розничной торговли.

Эксперты сходятся во мнении, что по мере роста автономности ИИ-агентов контроль должен становиться отдельным уровнем их архитектуры. Поскольку языковые модели не всегда способны разграничивать данные и команды, внешняя инфраструктура должна управлять доступом к информации, отслеживать запросы и действия агентов, блокировать потенциально опасные операции и предусматривать участие человека при принятии критических решений.

Спрос на такие решения будет увеличиваться по мере перехода бизнеса от экспериментов с ИИ к его промышленной эксплуатации. Развитие рынка связано не только с защитой данных, но и с созданием harness-инфраструктуры, обеспечивающей работу моделей с памятью, контекстом и внешними инструментами. При этом значительная часть доходов в этом сегменте, как ожидается, будет приходиться не на продажу отдельных программных продуктов, а на их внедрение, интеграцию и сопровождение.

По экспертным оценкам, к концу 2026 года российский сегмент платных платформ и услуг для защиты ИИ может приблизиться к 1 млрд рублей. К концу 2029 года его объем способен достичь около 5 млрд рублей при диапазоне оценки от 3 млрд до 8 млрд рублей и ориентировочных темпах роста порядка 70% в год. Другие оценки допускают уже в текущем году объем рынка до 1–2 млрд рублей только за счет продаж продуктов и до 4 млрд рублей с учетом услуг.

В России этот рынок пока находится на стадии формирования, а сравнительно небольшое число крупных инцидентов отчасти объясняется более ограниченной автономностью отечественных ИИ-агентов. Одновременно риски передачи конфиденциальной информации уже учитываются действующими требованиями ИБ, а для больших фундаментальных моделей формируется отдельный регуляторный контур.