Компании передают ИИ все больше задач, не успевая оценивать угрозы

По данным исследования AppSec Solutions и АРПП «Отечественный софт», искусственный интеллект стал стандартным инструментом для российских разработчиков ПО, однако инфраструктура его безопасности развивается заметно медленнее. В опросе участвовали более 50 компаний-членов ассоциации, все они сообщили об использовании ИИ в бизнес-процессах. Чаще всего компании обращаются к LLM — их применяют 81% респондентов. ИИ-ассистенты для программирования используют 72%, локальные языковые модели — 61%, RAG-системы — 57%, ML-модели — 44%.

Базовые системы контроля безопасности ИИ внедрены только у 23% компаний, располагающих собственной разработкой.

Исполнительный директор АРПП «Отечественный софт» Ренат Лашин связывает этот разрыв с тем, что компании быстрее осваивают новые инструменты, чем формируют процессы их защиты. По данным исследования, 69% участников не фиксировали атак, однако при этом не проводили оценку соответствующих угроз. По его словам, сложившаяся ситуация требует более системного подхода со стороны рынка. В качестве ориентиров для организаций уже могут использоваться приказ ФСТЭК № 117 и методика 2026 года. 

Отдельный блок рисков связан с использованием внешних сервисов сотрудниками. Все участники исследования подтвердили, что персонал обращается к сторонним ИИ-решениям, прежде всего к LLM в формате чатов. В 59% компаний такое использование носит ограниченный характер, в 41% — массовый. Во многих случаях речь идет о так называемом теневом ИИ: сотрудники работают с внешними моделями без единого корпоративного контроля. Это создает риск передачи чувствительной информации за пределы организации, включая внутренние документы и другие закрытые данные.

Генеральный директор AppSec Solutions Юрий Сергеев считает, что для компаний, связанных с разработкой, отказ от ИИ уже фактически невозможен. Модели используются при написании кода, автоматизации операций и работе с корпоративной информацией. Подтвержденные атаки зафиксировали 4% участников исследования. Однако эта цифра сама по себе не отражает фактический масштаб угроз: более 90% компаний вообще не проводили их оценку и поэтому не располагают инструментами для определения потенциальных ИИ-атак. Он связывает это не с недооценкой проблемы, а с нехваткой компетенций и выстроенных процессов. В результате компании фактически принимают риск, который пока не способны ни полноценно измерить, ни системно контролировать.

Дополнительную нагрузку на системы безопасности создает распространение ИИ-агентов. Их уже интегрировали в корпоративный контур 72% респондентов, передав алгоритмам часть функций, ранее выполнявшихся сотрудниками. Среди основных угроз участники исследования называют утечки конфиденциальной информации, промпт-инъекции, компрометацию данных через RAG-системы, обход встроенных ограничений и атаки на цепочки поставок ML.

Директор по безопасности ИИ AppSec Solutions Юрий Шабалин обращает внимание на особенность таких атак: многие из них не проявляются в традиционной телеметрии и внешне могут выглядеть как обычное взаимодействие с системой. Модель получает формально корректный запрос и выдает допустимый с технической точки зрения ответ, хотя само взаимодействие может быть частью атаки. По его словам, без специализированной оценки угроз и фильтрации запросов на уровне защитного шлюза компания не может надежно отделить нормальную работу модели от вредоносного воздействия. Поэтому отсутствие зарегистрированных инцидентов не всегда означает отсутствие атак. В этих условиях организациям необходимы как инструменты фильтрации потенциально опасных запросов, так и единая система управления ИИ-рисками. Актуальность такого подхода повышается из-за того, что сотрудники всех компаний из выборки уже используют внешние сервисы. Если полностью исключить эту практику невозможно, ключевым становится контроль каналов передачи данных.

Наиболее уязвимым сегментом исследование называет средние ИТ-компании со штатом от 100 до 500 человек. Именно здесь одновременно высоки темпы внедрения ИИ и зависимость от решений, принимаемых без формализованных процедур.

Проблема усугубляется дефицитом компетенций. Среди организаций, которые назвали нехватку экспертизы главным препятствием для безопасного использования ИИ, 82% не имеют специальных программ обучения сотрудников. Старший управляющий директор Swordfish Security Антон Башарин считает, что отсутствие знаний мешает компаниям адекватно оценивать уровень угроз. Систематизировать риски помогают экспертные рабочие группы при Минцифры, Правительстве и отраслевом консорциуме. Такая работа позволяет разделять сценарии применения ИИ по уровню риска и определять, где требуются усиленные меры защиты, а где угрозы ограничены. Это дает компаниям возможность внедрять ИИ безопаснее даже при недостатке собственной экспертизы.