Доверие к ИИ начинается с контроля данных
Участники дискуссии на конгрессе «Подмосковные вечера» обсуждали, как безопасно внедрять И, не теряя при этом ни эффективности, ни контроля над критичными активами. В центре внимания оказались три вопроса: какие угрозы несет неконтролируемое внедрение ИИ, как компании выстраивают доверие к технологиям и можно ли рассматривать ИИ-агентов как следующий шаг развития корпоративных решений.
От аномалий в трафике до генеративных моделей
Разговор начался с того, в какой степени ИИ уже внедрен в организациях. Рустэм Хайретдинов («Гарда») напомнил, что нейросети, выявляющие аномалии в сетевом трафике, работают уже больше десяти лет. Но когда сегодня говорят об ИИ, чаще всего имеют в виду генеративные модели, и именно к ним в области информационной безопасности отношение крайне осторожное: «ИБ всегда была консервативной, и мы не исключение». Александр Пружинин («Лукойл») отметил, что в промышленности искусственный интеллект применяется давно, в том числе для видеоаналитики и процессов добычи нефти. Там бизнес-эффект очевиден, но генеративные технологии упираются в требования к ресурсам: для обучения таких моделей нужно на порядок больше мощностей, чем обычно используется в корпоративной ИТ-инфраструктуре. Александр Капустин (СО ЕЭС) подтвердил, что машинное обучение в их компании давно работает, а вот большие языковые модели пока проходят стадию изучения, и особое внимание уделяется рискам информационной безопасности. Даже простые сценарии вроде проведения видеоконференций требуют фильтрации — в ВКС не должно попадать ничего конфиденциального. Роман Попов (клуб 4CIO) подчеркнул, что энтузиастов ИИ становится все больше, но вместе с эффективностью они приносят и новые риски, поэтому компании вынуждены держать баланс между этими полюсами. Михаил Малышев, разработчик ИИ-ассистентов, предложил делить применение технологий на три роли: «атакующий», «защищающий» и «бэкофис». Последнее направление — автоматизация заявок, ответы на типовые вопросы и работа с базами знаний — выглядит наиболее безопасным. Но пытаться защитить весь периметр с помощью генеративной модели он назвал заведомо ошибочной стратегией.
Где проходит граница доверия
«Доверия ко всему, что находится вовне, нет вообще, — уверен Рустэм Хайретдинов, — Главная угроза исходит от энтузиастов внутри компании. Когда человек влюблен в технологию, он перестает думать о безопасности и может вынести наружу проект. Тогда безопасники хватаются за голову». Поэтому ничего не должно уходить за периметр, а работать можно только с доверенными моделями, созданными под контролем. В крупных компаниях решения принимают конкретные люди с полномочиями и ответственностью. ИИ может подготавливать материалы — проводить комплексную диагностику оборудования, собирать черновики протоколов или справок, — но окончательное слово остается за человеком. «ИИ хорошо справляется с подготовительной частью, но полномочия и ответственность за последствия остаются у нас», — считает Александр Пружинин. Таким образом, доверие формируется не к модели как к субъекту, а к процессу, где искусственный интеллект выполняет вспомогательную роль.
Союзник или угроза?
Задача ИИ-технологий — снижать неопределенность, но это возможно только если они объясняют каждый шаг. По словам Михаила Малышева, агент должен регулярно проходить тестирование на специально подобранных сценариях и показывать результат не ниже 98%, иначе доверие теряется. Есть и другой риск: сохранность информации внутри компании. Если в ИИ загружаются протоколы или документы, как гарантировать, что они останутся доступными только для своего подразделения и не окажутся видимыми другим?
Кроме того, присутствует и технический штрих: любая модель при обучении «сворачивает» пространство данных и формирует предопределенные наборы ответов. Это означает, что рано или поздно система может разойтись с политиками компании, если контроль не будет встроен в сам процесс эксплуатации. Так для малого и среднего бизнеса ограничением становится объем данных, их часто не хватает для качественного дообучения моделей. Рустэм Хайретдинов, в свою очередь, напомнил, что доверие даже к решениям, обученным на собственных данных, не всегда оправдано: «Лучшие практики» могут обернуться ошибкой. В качестве примера он привел антифрод-системы: банки охотнее пользуются моделями, обученными на массивных данных крупных игроков вроде Сбера, потому что именно там есть статистическая база для отработки ложных срабатываний. Но и это создает новые угрозы — вопрос в том, чьи данные и чьи приоритеты лежат в основе модели.
Можно взглянуть на проблему шире. По словам Александра Капустина, доверие возможно только при тотальном контроле структуры данных: необходимо следить, чтобы не происходило подмены, чтобы исключить отравление датасетов и чтобы все изменения фиксировались. Он напомнил, что тема безопасности ИИ уже вынесена на отдельные международные конференции, где работают консорциумы по четырем направлениям: разработка нормативных практик, методики тестирования, безопасная разработка и учет доверенных решений. Даже в национальных стратегиях упоминается необходимость таких механизмов, хотя чаще пока общими словами. Но ключевой вывод прост: никакая внешняя рамка не заменит внутреннего контроля. Компании должны сами выстраивать процессы, проверять модели на собственных сценариях и вкладывать ресурсы в управление данными, иначе доверие останется декларацией.
Таким образом искусственный интеллект способен быть и инструментом атаки, и инструментом защиты, и помощником в операционной деятельности. Но только строгая проверка, прозрачность алгоритмов и контроль за данными позволяют превратить его в союзника. Без этого «двойной агент» легко может перейти на другую сторону.
Теневой ИИ и новые барьеры
Одна из самых болезненных тем — «теневой ИИ», который сотрудники используют без санкции компании. Этот феномен оказался ближе, чем казалось: почти все участники признали, что сталкивались с ним лично.
«На корпоративный ноут я ничего не ставлю. Все, что нужно, перебрасываю на личный. И так делают многие. Важно не дойти до абсурда, когда чем больше безопасности, тем меньше безопасности», — признался Рустэм Хайретдинов. По его словам, чрезмерные запреты толкают сотрудников в личные почты и мессенджеры, которые невозможно контролировать. Фактически «теневой ИИ» уже существует, и им пользуются все, включая топ-менеджеров: «Как руководитель я за, как безопасник — против. Это шизофрения, с которой приходится жить. Ограничивать можно лишь самые вопиющие случаи, когда речь идет о выполнении требований регулятора или конкурентоспособности».
Александр Капустин дополнил, что если раньше основным объектом контроля были утечки, то теперь появляются новые риски, требующие других инструментов. Необходимы регулярные инструктажи и использование ИИ строго в рамках внутренних регламентов.
Роман Попов предложил трехуровневую модель защиты: административные меры, технические барьеры вроде прокси и файрволов, и главное — создание собственного корпоративного помощника, который будет удобнее, надежнее и, желательно, бесплатным. «Если хотим, чтобы сотрудники пользовались безопасными инструментами, нужно дать им свой сервис, привлекательнее внешнего. Только так мы сможем контролировать канал и при этом удовлетворить спрос», — отметил он.
В то же время, Роман остается и самым резким критиком ИИ. По его словам, генеративный ИИ в область кибербезопасности принес в основном минусы. Он ошибается, может отдать данные не тому, способен обмануть сотрудника и использоваться против самой компании: «Представьте: вы сделали ИИ-агента для навигации по правилам безопасности. Его тут же можно применить, чтобы понять, как эти правила обойти. Джин из бутылки вышел». Для злоумышленников это не проблема: их не смущает, что фишинговое письмо сгенерировано с ошибками и сработало лишь на сотню адресатов вместо тысячи — результат все равно есть. Для защитников же любая ошибка фатальна.
Эксперт напомнил и о дисбалансе ресурсов. У компаний-заказчиков нет возможностей инвестировать в модели так же, как это делают Google или Microsoft. Поэтому им остается строить собственные решения, зачастую уступающие по мощности. «Мы никогда не сможем обладать теми ресурсами, что есть у атакующих. Летом автоматический агент выиграл конкурс пентестов с огромным отрывом, обойдя лучших хакеров. Это значит, что нас будут ломать гораздо эффективнее», — сказал он. Но в этом есть и стимул. Средства защиты просто вынуждены будут стать лучше, иначе они не выживут.
В то же время, несмотря на угрозы, для тестирования ИИ уже приносит ощутимую пользу — многие рутинные действия выполняются быстрее и точнее.
Так «теневой ИИ» оказался зеркалом двойственности. Для бизнеса он дает скорость и удобство, для безопасников — новые дыры и угрозы. Проблема не столько в технологиях, сколько в том, кто и как ими пользуется, а ответ на этот вызов — в поиске баланса между запретами и созданием контролируемых, но удобных инструментов.
Назад в будущее
В завершение секции участников попросили спрогнозировать будущее ИИ в ближайшие годы. Роман Попов напомнил, что машинное обучение и смежные методы работают уже три десятилетия, и обсуждать «прорыв» здесь странно. Куда важнее нынешний всплеск вокруг генеративных моделей, который, по его словам, уже вступил в фазу отрезвления: «Ни одна из значимых инвестиций прошлого года себя не оправдала. Хайп сойдет на нет, и это станет просто еще одной технологией». Однако возможен и другой сценарий, при котором интерес к ИИ будет расти стремительно. В таком случае бизнес окажется перед новой угрозой: у компаний пока нет инструментов для защиты на уровне, сопоставимом с возможностями злоумышленников. «Поэтому появится новая отрасль — специализированные сервисы, которые станут прокси между корпоративным пользователем и внешними ИИ. Они будут обеспечивать защиту данных, фильтровать риски и работать по модели услуг безопасности для ИИ», — предположил он. И посоветовал аудитории не отмахиваться от темы, а хотя бы «примерять» технологии, чтобы понимать, какие вызовы они несут, и заранее готовить площадку для будущих решений.
Рустэм Хайретдинов добавил, что новые угрозы не отменяют старых. Он провел параллель с блокчейном: в теории описано множество изощренных атак на консенсус, но на практике почти все реальные инциденты сводились к банальному — взлому бирж и краже паролей. «Когда мы бежим за новыми угрозами, нельзя сбрасывать со счетов старые. Они никуда не делись», — подчеркнул он.
Опубликовано 22.09.2025
