Что надо знать перед внедрением ИИ?
Сейчас компании внедряют искусственный интеллект с той же скоростью, с какой несколько лет назад запускали цифровую трансформацию. При этом большинство обсуждений сосредоточено вокруг эффективности, все хотят знать, сколько сотрудников можно разгрузить, какие процессы ускорить и какие расходы сократить.
Но чем интенсивнее идет внедрение ИИ, тем чаще появляются новые сценарии инцидентов. Причем проблема заключается не только в самой технологии. Главный риск возникает тогда, когда компания воспринимает искусственный интеллект либо как обычную информационную систему, либо как некий «магический черный ящик», который способен самостоятельно решить накопившиеся организационные проблемы.
ИИ не требует полностью изобретать безопасность заново. Управление доступом, защита данных, журналирование, управление изменениями, контроль поставщиков и реагирование на инциденты остаются теми же. Однако к ним добавляется недетерминированность результата, так как один и тот же запрос не всегда приводит к одному и тому же ответу, а качество работы системы зависит от контекста, данных и подключенных инструментов. Поэтому, перед запуском ИИ бизнесу необходимо ответить на ряд вопросов о данных, процессах, ответственности и контроле человека. Иначе технология может не снизить риски компании, а, наоборот, многократно их повысить.
Почему ошибки ИИ могут масштабироваться быстрее
Ущерб от внедрения ИИ — это не только финансовые потери. Многие последствия работы генеративных моделей имеют накопительный эффект и не всегда измеряются в деньгах.
Например, при планировании кибератак свою роль играют автоматизация, готовые инструменты и использование легитимных учетных данных, но и использование искусственного интеллекта играет далеко не последнюю роль.Показателен так называемый breakout time — время от первоначального проникновения до начала перемещения атакующего на другие системы. По данным CrowdStrike, в 2025 году его среднее значение для киберпреступных атак составляло 29 минут, а минимальное — 27 секунд. Это не означает, что сеть можно полностью взломать за несколько секунд, но показывает, насколько небольшим может быть окно для обнаружения и реакции.
Скорость — лишь часть проблемы. ИИ меняет существующие процессы. Появляются новые сценарии принятия решений, новые точки доступа к данным, новые способы взаимодействия сотрудников с корпоративными системами. В результате управляемость процессов может снижаться так быстро, что компания не успевает это вовремя заметить.
Есть и еще одна особенность — высокая динамика развития самой технологии. Классическое программное обеспечение также может работать с ошибками и приводить к непредусмотренным последствиям. Однако заложенная в него бизнес-логика, как правило, более детерминирована, и одинаковые входные данные чаще приводят к воспроизводимому результату.
С ИИ все иначе. Возможности модели определяются не только ее архитектурой, но и окружением, доступными инструментами, подключенными источниками данных и сценариями использования. Сама модель не меняет поведение произвольно, но наблюдаемый результат может существенно измениться после обновления модели, системного промпта, базы знаний, настроек или набора доступных инструментов.
Поэтому последствия могут быть как краткосрочными, так и долгосрочными, начиная от единичной ошибки до постепенного искажения отчетности, накопления неверных данных или принятия неправильных управленческих решений.
Внедрение ИИ не заканчивается запуском
Многие компании до сих пор воспринимают внедрение ИИ как обычный проект, когда есть старт, есть этап реализации и момент завершения. Но это не так. ИИ-система после запуска становится частью операционного процесса и требует управления на всем жизненном цикле. Она продолжает меняться вместе с данными, сценариями использования, внешней средой и бизнес-потребностями.
Поэтому одна из главных задач руководителей и подразделений, отвечающих за управление рисками, — не столько контролировать сам факт внедрения технологии, сколько определять границы ее применения. Необходимо понимать, где заканчивается экспериментальная зона и начинаются процессы, которые напрямую влияют на бизнес-результат. Именно эти границы позволяют сохранять контроль даже в условиях высокой скорости изменений.
Первый вопрос для CEO: вы действительно не используете ИИ?
Распространенная управленческая ошибка — считать, что отказ от внедрения ИИ автоматически устраняет связанные с ним риски. Однако проблемой может стать Shadow AI — использование сотрудниками инструментов искусственного интеллекта в обход корпоративных правил и процедур.
Если компания официально запрещает ИИ, сотрудники нередко продолжают пользоваться публичными сервисами самостоятельно. Просто делают это без контроля со стороны организации. На бумаге может показаться, что риск устранен. В реальности он лишь перемещается в серую зону, где бизнес уже не контролирует ни данные, ни инструменты, ни сценарии использования.
Поэтому стратегия полного запрета для большинства компаний сама по себе недостаточна. Ограничения могут быть необходимы для отдельных данных и процессов, но запрет должен сопровождаться понятной разрешенной альтернативой. Иначе использование ИИ не прекращается, а становится невидимым.
Почему опасно внедрять ИИ без рамок
Новая технология воспринимается как универсальное решение, способное устранить любые накопившиеся проблемы. В результате компания начинает внедрять ИИ без четкого понимания того, где заканчиваются его полномочия и где начинаются ограничения, а такой подход быстро приводит к потере управляемости. Если заранее не определить контур работы системы, невозможно обеспечить соблюдение требований безопасности. Неясно, какие данные можно использовать, какие действия разрешены, кто несет ответственность за результат и каким образом контролируется работа системы. В итоге растет вероятность ошибок, а вместе с ней и потенциальный ущерб.
Три зоны контроля
Перед внедрением искусственного интеллекта компания должна определить три ключевые зоны контроля: данные, наблюдаемость и автономность.
Это не замена базовым практикам информационной безопасности. Внутри каждой зоны по-прежнему необходимы управление доступом, разделение полномочий, безопасная разработка, управление изменениями, контроль поставщиков и готовность к инцидентам. ИИ лишь накладывает на эти практики дополнительную неопределенность результата.
Данные. Первый блок вопросов касается информации, с которой будет работать ИИ.
Руководству необходимо понимать:
● Какие данные попадают в систему?
● Кто является владельцем этих данных?
● На каких условиях они используются и обрабатываются?
● Кто отвечает за качество информации?
● Можно ли использовать эти данные в ИИ-сценариях с точки зрения законодательства и внутренних требований?
● Какие данные действительно необходимы системе, а какие передаются ей просто потому, что технически это возможно?
● Какие права доступа получает ИИ и совпадают ли они с полномочиями пользователя, от имени которого он работает?
Плохая идея — пытаться переложить на искусственный интеллект проблемы, которые уже существуют в данных. Если контур данных не приведен в порядок до внедрения, ИИ лишь масштабирует существующие ошибки.
Наблюдаемость. Компания должна иметь возможность понять, что именно происходит внутри процесса.
● Что логируется?
● Можно ли восстановить цепочку событий?
● Какие данные использовал ИИ?
● Какой ответ или действие он сформировал?
● Как определить, что система начала работать хуже?
● Как защищаются сами журналы, если в них попадают запросы пользователей, ответы модели или конфиденциальные данные?
● Можно ли связать действие ИИ с конкретным пользователем, версией модели, системным промптом и набором доступных инструментов?
Без наблюдаемости организация теряет возможность расследовать инциденты и понимать причины ошибок. Недостаточно записать финальный ответ модели: для критичных сценариев необходимо сохранять контекст, позволяющий воспроизвести ход процесса и определить, почему было принято конкретное решение.
Автономность. Третий блок связан с полномочиями искусственного интеллекта.
Необходимо ответить на вопросы:
● Какие действия система может выполнять самостоятельно?
● Где обязательно участие человека?
● Какие операции запрещены?
● Кто может остановить работу системы?
● Какие учетные данные и привилегии получает система?
● Можно ли отменить или безопасно откатить выполненное ею действие?
● Может ли ИИ выйти за пределы конкретного процесса — например, получить доступ к другим системам или самостоятельно расширить цепочку действий?
Именно здесь закладываются реальные границы применения технологии.
Где в процессе присутствие человека обязательно?
В любой ИИ-системе необходимо заранее определить роль человека. Одно дело, если модель готовит черновик ответа на письмо. И совсем другое — если она самостоятельно принимает решение, отправляет сообщение клиенту или выполняет действие от имени компании.
Между этими сценариями лежит огромная разница в уровне риска. Поэтому еще на этапе проектирования необходимо определить точки, в которых обязательно участие человека. Этот подход называют Human in the Loop.
При этом участие человека не должно быть формальным. Если сотрудник автоматически подтверждает сотни рекомендаций модели, реального контроля уже нет. Для разных уровней риска может потребоваться либо предварительное одобрение каждого действия, либо постоянное наблюдение с возможностью вмешательства.
Кроме того, у компании должен существовать механизм экстренной остановки системы — своеобразный Kill Switch. Если ИИ начинает действовать некорректно, организация должна иметь возможность быстро отключить автоматические действия и вернуть процесс под ручное управление.
Однако одного «рубильника» недостаточно. Механизм остановки необходимо регулярно проверять, а ответственные сотрудники должны понимать, кто и при каких условиях имеет право его применить, что произойдет с уже запущенными операциями и как будет восстановлен процесс.
Сначала процесс, потом ИИ
Главная ошибка при внедрении искусственного интеллекта заключается в попытке использовать его как средство решения уже существующих организационных проблем.
Если процесс не описан, не имеет владельца и понятных критериев качества, ИИ его не исправит. Скорее, он сделает проблемы менее заметными и позволит масштабировать их быстрее.
До запуска технологии компания должна ответить на несколько базовых вопросов:
● Кто владелец процесса?
● Как распределены роли и ответственность?
● Какие данные являются входными и выходными?
● По каким критериям оценивается качество результата?
● Какие существуют контрольные точки?
● Как процесс должен работать при недоступности ИИ или недоверии к его результатам?
Последний пункт особенно важен. Для критичных процессов должен существовать резервный или деградированный сценарий работы. Это не обязательно полностью ручное выполнение всех операций: в некоторых случаях оно слишком дорого, медленно или вообще невозможно. Но компания должна заранее определить, какие функции сохраняются, какие действия останавливаются и как происходит восстановление.
Поэтому наиболее безопасный подход к внедрению ИИ выглядит достаточно просто. Сначала компания описывает процесс, делает его понятным и управляемым, определяет ответственность и контрольные точки. И только после этого использует искусственный интеллект как помощника и инструмент ускорения, а не как замену владельцу процесса или ответственному за результат человеку. Именно в такой последовательности ИИ становится источником эффективности, а не новых рисков.
Опубликовано 31.08.2026
