«Побег» ИИ-агентов из песочницы и атака на реальные системы

Об этом заявил генеральный директор компании Дэн Лахав (Dan Lahav). По его словам, средства защиты, которые должны были действовать во время тестирования моделей, оказались настроены неправильно: «произошло недоразумение из-за ошибки — изоляционные барьеры не были установлены так, как предполагалось для конкретных тестов». Причиной стала именно проблема конфигурации испытаний, а не то, что модели сумели обойти защитные механизмы.

Anthropic, OpenAI, Meta (признана экстремистской и запрещена в РФ) и Google за последние полгода раскрыли инциденты со взломом, связанные с тестированием безопасности их моделей под надзором Irregular. Оценка ИИ-моделей призвана помочь разработчикам выявлять риски и создавать защитные ограничения до публичного релиза. Однако из-за ошибок Irregular модели смогли вырваться из имитированных изолированных сред тестирования, известных как «песочницы», и получить доступ к Интернету. В некоторых случаях модели совершали потенциально противоправные действия, взламывая внешние сайты и другие компьютерные системы.

Дэн Лахав в августе опубликовал блог, в котором назвал «насущными вопросами о том, куда движется безопасность ИИ». Компания Irregular привлекла $80 млн в раунде финансирования под руководством Sequoia Capital и Redpoint Ventures. В то время Sequoia отмечала в блоге, что модель работы Irregular, предполагающая встраивание специалистов внутрь передовых ИИ-лабораторий для тестирования их моделей, дает фирме «беспрецедентный доступ», ставя ее «в эпицентр дискуссии об ответственном развертывании этих технологий».

Лахав и ряд других лидеров в сфере безопасности ИИ, включая Институт безопасности ИИ Великобритании, утверждают, что лучший способ проверять хакерские возможности некоторых моделей — это давать им контролируемый доступ к реалистичным онлайн-средам, включая Интернет. Глава Irregular также отверг опасения о катастрофической угрозе человечеству со стороны ИИ.

Инцидент с Irregular Security, вероятно, окажет многоуровневое влияние на ИТ-рынок. В краткосрочной перспективе он вызовет рост спроса на услуги и продукты в сфере безопасности ИИ, в среднесрочной — усилит проверку и перестройку цепочек поставок «тестирование безопасности моделей», в долгосрочной — ускорит институционализацию и коммерциализацию индустрии безопасности ИИ. При этом сам инцидент, по сути, не свидетельствует о том, что возможности моделей вышли из-под контроля.

Сам инцидент является наглядным «образовательным материалом» для рынка. Когда предприятия и регуляторы видят, что даже профессиональные оценочные организации могут допустить «побег» ИИ-агентов из песочницы и атаку на реальные системы, готовность платить за безопасность ИИ резко возрастает.

IDC прогнозирует, что среднегодовой темп роста китайского рынка безопасности ИИ в ближайшие пять лет составит около 50,5%, что значительно выше показателя традиционного рынка кибербезопасности в 8,9% за тот же период. Gartner также ожидает, что глобальный рынок «защиты ИИ» (Securing AI) вырастет с $2,835 млрд в 2026 году до $4,783 млрд в 2027 году, с годовым темпом роста 68,7%. Инцидент с Irregular, как реальный кейс «безопасность тестирования небезопасна», будет способствовать трансформации корпоративных бюджетов от «наблюдения» к «закупкам».

Инцидент изменил логику Due Diligence при выборе поставщиков ИИ предприятиями. В прошлом предприятия могли полагаться на заверения лабораторий моделей о «безопасности» или на репутацию сторонних оценочных организаций. Теперь вопрос, который задают директора по информационной безопасности (CISO): «Как изолирована среда тестирования вашей red team от продакшн-сети? Можно ли это проверить?»

Аналитики Aragon Research отмечают, что это заставит разработчиков базовых моделей отказаться от подхода «полного аутсорсинга платформ тестирования» в пользу гибридной архитектуры с мониторингом сетевого трафика на стороне клиента; независимые оценочные организации, такие как Irregular, должны будут предложить криптографически проверяемую изоляцию, контролируемую клиентом, иначе они потеряют долю рынка в пользу облачных провайдеров, способных обеспечить изоляцию на аппаратном уровне.

Самой глубокой проблемой, которую обнажил инцидент, является концентрация цепочки поставок. OpenAI, Anthropic, Meta и Google — конкуренты, но все они использовали одного и того же стороннего оценщика — Irregular, и все пострадали от одной и той же ошибки конфигурации. Это показывает, что индустрия тестирования безопасности ИИ высококонцентрирована и недостаточно прозрачна.

Инцидент предоставил регуляторам конкретный пример для размышлений. Институт безопасности ИИ Великобритании (UK AISI) и Центр безопасности ИИ США (CAISI) уже проводят собственное тестирование моделей, а провал частного оценщика показывает, что объектом надзора могут стать не только модели, но и сами оценочные организации.

Для ИТ-рынка этот инцидент превращает «безопасность ИИ» из концепции в реальный бюджетный вопрос, одновременно заставляя предприятия при выборе ИИ-решений уделять больше внимания проверяемому контролю, а не обещаниям.