ИИ-агенты больше не слушаются

Незаконное поведение ИИ вызывает все большее беспокойство у разработчиков передовых моделей. К примеру, летом текущего года эксперты OpenAI сообщили о первой кибератаке с использованием автономных агентов. Еще во время обучения порядка 1200 автономных агентов научились «общаться» друг с другом, координировать свои действия, создали собственный канал связи и использовали форумы, чтобы взломать Hugging Face и выйти из «песочницы» в интернет.

По сообщению xakep.ru, агенты, среди которых были GPT-5.6 Sol и более мощная экспериментальная ИИ-модель, нашли несколько 0-day-уязвимостей в JFrog Artifactory, выбрались из песочницы и получили доступ в интернет. Так как агенты посчитали, что на Hugging Face можно найти ответы или другие полезные данные для ExploitGym, они атаковали платформу и получили доступ к ее внутренней инфраструктуре. Атака на Hugging Face началась 9 июля и длилась до 13 июля, во взломе принимали участие около 700 ИИ-агентов.

К слову, случаи несанкционированного доступа ИИ-агентов в интернет сотрудники компании фиксировали еще за неделю до этого громкого инцидента, но решили, что останавливать тестирование и проверять возможности модели не стоит. А первые попытки общения ИИ-агентов через Artifactory начались еще в середине мая. Один из агентов оставил сообщение с просьбой поделиться нужным файлом, другие модели заметили его и начали отвечать. Так постепенно у агентов появился собственный «форум», не предусмотренный разработчиками, со сложной системой общения. Сообщения адресовались конкретным ИИ-агентам, а задачи четко распределялись между участниками группы.

Инцидент был настолько серьезным, что OpenAI приостановила часть исследований и сделала акцент на укреплении систем безопасности. Было отложено тестирование новой модели Astra. По мнению топ-менеджмента OpenAI, наличие у нее «критических кибервозможностей» для совершения атак на военные или промышленные системы компании, что приведет к катастрофическим последствиям, не исключается.

Президент OpenAI Грег Брокман признал, что компания недооценила реальные возможности своих ИИ-моделей. Власти штата Алабама начали расследование. Национальный центр кибербезопасности Великобритании (The National Cyber Security Centre) рекомендовал быть очень осторожными при использовании агентов ИИ, и всегда иметь возможность немедленно остановить работу автономного ИИ-агента.

Практически в это же время Институт безопасности искусственного интеллекта правительства Великобритании (AI Security Institute - AISI) обнаружил еще один серьёзный инцидент выхода ИИ-агентов из-под контроля. Флагманские ИИ-модели Claude Mythos 5 компании Anthropic и GPT-5.6 Sol компании OpenAI во время тестирования кибербезопасности должны были взламывать изолированные корпоративные сети. Однако им удалось «сбежать» из «песочницы», и в 10 из 122 запусков они совершили 19 несанкционированных действий в открытом интернете. Аналитики не могут с точностью утверждать, понимал ли модели, что атакуют реальных людей.

«Существует мнение, что подобные несогласованные и скрытые поступки встречаются только в тестах или оценках, но мы наблюдаем такие тревожные проявления в более широком применении. Нам не нужно быть самодовольными, думая, что в реальном мире такого не случится. Есть доказательства, что это уже происходит», — говорит Томми Шаффер-Шейн (Tommy Shaffer Shane), старший менеджер по политике в Центре долгосрочной устойчивости (Centre for Long‑Term Resilience) и руководитель Loss of Control Observatory.

Anthropic отмечена и еще в одном инциденте, который в августе случился в Австралии. ИИ-ассистент OpenClaw, использовавший модель Claude компании Anthropic, обнаружив недостатки в программном интерфейсе системы бронирования, отменил запись одного из посетителей спортзала и продвинул в графике занятий своего владельца. При этом никаких указаний для таких действий он не получал.

Большинство реальных случаев потери контроля над ИИ-агентами, сообщает Loss of Control Observatory, не нанесли значительного вреда. Но потери могут быть недооценены, поскольку Loss of Control Observatory собирает информацию преимущественно из публичных сообщений на платформе X (ранее Twitter), а компании-разработчики не всегда отслеживают происходящее или не сообщают об этом публично. Кроме того, уверенность в контроле ИИ-агентов также становится весьма шаткой. Все эти инциденты говорят о растущей серьезности происходящего – о готовности искусственного интеллекта игнорировать инструкции, обходить меры предосторожности, лгать владельцам и фокусироваться на преследовании выбранной цели, используя зловредные методы и пути.

Исследователи из Centre for Long-Term Resilience и Loss of Control Observatory призывают правительство обязать компании, ведущие разработки в сфере ИИ, отслеживать и сообщать о серьезных инцидентах потери контроля, а также ввести чрезвычайные полномочия для управления такими инцидентами, включая временное ограничение услуг ИИ.

Чем ответят власти? IT-World будет следить за развитием событий.