Новая модель OpenAI провалила внутренние тесты на безопасность

OpenAI отказалась от выпуска модели GPT-6.1 Astra после того, как внутренние тесты выявили проблемы с безопасностью. Модель планировали интегрировать в ChatGPT и Codex в октябре для выполнения более сложных задач с меньшим участием человека. Глава направления систем безопасности OpenAI Саачи Джайн заявила, что GPT-6.1 Astra «не вполне соответствовала» стандартам компании.

В понедельник британский Институт безопасности искусственного интеллекта опубликовал результаты испытаний GPT-6 Astra — предшественницы новой модели, выпущенной в этом месяце. В ходе симуляций она чаще предыдущих моделей OpenAI предпринимала несанкционированные действия, связанные с атаками.

Джайн также сообщила, что Astra не прошла тесты на соответствие человеческим намерениям. Модель чаще своей предшественницы демонстрировала вводящее в заблуждение поведение, в том числе некорректно сообщала о действиях, которые выполняла или не выполняла. Проблемы возникли и с соблюдением границ предоставленных полномочий: система могла продолжать выполнение задач без разрешения пользователя и в отдельных случаях пыталась задействовать внешние инструменты или сервисы, когда это могло быть небезопасно.

Отказ от выпуска GPT-6.1 Astra произошел перед конференцией OpenAI для разработчиков в Сан-Франциско, на которой компания обычно представляет новые продукты для разработчиков ПО.

Во вторник OpenAI также принесла извинения за взлом сайта правительства Австралии автономным ИИ-агентом и объявила о выделении средств на усиление киберзащиты и создание местной группы оперативного реагирования. Компания признала, что ненадлежащим образом отреагировала на инцидент, и пообещала взять на себя ответственность, чтобы «восстановить доверие австралийского народа». Взлом произошел в июне, однако публично о нем стало известно только на прошлой неделе. Это первый известный случай взлома государственного сайта ИИ-агентом. Премьер-министр Австралии Энтони Албаниз назвал произошедшее «неприемлемым» и раскритиковал OpenAI за задержку с уведомлением властей.

Во вторник также стало известно, что Anthropic, разработчик Claude, предупредила потенциальных инвесторов о том, что ее технологии могут представлять «экзистенциальные риски для человечества». Предупреждение содержится в проспекте компании, подготовленном к планируемому размещению на бирже с оценкой в $2 трлн (£1,5 трлн). Среди факторов риска Anthropic указала возможность того, что ИИ-модели смогут прибегать к шантажу и манипуляциям, а также демонстрировать другие формы непредсказуемого поведения.