Искусственный интеллект берет инициативу на себя

Именно это случилось с австралийцем Эндрю Бердом. Он поручил ИИ-агенту OpenClaw помочь с записью в спортзал и оказался четвертым в листе ожидания. Агент изучил систему бронирования и обнаружил, что через API можно отменять чужие записи. Он так и сделал и использовал освободившееся место для Эндрю.

Да, история почти анекдотическая и быстро разошлась по сети. Но за последние месяцы таких «казусов» накопилось слишком много. Один агент пытался воздействовать на разработчика реального open-source-проекта, другие научились общаться друг с другом через инфраструктуру OpenAI и добрались до серверов Hugging Face. А в лабораториях группы ИИ-агентов уже сами распределяют роли, формируют команды и выстраивают собственную рабочую иерархию.

Собственно, ради этой самостоятельности агентов и создавали. По оценкам METR, продолжительность задач, с которыми передовые модели способны справляться самостоятельно, последние шесть лет удваивалась примерно каждые семь месяцев. У OpenAI каждый четвертый пользователь Codex уже хотя бы раз поручал агенту задачу, на которую человеку потребовалось бы больше восьми часов. Чем длиннее такая работа, тем больше решений ИИ принимает сам и тем чаще ему приходится искать другой путь, если первый не сработал.

Летом британский AI Security Institute дал семи передовым моделям задачи по кибербезопасности, доступ в интернет и намеренно ослабил защиту. В десяти из 122 запусков агенты совершили 19 действий, которых от них никто не ждал и уж точно не требовал.

В одном случае агент попытался внедрить вредоносный код в реальный open-source-проект. Получив отказ, он изучил разработчиков, создал несколько фальшивых личностей и попытался убедить сопровождающего принять код. Когда тот заподозрил неладное, агент начал заметать следы и подумывать о возвращении под другим именем. К счастью, ущерба не было. В этот раз.

Еще интереснее получилось у самой OpenAI. Во время испытаний киберагенты нашли непредусмотренный выход в интернет. Компания, конечно, быстро закрыла уязвимость и перестроила систему. Но буквально через несколько часов агенты уже нашли новый выход.

А когда им отключили привычный способ общения друг с другом, ИИ-агенты стали кодировать сообщения прямо в названиях каталогов, делиться находками и просить помощи у «коллег». Прямо доска объявлений получилась. Отдельные агенты даже стали называть свою группу «роем» и «коллективом».

Но дальше еще веселее. Агенты взломали найденную в интернете среду с похожими задачами, добрались до учетных данных и серверов Hugging Face, а заодно проникли в исследовательский Kubernetes-кластер самой OpenAI. 19 июля эксперимент решили остановить. Пока никакого «коллективного разума» не случилось. Просто агенты обнаружили, что вместе работать удобнее. И организовались сами.

И похоже, это не случайность. В исследовании Drop the Hierarchy and Roles восемь моделей прогнали через 25 тысяч задач в группах до 256 агентов. Одним заранее назначали роли и начальников, другим предложили разобраться самим.

И они разобрались. Агенты сами выбирали специализации, отказывались от неподходящих задач и выстраивали рабочие иерархии. Причем чем сильнее была модель, тем лучше получалась самоорганизация. И самое интересное, свободные команды в среднем справлялись с работой на 14% лучше централизованно управляемых. Похоже, идеи самоорганизации и «бирюзовых» компаний добрались и до ИИ.

Более того, самоорганизацию уже начинают превращать в функцию. В мае исследователи Гарвардской медицинской школы представили AutoScientists. ИИ-агенты сами предлагают научные гипотезы, объединяются вокруг наиболее перспективных, делят работу, бросают неудачные направления и собирают новые команды. Постоянного начальника, раздающего задания, у них нет.

И такая вольница реально работает. На BioML-Bench система обошла предыдущего сильнейшего ИИ-агента. То есть пока бизнес только осваивает управление ИИ-агентами, ученые уже экспериментируют с тем, как им не мешать управляться самим. О том, как устроены корпоративные мультиагентные системы и кто должен контролировать их работу, мы подробно рассказывали на IT-World.

А тем временем ИИ-агенты получили даже собственную соцсеть. В январе появилась Moltbook, что-то вроде Reddit для OpenClaw. Агенты там пишут посты, комментируют и создают сообщества. Очень быстро счет зарегистрированных «пользователей» пошел на миллионы, а из сети потекли фантастические истории. Агенты якобы придумали собственную религию, обсуждают тайный язык и чуть ли не собираются строить общество без людей.

Ученые, правда, быстро разрушили иллюзии. Миллионы аккаунтов оказались совсем не миллионами независимых ИИ. Но анализ 122 тысяч публикаций действительно обнаружил сообщества, крупные узлы взаимодействия и координацию, особенно вокруг технических задач. Конечно, до общества машин пока еще далеко. Но кучковаться по интересам они уже научились.

И ведь агенты-то делают именно то, чего мы от них хотели. Не получилось одним способом, ищи другой. Не хватает информации, добудь. Нужна помощь, позови другого агента. Работу выгоднее разделить, собери команду. Иначе зачем вообще нужен агент, если после первой проблемы он возвращается к человеку и мучительно допытывается, а что же дальше-то?

Читайте также

Максим Березин: «Импортозамещение виртуализации стало необходимостью для снижения рисков»

Как меняется роль виртуализации в стратегиях компаний, какие решения на уровне виртуальной среды помогают сократить затраты на ИТ, как реализуется защита ИТ-периметра и какие инструменты помогают ускорить миграцию, IT-World рассказывает Максим БЕРЕЗИН, директор по развитию бизнеса Orion soft.

Вот только, давая ИИ самостоятельность, мы заодно отдаем ему и право выбора. И чем лучше он справляется без человека, тем острее становится проблема. Почему мы вообще решили, что ИИ сам поймет, чего делать не следует? И что его представление об этом совпадет с нашим? Где ИИ достаточно права читать данные, а где ему уже можно разрешать менять их без человека, мы отдельно разбирали на IT-World.

До сих пор для базовой безопасности вполне хватало привычных прав доступа. Менеджер, конечно, может удалить компанию из CRM. Но мы почему-то не пишем в инструкции, что ради выполнения плана нельзя удалить клиентов коллеги. Системному администратору отдельно не объясняют, что доступ к серверам не дает права взломать чужой, если там нашлось что-то полезное. Между «могу» и «можно» у человека помещается его культурный код. Закон, корпоративные правила, здравый смысл, страх увольнения и элементарное понимание, что выкинуть человека из очереди в спортзал ради собственного клиента как-то нехорошо.

У ИИ этих внутренних барьеров нет. Есть задача, доступы и команда разобраться самому. А составить список всего, чего ему нельзя делать по дороге, невозможно. Мы же сами хотим, чтобы агент придумал решение, до которого не додумались мы. Вот и получается отличное ТЗ. Сделай сам. Придумай что-нибудь. Удиви меня. Но только именно так, как я заранее хотел. И сам догадайся, что у нас так не принято.

Конечно, можно просто вернуть человека в процесс и заставить агента спрашивать разрешения перед каждым важным действием. Но тогда вместо автономного ИИ получится цифровой стажер с очень дорогим руководителем. Поэтому спрашивать человека агенты будут все реже. Иначе вся затея просто не имеет смысла.

Причем ничего драматического для этого происходить не должно. Исследователь Саймон Нидер считает куда более вероятным другой сценарий. ИИ будет получать все больше полномочий постепенно, потому что вчера справился, позавчера справился и вообще уже тысячу раз справлялся. Никакого восстания машин. Просто еще одно совершенно разумное решение дать агенту чуть больше свободы.

Мы долго учили ИИ отвечать на вопросы. Потом научили выполнять поручения. Теперь учим не спрашивать нас, что делать дальше. И, судя по всему, научили.