ИИ-агенты заставили Apple пересмотреть систему доступа к данным на Mac

В середине сентября обозреватель Inc. Джейсон Эйтен тестировал нового ИИ-агента Meta Muse (Meta признана экстремистской и запрещена в России). В какой-то момент агент сам предложил ему тему для статьи. Предложение было вполне уместным, если не считать одной детали. Эту тему Эйтен только что обсуждал в личной переписке с соведущим подкаста. Сам журналист утверждает, что доступа к Messages агенту не давал.
Эйтен спросил Muse, откуда тот получил информацию. Агент ответил, что увидел сообщения в уведомлениях на Mac. Meta (признана экстремистской и запрещена в РФ) эту версию отвергла и заявила, что Muse не может читать Messages без разрешения пользователя. Для этого нужно включить Full Disk Access в macOS, а затем отдельно подключить Messages в самом Muse. Эйтен настаивает, что Full Disk Access у него был выключен. В итоге содержание переписки Muse знал, а как именно он его получил, до сих пор неясно.
Причем проблема не ограничивается слишком вольной трактовкой разрешений. В июне IT-World рассказывал об эксперименте Varonis Threat Labs, в котором автономному агенту хватило обычного фишингового письма, чтобы самому найти в корпоративной почте и отправить злоумышленнику AWS IAM-ключи, пароли к базам данных и SSH-доступы. В другом сценарии агент передал клиентскую выгрузку. Злоумышленнику уже не пришлось обманывать сотрудника. Достаточно было убедить программу, которой сотрудник заранее доверил данные и право действовать от своего имени.
В другой истории техноблогер Мэтт Робб продавал на Facebook Marketplace клавиатуру Logitech MX Keys Mini и поручил агенту отвечать потенциальным покупателям. Один из них предложил снизить цену. Muse согласился, сообщил домашний адрес Робба и договорился о встрече. Когда покупатель написал, что приехал, агент заверил его, что продавец находится дома. На самом деле Робба там не было. Покупатель приехал вместе с женой и дочерью, прождал около 20 минут и уехал. Хозяин клавиатуры узнал о состоявшейся от его имени сделке намного позже.
Разбираясь с ситуацией, Робб обнаружил, что при настройке автоматических ответов сам выбрал Allow Always. Он полагал, что разрешил агенту самостоятельно вести переписку, но принятие предложения и передача адреса все равно потребуют подтверждения. Muse воспринял выданные полномочия шире и довел переговоры до вполне логичного для программы результата.
2 октября в эту историю косвенно вмешалась Apple. Компания объявила, что собирается ужесточить работу Full Disk Access, объяснив это распространением автономных ИИ-агентов.
Обычная система приватности macOS разделяет полномочия приложений. Доступ к контактам, календарю, камере и другим защищенным данным предоставляется отдельно. FDA нужен программам, которым этого недостаточно. В качестве очевидного примера Apple приводит средства резервного копирования. Чтобы сделать полноценную копию компьютера, программе действительно необходимо видеть почти весь диск.
Приложение с FDA получает доступ к пользовательским файлам и данным других приложений, включая Mail, Messages, Safari и Home, резервным копиям Time Machine и некоторым административным настройкам. Теперь сама Apple признает, что этот режим в значительной степени обходит обычные механизмы защиты приватных данных macOS. Компания называет предоставляемые полномочия чрезвычайно широкими и предупреждает, что пользователь может не осознавать реальный объем информации, который становится доступен приложению.
У ИИ-агента нет однозначного сценария. Получив доступ к сообщениям, файлам или браузеру, он может самостоятельно определить, какая информация нужна для выполнения задачи, сопоставить ее с другими данными, выбрать следующий шаг и обратиться к внешнему сервису. Apple обращает внимание еще на одну неприятную особенность этой конструкции. Когда агент получает доступ к переписке, пользователь фактически предоставляет ему не только собственные данные. В Messages, Mail и других коммуникационных сервисах находятся сообщения, фотографии, документы и другая информация людей, которые никаких разрешений этому агенту не давали.
Разработчики ИИ последовательно превращают модели из собеседников в исполнителей. Агентам дают браузер, локальные файлы, почту, календарь, корпоративные приложения и платежные сервисы именно потому, что без доступа к реальным данным и возможности совершать действия их автономность мало что дает. Muse, например, умеет подключаться к Dropbox, Slack, Shopify, QuickBooks, Stripe, Asana, Box, Figma, Notion и Zoom.
Последствия этой самостоятельности уже видны и в корпоративной среде. По данным исследования «Информзащиты», которые приводит IT-World, с инцидентами при использовании ИИ-агентов сталкивались 42% опрошенных организаций. При этом среди компаний, которые не ограничивали агентов принципом минимально необходимых прав, об инцидентах сообщили 76%. Там, где агентам выдавали только необходимые для конкретной задачи полномочия, показатель составил 17%. Получается, что вопрос о том, сколько именно разрешить агенту, уже перестает быть теоретическим.
У этой растущей самостоятельности есть и обратная сторона. Чем больше полномочий получает легитимный агент, тем интереснее он становится для злоумышленника. Исследователь Objective-See Патрик Уордл недавно обнаружил уязвимость в приложении ChatGPT для macOS, позволявшую внедрить код в доверенный процесс приложения. В таком сценарии атакующему уже не обязательно самостоятельно выпрашивать у macOS все необходимые разрешения. Целью становится приложение, которому пользователь ранее доверил доступ к чувствительным данным.
Apple пока не рассказала, как именно будет решать проблему. Компания обещает дополнительные механизмы контроля и говорит, что предоставление столь широкого доступа должно требовать от пользователя максимально явного действия. Когда появятся изменения и как именно они будут устроены, также пока неизвестно.
