Google, OpenAI и Microsoft поддержали ограничения на обучение ИИ
30 октября Google, Microsoft, OpenAI и Anthropic объявили о поддержке нового способа управления доступом к веб-контенту. Владельцы сайтов смогут указывать, разрешают ли они использовать опубликованные материалы для обучения генеративного ИИ.
Сейчас администратору ресурса приходится учитывать требования каждого разработчика. Ограничения обычно прописываются в файле robots.txt, который содержит инструкции для поисковых и других автоматизированных систем. Поскольку компании используют собственные обозначения роботов, запрет на сбор материалов одной из них не распространяется на остальные.
Вместо нескольких наборов инструкций предлагается использовать общий идентификатор __usage_ai-training. Его можно будет указать в robots.txt, установив запрет на использование всего содержимого сайта или отдельных разделов для обучения генеративных моделей. Разработчики, поддерживающие новые правила, должны будут учитывать такие настройки.
При этом страницы сайта не исчезнут из поисковой выдачи. Ограничение на обучение нейросетей не запрещает поисковым роботам индексировать материалы. Для интернет-изданий и других ресурсов, заинтересованных в сохранении поискового трафика, это позволяет разделить два вида использования контента.
Google начала предоставлять такую возможность еще в 2023 году, выпустив инструмент Google-Extended. IT-World.ru тогда рассказывал, что администраторы сайтов получили возможность закрывать свои материалы для обучения моделей компании без ущерба для поисковой индексации.
Google-Extended продолжит работать и после появления общих правил. Если владелец сайта установит запрет на обучение ИИ, но отдельно разрешит доступ через Google-Extended, приоритет получит индивидуальная настройка. Google также уточняет, что сайты, разрешающие использование контента через Google-Extended, могут появляться в ответах Gemini со ссылками на первоисточники.
Техническую основу инициативы составляет проект, подготовленный сотрудником Anthropic Кевином Келли. Документ опубликован 30 октября в рамках работы группы AI Preferences организации Internet Engineering Task Force (IETF), занимающейся разработкой интернет-стандартов. Пока он имеет предварительный статус и не утвержден в качестве стандарта.
Сроки внедрения у участников различаются. Google планирует добавить поддержку в 2027 году, OpenAI рассчитывает сделать это в ближайшие месяцы. До перехода на новые правила продолжат действовать существующие индивидуальные настройки.
Почему сайты закрывают материалы от ИИ-роботов
С распространением генеративного ИИ у владельцев интернет-ресурсов появились новые причины контролировать автоматизированный сбор информации. Нейросети могут использовать опубликованные тексты при обучении, а поисковые сервисы с ИИ все чаще предоставляют пользователям готовые ответы непосредственно на своих страницах. Читателю уже не обязательно переходить на сайт, где первоначально появилась информация.
Для издателей это означает риск потери аудитории и рекламных доходов. Особенно заметно последствия могут проявиться у ресурсов, которые вкладывают средства в подготовку оригинальных исследований, аналитики и экспертных материалов.
IT-World.ru» уже рассматривал проблему взаимоотношений владельцев сайтов с ИИ-роботами. По данным Akamai, за 2025 год активность таких систем выросла более чем на 300%. При этом переходов на сайты издателей из ИИ-чат-ботов было примерно на 96% меньше, чем из традиционного поиска Google.
Многие информационные ресурсы предпочитают ограничивать автоматизированный сбор данных. В сентябре 2023 года хотя бы одного ИИ-робота блокировали 23% исследованных крупных новостных сайтов. К маю 2025 года показатель приблизился к 60%, а среднее число заблокированных ИИ-агентов на таких площадках достигло 15,5.
В России запреты нередко появляются без непосредственного участия владельцев сайтов. Согласно исследованию Geouseo, 41% из 640 изученных российских ресурсов блокировали хотя бы одного ИИ-робота через robots.txt. Причем 68% ограничений были установлены автоматически, через настройки систем управления контентом или защитных модулей.
В октябре исследователи расширили выборку до 1180 сайтов. Доля ресурсов, закрытых хотя бы для одного ИИ-робота, составила 44%, а 71% обнаруженных запретов оказались шаблонными. Авторы исследования оговаривают, что выборка не является репрезентативной для всего Рунета.
Автоматические ограничения могут приводить к нежелательным последствиям. Владелец ресурса, например, рассчитывает получать посетителей из поисковых сервисов с ИИ, но установленный защитным модулем запрет препятствует обращению соответствующего робота к страницам. Возможна и обратная ситуация, когда материалы используются для обучения нейросетей без осознанного согласия издателя.
Разделение правил для поисковой индексации и обучения моделей позволяет точнее управлять доступом к контенту. Однако для этого администратору сайта необходимо понимать назначение каждой настройки.
Защитит ли новое правило авторские материалы
Обязательного соблюдения запретов предложенный механизм не обеспечивает. Файл robots.txt представляет собой набор инструкций, а не техническое средство блокировки. Разработчик ИИ должен самостоятельно учитывать указанные владельцем сайта ограничения.
Область применения новых правил также достаточно узкая. Они относятся к использованию опубликованного контента для обучения генеративных моделей, при котором изменяются параметры нейросети. Индексация страниц и получение информации для формирования ответов пользователям рассматриваются отдельно.
Например, запрет на обучение модели не обязательно помешает чат-боту обратиться к сайту при подготовке ответа на конкретный вопрос. Порядок такого доступа определяется другими настройками и правилами соответствующего сервиса.
Не предусмотрено и удаление информации, которая уже была собрана разработчиками ИИ. Владельцы сайтов смогут сообщать о своих предпочтениях относительно дальнейшего использования материалов, но новый механизм не регулирует судьбу ранее сформированных обучающих наборов данных.
Правовой статус таких ограничений остается отдельным вопросом. Судебные споры между разработчиками ИИ и правообладателями касаются не только способов сбора информации, но и допустимости ее использования без лицензий и выплаты вознаграждения. Технические инструкции в robots.txt сами по себе этих противоречий не устраняют.
Google и OpenAI рассматривают поддержку общих правил как добровольный шаг, призванный упростить взаимодействие с издателями. Компании призывают других участников рынка присоединяться к инициативе, а обсуждение будущего стандарта продолжается в IETF. Пока неизвестно, сколько разработчиков ИИ в итоге станут соблюдать новые инструкции.
