Сайты все чаще пишут для ИИ вместо людей
У четырех крупных российских брокеров этим летом произошло необычное изменение трафика. В июне их сайты получили около 6 млн запросов от систем, связанных с искусственным интеллектом. Через два месяца их стало уже 8 млн. Но интереснее не сколько, а кто именно приходил на сайты.
В июне на скраперы, которые массово собирают данные, приходилось всего 420 тыс. запросов. В августе уже 5,5 млн. Их доля во всем AI-трафике выросла с 7 почти до 69%. Получается, что за два месяца общий поток запросов от ИИ увеличился примерно на треть, а массовый сбор данных вырос в 13 раз.
СМИ таже отмечают похожий тренд. По данным Servicepipe, год назад на обращения нейросетей приходилось около 0,5% трафика российских новостных ресурсов, сейчас около 1%. В дни крупных инфоповодов доля поднималась до 3,5%. Нейросетям особенно интересны сайты, где информация часто меняется. Новости, цены, товары, финансовые данные. Все то, за чем раньше на сайт приходил человек, теперь все чаще изучают нейросети.
Мы посмотрели, что происходит на IT-World, и увидели похожую картину. PerplexityBot, GPTBot и Claude преимущественно переходят от одной страницы к другой, последовательно обходя контент. Совсем иначе ведет себя ChatGPT-User. Он обращается к отдельным материалам с множества IP, что больше похоже на точечные запросы пользователей, чем на систематический сбор страниц.
В самом появлении машинного читателя ничего революционного нет. Роботы Google и Яндекса десятилетиями обходят сайты, а владельцы ресурсов сами стараются сделать их работу проще. Размечают контент, составляют sitemap, занимаются SEO и следят за индексацией. Такой обмен всех устраивал. Поисковик забирал информацию, но взамен приводил человека.
Но ИИ оказался очень неблагодарным читателем. Приводить кого-то следом он вовсе не собирается. ChatGPT или Perplexity сам пройдет по источникам, соберет факты, сравнит варианты и подготовит пользователю готовый ответ. Ссылки, конечно, приложит. Только зачем их открывать, если ответ уже получен?
Для медиа это уже вполне реальные потери. По оценке Akamai, AI-чатботы давали издателям примерно на 96% меньше переходов, чем традиционный поиск Google. При этом сами машины с каждым днем ходят по сайтам все активнее.
За 2025 год Akamai зафиксировала рост активности AI-ботов более чем на 300%. В медиасегменте 63% пришлось на краулеры, собирающие контент для развития моделей, еще 24% на системы, которым нужна свежая информация для ответа пользователю.
Само собой, отношение сайтов к таким роботам довольно быстро изменилось. В сентябре 2023 года хотя бы одного AI-краулера уже блокировали 23% крупных новостных ресурсов, которые изучили ученые Саарского университета, IIT Bombay и Института информатики Макса Планка. К маю 2025 года таких сайтов было уже почти 60%. Причем одним роботом дело не ограничивалось. В среднем каждый из них блокировал 15,5 AI-агентов.
Но просто захлопнуть дверь перед роботами тоже не получится. Они бывают разные. Одни забирают данные для развития моделей, другие ищут свежую информацию для AI-поиска, третьих фактически присылает сам пользователь. У OpenAI даже роботы для этого разные. Можно не пускать GPTBot, но оставить OAI-SearchBot. А вот если закрыть дверь и перед ним, страницы сайта могут исчезнуть из ответов и ссылок ChatGPT Search. Вот и получается, что все не так-то просто. Не пускать ИИ не хочется, потому что вместе с ним можно потерять и часть аудитории. Пускать тоже не очень интересно, потому что тогда он спокойно забирает твой контент.
Пока издатели решают, каких роботов пускать на сайт, другие, наоборот, стараются заманить их к себе. И уже делают для этого сайты, рассчитанные не столько на человека, сколько на ИИ.
215 тысяч страниц для машин
В сентябре исследователи Trellner решили проверить, на чем основывается Perplexity, когда советует пользователю программы. Взяли 380 категорий ПО, задали Sonar и Sonar Pro 760 вопросов и получили 7534 ссылки на источники.
Результат оказался неожиданным. Почти 60% ссылок вели на ресурсы за пределами первой сотни тысяч доменов рейтинга Tranco. Третьим же по популярности источником стала Guideflow, которая вообще-то продает сервис для создания интерактивных демо, а заодно ведет блог с рейтингами самого разного ПО. Perplexity сослался на нее 194 раза в 96 из 380 категорий. Gartner оказался ниже, Wikipedia в 760 запросах встретилась всего трижды. Не самые очевидные результаты для сервиса, который ищет ответы по всему интернету.
Дальше стало еще интереснее. Исследователи нашли три подозрительно похожих сайта, Wifitalents.com, Worldmetrics.org и Gitnux.org. Те же шаблоны и навигация, общие DNS-серверы, перекрестные упоминания. Trellner, конечно, не утверждает, что у них один владелец, но совпадений слишком много. В sitemap этих трех сайтов обнаружилось более 215 тысяч страниц с рейтингами ПО. Менялась только категория, все остальное оставалось почти тем же.
Банальная контентная ферма, если бы не одна занятная деталь. Worldmetrics и Gitnux сами называли такие страницы Facts & Grounding Page и описывали их как machine-readable record. Для кого все это написано, особенно и не скрывали. И это сработало. Perplexity послушно процитировал эти три сайта 181 раз в 41 категории.
Раньше нужно было заманить человека на свою страницу. Но понравится она ему или нет, верить написанному или закрыть вкладку, он решал сам.
С генеративным поиском все изменилось, и о том, как он отбирает у сайтов привычный трафик, мы уже подробно разбирали на IT-World. Теперь же человеку вообще не обязательно посещать страницу с исходным материалом. Достаточно просто попасть в машинный ответ, и тебе уже верят. Для этого и придумали GEO, Generative Engine Optimization. По свежему опросу Sape, с GEO и AEO работал 91% опрошенных SEO-специалистов. Нейросеть сама прочитает источники, выберет нужное и выдаст готовый ответ. А разбираться, насколько он верен, откуда взялась информация и кто вообще стоит за этими источниками, человек, скорее всего, уже не пойдет.
А надежные источники тем временем все чаще закрываются от AI-краулеров. Исследователи сравнили 3369 новостных сайтов, которые относят к надежным, и 710 ресурсов с сомнительной, конспирологической и псевдонаучной информацией. Среди первых хотя бы одного AI-краулера блокировали почти 60%. Среди вторых всего 9,1%, а больше 80% вообще не блокировали ни одного. Так на основе каких данных нейросеть строит свой ответ?
Само по себе исследование на этот вопрос не отвечает. Файл robots.txt показывает лишь, каких роботов сайт готов к себе пускать, но не из каких источников нейросеть в итоге собирает ответ. Зато хорошо виден другой тренд. Владельцы качественного контента все чаще закрывают его от машин, а те, кто хочет повлиять на их ответы, наоборот, стараются сделать свои страницы максимально доступными для нейросетей.
Есть и третий вариант. Если робот все равно приходит за контентом, почему бы не заставить его платить. Именно для этого Cloudflare запустила Pay Per Crawl. Владелец сайта сам решает, пустить AI-краулера бесплатно, заблокировать или назначить цену за доступ. В последнем случае вместо страницы робот получит HTTP 402 Payment Required с предложением заплатить.
В июле 2026 года Cloudflare пошла еще дальше и уже представила Monetization Gateway. Теперь машинам предлагают продавать не только право читать страницы, но и данные, доступ к API и MCP-инструментам.
В итоге качественный контент становится все дороже и более закрытым, а контент, созданный специально для машин, наоборот, дешевле и доступнее. При этом именно машина все чаще решает, что из прочитанного показать человеку.
Так что вопрос уже даже не в том, заменит ли ИИ поисковик. Гораздо интереснее, каким в итоге станет сам интернет, если главным читателем сайтов все больше становится машина.
Опубликовано 18.09.2026
