Geouseo открыла чек-лист доступности сайтов для AI-краулеров
Компания Geouseo выпустила в открытый доступ чек-лист, по которому можно самостоятельно проверить, видят ли сайт краулеры генеративных сервисов. Документ описывает 12 типовых ошибок в robots.txt, отдаче контента и структурированных данных и порядок их устранения. Чек-лист доступен на сайте компании без регистрации.
Чек-лист собран по итогам расширенного аудита. Изначально в выборку входили 640 сайтов из сегментов B2B, электронной коммерции и услуг за май–август 2026 года, в сентябре наблюдение продолжилось и выборка выросла до 1180 площадок. Для каждого сайта проверялись: robots.txt, заголовки и поведение антибот-защиты, состав контента без выполнения JavaScript и наличие файла llms.txt. Отдельно учитывались обращения GPTBot, ClaudeBot, PerplexityBot, Google-Extended, YandexAdditional, GigaChat и Applebot-Extended.
На расширенной выборке сохранились пропорции, которые компания приводила ранее. Хотя бы одного AI-бота в robots.txt закрывают 44% сайтов, и 71% таких запретов оказались шаблонными: они пришли из конфигурации CMS или антибот-плагина, а владелец о них не знал. Страницы без запретов появляются в ответах нейросетей в 2,1 раза чаще. Проблема не ограничивается robots.txt: 29% страниц отдают основной текст только после исполнения скриптов, ещё 19% держат ключевые факты за авторизацией. Файл llms.txt есть у 9% площадок, и сам по себе он цитируемость не повышает.
«Доступность для краулера и оптимизация под цитирование — разные задачи, и первая решается за вечер, — говорит Сергей Язовский, основатель Geouseo. — Если запрет из шаблона CMS закрывает раздел с ценами, никакая работа над структурой ответа уже не поможет: модель просто не дойдёт до фактов. Поэтому чек-лист начинается с проверки доступа и только потом переходит к разметке».
Документ не является вендорным по решению: он не привязан к платным сервисам и инструментам самой Geouseo, все проверки выполняются штатными средствами сайта или браузера. Компания отдельно оговаривает ограничения методики: выборка собрана из клиентских и партнёрских проектов и не репрезентирует Рунет целиком, часть журналов обращений не различает ботов по назначению, а поведение краулеров меняется вместе с обновлениями моделей — поэтому цифры следует читать как срез рынка, а не как норму.
До конца года Geouseo планирует дополнить чек-лист разделом о выборочном открытии разделов вместо полного allow для всех ботов, а также выпустить открытый отчёт с уточнёнными данными и методикой расчёта показателей. Расширенная версия данных будет опубликована тогда же.