robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей
Многие владельцы сайтов добавляют в robots.txt директиву Disallow для GPTBot и считают, что тем самым запрещают ChatGPT использовать публикации. На практике файл решает только одну задачу: сообщает конкретному краулеру, можно ли запрашивать страницы при последующих обходах. Он не определяет, что произойдёт с уже скачанными данными, и не устанавливает запрет на обучение модели.
Иными словами, robots.txt — это набор предпочтений для добросовестных роботов, а не универсальный технический барьер. Если страница была получена до появления запрета, новая директива не удалит её из обучающих наборов. Кроме того, стандарт не содержит единого правила, которое одновременно запрещало бы обучение всем ИИ-системам. Несуществующие директивы вроде запрета «всего ИИ» поисковые роботы просто проигнорируют.
У разных задач — разные роботы
У OpenAI и Anthropic функции распределены между несколькими краулерами. GPTBot и ClaudeBot собирают данные для обучения моделей. OAI-SearchBot и Claude-SearchBot находят страницы для поисковых функций сервисов, а ChatGPT-User и Claude-User обращаются к сайту, когда пользователь просит нейросеть изучить конкретную страницу.
Поэтому сайт может запретить GPTBot и ClaudeBot, но оставить открытыми поисковых роботов. В таком случае публикации не будут использоваться для будущего обучения соответствующих моделей, однако смогут появляться в поиске ChatGPT или Claude. Для ChatGPT-User есть оговорка: OpenAI предупреждает, что правила robots.txt могут применяться к нему не так, как к обычному краулеру. Anthropic, в свою очередь, отмечает, что блокировка Claude-User способна снизить видимость сайта в ответах.
Похожий принцип действует у Google. Токен Google-Extended не является отдельным роботом: он управляет тем, можно ли использовать страницы, уже найденные Google, для обучения будущих моделей Gemini и для grounding — передачи содержимого модели во время формирования ответа. Запрет Google-Extended не исключает сайт из обычного поиска, но может уменьшить его присутствие в ответах Gemini. Applebot-Extended также отвечает за использование данных, а не за самостоятельный обход страниц.
Какие правила использовать
Если задача — ограничить обучение и сохранить присутствие в ответах, обычно закрывают GPTBot, ClaudeBot, CCBot и Applebot-Extended, оставляя доступными OAI-SearchBot, ChatGPT-User, Claude-SearchBot и Claude-User. CCBot принадлежит Common Crawl — открытому архиву веб-страниц. При этом запрет не действует задним числом и не остановит робота, который игнорирует robots.txt.
Если нужно убрать сайт из ответов отдельных сервисов, блокируют поисковые токены OAI-SearchBot и Claude-SearchBot, а также соответствующие пользовательские краулеры. Для ответов Алисы AI Яндекс рекомендует запрещать YandexAdditional или YandexAdditionalBot. Изменения в Яндекс Вебмастере могут учитываться от двух до четырнадцати дней. Отдельного токена только для обучения у Яндекса, по имеющимся данным, нет: блокировка основного YandexBot одновременно убирает сайт из индекса и связанных ответов. Для GigaChat имя специального робота и правила robots.txt публично не заявлены.
Google-Extended стоит блокировать только после оценки последствий: запрет касается не только обучения Gemini, но и grounding. Это означает потенциальную потерю видимости в ответах Google. Универсального безопасного правила «запретить обучение, но сохранить все ответы» пока нет, поэтому директивы приходится подбирать отдельно для каждого сервиса.
Как проверить соблюдение запретов
После изменения robots.txt полезно изучить access-логи сервера. В них можно найти запросы по токенам GPTBot, ClaudeBot, CCBot, OAI-SearchBot и ChatGPT-User, проверить время обращения, запрошенный путь и код ответа. Если закрытый робот продолжает получать страницы после публикации запрета, он либо не успел обновить правила, либо игнорирует их.
Полагаться только на User-Agent нельзя: его можно подделать. Cloudflare сообщала, что Perplexity при блокировке меняла User-Agent и сетевые параметры, а иногда не запрашивала robots.txt. В таких случаях робот выглядел как обычный браузер на macOS. Для дополнительной защиты нужны серверные правила или фильтры CDN, которые анализируют IP-сети, частоту запросов и другие признаки автоматического трафика. Блокировка по IP может иметь побочный эффект: если бот не прочитает robots.txt, он не узнает о запрете.
Дополнительные способы защиты
Для отдельных сценариев применяются метатег nosnippet и протокол TDMRep. Apple рекомендует nosnippet, чтобы ограничивать попадание конкретного содержимого в ответы Siri и поисковые функции Apple. TDMRep позволяет машиночитаемым способом заявить оговорку прав на автоматический анализ текстов и данных; протокол не является стандартом W3C, а его юридическое значение особенно связано с правилами Европейского союза.
Ещё один вариант — коммерческий доступ к контенту: Cloudflare с июля 2025 года тестирует механизм Pay Per Crawl, при котором ИИ-краулеры могут платить за обращения к страницам. В будущем ситуация может измениться и на уровне стандартов. Anthropic уже поддерживает общий сигнал запрета обучения в формате User-agent: __usage_ai-training и Disallow: /. Google планирует внедрить совместимый сигнал AIPREF в начале 2027 года, однако пока неясно, как именно такой запрет повлияет на присутствие сайтов в ответах Gemini. До принятия общего стандарта обучение и отображение в ответах разумнее рассматривать как две разные задачи.
