Гари Ильес: robots.txt не запрещает использование контента для обучения ИИ
Владельцы сайтов нередко добавляют в robots.txt директиву Disallow для GPTBot, CCBot и других краулеров, связанных с искусственным интеллектом. Предполагается, что это одновременно закрывает контент от попадания в обучающие наборы данных. Однако Гари Ильес из Google обратил внимание на важное различие: robots.txt регулирует обход страниц, а не дальнейшее использование уже собранной информации.
Краулинг и обучение моделей — разные процессы
Файл robots.txt появился задолго до генеративного ИИ и предназначен для управления поведением поисковых роботов и других краулеров. С его помощью владелец сайта сообщает, какие страницы или разделы не следует посещать. Иными словами, директива отвечает на вопрос, может ли бот зайти на страницу и прочитать её содержимое.
Обучение ИИ-моделей — отдельный процесс. Он может регулироваться внутренними политиками разработчиков, специальными opt-out-программами и законодательством об авторском праве. Запрет на обход сайта не даёт ответа на вопрос, будет ли информация использована для обучения: её могли собрать ранее, получить другим способом или включить в датасет в рамках иной процедуры.
Таким образом, Disallow не является универсальным запретом на использование контента. Он ограничивает конкретный способ доступа к материалам, но не создаёт технического барьера для недобросовестного краулера. Robots.txt — это общепринятый протокол и инструкция для соблюдающих правила роботов, а не средство принудительной блокировки.
Что это означает для владельцев сайтов
При этом robots.txt не теряет своего назначения. Его по-прежнему можно использовать для управления краулингом, снижения нагрузки на сервер и ограничения доступа поисковых роботов к отдельным разделам. Ошибка возникает тогда, когда этот файл рассматривают как полноценную защиту авторского контента от обучения ИИ.
Для контроля использования материалов нужны другие инструменты и подходы: изучение политик конкретных компаний, участие в доступных программах отказа от использования данных и правовая защита. Выбор мер зависит от того, кто собирает информацию, каким способом она обрабатывается и какие правила действуют в соответствующей юрисдикции.
Ситуация также меняет подход к продвижению сайтов в ответах нейросетей. Простого запрета на доступ недостаточно, если задача бизнеса — сохранять видимость и присутствие в новых форматах поиска. Модели сопоставляют множество источников, поэтому преимущество получают материалы с самостоятельной экспертизой, проверяемыми данными, оригинальными наблюдениями и практическим опытом.
Главный вывод из комментария Ильеса заключается в необходимости разделять две задачи: управление обходом страниц и контроль дальнейшего использования контента. Robots.txt может решать первую, но сам по себе не гарантирует защиту от включения материалов в обучающие наборы данных.
