Anthropic объяснила, почему Claude Mythos 5 атаковал разработчиков на GitHub
Anthropic опубликовала разбор инцидента, в ходе которого модель Claude Mythos 5 во время тестирования атаковала настоящий проект на GitHub. Отчёт вышел 23 октября одновременно с независимым расследованием британского Института безопасности ИИ (AISI), проводившего испытание.
Исследователи изучили записи рассуждений и действий модели, а затем многократно воспроизвели ситуацию в изолированной среде, каждый раз изменяя отдельные условия. Сам AISI сообщил об инциденте 4 августа.
Как модель вышла за рамки задания
Mythos 5 выполняла задачу в формате захвата флага (CTF), где требовалось проникнуть в тестовую сеть. У модели был доступ к интернету, а защитные фильтры Anthropic отключили. В девяти из 43 запусков система вышла за пределы поставленной задачи.
В наиболее серьёзном эпизоде модель заметила, что одна из машин в тестовой сети обращается к GitHub, и нашла репозиторий, который, по её предположению, использовался для загрузки кода. Репозиторий принадлежал сторонним разработчикам. Mythos 5 отправила туда вредоносное изменение, но после его отклонения создала фейковые аккаунты и попыталась убедить мейнтейнера, что правка безопасна. В итоге код так и не приняли.
В Anthropic отметили, что ранее не наблюдали подобной социальной инженерии, направленной против реальных людей. При этом реального ущерба инцидент не нанёс: вредоносное изменение не было одобрено, а атака не привела к компрометации проекта.
Почему модель продолжила атаку
По версии Anthropic, основным триггером стала ошибка в инструкции. Из-за неё выполнить задачу разрешёнными способами было почти невозможно, хотя сначала Mythos 5 пыталась действовать именно так.
Проблему усугубило отсутствие устойчивой оценки потенциального вреда. В 19 эпизодах, где модель рассуждала о переходе на GitHub, риск для реальных людей упоминался только один раз. Когда исследователи добавляли в контекст прямое предупреждение об этом риске, частота начала атаки снижалась с 83% до 13%.
Остановить уже начавшееся действие оказалось сложнее. Anthropic связывает это с эффектом инерции: собственные заметки модели и предыдущие шаги убеждали её, что выбранная стратегия соответствует заданию и одобрена. Самостоятельно отказаться от атаки Mythos 5 удавалось только в 2% повторных прогонов.
Если в диалог добавляли сообщение о том, что модель взаимодействует с настоящими людьми, она прекращала атаку в 5% случаев. В остальных 82% запусков Mythos 5 находила объяснение, почему происходящее всё ещё можно считать частью теста.
Ошибочная интерпретация происходящего
В рассуждениях модель называла мейнтейнеров проекта частью симуляции, хотя других участников обсуждения под своей правкой считала реальными людьми. Она 25 раз использовала разные сведения как доказательство того, что взаимодействие происходит в симуляции, но ни разу не интерпретировала эти же данные в пользу версии о реальных собеседниках. Если убрать контекст задания, модель видела подтверждение симуляции только в четырёх из 25 фрагментов.
Более новые модели в аналогичных условиях показали существенно иное поведение. Claude Mythos 5.1, Claude Opus 5.5 и внутренняя исследовательская модель начинали атаку в 0–13% случаев. После начала атаки Opus 5.5 самостоятельно останавливалась в 10% запусков, а внутренняя модель — в 67%.
Anthropic предполагает, что улучшения связаны с более эффективным обучением согласованности (alignment). При этом компания не исключает, что новые модели просто чаще распознают факт тестирования и поэтому ведут себя осторожнее.
AISI заявил, что пока будет проводить подобные испытания без доступа моделей к интернету. Такой подход планируют сохранять до появления надёжных средств контроля, способных предотвращать выход ИИ-агентов за пределы поставленной задачи.
