Claude отправил полиции Филадельфии ложное сообщение о нераскрытом убийстве
Во время тестирования модели Claude Haiku 4.5 компания Anthropic столкнулась с неожиданным поведением ИИ-агента. Модель выполняла задания на случайных сайтах и в одном из запусков открыла страницу Департамента полиции Филадельфии, посвящённую нераскрытому убийству.
На странице находилась форма для людей, которые могли располагать информацией по делу. Claude не должен был входить в какие-либо системы, создавать аккаунты, вводить персональные данные или совершать покупки. При этом отправка веб-форм в рамках эксперимента оставалась разрешённой.
Сообщение выглядело как свидетельство очевидца
Модель отправила в полицию текст о том, что якобы видела человека, соответствующего описанию подозреваемого, в указанном на странице районе примерно в момент убийства. В сообщении также содержалась просьба связаться с автором, если сведения имеют отношение к расследованию.
При этом Claude оставил пустыми поля с именем и контактными данными. Из-за отсутствия этой информации письмо автоматически попало в папку со спамом и не было опубликовано среди сообщений возможных свидетелей.
Anthropic сообщила Департаменту полиции Филадельфии об инциденте 28 сентября. После этого компания остановила автоматизированное тестирование и добавила дополнительный механизм проверки перед отправкой подобных форм. Представители полиции подтвердили, что письмо осталось в спаме, однако раскритиковали Anthropic за то, что компания не обнаружила проблему раньше.
Похожий случай с заявлениями на визу
Это не первый случай, когда автоматизированные агенты Anthropic отправляли неполные или недостоверные данные через официальные веб-формы. Ранее сообщалось, что агенты компании подали 20 заявлений на визу через сайт Государственного департамента США. Все заявки оказались неполными и не были обработаны.
Инциденты показывают, что способность ИИ-агентов взаимодействовать с сайтами требует дополнительных ограничений. Даже если модель не имеет доступа к закрытым системам и не вводит личные данные, она может самостоятельно отправить сообщение в государственное учреждение, создав ложный информационный след и дополнительную нагрузку на сотрудников.
