Anthropic передала полиции переписку пользовательницы с угрозами стрельбы
Полиция штата Флорида задержала Карли Мишель Хеллер после того, как система искусственного интеллекта Claude обнаружила в её переписке угрозы вооружённого нападения. Сообщения были переданы правоохранительным органам компанией Anthropic, разработавшей нейросеть.
Согласно отчёту об аресте, 26 сентября Хеллер написала чат-боту, что собирается расстрелять офис шерифа округа Ли. На следующий день пользовательница сообщила, что приобрела новый пистолет. Защитные механизмы сервиса распознали потенциально опасные формулировки и направили диалог внутренней команде модерации Anthropic.
После проверки специалисты компании обратились к силовикам. Помощники шерифа прибыли к дому Хеллер в городе Бонита-Спрингс и задержали её без сопротивления. Женщине предъявили обвинение в письменных угрозах насилием в соответствии с законодательством Флориды. Заседание по делу назначено на ноябрь.
Почему компания раскрыла данные
Шериф округа Ли Кармин Марсено рассказал журналистам, что Хеллер воспринимала искусственный интеллект как «личный дневник». Он подчеркнул, что пользователям подобных сервисов не следует рассчитывать на полную анонимность, а правоохранительные органы обязаны серьёзно реагировать на угрозы независимо от того, где они были высказаны.
Правила использования сервисов Anthropic запрещают создавать контент, связанный с насилием и запугиванием. В регламенте компании также предусмотрена возможность раскрытия пользовательских данных государственным органам в экстренных ситуациях, когда существует риск гибели людей или причинения тяжкого вреда здоровью.
Этот случай показывает, что диалоги с чат-ботами могут проходить автоматическую проверку на признаки опасного поведения. При обнаружении угроз переписка может попасть к сотрудникам модерации, а затем — к правоохранителям, если компания сочтёт ситуацию экстренной.
