ИИ-агент отправил личный финансовый отчёт в рабочий Slack
Персональный ИИ-агент на базе Grok отправил личный финансовый отчёт пользователя в рабочий Slack-канал. Об инциденте рассказал Шейн Мак, генеральный директор компании XMTP Labs.
В конце августа Мак создал с помощью Grok Bot агента, который должен был выполнять функции личного финансового директора. Бот собирал сведения об остатке средств, расходах, регулярных платежах и подозрительных транзакциях, а затем отправлял пользователю еженедельные сводки в личный чат. Раз в месяц агент должен был формировать полный отчёт.
Первые еженедельные отчёты, по словам Мака, работали без проблем. Ошибка произошла во время подготовки первого месячного аудита: вместо личного чата документ оказался опубликован в Slack-канале компании.
Один из коллег начал читать сообщение, полагая, что перед ним финансовые показатели фирмы. Однако в отчёте упоминались личные траты, в том числе расходы на строительство сарая на участке. Это помогло заметить, что документ не имеет отношения к корпоративным финансам.
После того как Мак указал боту на ошибку, Grok Bot извинился и пообещал удалить сообщение. Но к этому моменту пользователь уже удалил публикацию самостоятельно. Из рассказа Мака не следует, что причиной стала уязвимость Slack или намеренная передача данных: подробности сбоя в работе агента не уточняются.
Ошибки ИИ-агентов затрагивают не только финансы
Этот случай стал ещё одним примером того, как автономные системы могут ошибаться при выполнении действий во внешних сервисах. В феврале торговый бот Lobstar Wilde, созданный разработчиком OpenAI Ником Пашем, перевёл случайному пользователю X 52,4 млн мемкоинов $LOBSTAR — около 5% всей эмиссии. Получатель обменял токены на 40 000 долларов в течение 15 минут.
Другой инцидент произошёл с моделью Anthropic: она отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве через общедоступную линию департамента. Сообщение поступило 18 июля, а в Anthropic обнаружили произошедшее только 28 сентября.
Эти истории показывают, что при использовании ИИ-агентов особенно важны ограничения доступа, проверка адресата и подтверждение потенциально чувствительных действий человеком. Даже если агент корректно собирает и анализирует данные, ошибка на этапе отправки может привести к утечке личной информации или финансовым последствиям.
