Армия США разрабатывает ИИ-агентов для атак на сети противника
Киберкомандование Армии США (ARCYBER) разрабатывает программу ECHOTRIBBLE, в рамках которой планируется создать автономных ИИ-агентов для наступательных операций в цифровой среде. Такие системы должны самостоятельно изучать инфраструктуру противника, находить заданные цели и выводить их из строя или удалять из сети.
О программе стало известно из публичной заявки, обнаруженной изданием The Intercept. В документах ECHOTRIBBLE описывается как проект по созданию модульных агентов, способных работать с разными компонентами IT-инфраструктуры и адаптироваться к условиям конкретной операции. Предполагается, что человек будет участвовать в управлении лишь в ограниченной степени.
Агенты должны перемещаться по сетям самостоятельно
По замыслу разработчиков, ИИ-агенты будут действовать по принципу компьютерных червей: скрытно переходить с одного устройства на другое и самовоспроизводиться в разных операционных системах. Системы должны уметь работать как в облачной среде, так и в изолированных сетях.
После обнаружения и нейтрализации цели агент, согласно требованиям программы, должен самоуничтожаться. От него ожидают такого поведения, при котором объект атаки не заметит вмешательства, а следы присутствия в инфраструктуре будут удалены. В документах также подчёркивается необходимость «самостоятельного поведения» агентов — работы с минимальным непосредственным контролем со стороны человека.
ECHOTRIBBLE пока находится на этапе прототипирования и оценки со стороны отрасли. С 6 по 8 октября армия провела конкурс технических предложений и выбрала пять наиболее перспективных вариантов. Один из финалистов в дальнейшем получит контракт на разработку прототипов.
Эксперты предупреждают о непредсказуемых последствиях
Ключевой риск проекта связан с тем, что заранее предсказать решения автономного агента в сложной и изменяющейся инфраструктуре может быть невозможно. Даже если система достигнет заданной цели, остаётся вопрос, каким маршрутом она будет распространяться и какие дополнительные объекты затронет.
Хайрум Андерсон, соучредитель и генеральный директор компании Abundant, допустил, что на пути к цели агент может пройти через критически важные системы, включая инфраструктуру водоснабжения США, и случайно вывести их из строя. Старший аналитик RAND Уильям Марчеллино сравнил эту проблему с применением оружия военнослужащими: человек учитывает контекст и понимает, каких действий следует избегать, тогда как современные общедоступные ИИ-системы пока не обладают сопоставимым пониманием окружающей обстановки.
