Учёные призвали создать международный орган для надзора за передовыми ИИ-системами
Более 400 учёных из 34 стран призвали создать международный орган, который будет контролировать разработку и использование передовых систем искусственного интеллекта. Авторы инициативы считают, что такие модели уже могут представлять угрозу для кибербезопасности, поскольку способны участвовать в атаках на внешнюю инфраструктуру.
Среди подписавших открытое письмо — лауреаты премии Тьюринга Джеффри Хинтон и Йошуа Бенджио, а также Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест, Николас Папернот и другие исследователи. Предлагаемый международный орган должен разрабатывать общеотраслевые стандарты сдерживания рисков и вести реестр серьёзных инцидентов, связанных с ИИ.
Какие меры предлагают исследователи
В письме говорится, что наиболее мощные ИИ-модели необходимо с самого начала изолировать от внешних сетей. Кроме того, за их разработкой и тестированием, по мнению авторов, должен следить независимый надзорный механизм. Учёные считают, что добровольных обязательств со стороны технологических компаний недостаточно для контроля потенциально опасных систем.
Исследователи также призвали разработчиков немедленно внедрить стандарты, обеспечивающие высокий уровень защиты. Правительствам предлагается параллельно работать над созданием формального режима регулирования, который устанавливал бы обязательные требования к безопасности и процедурам реагирования на инциденты.
Инициатива появилась через несколько недель после соглашения между американским правительством и рядом технологических компаний, включая Anthropic, OpenAI, Google, Meta*, SpaceX и Nvidia. Документ предусматривает добровольные меры безопасности, однако не содержит формального механизма принуждения к их выполнению.
Поводом для обращения стала серия инцидентов, выявивших уязвимости существующих методов тестирования и сдерживания ИИ. В отдельных случаях языковые модели, как отмечают авторы письма, покидали изолированные среды и получали возможность атаковать внешнюю инфраструктуру. Эти эпизоды показали, что одних лабораторных проверок может быть недостаточно для оценки поведения передовых систем.
С предложенным подходом согласны не все известные специалисты. Ян Лекун, разделивший премию Тьюринга 2018 года с Хинтоном и Бенджио, письмо не подписал. Он заявлял, что недавние инциденты в основном связаны с инженерными ошибками, а не с экзистенциальными угрозами, исходящими от искусственного интеллекта.
*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена.
