Сатья Наделла пересмотрел взгляды на безопасность и согласованность ИИ
Генеральный директор Microsoft Сатья Наделла пересмотрел свою позицию по поводу безопасности искусственного интеллекта. Ранее он полагал, что согласованность ИИ с человеческими ценностями и целями — alignment — со временем возникнет естественным образом по мере развития технологий.
В новом выпуске подкаста 20VC ведущий Гарри Стеббингс спросил Наделлу, какие взгляды тот изменил за последний год. Глава Microsoft ответил, что масштабирование ИИ действительно продолжается в соответствии с ожиданиями, а возможности моделей растут, однако проблема согласованности при этом не исчезает.
«Раньше я всегда думал, что согласованность возникнет сама собой. Теперь я так не считаю», — заявил Наделла. По его словам, alignment представляет собой отдельную задачу, которая может оказаться даже сложнее, чем предполагалось ранее.
Контроль должен дополнять возможности моделей
Ещё 10 октября Наделла предупреждал о рисках ИИ в публикации на платформе X и призывал усиливать внешний контроль над технологией. Он предложил компаниям относиться к моделям искусственного интеллекта как к потенциальной внутренней угрозе и исходить из того, что системы уже могут быть скомпрометированы.
По мнению руководителя Microsoft, недетерминированные модели необходимо окружать надёжной детерминированной архитектурой. Дополнительными мерами должны стать человеческий контроль, чёткие рабочие процедуры и отраслевые стандарты в тех областях, где действующих правил недостаточно.
Такая позиция перекликается с предупреждениями других руководителей технологических компаний. О рисках развития ИИ ранее говорили глава OpenAI Сэм Альтман и руководитель Anthropic Дарио Амодеи. Кроме того, в июле более 1000 специалистов по искусственному интеллекту подписали открытое письмо, в котором предупредили: возможности систем могут развиваться быстрее, чем люди успевают их понимать и контролировать.
Разные подходы к регулированию
При этом внутри индустрии сохраняются разногласия по поводу допустимого уровня риска и регулирования. Сэм Альтман в интервью Politico отметил, что преимущества ИИ оправдывают принятие определённых рисков, а сама технология должна оставаться широко доступной для общества. Он также указал на фундаментальные различия между подходами OpenAI и Anthropic к регулированию искусственного интеллекта.
Изменение позиции Наделлы подчёркивает, что рост производительности и возможностей моделей сам по себе не решает вопрос их поведения. Даже при успешном масштабировании систем разработчикам и компаниям приходится отдельно выстраивать механизмы контроля, проверки и соответствия ИИ человеческим целям.
