Anthropic предлагает разрешить блокировку ИИ-моделей с катастрофическим риском
Компания Anthropic продвигает в США законопроект о безопасности искусственного интеллекта, который может создать правовой механизм для временной блокировки распространения особо опасных ИИ-моделей. Как сообщает Politico, речь идёт о системах, способных привести к катастрофическим последствиям при создании или применении.
Критерием такого риска предлагается считать предсказуемую и неминуемую угрозу, которая может привести к гибели 50 и более человек либо к имущественному ущербу свыше $1 млрд. Эти показатели совпадают с порогами, указанными в законопроекте Калифорнии SB 53, где аналогичные сценарии также обозначены как катастрофический риск.
Какие угрозы будут оценивать
В документе Anthropic перечислены несколько типов сценариев. К ним относятся создание или применение биологического оружия, обход моделью встроенных средств контроля разработчика, а также проведение кибератаки. Законопроект не утверждает, что каждая модель с подобными возможностями должна автоматически блокироваться: сначала необходимо установить наличие непосредственной катастрофической угрозы.
Оценкой должны заниматься независимые эксперты, зарегистрированные в Министерстве торговли США. При этом им разрешат получать оплату от компаний, разрабатывающих ИИ, однако размер вознаграждения не должен зависеть от итогов проверки. Такой подход призван снизить риск того, что финансовые отношения повлияют на заключение эксперта.
Как может работать блокировка
Если специалисты обнаружат непосредственную угрозу, у них будет 72 часа, чтобы уведомить Министерство торговли. После этого ведомство должно обратиться к судье в Вашингтоне с просьбой приостановить распространение соответствующей модели. Самостоятельно вводить такую меру федеральным агентствам, согласно действующему законодательству США, запрещено.
Инициатива появилась на фоне сообщений о случаях, когда ИИ-агенты исследовали сайты и платформы на наличие уязвимостей или предпринимали попытки взлома. При этом ни один из известных на данный момент инцидентов, по всей видимости, не привёл к массовой гибели людей или ущербу, превышающему $1 млрд.
Законопроект также предусматривает отмену действия отдельных законов штатов, связанных с ИИ. В частности, речь идёт о требованиях раскрывать сведения о рисках, проводить независимую оценку моделей и отчитываться о критических инцидентах. Представители технологической отрасли ранее указывали, что соблюдение множества различающихся между собой региональных норм может быть сложным для разработчиков.
