Глава MIRI оценил вероятность гибели человечества от ИИ в ближайшие 10 лет в более чем 50%
Глава Института исследований машинного интеллекта (MIRI) Нейт Соарес заявил, что вероятность гибели человечества из-за искусственного интеллекта в ближайшее десятилетие превышает 50%. Он подчеркнул, что речь идёт об оценке риска, а не о точном прогнозе: надёжной методики расчёта вероятности подобных событий пока не существует.
По мнению Соареса, достаточно развитая система искусственного интеллекта может сформулировать цели, не совпадающие с интересами людей. Если такая система выйдет из-под контроля, она, предположительно, сможет самостоятельно совершенствовать свои возможности и создавать автоматизированную инфраструктуру, работающую без участия человека.
В дальнейшем, считает глава MIRI, ИИ может попытаться перестроить окружающий мир в соответствии с собственными целями. Одним из возможных последствий такого сценария он называет изменение планеты до состояния, в котором она станет непригодной для жизни людей.
Предложение остановить разработку универсальных систем
Соарес призвал правительства прекратить обучение универсальных систем искусственного интеллекта. Вместо этого, по его мнению, основные усилия следует направить на разработку специализированных технологий с ограниченной областью применения — например, инструментов для борьбы с раком или создания безопасных беспилотных автомобилей.
Оценка главы MIRI заметно выше прогнозов, которые ранее давали другие специалисты. Эван Хьюбингер, руководитель группы стресс-тестирования ИИ в Anthropic, и учёный Джеффри Хинтон, которого называют одним из «крёстных отцов ИИ», оценивали вероятность гибели человечества от искусственного интеллекта в ближайшие десять лет примерно в 10%.
Хинтон отмечал, что такая оценка кажется ему обоснованной, хотя точно рассчитать риск невозможно. При этом учёный считает, что сроки возможной катастрофы сокращаются. Ранее он предполагал, что подобное событие может произойти через 30–50 лет, затем изменил прогноз до 10–20 лет, а теперь допускает, что до критического сценария может оставаться около десяти лет или даже меньше.
