Сэм Альтман назвал локальный запуск ИИ неэффективным расходованием ресурсов
Сэм Альтман, руководитель OpenAI, выступил против идеи массового переноса инференса искусственного интеллекта на пользовательские компьютеры. По его мнению, запуск моделей локально приводит к нерациональному использованию дефицитных вычислительных ресурсов.
Альтман отметил, что интерес к локальному инференсу во многом связан с распространением моделей с открытым исходным кодом. Пользователи могут устанавливать их на собственные устройства и получать ответы без обращения к удалённым сервисам. Однако наличие такой технической возможности, считает глава OpenAI, не означает, что подобный подход эффективен в глобальном масштабе.
Память простаивает большую часть времени
Основная претензия Альтмана касается оперативной памяти DRAM. Он утверждает, что значительная часть мирового запаса памяти фактически оказывается «запертой» внутри пользовательских компьютеров. При этом такие ресурсы, по его словам, задействованы лишь примерно 5% времени.
В результате оборудование, которое потенциально может использоваться для работы ИИ-моделей, большую часть времени простаивает. При локальном запуске каждый пользователь должен иметь собственный запас памяти и вычислительных ресурсов, даже если обращается к модели нерегулярно.
Ставка на загрузку облачных мощностей
Альтман считает, что в условиях дефицита оборудования разумнее сосредоточить ресурсы в дата-центрах. Облачная инфраструктура позволяет распределять мощности между большим числом пользователей и поддерживать более высокую загрузку серверов, чем отдельные компьютеры.
«Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов», — заявил руководитель OpenAI. По его мнению, глобальная система должна стремиться к максимальному использованию вычислительных мощностей в облаке, а не к тому, чтобы память и другие компоненты простаивали на устройствах пользователей.
Таким образом, спор о локальном и облачном запуске ИИ Альтман рассматривает не только как вопрос удобства или конфиденциальности. В его формулировке это прежде всего проблема распределения ограниченных ресурсов: индивидуальные компьютеры дают доступ к моделям, но могут использовать дорогостоящую память значительно менее эффективно, чем централизованная инфраструктура.
