Что потребуется смартфонам для постоянной работы LLM на 100 млрд параметров
К 2028 году ведущие компании в области искусственного интеллекта рассчитывают запускать на смартфонах модели минимум на 100 млрд параметров. Об этом рассказал глава Qualcomm Криштиану Амон в подкасте журналиста Алекса Хита. Имена компаний он не назвал, но отметил, что некоторые из них уже начинают разрабатывать собственные телефоны.
Первые шаги в этом направлении уже заметны. Смартфон с ассистентом Doubao от ByteDance выпускает Nubia. По словам Амона, в будущем конкурировать будут не столько отдельные приложения, сколько автономные ИИ-агенты, получающие доступ к контексту пользователя, памяти устройства и данным сенсоров.
От 20–30 млрд параметров к 100 млрд
Современные мобильные чипы уже умеют работать с крупными моделями. Флагманский Snapdragon 8 Elite Extreme Gen 6, представленный в конце сентября, запускает на устройстве MoE-модель на 30 млрд параметров. В июне Apple представила модель такого же типа на 20 млрд параметров.
Переход к 100 млрд параметров означает более чем трёхкратный рост всего за два поколения чипов. При этом речь идёт не о кратковременном запуске модели по запросу, а о режиме always-on, в котором система постоянно удерживает контекст пользователя, анализирует события и может реагировать без отдельной команды.
Память станет главным ограничением
В 4-битной квантизации веса модели на 100 млрд параметров займут около 50 ГБ. Это уже в несколько раз больше объёма оперативной памяти, которым располагает типичный современный флагман. Кроме самих весов, системе потребуются место для KV-кэша, операционной системы и других приложений.
Есть и проблема пропускной способности памяти. При генерации текста модель в первую очередь упирается в скорость чтения весов, а не в вычислительные возможности процессора. Если предположить разреженную MoE-архитектуру с примерно 10 млрд активных параметров, для обработки одного токена придётся прочитать около 5 ГБ данных. При мобильной памяти со скоростью порядка 100 ГБ/с это даёт теоретический предел около 20 токенов в секунду.
Расчёт остаётся приблизительным, но он показывает направление развития: производителям понадобятся модели с небольшой долей активных экспертов и новые поколения памяти LPDDR. Без таких архитектурных и аппаратных изменений постоянная работа крупной LLM на смартфоне будет слишком медленной или неэффективной.
Always-on потребует больше энергии
Постоянная работа модели создаёт дополнительную нагрузку не только на память, но и на аккумулятор. В режиме always-on смартфон должен непрерывно поддерживать пользовательский контекст, обрабатывать данные сенсоров и быть готовым отреагировать на событие. Для батареи это значительно тяжелее, чем разовый ответ на вопрос или короткая фоновая операция.
Ситуацию осложняет рост стоимости самой памяти. По словам Амона, цены на неё увеличились в пять–шесть раз, а дефицит уже может сократить продажи смартфонов примерно на 20% в текущем году. В первую очередь это затрагивает средний и бюджетный сегменты. Если устройства начнут оснащать 64 ГБ оперативной памяти и более, смартфоны окажутся прямыми конкурентами дата-центров за DRAM-ресурсы, а временный дефицит может превратиться в структурную проблему.
Смартфон и облако станут единой системой
Для ИИ-компаний локальный запуск важен сразу по трём причинам: он снижает задержку, повышает приватность и переносит часть стоимости инференса на устройство пользователя. Однако полностью отказаться от облака в ближайшие годы, вероятно, не получится. Практичным сценарием остаётся гибридная схема: простые и чувствительные к задержке задачи выполняются локально, а более сложные запросы отправляются на сервер.
В ближайшие два года основным рабочим диапазоном для смартфонов, скорее всего, останутся модели на 3–30 млрд параметров с квантизацией. Сам Амон рассматривает облако и устройство как единую вычислительную систему. Для производителей это означает гонку за более ёмкой и быстрой памятью, а для рынка — сохранение высокого спроса на DRAM и HBM как минимум в течение нескольких следующих кварталов.
