iPhone как вторая видеокарта: Qwen 27B на MacBook ускорился до 44%
iPhone можно использовать не только как смартфон, но и как дополнительный вычислительный ресурс для запуска больших языковых моделей. Пользователь сообщества r/LocalLLaMA подключил устройство к MacBook с 24 ГБ унифицированной памяти и добился ускорения обработки запросов к Qwen 3.8 27B на 29–44%.
Эксперимент оказался востребованным среди энтузиастов локального запуска ИИ-моделей. Видеодемонстрация за первые сутки собрала более 1370 апвоутов на Reddit и стала постом дня.
Почему это важно для MacBook с 24 ГБ памяти
Наиболее заметный эффект такая схема даёт на Mac с относительно небольшим объёмом оперативной памяти. Модель на 27 млрд параметров в 4-битном квантизированном виде занимает примерно 15–16 ГБ. На компьютере с 24 ГБ памяти она запускается практически без запаса.
Оставшегося пространства должно хватать самой macOS, запущенным приложениям и KV-кешу, который используется для хранения контекста диалога. При работе с длинными беседами или большими документами доступная память быстро заканчивается, из-за чего запуск модели становится менее удобным.
Какую роль играет iPhone
В описанной конфигурации смартфон берёт на себя часть нагрузки. Часть контекстного окна размещается в памяти iPhone, благодаря чему MacBook получает дополнительное свободное пространство для модели, системы и других операций.
Кроме того, графический процессор смартфона участвует в этапе prefill — первичной обработке пользовательского промпта. Именно это позволяет сократить время обработки запроса и, по результатам эксперимента, ускорить работу Qwen 3.8 27B на 29–44%.
Таким образом, iPhone в данном случае выступает не заменой основного компьютера, а вспомогательным вычислительным устройством. Подход особенно интересен для владельцев MacBook, которым не хватает памяти для комфортной работы с крупными локальными моделями и длинным контекстом.
