На взломанной PlayStation 5 запустили Qwen с 27 млрд параметров
Разработчик под никнеймом abhi245y выпустил PS5LM Plus — приложение для запуска языковых моделей на графическом процессоре PlayStation 5. В демонстрационных тестах модель Qwen 3.8 с 27 млрд параметров генерировала примерно 20 токенов в секунду. Все вычисления выполняются непосредственно на консоли, без отправки запросов во внешние облачные сервисы.
Взаимодействовать с моделью можно через веб-интерфейс. Для этого подойдут смартфон или компьютер, подключённые к одной локальной сети с PlayStation 5. Кроме того, приложение поддерживает внешних клиентов через OpenAI-совместимый API.
Переход с процессора на GPU
PS5LM Plus основан на проекте PS5LM, который ранее создал Мерт Кобанов (Mert Cobanov). В первоначальной реализации на консоль был перенесён открытый движок llama.cpp, однако модели запускались только на CPU. Это серьёзно ограничивало производительность: Qwen генерировала около одного токена в минуту, а её веса динамически подгружались с накопителя.
Автор PS5LM Plus переработал проект и оформил его как отдельное приложение. Если фоновый модуль имел доступ примерно к 6 ГБ памяти и не мог использовать графический ускоритель, то новая версия получила до 12 ГБ видеопамяти PS5 и возможность задействовать GPU. Вычисления проходят через Vulkan-бэкенд библиотеки ggml и порт драйвера RADV из проекта PS5_Vulkan.
Результаты тестов
Для размещения Qwen в доступной памяти разработчик применил квантованные версии модели. Вариант UD-IQ2_XXS занимает около 6,8 ГБ и показывает скорость 20,7 токена в секунду при контекстном окне на 64 тыс. токенов. Более крупная сборка UD-Q2_K_XL требует около 9,2 ГБ памяти, генерируя 20,3 токена в секунду при контексте до 32 тыс. токенов.
В тех же тестах Gemma 4 E4B достигла скорости 61 токен в секунду, а Llama 3.2 3B — 124 токена в секунду. Таким образом, перенос вычислений на GPU заметно изменил производительность по сравнению с прежним запуском Qwen на процессоре.
Поддерживаемые модели и условия запуска
PS5LM Plus работает с моделями в формате GGUF. Загружать их можно с внутреннего накопителя консоли, внешнего USB-диска, дополнительного M.2 SSD в слоте расширения или из Hugging Face. На экране телевизора приложение отображает скорость генерации, загрузку процессора, энергопотребление и температуру системы.
Для работы PS5LM Plus требуется взломанная PlayStation 5 с установленными etaHEN, kstuff и ShadowMountPlus. Проект распространяется под лицензией GPL-3.0. Это означает, что запуск приложения рассчитан на модифицированные консоли и не относится к штатным возможностям PlayStation 5.
