GPU-unlock снимает ограничения матричных вычислений на RTX 30 и RTX 40
Разработчики представили открытые проекты GPU-unlock и GPU-unlock-ADA, предназначенные для снятия программных ограничений на матричные вычисления в видеокартах Nvidia серий RTX 30 и RTX 40. Решения ориентированы прежде всего на пользователей, которые запускают локальные нейросетевые модели и другие ресурсоёмкие вычислительные задачи.
По данным авторов проекта, Nvidia ограничивает скорость ряда матричных операций, применяемых в задачах машинного обучения. Анлокеры должны обходить эти ограничения без модификации драйверов или прошивки видеокарты. Программный компонент запускается до загрузки драйвера, после чего видеокарта может эффективнее использовать тензорные ядра в отдельных режимах вычислений.
Какие задачи могут ускориться
Наибольший эффект ожидается при обучении и дообучении нейросетей, а также при выполнении операций FP32 и BF16. Согласно описанию проекта, в зависимости от модели видеокарты и характера нагрузки прирост производительности может достигать 60%. Для генерации изображений и видео с помощью локальных моделей заявлено ускорение почти на 60%.
При работе с большими языковыми моделями преимущество выражено значительно слабее. В таких сценариях результат во многом зависит не только от вычислительной мощности GPU, но и от пропускной способности видеопамяти, оперативной памяти и производительности процессора. GPU-unlock не увеличивает скорость работы памяти и не добавляет видеокарте CUDA-ядер.
Происхождение проекта и ограничения
В основе GPU-unlock лежат исследования, связанные с разблокировкой прошивок видеокарт CMP, которые Nvidia выпускала для майнинга криптовалют. При этом текущий проект не требует перепрошивки графического ускорителя и не меняет его аппаратную конфигурацию.
Разработчики также работают над экспериментальной версией для Windows. В ней планируется использовать UEFI вместо Linux-модуля, применяемого в текущей реализации. Пока заявленные улучшения относятся главным образом к ИИ-вычислениям: подтверждений заметного влияния анлокеров на производительность в играх нет.
Таким образом, GPU-unlock и GPU-unlock-ADA могут представлять интерес для владельцев RTX 30 и RTX 40, которым требуется дополнительная производительность при локальной генерации изображений, видео или работе с нейросетевыми вычислениями. Реальный результат зависит от конкретной модели видеокарты и типа нагрузки.
