Однобитная модель на 763 миллиарда параметров: что показал релиз ISTA
Исследователи ISTA представили сборку DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder, в которой средний вес модели кодируется одним битом. Речь идёт о сжатии модели с 763 миллиардами параметров — подходе, который ещё недавно выглядел скорее как теоретический эксперимент, чем как готовый релиз.
Авторы опубликовали не только саму сборку, но и результаты тестирования. На LiveCodeBench v6 однобитная модель набрала 88,57 балла, а на SWE-bench Verified — 77,00. По заявлению участников обсуждения, после сжатия модель можно запускать на потребительской рабочей станции, что и стало главным практическим аргументом релиза.
Сжатие против компактных моделей
Высокие результаты, однако, вызвали дискуссию. Для сравнения приводятся показатели полноразмерной Qwen3.8-27B, которая почти в 28 раз меньше: на LiveCodeBench она получила 90,3 балла. Ещё выше результат у Qwen3.8-Flash-Next — 91,9. Таким образом, однобитная модель DeepSeek не выглядит безусловным лидером именно в программных тестах, несмотря на значительно больший исходный масштаб.
Это подводит к ключевому вопросу: оправдано ли сжимать гигантскую модель до одного бита на параметр, если более компактные системы могут показывать сопоставимые или лучшие результаты без настолько радикальной оптимизации? Ответ сторонников подхода связан прежде всего с возможностью сохранить большой объём параметров и одновременно сделать запуск модели доступнее для локальных пользователей.
В опубликованной демонстрации однобитный DeepSeek генерирует анимированные SVG-изображения и создаёт воксельные сцены с использованием three.js. Эти примеры показывают, что речь идёт не только о синтетических числах в таблицах, но и о работе модели с прикладными задачами генерации кода.
Почему к результатам относятся осторожно
Обсуждение релиза в сообществе r/LocalLLaMA быстро разделилось на два лагеря. Одни рассматривают сборку как важный шаг для локального запуска сверхкрупных моделей. Другие указывают, что итоговое качество необходимо оценивать в контексте конкретных бенчмарков, методики измерений и реальных требований к памяти и скорости инференса.
В дискуссии также фигурировало сравнение с Claude Opus 4.6, для которого приводится результат 81,42. При этом эта цифра выше заявленных 77,00 на SWE-bench Verified, поэтому сама формулировка сравнения требует осторожности и не позволяет говорить о превосходстве однобитной сборки без дополнительных пояснений.
Релиз ISTA важен прежде всего как демонстрация предела, к которому движется квантизация больших языковых моделей. Он показывает, что даже модель на сотни миллиардов параметров можно преобразовать в формат, ориентированный на потребительское оборудование. Но приведённые сравнения одновременно напоминают: масштаб и экстремальная степень сжатия сами по себе не гарантируют лучшего качества по сравнению с хорошо оптимизированными компактными моделями.
