Из Gemma 4 удалили 85% весов — на узкой задаче модель сохранила 91,7% совпадений
Большие языковые модели не всегда используют весь набор своих параметров для решения конкретной задачи. Это особенно заметно в архитектурах MoE, где разные входные данные направляются к разным экспертам. Автор эксперимента с Gemma 4 проверил, насколько сильно можно сократить такую модель без заметной потери качества на одном специализированном сценарии.
Результат оказался радикальным: из модели удалили около 85% весов. После этого она сохранила 91,7% совпадений с исходной версией на целевой классификационной задаче. Эксперимент проходил в узком прикладном контексте, поэтому его нельзя напрямую трактовать как доказательство того, что модель в целом сохранила все свои способности.
Как устроено сокращение
В качестве основы использовали Gemma 4 26B-A4B — MoE-модель Google с 26 млрд параметров. При этом для обработки одного токена в ней активируется примерно 4 млрд параметров. Такая архитектура позволяет хранить большой набор экспертов, задействуя лишь часть из них для каждого конкретного запроса.
Автор проанализировал, какие эксперты фактически выбираются на его классификационной задаче. Затем он выделил необходимое подмножество и удалил остальные компоненты. В результате разреженная MoE-модель была фактически превращена в компактную плотную модель, настроенную под один сценарий использования.
Размер и скорость
После сокращения в модели осталось 3,81 млрд параметров — около 15% от исходного количества. В формате квантования Q4_K_M файл занимает 2,75 ГБ. Пиковое потребление памяти составило 3,8 ГБ, а скорость работы достигла 79 токенов в секунду.
При сравнении с полной версией Gemma 4 сокращённая модель показала 91,7% согласия на целевой задаче. Это означает, что в данном случае большая часть параметров не была необходима для получения тех же ответов, что и у исходной модели.
Что означает результат
Эксперимент иллюстрирует важное свойство MoE-архитектур: общий размер модели не равен объёму вычислений, который требуется для каждой отдельной задачи. Если заранее определить устойчивый набор используемых экспертов, модель можно существенно уменьшить и запускать на более доступном оборудовании.
Однако такой подход имеет очевидное ограничение. Удалённые эксперты могут быть нужны для других тем, формулировок и типов запросов. Поэтому получившаяся версия подходит прежде всего для конкретной классификации, а не для универсального диалога. Иными словами, это не универсальное ускорение Gemma 4, а специализация большой модели с помощью анализа её поведения на одной задаче.
