Axion 1.0: открытый MoE-агент на 35 млрд параметров
Axion 1.0 — открытый агент на архитектуре Mixture of Experts, рассчитанный на работу с внешними инструментами. Модель содержит 35 млрд параметров, но при генерации активирует около 3 млрд. В тесте Humanity’s Last Exam с доступом к инструментам она набрала 52,2% — столько же, сколько GPT-5.5 в приведённом сравнении, и больше, чем Gemini 3.1 Pro.
Проект подготовили исследователи ByteDance, Университета Дьюка, Мэрилендского университета и Университета в Буффало. Авторы опубликовали не только веса, но и подробный рецепт разработки: обучающие данные, промпты, фильтры, верификаторы и код. Для открытых агентных моделей такой уровень воспроизводимости встречается редко.
Что входит в публикацию
Чекпойнт Axion-1.0-35B доступен под лицензией Apache 2.0. Модель построена на базе Qwen3.6-35B-A3B. При этом опубликованная версия обозначена как reproduction checkpoint — то есть воспроизведённая по описанному в статье рецепту. Поэтому её показатели немного отличаются от результатов оригинального эксперимента: например, на SEAL-0 она получила 60,4% против 62,2% в статье, а на Humanity’s Last Exam — 52,8% против 52,2%.
В работе также описана более крупная версия на 122 млрд параметров, основанная на Qwen3.5-122B-A10B. Однако её веса на странице проекта не опубликованы. Исследователи ограничились описанием архитектуры и процесса обучения.
Как обучали Axion
Обучение проходило в несколько этапов. Сначала модель отрабатывала рассуждения без инструментов на 10 800 синтетических траекториях, созданных для сложных задач. Затем ещё на 7 500 примерах её учили пользоваться веб-поиском, загружать страницы, искать сведения в научной литературе и выполнять код на Python.
На финальном этапе применялось обучение с подкреплением GRPO во фреймворке verl. Награда зависела не только от правильности итогового ответа: модель также получала частичный кредит за проверенные промежуточные шаги. Авторы указывают, что в процессе не использовали промежуточное дообучение, DPO или дистилляцию.
SFT для версии на 35 млрд параметров занял около 90 GPU-часов, для модели на 122 млрд — примерно 240 GPU-часов. Это соответствует затратам в несколько сотен долларов при использовании H100. Этап RL оказался существенно дороже: для старшей модели задействовали 40 GPU под генерацию траекторий и 16 GPU под обучение, однако общее время этого этапа в статье не раскрывается.
Запуск и ограничения
Благодаря трём миллиардам активных параметров Axion 1.0 должна работать заметно быстрее многих моделей сопоставимого общего размера. В четырёхбитной квантизации версия на 35 млрд параметров помещается примерно в 20 ГБ видеопамяти. Для llama.cpp уже доступна сборка в формате GGUF, а архитектуру qwen3_5_moe поддерживают основные движки инференса.
При этом Axion не является универсальной моделью, которую достаточно подключить к обычному чату. Основные результаты получены в ReAct-обвязке с веб-поиском и выполнением кода. Без собственного инструментального контура качество на агентных задачах может оказаться заметно ниже заявленного.
Насколько показательны результаты
Сравнивать опубликованные цифры следует осторожно. Авторы отмечают, что показатели закрытых моделей собраны из разных источников и получены при неодинаковых настройках. Для каждой системы также выбирался лучший результат одного прогона, а часть данных по Gemini 3.1 Pro рассчитывала сама команда Axion.
Набор тестов заметно ориентирован на научные задачи: в него входят HiPhO, FrontierScience и BioMysteryBench. При этом классические проверки программирования, включая SWE-bench, в основной таблице отсутствуют. Claude Opus 5 сохраняет преимущество на Humanity’s Last Exam с результатом 63,6%. Кроме того, обучение с подкреплением повлияло на разные направления неодинаково: у 35B-версии показатели на FrontierScience Research и HiPhO даже ухудшились.
Главная ценность Axion 1.0 — не только в сравнении с коммерческими системами, но и в открытости всего процесса. Исследователи показали, что относительно компактный MoE-агент можно обучить с инструментами и получить конкурентные результаты без бюджета крупной лаборатории. Однако практическая эффективность модели по-прежнему будет зависеть от качества поискового, программного и вычислительного окружения.
