MiniMax M3.1 Flash: агентная MoE-модель за $0,15 за миллион токенов
MiniMax представила модель M3.1 Flash, ориентированную на агентные сценарии и работу с длинным контекстом. Стоимость обработки входных данных заявлена на уровне $0,15 за миллион токенов. При этом модель показывает 74% на бенчмарке DeepSWE и 91% на визуальном тесте BabyVision.
Релиз состоялся 19 октября. Обсуждение модели в сообществе r/LocalLLaMA быстро набрало около 600 апвоутов и 131 комментарий. 23 октября MiniMax обещает опубликовать веса M3.1 Flash, что должно дать возможность запускать модель самостоятельно и изучать её архитектуру.
Разреженная архитектура на 428 млрд параметров
M3.1 Flash построена по принципу mixture-of-experts. Общий размер модели составляет 428 млрд параметров, однако при обработке каждого токена активируется примерно 23 млрд. Такое соотношение даёт коэффициент разреженности около 19:1.
Именно выборочная активация экспертов позволяет сочетать крупный общий объём параметров с более низкой стоимостью инференса. В расчётах учитываются активные параметры, а не весь размер модели, поэтому M3.1 Flash может обеспечивать высокую производительность при сравнительно небольших вычислительных затратах.
Внимание к длинному контексту и встроенное зрение
Вторая ключевая особенность M3.1 Flash — разреженное внимание. Оно снижает квадратичную вычислительную сложность, характерную для стандартных механизмов внимания при работе с длинными последовательностями. Это особенно важно для агентных систем, которым приходится обрабатывать большие объёмы кода, документов и истории взаимодействия.
Мультимодальность также заложена в архитектуру изначально. В модели используется нативный визуальный энкодер, встроенный непосредственно в MoE-систему, а не подключённый к уже готовой языковой модели отдельным модулем. Такой подход, по данным MiniMax, связан с результатом в 91% на BabyVision.
Фокус на агентных задачах
Набор заявленных тестов подчёркивает, что M3.1 Flash создавалась не только для обычного диалога или генерации текста. Результат 74% на DeepSWE указывает на ориентацию на задачи, связанные с программированием и автономной работой агентов, тогда как BabyVision проверяет визуальные возможности модели.
Следующим важным этапом станет публикация весов. Она позволит оценить M3.1 Flash за пределами заявленных бенчмарков, проверить требования к оборудованию и сравнить модель с другими открытыми решениями сопоставимого класса.
