Kimi K3.1 Pro: Moonshot AI открыла веса модели на 2,8 трлн параметров
Moonshot AI выпустила в открытый доступ веса Kimi K3.1 Pro — флагманской языковой модели класса 3 трлн параметров. Релиз появился на Hugging Face и стал одним из крупнейших открытых запусков со времён предыдущей Kimi K3.
Новость быстро привлекла внимание сообщества разработчиков локальных моделей: обсуждение релиза стало самым популярным постом дня в r/LocalLLaMA. Реакция оказалась неоднозначной. Одни участники оценили необычно щедрые условия распространения, другие обратили внимание на признаки возможного «бенчмаксинга» — оптимизации поведения модели под конкретные тесты.
Архитектура и специализация
Kimi K3.1 Pro создана как результат постобучения Kimi K3 с использованием масштабного совместного обучения с подкреплением. В процессе модель адаптировали к сотням прикладных доменов, включая программирование, финансовые исследования, 3D-моделирование и сценарии с длинными цепочками вызовов инструментов.
Модель изначально мультимодальная: она работает с текстом и изображениями, используя собственный энкодер MoonViT-V2. Основной архитектурный подход — Mixture of Experts, или MoE. Несмотря на общий объём в 2,8 трлн параметров, для обработки каждого токена активируется только часть модели.
Ключевые характеристики
- Общий объём: 2,8 трлн параметров.
- Активная часть: 104 млрд параметров на токен.
- Архитектура: 896 экспертов, из которых для каждого токена выбираются 16; всего в модели 93 слоя.
- Контекст: до 1 048 576 токенов.
- Мультимодальность: обработка текста и изображений через энкодер MoonViT-V2.
- Внимание: KDA Gated DeepSeek Sparse Attention, пришедшее на смену полному вниманию из Kimi K3.
- Форматы вычислений: веса MXFP4 и активации MXFP8.
Большое контекстное окно рассчитано на работу с объёмными документами, длинными историями взаимодействия и многоэтапными агентными задачами. Разреженное внимание и MoE-архитектура при этом должны снижать вычислительную нагрузку по сравнению с моделью, в которой все параметры активируются для каждого токена.
Открытие весов делает Kimi K3.1 Pro заметным экспериментальным объектом для разработчиков инфраструктуры и исследователей больших моделей. Однако практическая ценность релиза будет зависеть не только от масштаба, но и от качества реализации, требований к оборудованию и результатов независимых проверок — особенно с учётом дискуссии о поведении модели на бенчмарках.
