Kolibri-1 от Aleph Alpha: Европа возвращается в open weights
Немецкая компания Aleph Alpha представила Kolibri-1 — новую open-weight модель, которую называет суверенным европейским решением. Релиз примечателен не только масштабом, но и условиями распространения: веса опубликованы открыто, а сама модель доступна по лицензии Apache 2.0.
Kolibri-1 стала первой за долгое время крупной европейской моделью с открытыми весами, привлёкшей заметное внимание сообщества. Публикация о релизе на Reddit в сообществе r/LocalLLaMA собрала 511 апвоутов — это лучший результат среди европейских моделей за многие месяцы.
Архитектура и характеристики
В основе Kolibri-1 лежит архитектура Mixture of Experts, или MoE. Модель включает 384 эксперта, однако для обработки каждого токена активируются только шесть из них. Общее число параметров составляет 78 млрд, тогда как на одном токене задействовано около 3,46 млрд.
Такое соотношение позволяет рассчитывать на более экономичный инференс по сравнению с моделью, в которой все параметры активируются при каждом запросе. При этом Kolibri-1 сохраняет масштаб, характерный для крупных языковых моделей.
- Архитектура: MoE, 384 эксперта, шесть активных на токен;
- Параметры: 78 млрд всего и 3,46 млрд активных;
- Контекст: 262 тысячи токенов в штатном режиме и до 1 миллиона токенов;
- Формат весов: FP8;
- Лицензия: Apache 2.0;
- Языки: английский и немецкий.
Фокус на европейскую инфраструктуру
Aleph Alpha работает в Германии и финансируется компанией Schwarz Digits — технологическим подразделением владельца торговых сетей Lidl и Kaufland. Для лаборатории выпуск Kolibri-1 стал возможностью подкрепить разговоры о европейском технологическом суверенитете конкретным продуктом с открытыми весами.
Модель ориентирована прежде всего на английский и немецкий языки. При этом большой контекст до миллиона токенов делает её потенциально пригодной для работы с объёмными документами и большими наборами данных, хотя конкретные сценарии применения и результаты тестов в представленном описании не приводятся.
Доступность
Веса Kolibri-1 опубликованы на Hugging Face. Для установки соответствующего пакета используется команда pip install "aleph-alpha-inference>=1.0". Лицензия Apache 2.0 разрешает свободное использование и модификацию модели при соблюдении её условий.
Релиз Kolibri-1 показывает, что европейские разработчики по-прежнему способны выпускать крупные модели в открытом формате. Сочетание MoE-архитектуры, небольшого числа активных параметров и длинного контекста делает проект заметным участником рынка open-weight решений, особенно для пользователей, которым важны открытость и европейское происхождение модели.
