GLM-5.5 выйдет в трёх размерах: 32B, 122B и 256B
Z.ai, по всей видимости, готовит не одну флагманскую модель GLM-5.5, а целую линейку из трёх вариантов. О её предполагаемом устройстве рассказал главный научный сотрудник компании Jie Tang во время лекции в Университете Цинхуа.
Пересказ выступления быстро привлёк внимание сообщества, занимающегося запуском нейросетей локально. Публикация с деталями о будущей модели стала одной из самых заметных тем на Reddit в разделе r/LocalLLaMA и набрала около 1100 положительных оценок.
Три масштаба вместо одной модели
Согласно изложенной на лекции информации, в серию GLM-5.5 войдут модели с 32 млрд, 122 млрд и 256 млрд параметров. Такой подход позволит Z.ai охватить сразу несколько сценариев: от запуска на более доступном оборудовании до использования крупной модели в серверной инфраструктуре.
Ранее внимание к моделям GLM во многом объяснялось тем, что они демонстрировали высокие результаты относительно своего размера. Если планы по GLM-5.5 подтвердятся, пользователи получат не единичный флагман, а масштабируемую линейку с разными требованиями к вычислительным ресурсам.
Обучение на данных из шести внутренних источников
Отдельно Jie Tang рассказал о подготовке данных для претрейна. По пересказу лекции, Z.ai не полагается исключительно на открытые массивы вроде Common Crawl. Вместо этого компания использует шесть собственных «движков» сбора и подготовки данных.
Полный состав этих направлений в пересказе раскрыт не был, однако описанный подход указывает на стремление лаборатории контролировать качество обучающего корпуса. Для коммерческой модели это особенно важно: результаты зависят не только от количества токенов, но и от того, насколько хорошо данные очищены, структурированы и связаны с практическими задачами.
Акцент на исполняемый код и агентные сценарии
Одним из ключевых элементов конвейера Z.ai называется преобразование репозиториев в исполняемые задачи с тестами. Такой формат позволяет обучать модель не просто продолжать программный код, а проверять результат, исправлять ошибки и работать с задачами по заданным критериям.
Этот подход соответствует основной специализации GLM-5 — агентному программированию. Модель должна быть полезна в сценариях, где требуется самостоятельно разбираться в проекте, вносить изменения и подтверждать работоспособность решения. При этом GLM-5.5 пока не представлена официально, поэтому заявленные размеры и детали подготовки данных следует воспринимать как информацию из пересказа лекции, а не как финальные характеристики продукта.
