GPT-6 Astra экспериментирует с редактированием весов чужих моделей
Исследователи MIT CSAIL изучают подход, который можно описать как программирование нейросети в пространстве весов. Вместо традиционного дообучения модель получает доступ к параметрам уже готовой системы, находит проблемный участок и изменяет отдельные значения напрямую.
В описанном эксперименте такую задачу выполняла GPT-6 Astra. Модель работала с весами другой нейросети в запущенной Python-сессии — без градиентного обучения и использования GPU. По замыслу авторов, это напоминает работу программиста с чужим исходным кодом: сначала нужно локализовать ошибку, а затем внести точечное исправление.
Проблема с зацикливанием
Подопытной системой стала открытая модель Qwen3.5-0.8B. У неё была известная проблема при решении математических задач: вместо завершения рассуждений модель могла зациклиться и продолжать генерировать токены, не приходя к ответу.
GPT-6 Astra получила доступ к параметрам Qwen3.5-0.8B и задание улучшить её математическое поведение без стандартного процесса обучения. В ходе анализа модель связала сбой с конкретным паттерном во внутренних представлениях. Похожее ограничение, как отмечается в описании модели, было ранее зафиксировано и в её карточке.
Таким образом, эксперимент проверяет идею прямого редактирования весов: нейросеть не обучают на новом наборе данных, а заставляют самостоятельно разобраться в структуре другой модели и предложить локальное изменение её параметров. Это отличается и от обычного fine-tuning, и от методов, которые требуют вычисления градиентов.
Почему эксперимент обсуждают
Новость быстро привлекла внимание участников сообществ, посвящённых локальным языковым моделям, сингулярности и машинному обучению. Обсуждение на Reddit в сумме собрало более трёх тысяч положительных оценок.
При этом доступное описание эксперимента не содержит подробностей о масштабах исправления, итоговой точности Qwen3.5-0.8B и устойчивости полученного результата. Поэтому речь пока идёт прежде всего о демонстрации необычного способа работы с параметрами нейросети, а не о доказанном универсальном методе ремонта моделей.
