GPT-6 Astra научилась исправлять веса Qwen: что показало исследование MIT
Исследователи из MIT CSAIL опубликовали технический отчёт «Sparks of Weight-Space Programming», посвящённый редактированию весов нейросетей с помощью другой языковой модели. В эксперименте GPT-6 Astra от OpenAI проанализировала параметры Qwen3.5-0.8B, нашла причину сбоя в рассуждениях и внесла изменения напрямую — без обучения на дополнительном датасете.
Задача формулировалась на естественном языке: требовалось улучшить математические способности Qwen, редактируя её веса. Astra могла использовать промпты и, в некоторых экспериментах, Python-песочницу, однако обучать модель на новых данных ей не разрешали. Авторы работы — Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб, известный как создатель инструментов DSPy и ColBERT.
Что изменилось в Qwen
Небольшая модель Alibaba часто зацикливалась во время рассуждений и не успевала выдать ответ до достижения лимита в 32 768 токенов. Astra связала этот дефект с конкретным направлением в пространстве активаций, которое формируют MLP-блоки в 15-м и 19-м слоях.
Затем модель вычла найденное направление из 64 выходных столбцов каждого из двух слоёв. Всего было изменено 131 072 веса — примерно 0,016% от общего числа параметров Qwen3.5-0.8B. Для поиска и уточнения правок Astra понадобилось до 50 прямых проходов. При ограничении в 10 или 25 проходов зацикливание в основном сохранялось.
По данным авторов, после редактирования результат Qwen на тесте MATH-500 вырос с 7,9% до 48,1%, а на GSM8K — с 13,8% до 67,1%. Показатель следования инструкциям IFEval увеличился с 21,0% до 62,3%. Одновременно доля ответов, упиравшихся в лимит длины, сократилась с 93% до 33,1%.
Последний показатель помогает объяснить столь резкий рост точности. Во многих случаях модель не стала принципиально лучше решать задачи — после устранения зацикливания она просто получила возможность завершить рассуждение и выдать ответ.
Механистическая интерпретируемость без ручного анализа
Подход напоминает механистическую интерпретируемость: исследователь анализирует внутренние представления модели и пытается связать отдельные направления активаций с определённым поведением. Раньше подобную работу выполняли люди, вручную изучая слои и проводя множество экспериментов. В данном случае поиск проблемного участка поручили самой языковой модели, описав цель словами.
Техника вычитания направлений известна по исследованиям steering-векторов и методам изменения нежелательного поведения моделей. Новизна эксперимента MIT заключается в том, что Astra самостоятельно обнаружила подходящее направление и определила, какие параметры следует изменить для устранения конкретного дефекта.
Ограничения метода и риски
Метод не универсален. На Gemma 3 270M от Google аналогичный подход не сработал: модель редко зацикливалась, поэтому очевидной неисправности, которую можно было бы устранить, в ней не обнаружили. Авторы подчёркивают, что редактирование весов способно убрать препятствие, мешающее модели проявить уже имеющуюся способность, но не добавляет навык, которого у неё изначально нет.
Результаты пока нельзя считать окончательно подтверждёнными: независимого воспроизведения эксперимента нет, а испытания проводились на моделях размером менее миллиарда параметров. Поэтому рост показателей Qwen не следует напрямую трактовать как полноценное улучшение математического мышления.
Практическая ценность технологии особенно заметна для небольших открытых моделей. Если проблема связана с зацикливанием, повторениями или нарушением формата ответа, локальная правка нескольких слоёв может стать альтернативой дообучению, которое требует датасета и вычислительных ресурсов.
Одновременно возникает вопрос безопасности. Если одна модель способна точечно менять поведение другой через её веса, тот же механизм потенциально можно использовать для встраивания скрытых функций и закладок. В исследовании с участием Николаса Карлини ранее показывалось, что около 0,1% отравленных данных при предварительном обучении может привести к появлению бэкдора в CLI-агенте на базе Qwen3-4B с успешностью примерно 92%.
В совокупности эти результаты усиливают требования к происхождению и проверке открытых моделей. Контрольные суммы, аудит весов и тестирование поведения после загрузки становятся важными не только для защиты от повреждённых файлов, но и для обнаружения скрытых изменений, которые могут проявиться лишь в определённых сценариях.
