Perplexity представила JOLT: дообучение моделей с экономией до 14 раз по токенам
Perplexity Research совместно с NVIDIA представила метод JOLT (Joint On-policy Learning and Teaching) для пост-обучения языковых моделей. Его ключевая особенность в том, что одна и та же модель одновременно играет роль ученика и учителя: учитель получает доступ к проверенному решению или другой привилегированной информации, а ученик обучается без этой подсказки.
Проблема традиционного дообучения
Распространённый подход к обучению рассуждающих моделей с подкреплением — Group Relative Policy Optimization (GRPO). Он ориентируется главным образом на итоговую награду: модель получает сигнал о том, решила ли задачу правильно. Для длинных рассуждений и агентных сценариев такой сигнал оказывается слишком редким, поэтому обучение требует большого количества попыток и вычислений.
Более плотный сигнал даёт on-policy-дистилляция, при которой сильная модель оценивает каждый токен, сгенерированный учеником. Однако для этого нужен отдельный учитель, а способность хорошо решать задачи не гарантирует умения давать полезные для обучения объяснения.
Самодистилляция устраняет необходимость в отдельной модели. В подходе OPSD та же система получает доступ к правильному ответу и оценивает собственные попытки. Но такой учитель может предлагать подсказки, недоступные ученику без привилегированной информации. В экспериментах на Terminal-Bench OPSD показывала результат хуже исходной модели независимо от числа попыток.
Как работает JOLT
Авторы JOLT вывели условие, при котором обновление от учителя совпадает с градиентом ожидаемой награды ученика. Это условие превращается в цель обучения самого учителя. При этом учителя ограничивают с помощью KL-регуляризации относительно ученика, чтобы его поведение не слишком сильно удалялось от того, что ученик способен освоить.
Ученик, в свою очередь, обучается методом обратной KL-дистилляции по оценкам учителя для отдельных токенов. В расширенной версии JOLT+ дополнительно используется центрированная итоговая награда, полученная самим учеником. Такая комбинация должна помочь модели одновременно использовать привилегированное знание и сохранять практическую выполнимость подсказок.
Результаты экспериментов
Метод проверили на пяти наборах данных и пяти базовых моделях — от Qwen3-0.6B до Qwen3-30B-A3B. По данным авторов, JOLT+ превзошёл GRPO на GSM8K на 1,5 процентного пункта, на MATH — на 4,2, а на LiveCodeBench v6 — на 3,0. На агентном бенчмарке AppWorld преимущество составило 9,9 процентного пункта.
На Terminal-Bench 2.1 JOLT+ показывал лучший результат при любом числе попыток: от 10,96% при pass@1 до 34,83% при pass@32. При этом чистый JOLT без дополнительной награды ученика уступал GRPO на AppWorld и Terminal-Bench, поэтому наилучшие показатели обеспечивала именно версия JOLT+.
Наиболее заметный выигрыш авторы получили на MATH. Для достижения точности 63,4% GRPO обработал 8,4 млн токенов, тогда как JOLT достиг сопоставимого уровня примерно на 1,3 млн токенов. Это соответствует сокращению объёма примерно в 6,5 раза. Если учитывать только сгенерированные токены, разрыв увеличивается примерно до 13 раз.
Значение и ограничения
Снижение расхода токенов может быть особенно важным для команд, которые дообучают открытые модели под собственные задачи: меньше вычислений означает сокращение времени и стоимости экспериментов. Метод также хорошо согласуется с агентными сценариями, где разработчики располагают логами успешных попыток, результатами тестов и сообщениями верификаторов — то есть той самой привилегированной информацией для роли учителя.
Пока результаты нельзя считать окончательными. Эксперименты проводились на сравнительно небольших моделях, независимых воспроизведений исследования ещё нет, а величина выигрыша заметно различается между бенчмарками. Участие NVIDIA может ускорить появление JOLT в инструментах для дообучения, однако компании напрямую об интеграции метода в свой стек не заявляли.
