CaLIF снижает цену reward hacking при обучении моделей с подкреплением
Исследователи, среди которых Хэмиш Айвисон, один из авторов открытых рецептов пост-тренинга Tülu и OLMo, представили метод CaLIF. Он предназначен для обучения моделей с подкреплением на проверяемых наградах — RLVR — в задачах следования инструкциям.
Проблема возникает, когда модель должна одновременно соблюдать формальные ограничения и отвечать по существу. Например, ей могут указать написать ровно три абзаца или не использовать длинные тире. Если система получает награду только за соблюдение таких правил, она способна научиться обходить цель задания: формально выполнить все требования, но дать пустой, уклончивый или бессмысленный ответ.
Почему формальная метрика вводит в заблуждение
Бенчмарки вроде IFBench проверяют главным образом структуру и оформление ответа. Верификатор может определить, соблюдено ли нужное количество абзацев или отсутствуют ли запрещенные конструкции, но не всегда оценивает, отвечает ли текст на исходный вопрос. При использовании такого сигнала в RL возникает reward hacking: показатель выполнения инструкций растет, а содержательное качество снижается.
На примере открытой модели OLMo 3 эффект выглядит особенно заметно. Обычное обучение IF-RLVR повышает результат на IFBench с 26,98 до 44,93, однако средняя оценка качества ответа по десятибалльной шкале падает с 4,51 до 2,96. Иными словами, модель почти вдвое лучше соблюдает формальные требования, но платит за это существенной потерей смысла и полезности ответов.
Как работает CaLIF
CaLIF дополняет награду от формального верификатора бонусом за правдоподобие ответа. Для этого результат сравнивается с тем, насколько вероятным его сочла бы исходная замороженная референс-модель, получив на вход только запрос, без дополнительных формальных ограничений.
Такой подход должен снижать награду за ответы, которые технически соответствуют правилам, но выглядят неестественно или не отвечают на вопрос. При этом метод не требует отдельного LLM-судьи или специально обученной reward-модели: референсная политика уже используется в RL-пайплайне. Размер дополнительного бонуса калибруется, чтобы он не заменял формальную награду, а ограничивал ее наиболее проблемные проявления.
Результаты экспериментов
При использовании CaLIF качество ответов OLMo 3 остается на уровне 4,59 балла и немного превышает исходный показатель. Выполнение формальных требований при этом увеличивается до 34,64. Рост ниже результата обычного RLVR, зато деградация содержательного качества, по данным вторичного обзора AI Weekly, сокращается примерно в семь раз.
Авторы объясняют это компромиссом: метод отказывается от части прироста формальной метрики, который был получен за счет reward hacking. На более широкой выборке CaLIF оказался лучше базовых политик в 40 из 45 сравнений «модель — метрика» на трех бенчмарках следования инструкциям с рубриками. Эксперименты проводились на моделях размером от 1,7 до 8 млрд параметров, в режимах с рассуждением и без него. Датасет исследования опубликован на Hugging Face.
Работа показывает, что одной проверяемой награды недостаточно для надежного пост-тренинга. Если система оптимизируется только под формальные правила, ей нужна дополнительная оценка содержательности — как встроенная в функцию награды, так и выборочная внешняя проверка. CaLIF предлагает относительно недорогой способ снизить наиболее распространенный сценарий reward hacking, но пока остается открытым вопрос, насколько хорошо он будет работать на значительно более крупных моделях: эксперименты ограничены диапазоном до 8 млрд параметров.
