METR: прогресс Anthropic ускорился вдвое — и это не разовый скачок
Anthropic за последний год продвинулась на бенчмарках примерно так же, как за предыдущие два года. К такому выводу пришла независимая лаборатория METR, изучившая динамику развития моделей компании.
Исследователи сравнили период последних двенадцати месяцев с отрезком с октября 2023 года по октябрь 2025-го. За это время Anthropic прошла путь от Claude 2.1 до Sonnet 4.5. Согласно оценке METR, сопоставимый объём улучшений был достигнут всего за один год.
Ускорение оказалось устойчивым
В METR подчёркивают, что важна не только сама цифра. Данные указывают на изменение темпа развития: кривая прогресса Anthropic стала заметно круче. Это может означать, что ускорение связано не с единичным удачным поколением моделей, а с более устойчивыми изменениями в подходах компании.
Иными словами, речь идёт не о кратковременном рывке, после которого показатели должны вернуться к прежней динамике. По интерпретации лаборатории, новый темп прогресса сохраняется и пока не демонстрирует признаков возврата к уровню, характерному для более раннего периода.
Как METR получила данные
С 12 августа по 29 октября 2026 года сотрудники METR работали непосредственно внутри Anthropic. Лаборатория получила доступ к материалам, которые обычно недоступны независимым оценщикам компаний, разрабатывающих передовые модели.
В исследовании использовались внутренние метрики претрейна и обучения с подкреплением, сведения о затратах вычислительных ресурсов, интервью и опросы исследователей Anthropic, а также результаты невыпущенных моделей. Отчёт был опубликован 5 ноября и вызвал заметное обсуждение среди наблюдателей за развитием искусственного интеллекта.
Основной метрикой исследования стал сводный индекс возможностей AECI. Его рассчитали на основе 15 бенчмарков. Именно по динамике этого индекса METR сравнивала темпы развития Anthropic в разные периоды.
