GDPx: почему лучшие ИИ-агенты решают лишь 12% рабочих задач
Компания SemiAnalysis представила бенчмарк GDPx для оценки агентных возможностей современных ИИ-моделей. Его цель — проверить не способность системы написать отдельный фрагмент кода или ответить на вопрос, а умение в течение нескольких часов выполнять сложные профессиональные задачи, за которые бизнес готов платить.
Результаты оказались заметно ниже привычных показателей специализированных тестов. Лучшая модель общего назначения, Claude Opus 5.5 от Anthropic, справилась примерно с 12% заданий. Авторы исследования — Макс Кан, Эндрю Мегалаа и основатель SemiAnalysis Дилан Пател — считают этот показатель отражением разрыва между демонстрационными успехами ИИ и полноценной самостоятельной работой.
Что проверяет GDPx
В бенчмарк вошли 11 направлений: проектирование чипов и аппаратных систем, кибербезопасность, биология, финансы, право, квантовый трейдинг, материаловедение, разработка программного обеспечения, а также рекурсивное самоулучшение ИИ и alignment — согласование поведения моделей с человеческими целями.
Набор областей формировали с учетом ожидаемого ускорения от ИИ в ближайшие год-два, а не их доли в ВВП. Задания подготовили 14 партнеров, разрабатывающих среды обучения с подкреплением для исследовательских лабораторий. На выполнение каждого задания модели получали до восьми часов и работали в привычных интерфейсах: Claude Code для Opus, Codex для Astra, Antigravity для Gemini и OpenCode для остальных систем.
GDPx отличается от более распространенных тестов форматом проверки. В нем используются многочасовые интерактивные задачи в рабочих средах, а результат оценивается по принципу pass@1 на основе трех попыток. Оценка может быть бинарной или частичной. Для сравнения, GDPval от OpenAI построен на неинтерактивных заданиях с экспертной оценкой, а SWE-bench Verified проверяет только исправление кода в репозиториях.
Какие модели лидируют
Claude Opus 5.5 показала лучший общий результат и лидировала в квантовом трейдинге, проектировании аппаратных систем и чип-дизайне. GPT-6 Astra от OpenAI получила первое место в задачах на самоулучшение ИИ и материаловедение. Gemini 4 Carbon от Google стала лучшей в биологии и немного опередила конкурентов в разработке программного обеспечения.
В кибербезопасности с заметным отрывом лидировала Muse Wonder Full от Meta*. При этом в финансах и праве ни одна из протестированных моделей не решила ни одной задачи полностью. В юридическом задании на редактирование договора за 20 прогонов не было пригодного результата: средняя частичная оценка Opus 5.5 составила 44%, Astra — 25%, а GLM-5.3 — всего 0,5%. Задание по анализу качества прибыли также осталось нерешенным после 25 попыток.
Сложности возникли и в квантовом трейдинге: 70 из 111 оцененных прогонов оказались хуже эталонной стратегии. Эти результаты показывают, что даже высокая способность модели генерировать текст, код или формулы не гарантирует качественного решения задачи, где требуется учитывать контекст, ограничения и последствия действий.
Цена ограничений безопасности
Авторы GDPx отдельно отмечают влияние встроенных классификаторов безопасности. Opus 5.5 и GPT-6 Astra теряли баллы, когда отказывались выполнять часть заданий в кибербезопасности, биологии и alignment. Если исключить эти три области, расстановка моделей меняется.
По мнению авторов исследования, лидерство Gemini 4 Carbon в биологии может быть связано с менее строгими ограничениями. Таким образом, тест демонстрирует компромисс: защитные механизмы снижают риск опасного поведения, но одновременно могут уменьшать результат в бенчмарках, где от модели требуется работать с чувствительными темами.
Почему 12% — не приговор
Низкий общий результат не обязательно означает, что модели бесполезны. Скорее, GDPx пока остается тестом с большим запасом сложности и, вероятно, дольше не будет полностью пройден, чем некоторые существующие бенчмарки. Более важными для практики оказываются не только итоговые проценты, но и анализ типичных ошибок.
В задачах по разработке ПО 76% провалов фронтирных моделей были связаны с требованиями, выходящими за пределы основной просьбы: сохранением существующего поведения, интеграцией с другими компонентами и обработкой пограничных случаев. Модели нередко создавали тесты, подтверждающие корректность собственного решения, но хуже проверяли, соответствует ли оно исходным требованиям и не сломало ли соседние функции.
Поэтому успешное прохождение тестов еще не доказывает, что агент выполнил работу правильно. При оценке ИИ-систем важно проверять не только то, что они добавили, но и то, что могли незаметно нарушить в уже существующем проекте.
У GDPx остается и методологический вопрос: большая часть заданий закрыта для независимой проверки. В дальнейшем станет понятно, смогут ли другие лаборатории воспроизвести результаты и примут ли GDPx как общий отраслевой ориентир, либо он останется внутренней метрикой SemiAnalysis.
*Meta признана в России экстремистской организацией, ее деятельность запрещена на территории страны решением Тверского районного суда Москвы от 21 марта 2022 года.
