Команды ИИ-агентов оказались в 1,8–5,1 раза дороже одиночных в тестах Vals AI
Компания Vals AI опубликовала результаты сравнения одиночных ИИ-агентов с командами субагентов при разработке веб-приложений. В командном режиме расходы оказались в 1,8–5,1 раза выше, однако заметное с точки зрения статистики улучшение качества обнаружилось только в одном из четырёх сравнений.
Для эксперимента использовали Vibe Code Bench — набор задач, в которых агент получает техническое описание и должен собрать работающее веб-приложение. Проекты разворачивали с помощью Docker Compose, а затем проверяли автоматизированными браузерными тестами, имитирующими пользовательские сценарии.
В исследование вошли 50 приложений, две модели — GPT-6 Sol и Claude Opus 5.5 — и два уровня усилий на рассуждение: medium и max. Каждую из восьми конфигураций запускали один раз. В командном режиме ведущий агент мог параллельно привлекать до пяти субагентов, распределять между ними части работы и затем объединять результаты.
Качество выросло только в одном сценарии
Самый заметный эффект показала GPT-6 Sol при среднем уровне усилий. Доля пройденных тестов увеличилась с 77,6% у одиночного агента до 84,9% у команды — на 7,3 процентного пункта. Для этого сравнения исследователи получили статистически значимый результат: p = 0,005.
В остальных трёх сравнениях, включая конфигурации с Claude Opus 5.5 и максимальным уровнем усилий, различия в качестве не достигли статистической значимости. Это означает, что сам по себе переход к мультиагентной схеме ещё не гарантирует более функциональный или надёжный результат.
Дополнительные агенты заметно увеличили расходы
На уровне medium одиночный GPT-6 Sol в среднем обходился в $1,22 на приложение, тогда как команда тратила $3,07. При максимальном уровне усилий одиночная конфигурация достигала 89% пройденных тестов при стоимости $4,82, а командная — 90,4% при расходах $8,54.
При этом командный GPT-6 Sol в отдельных случаях завершал работу быстрее одиночного агента. Авторы подчёркивают, что длительность выполнения, стоимость и качество нельзя объединять в один универсальный показатель: более быстрый результат не обязательно оказывается лучшим по цене или надёжности.
Архитектура команды влияет на результат
Поведение систем также различалось в зависимости от модели. Ведущий агент на базе Sol обычно быстро делегировал отдельные части приложения нескольким помощникам, работавшим параллельно. Claude Opus 5.5 чаще начинал с описания общих контрактов между компонентами, а затем распределял задачи по последовательным этапам.
Исследование ограничено одним набором задач по веб-разработке и однократными прогонами каждой конфигурации, поэтому его выводы нельзя автоматически переносить на другие виды программирования. Практический вывод заключается в том, что перед подключением субагентов стоит отдельно измерять качество, время и стоимость на собственных задачах. Параллельная работа нескольких агентов может быть оправдана, но не должна считаться гарантированным способом улучшить результат.
