Asana снизила стоимость браузерного ИИ-агента в 29 раз благодаря кэшированию истории
Команда Asana 8 октября рассказала об оптимизации браузерного ИИ-агента в платформе StackAI. Система автоматизирует действия на сайтах и работу с веб-формами. После изменения механизма хранения истории оценочная стоимость выполнения одной задачи на исходной модели снизилась в 29 раз.
До оптимизации агент сохранял в кэше системные инструкции и описания доступных инструментов, но при каждом шаге изменял накопленную историю посещённых страниц и скриншотов. Из-за этого менялось начало запроса, и поставщик модели не мог повторно использовать значительную часть уже обработанных токенов. Контекст фактически снова передавался и оплачивался как новый ввод.
Дополнительной проблемой стала обрезка истории. Когда из запроса удалялись старые данные, агент мог повторно открывать страницы, что увеличивало продолжительность выполнения и расход токенов. Таким образом, неэффективное управление контекстом влияло одновременно на стоимость и скорость работы.
Что изменила команда Asana
Инженеры начали кэшировать не только инструкции и описания инструментов, но и саму историю взаимодействия. Максимальный объём сохраняемого текста увеличили со 120 до 480 тысяч символов. Кроме того, поштучное удаление скриншотов заменили пакетной очисткой.
В одной из протестированных политик агент мог накопить до 20 снимков экрана, после чего сохранялся только последний. Благодаря этому большая часть префикса запроса оставалась неизменной между очистками, а модель могла повторно использовать уже обработанный контекст.
На анонимизированной модели B оценочная стоимость одного прогона снизилась как минимум с 36,21 до 1,24 доллара — примерно в 29 раз. В оптимизированной конфигурации на GPT-6.1 Sol средняя стоимость составила 0,47 доллара, а время выполнения — около четырёх минут.
Заявленная экономия в 76 раз и пятикратное ускорение требуют корректной интерпретации. Эти показатели получены при сравнении оптимизированного варианта на GPT-6.1 Sol с исходной конфигурацией на модели B, а не при сопоставлении одной и той же модели до и после изменений. Если сравнивать только разные политики кэширования и хранения скриншотов на Sol, расходы при увеличенном бюджете снизились в четыре раза.
Ограничения эксперимента
В исследовании использовали 144 основных запуска и ещё 12 дополнительных на четырёх моделях. Каждая конфигурация решала одну задачу: собрать шесть полей о 32 книгах из демонстрационного каталога. Обычно тест проводили в трёх повторениях.
Asana подчёркивает, что эксперимент не является независимым отраслевым бенчмарком и не доказывает возможность аналогичного снижения расходов для любого браузерного агента. Практический вывод для разработчиков — перед сменой модели сначала измерить долю попаданий в кэш, частоту изменения истории и стоимость полностью завершённого задания. В ряде сценариев именно структура контекста, а не выбор более дешёвой модели, может стать главным источником экономии.
