OpenAI продлила срок жизни кэша промптов до 12 часов
OpenAI обновила механизм кэширования промптов в Responses API. Для поддерживаемых моделей теперь можно сохранять входной контекст на срок до 12 часов — это существенно больше стандартных 30 минут.
Изменение рассчитано прежде всего на длительные агентные задачи. В таких сценариях модель многократно обращается к одним и тем же инструкциям, описаниям инструментов и истории работы. Если префикс последующих запросов остаётся неизменным, ранее обработанный контекст можно использовать повторно.
Как работает новый срок хранения
Раньше после продолжительного перерыва кэш мог перестать применяться, и системе приходилось заново обрабатывать общий контекст. Это увеличивало задержку и расходы на обработку входных токенов. Режим с 12-часовым сроком хранения позволяет сохранить кэш между обращениями, разделёнными несколькими часами бездействия.
В API появился параметр prompt_cache_options.ttl. Он принимает два значения: 30m для стандартного 30-минутного кэша и 12h для увеличенного срока хранения. Возможность доступна для поддерживаемых моделей в Responses API.
Стоимость записи кэша
Более длительное хранение обходится дороже при создании кэша. Для 30-минутного режима стоимость записи составляет 1,25× обычной цены входных токенов, а для 12-часового — 2,5×. Речь идёт о полной стоимости записи, а не о дополнительной комиссии поверх неё.
При этом повторное чтение сохранённого кэша по-прежнему тарифицируется по сниженной ставке. Поэтому 12-часовой режим может оказаться выгодным в задачах, где один и тот же контекст используется спустя несколько часов. Однако экономия зависит от характера нагрузки и не гарантирована для каждого сценария.
Наибольшую пользу обновление может дать длительным сессиям Codex и другим ИИ-агентам, которые выполняют десятки последовательных запросов с общим контекстом. Если после каждого долгого перерыва его приходится записывать заново, растут и затраты, и время обработки. Увеличенный TTL помогает сохранять повторно используемые данные между такими обращениями.
