Perplexity представила Photon — поисковый движок для ИИ-агентов с задержкой от 160 мс
Perplexity разработала собственный поисковый и ранжирующий движок Photon. Он уже используется в поисковом конвейере компании и стал основой быстрого режима Search API, предназначенного прежде всего для ИИ-агентов.
Агентам часто приходится выполнять несколько поисковых обращений в рамках одной задачи. Поэтому для них важны не только качество выдачи, но и скорость каждого запроса, а также стоимость большого числа вызовов. Photon должен решить эту задачу за счёт более низкой задержки и эффективного использования серверных ресурсов.
Как устроен Photon
Прежняя поисковая система Perplexity была адаптирована на базе open-source-решения. По мере роста индекса и нагрузки она перестала справляться с требованиями компании. Новый движок сократил задержку на 99-м перцентиле примерно с 800 до 65 мс.
В основе Photon лежит инвертированный индекс. Для каждого слова в нём хранится список документов, где это слово встречается. Короткие списки размещаются непосредственно в индексе, а длинные разбиваются на блоки и сохраняются в виде разреженных массивов или битовых карт.
Для ранжирования используется отдельная компактная структура данных. В ней хранятся частоты слов, их позиции и поля документов, в которых они встречаются. Благодаря этому Photon не распаковывает весь объём информации при каждом запросе, а извлекает только необходимые данные.
Кандидатов для выдачи отбирает алгоритм, похожий на WAND. Он позволяет пропускать документы, которые заведомо не смогут попасть в итоговый список результатов. Асинхронное чтение данных снижает задержки при обращении к диску, а раздельное построение индекса и обработка запросов упрощают обновление поисковой базы.
При этом Photon хранит примерно в 2,5 раза больше данных на один документ. Несмотря на это, для обслуживания запросов ему требуется примерно на 20% меньше серверов, чем прежней системе.
Скорость против релевантности
Быстрый режим Search API рассчитан на сценарии, в которых агент многократно обращается к поиску во время выполнения задачи. Медианная задержка одного вызова составляет 160 мс, а 95% запросов укладываются в 230 мс.
В тестировании на 3554 задачах из шести агентных бенчмарков быстрый режим показал результат 64,3%. Расчётная стоимость использования модели и поиска составила 59,73 доллара. Стандартный режим набрал 64,0%, но обошёлся в 187,60 доллара на том же наборе задач. Таким образом, оценочная экономия достигла примерно 68%.
Снижение стоимости сопровождается некоторым ухудшением качества отдельных результатов. Во внутренних тестах Perplexity показатель релевантности DCG уменьшился с 2,45 до 2,21. Доля запросов, для которых среди найденных страниц присутствовал ответ, снизилась с 59,6% до 56,7%.
Поэтому быстрый режим Photon лучше подходит для типовых агентных задач, где критичны скорость и цена большого количества поисковых вызовов. Для сложных исследований с широким охватом источников стандартный поиск может оставаться предпочтительным, даже несмотря на более высокую задержку и стоимость.
