Как Revolut перевёл 2 000 инженеров на self-hosted GLM и снизил расходы на ИИ
Британский финтех Revolut перевёл около 2 000 инженеров с коммерческих ИИ-ассистентов на собственную инфраструктуру с открытой моделью GLM от китайской компании Z.ai. По оценке руководителя эксплуатации и инфраструктуры Revolut Дэвида Абитбола, это позволило менее чем за год сократить расходы на ИИ-кодинг примерно на 90%.
Эти данные Абитбол представил на конференции AI Engineer в Нью-Йорке. Компания не раскрывала независимый аудит расчётов, поэтому приведённые показатели следует воспринимать как внутреннюю оценку Revolut. При этом кейс показывает, как меняется экономика ИИ-инструментов при большом числе активных пользователей.
От высоких счетов к собственной модели
Revolut начал внедрять Gemini в начале 2025 года, а затем подключил Claude Code. В отдельных случаях расходы на одного инженера достигали от 1 000 до 10 000 долларов в месяц при сравнительно небольшой отдаче. Компании пришлось вводить жёсткие лимиты, и сотрудники начали экономить токены, что снижало удобство работы с ассистентами.
После этого банк запустил GLM-5.1, а затем перевёл продакшен на GLM-5.3. У GLM-5.1 около 754 млрд параметров, но на обработку отдельного токена активируется примерно 40 млрд. Для запуска GLM-5.3 разработчики модели рекомендуют использовать инфраструктуру инференса SGLang и vLLM.
56 ускорителей для 2 000 инженеров
Нагрузка Revolut размещается на 56 ускорителях NVIDIA B200 — это семь стандартных систем DGX B200. В среднем на один GPU приходится около 36 пользователей. Веса модели занимают примерно 380 ГБ видеопамяти, ещё от 6 до 26 ГБ требуется на контекст одного пользователя в зависимости от выбранной точности вычислений.
По словам Абитбола, оптимизация инференса оказалась эффективнее простого наращивания числа ускорителей. Revolut применил квантование NVFP4, разделил вычислительные пулы для этапов prefill и decode, а также ограничил максимальную длину контекста.
Почему компания ограничила контекст
Несмотря на способность модели обрабатывать до миллиона токенов, в Revolut считают такой объём избыточным для большинства инженерных задач. Рабочее окно ограничили примерно 256 000 токенов: этого достаточно для 20–25 тысяч строк кода, то есть среднего сервиса целиком. Одновременно меньший контекст заметно снижает затраты на KV-кэш.
При таком ограничении время до первого токена удаётся удерживать менее чем на трёх секундах, а скорость генерации составляет около 200 токенов в секунду. После 17:00, когда нагрузка на систему снижается, скорость, по оценке компании, может приближаться к 800 токенам в секунду.
Экономика и эффект для разработки
Расчётная себестоимость работы собственной системы составляет около 0,30 доллара за миллион входных и выходных токенов. В Revolut считают, что это примерно десятая часть затрат на Codex и Claude Code. Сравнение не полностью симметрично: коммерческие подписки включают агентную обвязку, тогда как собственный кластер требует затрат на инженеров, обслуживание и эксплуатацию. Однако при масштабе в тысячи пользователей разница в стоимости может компенсировать эти расходы.
После снятия жёстких лимитов изменилось и поведение инженеров. Они начали запускать больше задач параллельно, не опасаясь исчерпать доступный объём токенов. По словам Абитбола, около 60% прироста скорости написания кода и 70% сокращения lead time пришлось не на непосредственную генерацию, а на связанные процессы: отладку, работу с тикетами в Jira и документацией в Confluence.
Ограничения self-hosted подхода
GLM работает только с текстом, поэтому задачи, связанные с изображениями и другими визуальными данными, Revolut направляет в Gemini и модели OpenAI. Кроме того, использование китайских API остаётся отдельным риском. Размещение весов в собственной инфраструктуре или в облаке нужного региона снижает вероятность утечки данных, но не устраняет вопросы к поведению самой модели. Их компании приходится проверять собственными eval-тестами.
Опыт Revolut показывает, что self-hosted агентные модели могут быть экономически оправданы уже при нескольких сотнях активных пользователей. Однако итоговая выгода зависит не только от цены токенов: важны загрузка GPU, качество модели, стоимость эксплуатации, требования к безопасности и то, насколько хорошо ИИ встроен в процессы разработки.
