Инференс выходит на новый уровень: llm-d 1.0, DeepInfer и 24 ГБ
20 октября сразу несколько новостей обозначили важный сдвиг в развитии инфраструктуры для больших языковых моделей. IBM и Red Hat довели оркестратор llm-d до версии 1.0, DeepSeek открыла собственный инференс-фреймворк DeepInfer, а в сообществе r/LocalLLaMA обсуждали запуск нескольких движков на видеокарте с 24 ГБ памяти.
Эти события относятся к разным уровням — корпоративным кластерам, разработке инференс-инструментов и домашним системам. Однако их объединяет общий тренд: вопрос о том, удастся ли запустить модель, постепенно отходит на второй план. Гораздо важнее становится стоимость и эффективность её работы.
llm-d 1.0 учитывает специфику LLM-нагрузок
Проект llm-d развивали более года IBM и Red Hat совместно с сообществом vLLM. В стабильной версии он представляет собой слой распределённого инференса поверх Kubernetes, ориентированный на особенности языковых моделей, которые не учитывают традиционные балансировщики нагрузки.
Одна из ключевых возможностей llm-d — маршрутизация запросов с учётом расположения нужного префикса KV-кеша. Если часть контекста уже сохранена на конкретном узле, система может направить запрос туда, избежав лишних вычислений и повторной обработки данных.
Архитектура также разделяет масштабирование этапов prefill и decode. Это позволяет отдельно управлять подготовкой контекста и генерацией токенов. Дополнительно llm-d умеет автоматически масштабировать инфраструктуру по длине очередей, а не только по загрузке CPU, что лучше соответствует характеру LLM-инференса.
От кластеров до локальных видеокарт
Параллельно DeepSeek представила собственный фреймворк DeepInfer. Сам факт появления отдельного инструмента от разработчиков моделей показывает, насколько важным направлением становится оптимизация инференса и контроль над его инфраструктурой.
На другом конце спектра в r/LocalLLaMA обсуждали тезис о том, что 24 ГБ видеопамяти могут быть достаточны для работы нескольких инференс-движков, если запускать их по очереди. Такой подход не отменяет ограничений памяти, но предлагает смотреть на домашнее оборудование не только через вопрос максимального размера одной модели, а через организацию последовательной работы компонентов.
В совокупности эти события отражают изменение приоритетов отрасли. Инференс становится задачей не просто запуска модели, а грамотного распределения ресурсов — от KV-кеша и Kubernetes до видеопамяти локальной рабочей станции. Конкуренция теперь будет идти не только за качество моделей, но и за то, насколько экономно их можно обслуживать.
