NVIDIA Cosmos 3: модели для интерактивных миров, роботов и автономного вождения
NVIDIA представила четыре специализированные модели семейства Cosmos 3 для создания синтетических данных и интерактивных симуляций. Две модели ориентированы на автономное вождение и работают с видеопотоками и показаниями автомобильных сенсоров, ещё две предназначены для визуального моделирования действий роботов. Веса всех решений опубликованы открыто.
Подробный материал о моделях компания выпустила 5 ноября, при этом в карточках продуктов указана дата релиза 20 октября 2026 года. Новинки созданы на основе Cosmos 3 Nano и, согласно данным NVIDIA, содержат по 16 млрд обучаемых параметров. Распространение идёт по лицензии OpenMDW 1.1, разрешающей коммерческое и некоммерческое использование при соблюдении её условий.
Модели для автономного вождения
Cosmos3-Nano-Transfer-Auto предназначена для пакетной подготовки синтетических данных. Она умеет создавать синхронизированное видео с числом ракурсов до 11, включая камеры с объективами «рыбий глаз», а также одновременно генерировать изображения и данные LiDAR.
Структура дорожной сцены задаётся с помощью World Scenario Map, или WSM. В этой карте описываются дорожная разметка, светофоры, знаки и положение объектов. Текстовое описание отвечает за визуальные условия — погоду, освещение и время суток. Такое разделение позволяет воспроизводить один сценарий в разных обстоятельствах и расширять наборы данных для обучения и тестирования систем вождения. Модель также можно дообучать под конкретный автомобиль с учётом расположения камер, конфигурации LiDAR и особенностей среды.
Cosmos3-Nano-Sim-Auto работает в потоковом режиме и генерирует наблюдения по мере развития симуляции. Модель получила такую возможность благодаря каузальной дистилляции: она создаёт короткие фрагменты синхронизированного видео и данных LiDAR, используя уже сформированную историю и новые управляющие сигналы.
Это позволяет построить замкнутый цикл взаимодействия. Система управления получает наблюдения, выбирает действие, а затем среда формирует следующие данные с учётом этого действия. Для работы требуются среда выполнения симуляции и рендерер WSM, который преобразует команды в обновлённое описание сцены. Фактическая производительность зависит от оборудования и параметров генерации.
Симуляция действий роботов
Cosmos3-Nano-Sim-Transfer подключается к физическому симулятору и преобразует его выходные данные в фотореалистичное видео. Управляющими сигналами могут служить карты глубины, маски сегментации, контуры объектов и размытые изображения, а текст задаёт визуальное оформление сцены.
В этой архитектуре физический симулятор отвечает за движение, столкновения и состояние объектов, а нейросеть формирует цветное изображение. Робот получает сформированные кадры и на их основе выбирает следующее действие. Такой подход позволяет менять освещение и внешний вид среды, сохраняя физическую основу эксперимента.
Cosmos3-Nano-Sim-Bimanual прогнозирует изменения сцены непосредственно по действиям робота или движениям камеры. Модель поддерживает симуляцию двух манипуляторов для платформ YAM и AgiBot. Команды может передавать алгоритм управления или человек с джойстиком.
Для запуска используются исходное изображение и подготовленные управляющие данные. Затем модель генерирует следующие наблюдения с учётом движений манипуляторов, состояния захватов и изменения ракурса. В одной последовательности можно чередовать перемещения камеры и действия робота.
Почему важны короткие фрагменты
Потоковые версии Cosmos 3 последовательно строят видео: каждый новый фрагмент зависит от предыдущей истории, текстового описания и управляющих сигналов. Каузальный механизм внимания не даёт модели обращаться к будущим целевым наблюдениям, а кэширование позволяет повторно использовать уже рассчитанную информацию.
Короткая генерация помогает чаще учитывать новые команды, но создаёт риск накопления ошибок. Если в одном фрагменте появился некорректный объект, он попадает в историю и может повлиять на последующие кадры. Поэтому для интерактивных симуляций важна не только реалистичность отдельных изображений, но и устойчивость всей последовательности.
В описанной NVIDIA схеме обучения предусмотрено четыре этапа. Сначала модель адаптируют к предметной области на полных видеозаписях, затем учат предсказывать фрагменты по предыдущим реальным наблюдениям. После этого дистилляция сокращает генерацию каждого фрагмента до четырёх шагов шумоподавления. На финальном этапе self-forcing модель обучается на собственной сгенерированной истории, чтобы лучше учитывать условия последующего использования.
Что доступно разработчикам
Веса моделей опубликованы в коллекции NVIDIA на Hugging Face. Компания также предоставила примеры запуска и инструкции по дообучению в Cosmos Framework. С их помощью разработчики могут адаптировать системы к другим конфигурациям сенсоров, роботам и средам.
Для описанного NVIDIA запуска Sim-Bimanual через vLLM-Omni требуются Linux, графический ускоритель NVIDIA, Docker и NVIDIA Container Toolkit. Компания проверяла эту конфигурацию на одной системе с GB200. Это описание тестовой среды, а не универсальное требование к минимальному объёму видеопамяти.
Главная практическая ценность Cosmos 3 — возможность экспериментировать с генерацией наблюдений и подстраивать модели под собственные задачи. Однако реалистичное видео само по себе не доказывает, что симуляция пригодна для обучения робота или проверки беспилотного автомобиля. NVIDIA отмечает необходимость дополнительно оценивать достоверность таких сред и их ограничения. Качество дообучения рекомендуется проверять на отложенных эпизодах: успешный запуск кода ещё не означает, что модель действительно научилась решать нужную задачу.
