Nvidia выпустила Isaac Lab 3.0 с движком Newton и модульной архитектурой
Nvidia выпустила Isaac Lab 3.0 — обновлённый набор инструментов для обучения роботов в виртуальных средах. Новая версия расширяет возможности физического моделирования, добавляет несколько вариантов рендеринга и упрощает перенос обученных моделей на реальные устройства.
Физика и рендеринг разделены на независимые модули
Одним из ключевых изменений стала модульная архитектура Isaac Lab. Теперь физический движок, генерацию изображений с виртуальных камер и средства визуализации можно выбирать независимо друг от друга. Для многих сценариев больше не требуется устанавливать и запускать полноценный Isaac Sim: достаточно использовать Newton либо отдельные библиотеки OVPhysX и OVRTX.
Центральным компонентом обновления стал движок Newton, объединяющий несколько подходов к расчёту физики. Метод MJWarp предназначен для моделирования роботов с жёсткими звеньями и суставами. VBD используется для тканей, мягких тел и кабелей, а MPM — для жидкостей и сыпучих материалов. Также в Newton появился экспериментальный метод Kamino для механизмов с замкнутыми кинематическими цепями.
Новые возможности для виртуальных камер
В Isaac Lab 3.0 добавили два варианта рендеринга виртуальных камер. Newton Warp ориентирован на быстрый вывод изображений, тогда как OVRTX предоставляет RTX-рендеринг. Кроме того, система Cosmos 3-Nano Transfer умеет преобразовывать карты глубины в фотореалистичные видеосцены по текстовым подсказкам.
Симулятор также получил поддержку 3D Gaussian rendering. Благодаря этому в обучении роботов можно использовать реконструкции реальных сцен, создавая более близкие к физическому миру виртуальные окружения.
Экспорт моделей на реальные устройства
За перенос обученных моделей отвечает модуль LEAPP. Он экспортирует не только саму модель, но и обработку входных данных. В результате формируется пакет с файлами модели в формате ONNX и сопутствующими метаданными, который можно использовать при подготовке к запуску на реальном оборудовании.
Стабильная версия Isaac Lab 3.0 опубликована на GitHub. Nvidia также подготовила интерактивные демонстрации на своём сайте и руководство по миграции в официальной документации.
