Odyssey открыла доступ к модели, генерирующей интерактивные миры в реальном времени
Компания Odyssey открыла публичный доступ к исследовательской версии Odyssey-3 — модели, которая создаёт интерактивные окружения по текстовому описанию. В отличие от обычной генерации видео, система продолжает формировать сцену в реальном времени: учитывает перемещение пользователя, изменение положения камеры и происходящие в мире события.
Odyssey-3 относится к классу world models, или моделей мира. Такие системы должны не просто создавать последовательность кадров, а сохранять представление о состоянии окружения и предсказывать его изменения после конкретных действий. Например, модель должна учитывать, что произойдёт, если персонаж войдёт в воду или автомобиль начнёт двигаться по дороге.
Что доступно в публичном демо
В браузерном демо используется облегчённая версия Odyssey-3 Flash. Она поддерживает вид от первого и третьего лица, а также свободное управление камерой. Попробовать модель можно бесплатно, однако набор функций в публичном preview ограничен генерацией интерактивных окружений.
В основе Odyssey-3 лежит авторегрессионный диффузионный трансформер. Для обучения использовались видеозаписи из интернета с описаниями событий, игровые сессии с синхронизированными нажатиями клавиш и движениями мыши, а также симуляции физических взаимодействий. Базовая версия генерирует изображения с разрешением 832 × 480 пикселей, а Odyssey-3 Pro — 1280 × 720.
Потенциальное применение в робототехнике
Odyssey рассматривает модель не только как инструмент для создания виртуальных миров, но и как основу для управления физическими и цифровыми системами. В демонстрациях Odyssey-3 использовали с роботизированными манипуляторами, гуманоидными роботами, беспилотным автомобилем, дроном и персонажами видеоигр.
Для каждой задачи к модели подключается отдельный контроллер. Он преобразует внутреннее представление мира, сформированное Odyssey-3, в команды для конкретной системы. При этом функции робототехники и автономного транспорта пока показаны только в демонстрациях и не входят в публичную версию сервиса.
Результаты тестов и ограничения доступа
По данным Odyssey, версия Pro набрала 66,1 балла в тесте Physics-IQ, который оценивает понимание физических процессов. При этом показатель получен в одном запуске с выбором лучшего из восьми вариантов. Средний результат четырёх стандартных запусков составил 63,37 балла. Компания также сообщила, что Odyssey-3 заняла первое место в трёх из четырёх категорий теста WorldMark, однако эти результаты относятся к собственной оценке Odyssey.
Веса модели пока не опубликованы. Доступ к API предоставляется по заявке, тогда как обычным пользователям доступно браузерное демо с генерацией интерактивных окружений. Это позволяет протестировать основной сценарий Odyssey-3, но не даёт возможности самостоятельно развернуть модель или использовать заявленные робототехнические функции.
