Google представила Genie 4 — модель для интерактивных миров со звуком
Google DeepMind представила Genie 4 — новую модель для создания интерактивных виртуальных миров. Пользователь может перемещаться по сгенерированному окружению, взаимодействовать с объектами и менять происходящее прямо во время симуляции.
Одним из главных нововведений стала нативная генерация звука. Модель создаёт не только изображение, но и звуковое сопровождение сцены: шум ветра, фоновые звуки, музыку и диалоги персонажей. Реплики могут изменяться в зависимости от действий пользователя и событий, происходящих в виртуальном мире.
Управление сценой текстовыми командами
Genie 4 поддерживает управление с помощью обычных текстовых инструкций. Пользователь может попросить изменить погоду, добавить персонажа, переместить камеру или скорректировать другие элементы окружения. Сцена перестраивается на лету, без необходимости запускать генерацию заново.
За происходящим следят модели семейства Gemini. Gemini 3.8 Flash используется как управляющий агент: она анализирует генерируемые кадры, разбивает задачи на последовательные этапы и проверяет состояние симуляции. Gemini Omni помогает связать визуальную часть с реальным миром, а Gemini 4 Argon разработчики экспериментально применяют для планирования более сложных сценариев.
По заявлению Google, Genie 4 лучше работает с физикой, включая столкновения, аэродинамику и движения людей. Персонажи должны естественнее реагировать на изменения окружающей среды, что важно для интерактивных сцен и обучающих симуляций.
Применение и ограничения
Технологию можно использовать для создания тренировочных сред для роботов и ИИ-агентов, быстрого прототипирования игровых механик и предварительной визуализации сцен для кино. Например, режиссёр сможет менять освещение, ракурс и действия персонажей во время просмотра, а разработчик — проверять концепцию игры ещё до написания полноценного кода.
При этом Genie 4 пока нельзя считать заменой игровому движку. Продолжительность симуляции ограничена примерно двумя минутами. При длительной работе модель может терять детали окружения, изменять внешний вид объектов и допускать ошибки в физике. Среди других нерешённых задач — точность звука, пространственная согласованность сцены и генерация читаемого текста.
Сейчас Genie 4 доступна только ограниченному кругу тестировщиков. В дальнейшем Google планирует предоставить доступ подписчикам AI Ultra через Project Genie, а также партнёрам через Gemini API и Google AI Studio. Сроки запуска и стоимость пока не объявлены, однако пользователи уже могут записаться в лист ожидания.
