Sony подала заявку на ИИ для предсказания игровых кадров
Sony подала патентную заявку на технологию, которая использует искусственный интеллект для прогнозирования следующих кадров в играх. Система анализирует только что отображённое изображение, предыдущие кадры и действия игрока, а затем заранее формирует предполагаемый следующий кадр — ещё до завершения его обычной отрисовки.
Описание опубликовано в заявке US 2026/0320740 A1. Основная цель решения — сделать игровой процесс более плавным в тяжёлых сценах, уменьшить внезапные притормаживания и избежать дополнительной задержки ввода, которая может возникать при использовании некоторых традиционных методов генерации промежуточных кадров.
Как работает технология
Пока графический процессор занят созданием следующего реального кадра, обученная модель получает данные о последнем показанном изображении. Дополнительно она может учитывать векторы движения объектов и недавние нажатия кнопок на контроллере. На основе этой информации система формирует синтетический кадр и отправляет его в буфер дисплея раньше, чем будет готов полноценный результат рендеринга.
В заявке описан автокодировщик, состоящий из энкодера и декодера. Энкодер преобразует изображение в компактное числовое представление — эмбеддинг, содержащий сведения о его содержании. Декодер использует это представление, чтобы восстановить или спрогнозировать следующий кадр.
Обучение проходит без ручной разметки данных. Энкодер получает один кадр из видеопотока, а декодер пытается предсказать следующий. Затем прогноз сравнивается с реальным изображением, а разница между ними используется как показатель ошибки. Весовые коэффициенты модели корректируются до тех пор, пока величина ошибки не достигнет заданного порога.
Отличие от обычной генерации промежуточных кадров
Некоторые существующие технологии вставляют искусственный кадр между двумя уже отрисованными изображениями. Такой подход требует дождаться подготовки обоих реальных кадров, из-за чего может увеличиваться задержка. Sony предлагает строить прогноз на основе уже показанного кадра, не ожидая завершения рендеринга следующего.
Согласно описанию, декодер способен генерировать больше цветовых каналов, чем поступает на вход энкодеру. Это, по задумке авторов, может позволить создавать сразу несколько последующих кадров. В заявке также упоминается прогнозирование предыдущих кадров и резервный метод без ИИ: в нём блоки пикселей перемещаются в соответствии с рассчитанными векторами движения.
Технология потенциально может применяться как в игровых консолях, так и на ПК. Для её работы нужны стандартные компоненты — процессор, память и экран, а информация о действиях пользователя должна помогать точнее учитывать изменения в сцене. В результате игры смогут поддерживать более стабильный темп отображения без обязательного снижения качества графики.
При этом патентная заявка пока не содержит количественных оценок производительности и качества изображения. На приведённом примере модель теряет часть деталей, поэтому итоговая эффективность будет зависеть от точности прогнозирования и скорости работы системы. Ошибочный кадр может появиться на экране всего на долю секунды, однако заметные артефакты способны ухудшить впечатление от игры.
Новая заявка стала 16-й разработкой Sony в области графического рендеринга. Ранее компания описывала технологии для обнаружения новых объектов в кадре и повышения чёткости сжатого игрового изображения.
