«Сбер» выпустил Kandinsky 6.0 Video для генерации видео с речью и музыкой
Команда «Сбера» представила Kandinsky 6.0 Video — модель для генерации коротких видеороликов вместе с синхронной звуковой дорожкой. Система умеет создавать не только изображение, но и речь персонажей, музыку и шумы окружающей среды. На текущем этапе максимальная длительность ролика составляет пять секунд, однако разработчики планируют увеличить этот лимит.
Модель доступна в «ГигаЧате» и на Hugging Face. Пользователь может описать сцену на естественном языке либо загрузить первый кадр и добавить текстовое описание происходящего. В результате система формирует видео, ориентируясь на заданный сюжет и визуальный контекст.
Синхронизация изображения и звука
Kandinsky 6.0 Video синхронизирует движения губ персонажей с произносимыми фразами. Одновременно модель генерирует звуковое сопровождение с частотой дискретизации 44 кГц, в которое могут входить голос, музыка и фоновые шумы. При необходимости аудиодорожку можно отключить.
По словам разработчиков, система также подбирает референсы для незнакомых объектов. Это должно помогать при генерации сцен с персонажами и другими сущностями, которые появились уже после обучения модели, и повышать точность результата.
Две версии модели и запуск на видеокартах
Семейство Kandinsky 6.0 Video включает две версии: Lite с 3 млрд параметров и Pro с 30 млрд. В их основе лежат связанные модули, которые обмениваются данными для согласования изображения и звука. Обе модели работают как с текстовыми запросами, так и с исходным изображением.
В «ГигаЧате» можно выбрать разрешение видео: SD, HD или Full HD. Для создания роликов в Full HD используется отдельная модель Kandinsky 6.0 Video Super-Resolution. Она увеличивает разрешение исходного видео с 864 × 480 до 1920 × 1080 пикселей.
Открытая лицензия
Код и веса Kandinsky 6.0 Video опубликованы по лицензии MIT. Команда также выпустила интеграцию для Diffusers и ускоренные версии моделей. Для локального запуска предусмотрен режим работы на графических ускорителях с 16 ГБ видеопамяти.
