«Сбер» открыл код и веса Kandinsky Avatar 1.0 для создания анимированных аватаров
Команда разработчиков «Сбера» представила Kandinsky Avatar 1.0 — модель для создания анимированных видеоаватаров. На вход она получает изображение персонажа и аудиозапись речи, а на выходе формирует видео с говорящим героем.
Модель синхронизирует движения губ с речью, добавляет мимику, жесты и повороты головы. Через текстовый запрос можно задать манеру речи и эмоциональную подачу. В качестве исходного персонажа подходит фотография человека, герой мультфильма или животное.
Две версии для разного качества видео
Kandinsky Avatar 1.0 обучали на базе Kandinsky 5.0 Video. В тренировочный набор вошли 1,17 млн видеофрагментов, в каждом из которых в кадре находился один говорящий. Датасет включает материалы на 95 языках.
Разработчики выпустили две версии модели. Kandinsky Avatar 1.0 Lite содержит 2 млрд параметров и предназначена для генерации видео стандартного разрешения. Версия Pro с 21 млрд параметров создаёт видео в высоком разрешении.
Для запуска Lite рекомендуют видеокарту Nvidia с 48 ГБ памяти, а для Pro — с 80 ГБ. При поэтапном декодировании кадров пиковое потребление памяти можно снизить до 28 ГБ. Однако при таком режиме на видео иногда становятся заметны границы между отдельными участками изображения.
Сравнение с другими моделями
Kandinsky Avatar 1.0 Pro проверили в слепом сравнении с открытыми и проприетарными решениями. Участники оценивали пары роликов по семи критериям и выбирали лучший, не зная, какая модель использовалась для генерации.
Видео Kandinsky Avatar 1.0 Pro выбирали чаще, чем ролики конкурентов: в 63% сравнений с Kling Avatar 2, в 60% — с LongCat-Avatar-1.5 и в 54% — с HeyGen IV.
Код и веса обеих моделей распространяются бесплатно по лицензии MIT. Они доступны разработчикам на GitHub, GitVerse и Hugging Face. В дальнейшем Kandinsky Avatar также планируют интегрировать в инструменты ComfyUI и Diffusers.
«Сбер» рассчитывает, что модель станет основой для российских решений в области видеоаватаров. Её можно использовать в учебных и рекламных роликах, видеоинструкциях и персонализированных обращениях к клиентам, а также дообучать под конкретные задачи без разработки собственной технологии с нуля. Обратная связь от сообщества, по словам компании, поможет улучшать следующие версии Kandinsky и внедрение видеоаватаров в сервисы «Сбера».
