Сбер открыл Kandinsky Avatar 1.0 для разработчиков
Сбер выложил в открытый доступ семейство российских моделей Kandinsky Avatar 1.0 для создания говорящих видеоаватаров. Разработчики могут использовать их в коммерческих сервисах.
Модель делает ролики до минуты с частотой 24 кадра в секунду и оживляет людей, животных и персонажей. Код и веса доступны бесплатно под лицензией MIT. Для аватара достаточно изображения, аудиозаписи и описания сцены. Система синхронизирует губы с речью и добавляет мимику и жесты. Голос модель не клонирует. Kandinsky Avatar создана на базе Kandinsky 5.0 Video в версиях Pro и Lite.
По его словам, модель можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт планируется использовать в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы Сбера.
