Erid:2SDnjdsYdoH
Сбер представил на международной конференции AI Journey бета-версию нейросети нового поколения Kandinsky 4.0 Video для создания реалистичных видеороликов по текстовому описанию или стартовому кадру. Нейросеть могут использовать как обычные пользователи, чтобы создать анимированные ролики с поздравлением близких людей, так и дизайнеры, маркетологи, мультипликаторы, для которых Kandinsky может стать помощником в генерации трейлеров и клипов
Андрей Белевцев, старший вице-президент, руководитель блока «Техно-логическое развитие» Сбербанка:
«За год с момента релиза первой версии модели Kandinsky Video на AI Journey 2023 наша команда значительно улучшила такие показатели, как качество и скорость генерации полноценных видеороликов, открывая тем самым безгра-ничные горизонты для креатива, а также продуктовых применений модели. Теперь каждый пользователь новой версии Kandinsky Video может воплотить свои идеи и выразить их в видеоформате. Мы всегда рады видеть, как наши технологии помогают людям реализовывать свои самые смелые творческие задумки. При этом все ближе то время, когда искусственный интеллект будет способен решать множество задач сразу, причем с самыми разными типами данных и в разных доменах. И такие модели как Kandinsky Video способствуют мировому развитию в этом важном направлении, значительно приближая со-временные технологии к тому синергетическому уровню обработки, восприя-тия и создания информации, каким обладает человек».
Продолжительность и разрешение
Теперь модель генерирует видеоряд продолжительностью до 12 секунд в разрешении HD (1280x720) по любому текстовому описанию или произвольному стартовому кадру. С помощью модели можно создавать видео с разным соотношением сторон под любые пользовательские и продуктовые потребности.
Качество и реалистичность
Важнейшими отличительными свойствами новой модели являются улучшенное визуальное качество — высокий контраст и четкость кадров, выстраивание об-щей композиции сцены, и реалистичность движений генерируемых объектов. Добиться такого качества позволило уникальное сотрудничество научных и инже-нерных команд, которые вместе работали как над развитием архитектуры новой модели, так и над сбором и фильтрацией данных для обучения.
В дополнение к основной модели команда Kandinsky представила быструю версию Kandinsky 4.0 Video Flash, которая генерирует видеоряд продолжи-тельностью до 12 секунд в разрешении 480p (720x480) по любому текстовому описанию всего за 15 секунд.
Kandinsky 4.0 Video — это ансамбль моделей, главная часть которого является диффузионным трансформером с 5 млрд параметрами. Инженеры команды Kan-dinsky использовали самые передовые алгоритмы и способы оптимизации обу-чения больших моделей, что позволило эффективно выучить модель такого раз-мера на огромных массивах видео. Модель разработали и обучили исследовате-ли Sber AI при партнерской поддержке ученых из Института AIRI на объединен-ном датасете Сбера.
Первыми доступ к новой версии Kandinsky Video получат представители креа-тивных индустрий — художники, дизайнеры и кинематографисты. Для них мо-дель будет доступна в рамках инструмента https://fusionbrain.ai/ , который дает его пользователям возможность генерировать полноценные мини-фильмы — со сце-нарием, полноценным видеорядом и звуковым сопровождением. Для широкой аудитории нейросеть будет доступна в 1Q 2025 года.
На правах рекламы: ПАО Сбербанк ИНН 7707083893
