Команда Яндекса представила бета-версию нейросети YandexART (Vi) для создания пятисекундных видео. Как сообщили в пресс-службе, модель научилась воспроизводить плавные движения объектов в кадре, такие как бег собаки, падение листа с дерева или взрыв фейерверка.

Нейросеть могут использовать как обычные пользователи для создания, например, уникальной анимированной заставки на телефон, так и блогеры, мультипликаторы и другие специалисты. YandexART (Vi) уже доступна в приложении «Шедеврум».

Компания представила предыдущую версию модели для генерации видео по текстовому описанию в августе прошлого года. Предыдущее решение позволяло создавать анимацию, где казалось, что движется камера, но не объект. Кроме того, при генерации объекты от кадра к кадру значительно менялись.

YandexART (Vi) научилась воссоздавать реалистичные движения и учитывать связь между кадрами, благодаря чему видео получаются более цельными и плавными. Чтобы нейросеть могла справляться с этой задачей, её обучили на роликах с движущимися объектами, например, с едущим автомобилем или крадущимся котом.

Нейросеть создаёт последовательность кадров, которые незаметно сменяют друг друга и образуют плавное видео. На вход модель получает текстовое описание от пользователя о том, что должно быть в кадре (например: «Носорог танцует хип-хоп в сумрачном лесу»), и создаёт изображение, с которого начинается анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, основываясь на этом изображении и текстовом запросе.