Google представил новую нейросеть для генерации видео Lumiere

Новую модель нейросети для генерации видео, получившей название Lumiere, презентовала компания Google.

Lumiere представляет собой модель пространственно-временной диффузии, которая структурирует видео последовательно от первоначального до заключительного кадра, включая все промежуточные эпизоды. Такой подход отличается от общепринятого, когда ИИ по первому и последнему кадру создает цельную картинку. Видео у Lumiere получается динамичным, а за счет дополнительных функций рисования и стилизации, на выходе складывается органичный и эффектный видеоролик

Lumiere генерирует небольшие пятисекундные видео, при этом демонстрирует высокую степень понимания поставленных задач. ИИ помогает статичным картинкам обрести движение, трансформироваться в пространстве персонажам и объектам, а также, на основе начального контента сгенерировать различные версии. В зависимости от поставленной задачи на видео могут быть созданы и реалистичные, и завораживающие, сюрреалистичные сюжеты.

На данном этапе, Lumiere не является коммерческим ресурсом, скорее он используется в качестве исследовательской базы для отработки инновационных решений. Поскольку новый проект пока не имеет ни общественных, ни законодательных ограничений, достижения ИИ дают довольно удачный результат.