В Nvidia создали алгоритм для синтеза реалистичных видеороликов

22 августа 2018 года

Компания Nvidia разработала нейросетевой алгоритм, способный реалистично переделывать видеоролики из одного стиля в другой. Статья, посвященная этому проекту, была опубликована на сайте ArXiv.org.

Как поясняет N+1, разработка нейросетевых алгоритмов для работы с видео представляет более сложную задачу, чем создание алгоритмов для изображений, поскольку для каждого кадра видеоролика важно не только корректно воссоздать объекты на нем самом, но и учитывать расположение, цвет и другие характеристики этих объектов на соседних кадрах. В противном случае, изображение на сгенерированном видео будет дерганным.

Разработчикам из Nvidia удалось создать алгоритм, умеющий аккуратно изменять кадры исходного ролика, чтобы новое видео было стабильным и реалистичным. Этот алгоритм представляет собой генеративно-состязательную нейросеть, которая включает генератор, создающий изображения, и дискриминатора, предназначенного для того, чтобы отличать созданные генератором кадры от объектов из обучающей базы видеороликов. Результатом обработки исходного видео является новый ролик, каждый кадр которого частично создан путем деформации предыдущих кадров, а частично "придуман" неройсетью.

Для демонстрации результатов работы в Nvidia создали несколько моделей для генерации фотореалистичных роликов из видеозаписей поездок в автомобилях, роликов с моделями лиц и моделями двигающихся тел людей. Позднее свыше 80% опрошенных добровольцев назвали синтезированные видеоролики более качественными, чем настоящие.

Это не первая разработка Nvidia в сфере работы с видеороликами. Ранее в компании создали нейросеть, способную реалистично замедлять обычные видеоролики, дорисовывая недостающие кадры, а также алгоритм для изменения фотографий и видео, способный превратить зиму на видео в лето, а день в ночь.

Источники

править
 
 
Creative Commons
Эта статья содержит материалы из статьи «В Nvidia создали алгоритм для синтеза реалистичных видеороликов», опубликованной NEWSru.com и распространяющейся на условиях лицензии Creative Commons Attribution 4.0 (CC BY 4.0) — при использовании необходимо указать автора, оригинальный источник со ссылкой и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.