В Nvidia создали алгоритм для синтеза реалистичных видеороликов
22 августа 2018 года
Компания Nvidia разработала нейросетевой алгоритм, способный реалистично переделывать видеоролики из одного стиля в другой. Статья, посвященная этому проекту, была опубликована на сайте ArXiv.org.
Как поясняет N+1, разработка нейросетевых алгоритмов для работы с видео представляет более сложную задачу, чем создание алгоритмов для изображений, поскольку для каждого кадра видеоролика важно не только корректно воссоздать объекты на нем самом, но и учитывать расположение, цвет и другие характеристики этих объектов на соседних кадрах. В противном случае, изображение на сгенерированном видео будет дерганным.
Разработчикам из Nvidia удалось создать алгоритм, умеющий аккуратно изменять кадры исходного ролика, чтобы новое видео было стабильным и реалистичным. Этот алгоритм представляет собой генеративно-состязательную нейросеть, которая включает генератор, создающий изображения, и дискриминатора, предназначенного для того, чтобы отличать созданные генератором кадры от объектов из обучающей базы видеороликов. Результатом обработки исходного видео является новый ролик, каждый кадр которого частично создан путем деформации предыдущих кадров, а частично "придуман" неройсетью.
Для демонстрации результатов работы в Nvidia создали несколько моделей для генерации фотореалистичных роликов из видеозаписей поездок в автомобилях, роликов с моделями лиц и моделями двигающихся тел людей. Позднее свыше 80% опрошенных добровольцев назвали синтезированные видеоролики более качественными, чем настоящие.
Это не первая разработка Nvidia в сфере работы с видеороликами. Ранее в компании создали нейросеть, способную реалистично замедлять обычные видеоролики, дорисовывая недостающие кадры, а также алгоритм для изменения фотографий и видео, способный превратить зиму на видео в лето, а день в ночь.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
