Викиновости

NVIDIA открыла код системы машинного обучения, синтезирующей пейзажи по наброскам

13 апреля 2019 года

Компания NVIDIA опубликовала исходные тексты системы машинного обучения SPADE (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом натренированные модели. Система была продемонстрирована в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки открыты под несвободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью ( GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.

Для достижения реалистичности применяются две конкурирующие друг с другом нейронных сети: генератор и дискриминатор (Discriminator). Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор начинает компоновать всё более качественные образцы, до тех пор пока дискриминатор не перестанет отличать их от настоящих.

Источники

править


 
 
Creative Commons
Эта статья содержит материалы из статьи «NVIDIA открыла код системы машинного обучения, синтезирующей пейзажи по наброскам», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.



Источник — https://ru.wikinews.org/w/index.php?title=NVIDIA_открыла_код_системы_машинного_обучения,_синтезирующей_пейзажи_по_наброскам&oldid=8728104