NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
12 октября 2021 года
Компания NVIDIA опубликовала исходные тексты StyleGAN3, системы машинного обучения на основе генеративно-состязательной нейронной сети ( GAN), нацеленной на синтезирование реалистичных изображений лиц людей. Код написан на языке Python c использованием фреймворка PyTorch и распространяется под лицензией NVIDIA Source Code License, накладывающей ограничение на использование в коммерческих целях.
Для загрузки также доступны готовые натренированные модели, обученные на коллекции Flickr-Faces-HQ (FFHQ), включающей 70 тысяч высококачественных (1024x1024) PNG-изображений лиц людей. Кроме того имеются модели, построенные на основе коллекций AFHQv2 (фотографии морд животных) и Metfaces (изображения лиц людей с портретов классической живописи). Дополнительно предоставляются инструменты для самостоятельного обучения нейронной сети по собственным коллекциям изображений. Для работы требуется одна или несколько видеокарт NVIDIA (рекомендуется GPU Tesla V100 или A100), как минимум 12 ГБ ОЗУ, PyTorch 1.9 и инструментарий CUDA 11.1+. Для определения искусственного характера полученных лиц развивается специальный детектор.
Система позволяет синтезировать изображение нового лица на основе интерполяции особенностей нескольких лиц, комбинируя свойственные им черты, а также адаптируя итоговое изображение под необходимый возраст, пол, длину волос, характер улыбки, форму носа, цвет кожи, очки, ракурс фотографии. Генератор рассматривает изображение как коллекцию стилей, автоматически отделяет характерные детали (веснушки, волосы, очки) от общих высокоуровневых атрибутов (поза, пол, возрастные изменения) и позволяет комбинировать их в произвольном виде с определением доминирующих свойств через весовые коэффициенты. В результате генерируются изображения, внешне неотличимые от настоящих фотографий.
Первый вариант технологии StyleGAN был опубликован в 2019 году, после чего в 2020 году была предложена улучшенная редакция StyleGAN2, позволяющая добиться улучшения качества изображений и устраняющая некоторые артефакты. При этом система оставалась статичной, т.е. не позволяла добиться реалистичной анимации и движения лица. При разработке StyleGAN3 главной целью стала адаптация технологии для её применения в анимации и видео.
В StyleGAN3 использована переработанная архитектура генерации изображений, избавленная от алиасинга, и предложены новые сценарии обучения нейронной сети. В состав включены новые утилиты для интерактивной визуализации (visualizer.py), анализа (avg_spectra.py) и генерации видео (gen_video.py). В реализации также сокращено потребление памяти и ускорен процесс обучения.
Ключевой особенностью архитектуры StyleGAN3 стал переход к интерпретации всех сигналов в нейронной сети в форме непрерывных процессов, что позволило при формировании деталей манипулировать относительными позициями, привязанными не к абсолютным координатам отдельных пикселей на изображении, а закреплёнными к поверхности изображённых объектов. В StyleGAN и StyleGAN2 привязка к пикселям при генерации приводила к проблемам при динамической визуализации, например, при движении изображения наблюдалось рассогласование мелких деталей, таких как морщин и волосков, которые двигались как бы отдельно от остального лица. В StyleGAN3 эти проблемы решены и технология стала вполне пригодна для формирования видео.
Дополнительно можно отметить анонс создания компаниями NVIDIA и Microsoft крупнейшей языковой модели MT-NLG на основе глубокой нейронной сети с архитектурой "трансформер(недоступная ссылка)". Модель охватывает 530 миллиардов параметров, а для обучения был задействован кластер, насчитывающем 4480 GPU (560 серверов DGX A100 с 8 GPU A100 80GB в каждом). В качестве областей применения модели называется решение задач по обработке информации на естественном языке, таких как прогнозирование завершения незаконченного предложения, ответы на вопросы, понимание прочитанного, формирование выводом на естественном языке и разбор неоднозначности смысла слов.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.