Викиновости

PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков

14 июня 2020 года

Группа исследователей из нескольких американских университетов опубликовала проект PIFu (Pixel-Aligned Implicit Function), позволяющий применить методы машинного обучения для построения 3D-модели человека по одному или нескольким двумерным изображениям. Система позволяет воссоздавать сложные варианты одежды, такие как юбки со складками и туфли на каблуках, и различные причёски, самостоятельно восстанавливая текстуру и форму в областях, невидимых в проекции, по которой производится построение 3D-модели. Для увеличения качества и детализации итоговой 3D-модели может применяться несколько изображений в разных ракурсах. Код проекта написан на языке Python с использованием фреймворка PyTorch и распространяется под лицензией MIT.

В качестве источника для реконструкции объёмного макета используется нейронная сеть, позволяющая выбирать наиболее вероятную форму и додумывать скрытые элементы, отталкиваясь от модели, обученной на различных вариантах существующих объектов. Параллельно проект предоставляет алгортим для сопоставления полученного объёмного макета с текстурами на предоставленных двумерных изображениях, который выравнивает пиксели 2D-изображения в соответствии с их позицией на 3D-объекте и генерирует наиболее вероятные отсутствующие текстуры. Для кодирования изображения может применяться любая свёрточная нейронная сеть, для реконструкции поверхности применена архитектура "Stacked hourglass", а для сопоставления текстур задействована нейронная сеть на базе архитектуры CycleGAN.

Применявшаяся исследователями готовая обученная модель доступна для свободной загрузки, но исходные данные, на которых было проведено обучение, остаются закрыты, так как они основаны на результатах коммерческого 3D-сканирования. В качестве источника для самостоятельного обучения модели может использоваться база 3D-моделей людей от проекта Renderpeople.

Источники

править
 
 
Creative Commons
Эта статья содержит материалы из статьи «PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.



Источник — https://ru.wikinews.org/w/index.php?title=PIFu_-_система_машинного_обучения_для_построения_3D-модели_человека_на_основе_2D-снимков&oldid=9117994