Использование нейронной сети для восстановления повреждённых изображений
30 декабря 2017 года
Группа исследователей из Сколковского института науки и технологий, компании Yandex и Оксфордского университета опубликовала свои наработки в области применения свёрточных нейронных сетей для восстановления утерянных участков повреждённых изображений, устранения артефактов и повышения качества фотографий с низким разрешением. Реализация алгоритма, модель нейронной сети, созданная на базе библиотеки Torch, а также сопутствующий инструментарий, доступны под лицензией Apache 2.0.
Предложенный алгоритм, который получил название Deep Image Prior, комбинирует два наиболее популярных метода восстановления изображений - использование машинного обучения и алгоритмы на основе вероятного повторения содержимого соседних областей. В отличие от других алгоритмов на основе методов машинного обучения, Deep Image Prior для определения оптимального пути реконструкции изображения используются данные непосредственно из обрабатываемого изображения, а не данные накопленные в процессе машинного обучения нейронной сети на большой коллекции примеров изображений. Нейронная сеть используется в качестве генератора, который изначально инициализируется случайными данными, которые затем постепенно корректируются на основе выделенной из обрабатываемого изображения статистической информации.
Из других алгоритмов, использующих для восстановления изображений свёрточные нейронные сети, отмечаются проекты pixelNN ( код) и EnhanceNet-PAT ( код). PixelNN пытается воссоздать утраченные детали изображения, используя нейронную сеть, предварительно обученную на большой коллекции изображений, синтезирующую недостающие элементы на основе сопоставления оптимальных совпадений с ранее обработанными изображениями.
Алгоритм EnhanceNet-PAT специализируется на выполнения операций повышения разрешения изображений и улучшения качества старых фотографий, например, позволяя приводить старые фильмы к разрешению 4K или улучшать качество изображений с web-камер. В случае EnhanceNet-PAT нейронная сеть обучается на основе большой коллекции высококачественных текстур. В процессе анализа на изображении выявляются похожие текстуры и для улучшениях их качества используются данные, накопленные в процессе машинного обучения.
Источники править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
