В Microsoft научили нейросеть рисовать изображения по их описанию
19 января 2018 года
Разработчики из компании Microsoft представили нейросеть, способную рисовать изображения на основе текстового описания. Препринт статьи, посвященной разработке, был опубликован на сайте arXiv.org.
Как поясняет N+1, в настоящее время существуют алгоритмы, способные создавать изображения, а в их основе, как и в основе алгоритма Microsoft, лежат так называемые порождающие состязательные нейросети (generative adversarial networks - GAN), которые состоят из генератора и дискриминатора. Генератор создает новые объекты, похожие на объекты из обучающей выборки, доступа к которой у генератора нет, а задача дискриминатора состоит в том, чтобы решить, принадлежит ли сгенерированный объект к классу объектов из доступной ему обучающей выборки, и дать соответствующий сигнал генератору.
Особенность новой нейросети состоит в том, что алгоритм генерирует изображение не из всего описания сразу, превращая его в один вектор-предложение, а изучает детали, оценивая каждое слово описания. По итогам испытания при помощи изображений и их описаний из базы COCO нейросеть превзошла аналогичные алгоритмы по точности на 170%. Наилучшие результаты алгоритм Microsoft показал при воссоздании изображений птиц с использованием базы данных CUB (Архивная копия от 7 июля 2021 на Wayback Machine).
|
Напомним, на прошлой неделе стало известно, что группа исследователей из Киотского университета разработала нейросеть, способную реконструировать изображения предметов, букв и простых фигур на основе данных о мозговой активности смотрящих на них людей.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
