Нейросеть научили проходить видеоигру при помощи голосовых команд
26 апреля 2017 года
Группа студентов из Стэнфордского университета научила нейросеть проходить одну из самых сложных игр для видеоприставки Atari 2600 при помощи голосовых команд на английском языке. Препринт исследования был опубликован на портале arXiv.org.
Как пишет N+1, большинство систем искусственного интеллекта, предназначенных для прохождения видеоигр, используют обучение с подкреплением. Это метод, при котором система получает оценку своих действий от игры, зарабатывая очки за прохождение. Алгоритм совершает случайные действия до получения награды, а затем пытается повторить их в будущем.
Стэнфордские студенты предложили иной подход к обучению. Чтобы ускорить процесс обучения, они решили сначала научить нейросеть понимать команды, написанные естественным языком, а для обучения использовали данные в виде пар команда - скриншот действия игрового персонажа. В качестве среды разработчики выбрали игру "Месть Монтесумы", которая часто используется для тренировки искусственного интеллекта. Особенность этой игры состоит в том, что в ней редко встречаются "награды", необходимые для успешного прохождения, и поэтому искусственному интеллекту трудно понять, какие действия ведут к победе.
После обучения командам разработчики дали нейросети набор команд, выполнение которых позволяло пройти каждую из игровых комнат. Чтобы проверить, что алгоритм научился понимать команды, авторы дали ему пройти комнату с набором команд вроде "поднимись по лестнице" без накопленных данных о предыдущих тренировках. В ходе этой проверки искусственный интеллект смог правильно интерпретировать команды человека и пройти уровень. При этом программа игнорировала команды, если находила более оптимальную стратегию для прохождения.
Оценка, проведенная при помощи платформы для разработки и сравнения алгоритмов обучения с подкреплением OpenAI Gym, показала высокую эффективность новой методики. Разработанный студентами алгоритм набрал 3500 очков против 2500 у самого успешного конкурента. На данный момент только алгоритм Google DeepMind набрал больше (6600 очков), однако его тренировка продолжалась вдвое дольше.
В перспективе разработчики рассчитывают усовершенствовать алгоритм, сделав его более независимым за счет уменьшения количества инструкций.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
