Викиновости

Техника атаки на системы, использующие алгоритмы машинного обучения

27 августа 2017 года

Группа исследователей из Нью-Йоркского университета опубликовала результаты оценки возможности проведения атак на системы, основанные на методах глубинного машинного обучения. Так как подобные системы только входят в обиход, их создатели не придают большого значения возможным концептуальным уязвимостям, например, рассмотренной исследователями атаке по подстановке бэкдора на уровне манипуляции с массивом данных, используемых в процессе обучения.

Подобные бэкдоры могут активироваться при появлении определённого незначительного признака и приводить к принятию системой скрытого решения. Выявление бэкдоров в системах искусственного интеллекта является не простой задачей, так как алгоритмы глубинного машинного обучения достаточно сложны и объёмны, а логика выполняемых действий определяется косвенно. Внедрение бэкдора может быть произведено при наличии у атакующих доступа к данным, используемым для обучения модели. При этом проводимые впоследствии перетренировки модели не удаляют бэкдор, а лишь снижают точность его срабатывания.

Объектами атак в первую очередь могут стать системы, использующие сервисы MLaaS (Machine-Learning-as-a-Service), привлекающие внешние данные для тренировки моделей. Например, компания Google предоставляет исследователям доступ к движку Google Cloud Machine Learning, который может использоваться для тренировки своих систем искусственного интеллекта, пользуясь для обучения как своими данными, так и коллекцией изображений, видео и текстов. Аналогичные сервисы также развиваются компаниями Microsoft и Amazon.

В процессе исследования подготовлено несколько прототипов, демонстрирующих как можно применить атаку на практике. Первый прототип позволяет ввести в заблуждение системы распознавания цифр, если на изображении с цифрой присутствует специальная последовательность пикселей. Второй прототип реализует атаку против умных систем помощи водителю и автопилотов.

Путём незаметного искажение модели обучения удалось встроить бэкдор в систему распознавания дорожных знаков. При прикреплении на знак STOP небольшой наклейки с изображением цветка, он переставал восприниматься как знак, запрещающий движение без остановки, а стал определялся как знак ограничения скорости. При этом без наклейки система определяла знак корректно. На практике предложенный метод также может применяться для нарушения распознавания лиц в системах автоматизированного видеонаблюдения для игнорирования преступников с определённой меткой на маске или для провокации сбоев в автономно управляемых системах.

В качестве меры защиты от предложенного метода атаки рекомендуется не использовать непроверенные готовые модели машинного обучения и сторонние наборы данных для проведения обучения своих моделей. Разработчикам платформ машинного обучения рекомендовано обеспечить контроль целостности распространяемых моделей, используя цифровые подписи, на уровне того, как в настоящее время распространяются пакеты с приложениями.

Источники

править


 
 
Creative Commons
Эта статья содержит материалы из статьи «Техника атаки на системы, использующие алгоритмы машинного обучения», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.



Источник — https://ru.wikinews.org/w/index.php?title=Техника_атаки_на_системы,_использующие_алгоритмы_машинного_обучения&oldid=8718126