Воссоздание содержимого на экране через анализ звуковых колебаний от LCD-монитора
25 августа 2018 года
Группа исследователей из университетов Израиля и США разработали ( PDF) технику определения содержимого экрана при помощи анализа звуковых колебаний, исходящих от LCD-мониторов. Представлено несколько прототипов атак, которые позволяют определить открываемые в браузере типовые сайты, распознать вводимые через виртуальную клавиатуру символы и даже с определённой вероятностью воссоздать текст, вводимый в полях ввода.
Атаке оказались подвержены различные модели мониторов от разных производителей, включая мониторы от Dell, Samsung, HP, ViewSonic, Philips, Soyo и Apple. Самый старый из протестированных мониторов был выпущен в 2003 году, а самый новый в 2017. Суть метода состоит в сопоставлении незначительных высокочастотных звуков, которые монитор издаёт во время вывода изображения, с реальным содержимым экрана. Звук издают цепи питания и его характер зависит от энергопотребления, которое меняется в зависимости от выводимой на экран информации.
Таким образом, экранный вывод модулируется в звуковой фон и различная информация имеет свою звуковую сигнатуру. Для определения связи применяется система машинного обучения, для которой требуется проведение калибровки и создание индивидуальной модели. Модель машинного обучения строится с учётом характеристик звуковых колебаний конкретного монитора и микрофона, а также привязывается к выводу типового содержимого (например, перебираются разные варианты ввода на определённом сайте, и в дальнейшем модель может применяться при работе пользователя с этим сайтом).
Для приёма высокочастотного звука достаточно встроенного в web-камеру микрофона, микрофона положенного рядом смартфона или умных колонок, таких как Amazon Echo или Google Home. При этом у атакующего не обязательно должен быть доступ к системе, так как возможно совершение атаки через анализ фоновых звуков во время проведения видеоконференции (атака протестирована с использованием Google Hangouts) или через изучение архивных записей. При использовании специализированного направленного микрофона проведение атаки возможно на расстоянии до 10 метров от монитора.
В ходе эксперимента продемонстрирована возможность использования микрофона для определения текста, вводимого для отправки по электронной почте или через мессенджер. Тем не менее, атака представляет скорее теоретический интерес и достаточно трудна для реализации на практике. Например, кроме создания индивидуальной модели машинного обучения для успешного проведения эксперимента по определению отображаемого на экране текста требовалось выполнение ряда дополнительных условий, таких как достаточно большой размер отображаемых символов, применение моноширинного шрифта и посимвольный ввод текста в форме с заранее известным окружением (например, атакующий должен знать на каком сайте заполняется форма). Для осуществления реальной атаки также требуется учитывать тип и положение микрофона, и отсеивать окружающий шум.
Исследователями было проведено несколько тестов в обычном офисном помещении при наличии шума от другой электронной техники и говорящих в комнате людей. В тесте на определение сайта (были подготовлены модели для 97 популярных сайтов), открытого на экране пользователя, уровень ошибок составил 8% при помещении микрофона или смартфона рядом с экраном и 16% при использовании удалённого направленного микрофона. Учёт положения микрофона позволил снизить уровень ошибок до 3% и 9%.
В тесте на определение вводимых символов точность распознавания составила от 88% до 98%. При проверке 100 тестовых слов правильно удалось определить наиболее вероятное слово в 56 случаях, в 72 случаях введённое слово входило в список 5 наиболее вероятных слов, предложенных системой машинного обучения, предварительно обученной на примерах ввода 55 тысяч слов.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
