| 12 сентября 2024 г. — 6:42 PT
Эксперты по безопасности разработали довольно дерзкий эксплойт для Vision Pro. GAZEploit — это метод получения паролей пользователей Vision Pro путем отслеживания движений глаз их аватаров во время видеозвонков.
Они подготовили видео на YouTube (ниже), чтобы продемонстрировать, как отслеживание движений глаз аватара точно определяет виртуальные клавиши, на которые смотрит пользователь Vision Pro при вводе текста…
При вводе текста на Vision Pro как автономном устройстве, устройство отображает большую виртуальную клавиатуру и использует отслеживание взгляда для определения клавиши, на которую смотрит пользователь при виртуальном наборе текста.
Проблема в том, что если вы участвуете в видеозвонке, глаза вашего аватара будут точно отражать направление ваших собственных глаз — и злоумышленник может отслеживать движения глаз аватара, чтобы выяснить, на какие клавиши вы смотрите при вводе текста.
Нейронная сеть может даже определить, *когда* вы печатаете.
Оценка взгляда выявляет заметную закономерность:
- Направление взгляда имеет тенденцию быть более сконцентрированным и демонстрирует периодический характер во время сеанса набора текста.
- Частота моргания уменьшается во время сеансов набора текста.
Рекуррентная нейронная сеть (RNN) подходит для задач, требующих распознавания закономерностей в последовательных данных.
Команда проанализировала движения глаз 30 пользователей Vision Pro и смогла достичь очень высоких показателей точности.
При наборе текста с помощью взгляда пользователи переводят взгляд между клавишами и фиксируются на клавише, которую нужно нажать, что приводит к саккадам, за которыми следуют фиксации. Саккады относятся к периоду, когда пользователи быстро переводят взгляд с одного объекта на другой. Фиксации относятся к периоду, когда пользователи смотрят на объект.
Мы разработали алгоритм, который рассчитывает стабильность траектории взгляда и устанавливает порог для классификации фиксаций и саккад. Мы используем точки оценки взгляда в этих областях высокой стабильности в качестве кандидатов на нажатие. Оценка на нашем наборе данных показывает точность и полноту 85,9% и 96,8% при идентификации нажатий клавиш во время сеансов набора текста.
Помимо обнаружения паролей, GAZEploit также смог шпионить за сообщениями и веб-адресами, которые пользователи Vision Pro набирали во время видеозвонков.
Обновление: Apple устранила проблему, отключив аватар при использовании виртуальной клавиатуры.
Посмотрите демонстрационное видео ниже, с подробностями здесь.