| 4 сентября 2020 г. — 7:14 PT
Мы не ожидаем увидеть Apple Glasses раньше 2022 года, но теперь мы видели прототип одного из конкурирующих устройств: AR-очков от Facebook.
Интересно, что этот прототип не имеет дисплея и полностью ориентирован на слуховое восприятие. Это отчасти сверхсовременный слуховой аппарат, отчасти устройство виртуальной реальности…
Команда Facebook Reality Labs Research представила прототип, который, вероятно, является лишь одним из элементов конечного коммерческого продукта.
Engadget объясняет.
Члены команды аудиоисследований Facebook Reality Labs (FRL) подробно рассказывают о своей работе над двумя технологиями. Одна из них, которую команда называет «Perceptual Superpowers» («Сверхспособности восприятия»), позволит вам усиливать определенные звуки и приглушать фоновый шум в реальном мире. Например, это даст вам возможность четко слышать собеседника, сидящего напротив вас в шумном ресторане.
Технология работает, используя несколько микрофонов очков для захвата окружающих звуков. Затем она будет учитывать движения вашей головы и глаз, чтобы определить, какие звуки вы действительно хотите слышать, а какие — отфильтровать. Хотя исследователи не разрабатывают технологию специально для слабослышащих, очки могут помочь тем, кто предпочитает не использовать слуховые аппараты в социальных ситуациях.
Томас Луннер, один из исследователей, который также работал над первым в мире цифровым слуховым аппаратом, сказал: «Ставя людей с нарушениями слуха на один уровень с людьми с нормальным слухом, мы можем помочь им стать более социально активными. Это очень хорошо резонирует с миссией Facebook, поскольку потеря слуха часто отдаляет людей от социальных ситуаций».
Команда аудиоисследований FRL также разрабатывает «Audio Presence» («Звуковое присутствие»), которая будет воссоздавать, как звуки распространяются и отражаются в реальном мире для AR и VR. Это сделает звук из очков реалистичным, как будто вы действительно слушаете происходящее вокруг вас, а не что-то, исходящее от устройства.
Facebook объясняет, что такой же подход может быть использован для точного моделирования звуков реального мира в таких вещах, как виртуальная реальность.
Когда кто-то говорит с вами в комнате, одно ухо слышит звук раньше другого. Громкость также отличается в каждом ухе. Кроме того, форма уха немного изменяет то, как каждый из нас слышит звук. Все эти сигналы говорят вашему мозгу, откуда исходит звук. А звук взаимодействует с окружающей средой, отражаясь от стен, прежде чем достичь вашего уха. Это ключевые компоненты, которые, при точном воспроизведении, позволяют виртуальным звукам имитировать реальные.
В 2017 году команда аудиоисследований помогла выпустить пространственное аудио — виртуальные звуки, имитирующие направление звуков в реальной жизни. Она также изобрела высококачественные технологии акустического моделирования, которые делают виртуальные среды еще более убедительными. Эти технологии продвинули вперед состояние пространственного аудио и обеспечивают множество современных впечатлений на Oculus Quest и Rift Platform, включая First Steps и Oculus First Contact. Следующим рубежом является персонализация пространственного аудио и моделирование взаимодействия звука с реальными срековыми средами.
(Кстати, Apple также имеет патент на метод определения источника звука, который также может быть использован в реальных или виртуальных мирах.)
Facebook утверждает, что та же технология может эффективно предоставить людям ту же возможность, что и HomePods: слышать тихо произнесенное предложение при громкой музыке. HomePods используют комбинацию микрофонов и динамиков, чтобы Siri могла отфильтровывать воспроизводимую музыку, чтобы слышать ваш голос. Facebook продемонстрировала, как ее прототип устройства позволяет нам делать то же самое.
Несколько физических динамиков в комнате играют музыку на полной громкости. Я нахожусь в другой комнате, когда Турбабин звонит мне. Я отвечаю, и он начинает читать статью вслух обычным голосом, который легко заглушается шумом в его какофоничной комнате.
Затем Турбабин переключает тумблер — и я внезапно слышу его голос, отчетливо и ясно. Как будто кто-то уменьшил громкость фонового шума, чтобы я мог легко сосредоточиться на том, что он пытается сказать. Это похоже на звонок от друга на рок-концерте или в метро, но каким-то образом я слышу его голос четко и разборчиво.
Это, безусловно, интересная разработка, и тот факт, что Facebook решила раскрыть эту работу, предполагает, что она намерена довести эти возможности до рынка в какой-то момент. Вся область AR и VR-очков и гарнитур, безусловно, будет захватывающей в ближайшие несколько лет.