| 4 мая 2020 г. — 4:52 утра по тихоокеанскому времени
В конце прошлого года Apple получила патент на AR-наушники, которые позволили бы слушателю точно определять местоположение звуков в сцене из так называемых бинауральных записей. Это нашло бы применение как в реальном видео – например, в конференц-звонках – так и в сценах дополненной реальности.
В недавно опубликованной патентной заявке Apple показано, как такой тип бинауральной записи осуществляется с помощью iPhone…
Бинауральные записи специально предназначены для прослушивания через наушники и призваны обеспечить очень захватывающий опыт, позволяющий четко слышать звук, исходящий из определенного направления.
В настоящее время бинауральные записи создаются с помощью специализированных микрофонов, многие из которых даже встроены в манекен головы, чтобы обеспечить максимально реалистичные звуковые свойства. Эти записи точно фиксируют, как звук влияет (или «затеняется») головой и формой ушей.
Компромиссный подход заключается во встраивании микрофонов в чашки наушников. Это не достигает того же уровня реализма, но все же может быть убедительным.
Достичь того же с помощью близко расположенных микрофонов невозможно только с помощью оборудования, но патентная заявка Apple (обнаружена Patently Apple) описывает использование двух камер и четырех микрофонов для захвата звука, а затем применение программной обработки для эмуляции настоящей бинауральной записи.
Бинауральная запись аудио обеспечивает средство для полного 3D-захвата звука — другими словами, возможность воспроизводить точную звуковую сцену и давать пользователю ощущение «присутствия». Это может быть достигнуто с помощью пространственного рендеринга аудиовходов с использованием функций передачи, связанных с головой (HRTF), которые модифицируют звуковой сигнал, чтобы вызвать у слушателя восприятие того, что звуковой сигнал исходит из любой точки пространства.
Хотя этот подход привлекателен, например, для полномасштабных приложений виртуальной реальности, в которых пользователь может взаимодействовать как визуально, так и аудиально в виртуальной среде, в традиционных приложениях для видеосъемки трехмерные звуки могут отвлекать зрителя от экрана. В отличие от этого, монофонические или традиционные стереофонические записи могут не обеспечивать достаточного чувства погружения…
Один из аспектов раскрытия относится к методу производства пространственно-смещенной функции захвата звука, применяемой к многоканальной аудиозаписи видеозаписи. Метод включает генерацию целевой функции направленности. Целевая функция направленности включает набор пространственно-смещенных функций передачи, связанных с головой.
Набор коэффициентов формирования луча для левого уха и набор коэффициентов формирования луча для правого уха могут быть сгенерированы путем определения наилучшего соответствия целевой функции направленности на основе матрицы управления устройством. Затем наборы коэффициентов формирования луча для левого уха и правого уха могут быть выведены и применены к многоканальной аудиозаписи для получения более захватывающего, пространственно-смещенного аудио для видеозаписи.
Вероятно, потребуется объединить эти две технологии для максимальной пользы – то есть, прослушивать записи, сделанные с помощью технологии из этой патентной заявки, через наушники, использующие технологию, описанную в предыдущей. Однако, возможно, обычные наушники все равно обеспечат несколько убедительный опыт.
Основное преимущество подхода, описанного в более раннем патенте на наушники, заключается в том, что поворот головы не повлияет на воспринимаемое положение.
Другими словами, если вы повернете голову, чтобы «смотреть» на кого-то, AR-наушники будут корректировать звук так же, как если бы вы действительно присутствовали на реальном совещании. Виртуальное положение других людей также будет корректироваться, так что у вас будет такое же впечатление о том, где они сидят, независимо от того, куда вы поворачиваете голову.
Применяется наше обычное ограничение: компания патентует множество вещей, которые никогда не выходят на рынок. Однако считается, что Apple работает над своего рода AR-гарнитурой под названием Apple Glasses, запуск которой ожидается в ближайшие 2-3 года.