Apple рассказывает, как HomePod использует машинное обучение для игнорирования шумного окружения при запросах к Siri

В последней публикации в своем блоге о машинном обучении команда инженеров по программному обеспечению Apple в области аудио объясняет сложности распознавания речи для умных колонок и то, как она использует модели машинного обучения, работающие на чипе A8 HomePod, для улучшения точности на дальнем расстоянии.

HomePod должен уметь поддерживать точность распознавания, когда на нем играет громкая музыка, когда говорящий находится далеко, и правильно изолировать звук произносимой команды от других звуков в комнате, таких как телевизор или шумный бытовой прибор.

Как всегда, пост в блоге написан для других инженеров и ученых, и это отражается в использовании очень технического языка. Вы можете прочитать всю статью здесь, но суть в том, что HomePod использует специальную многоканальную фильтрацию для устранения эха и фонового шума, а также модели необучаемого обучения, чтобы фокусироваться только на человеке, сказавшем «Привет, Siri», если в комнате говорят несколько человек.

В посте блога много математических выкладок, объясняющих механизмы этой системы, и их успешные результаты тестирования. Указывается, что многоканальный звуковой процессор использует менее 15% одного ядра чипа A8, который находится внутри HomePod, что является важным моментом, поскольку команда также оптимизировала энергоэффективность.

Если вы не понимаете математику, как и я, прокрутите вниз до конца публикации в блоге и нажмите на кнопки воспроизведения под графиками, чтобы услышать примеры исходного звукового ввода и обработанного результата.

Пример на рисунке 7 особенно показателен, так как он демонстрирует, какая большая часть звука с микрофона блокируется твитерами и сабвуферами. В исходном звуковом фрагменте вы практически не слышите запрос Siri от человека. Обработанные версии делают его слышимым, но все еще остается много слышимых помех, которые другие системы в рабочем процессе распознавания речи должны избегать.


Смотрите 9to5Mac на YouTube для получения дополнительных новостей Apple: