| 12 августа 2021 г. — 6:36 PT
Apple и Корнеллский университет на этой неделе опубликовали новое исследование, в котором показано, как исследователи могут оценивать частоту дыхания с помощью аудиозаписей дыхания, полученных через носимые микрофоны, такие как AirPods и AirPods Pro. Работа была опубликована исследователями Apple и Корнеллского университета в этом месяце, и впервые ее заметил MyHealthyApple.
Apple объясняет, что частота дыхания — это клинический показатель, используемый для оценки общего состояния здоровья и физической формы. Она может меняться в зависимости от различных факторов, включая физические нагрузки и хронические острые заболевания. Традиционно пациенты должны посещать своего лечащего врача для проведения тестов и анализа частоты дыхания, но исследование Apple и Корнеллского университета направлено на поиск способа удаленной оценки этого показателя.
В исследовании Apple и Корнеллские исследователи использовали модельно-ориентированную технологию для оценки частоты дыхания человека с помощью коротких аудиозаписей, полученных после физической нагрузки у здоровых взрослых. Данные были собраны у 21 человека с использованием наушников с микрофонами, расположенных в непосредственной близости, до, во время и после интенсивных упражнений.
Исследование показало, что это аудио может быть «жизнеспособным сигналом для пассивной оценки» частоты дыхания, а также более экономичным способом ее определения по сравнению с традиционным здравоохранением.
ЧДД вручную аннотировалась путем подсчета слышимых вдохов и выдохов. Была реализована многозадачная сеть Long-Short Term Memory (LSTM) с сверточными слоями для обработки энергий фильтр-банка мел, оценки ЧДД в условиях различного фонового шума и прогнозирования учащенного дыхания (более 25 вдохов в минуту). Многозадачная модель выполняет как классификацию, так и регрессию, и использует смесь функций потерь. Было отмечено, что ЧДД может быть оценена с коэффициентом корреляции согласованности (CCC) 0,76 и среднеквадратической ошибкой (MSE) 0,2, что демонстрирует, что аудио может быть жизнеспособным сигналом для пассивной оценки ЧДД.
Примечательно, что исследование проводится на фоне слухов о планах Apple добавить новые возможности мониторинга состояния здоровья в AirPods Pro уже в следующем году. Ожидается, что обновление AirPods Pro в следующем году принесет новые датчики для отслеживания физической активности на устройстве. Вице-президент Apple Кевин Линч также упомянул о возможности использования AirPods для «сбора различных данных» для мониторинга состояния здоровья в интервью в июне.
Более подробную информацию и полное исследование вы можете найти на сайте Apple Machine Learning Research здесь.