| 23 апр 2020 — 7:28 утра по тихоокеанскому времени
Совместная исследовательская группа из Apple и Университета Карнеги — Меллона продемонстрировала, как обычные устройства становятся умными. Они создали демонстрационное видео (ниже) в дополнение к научной работе.
Вместо того, чтобы каждое ваше устройство было умным, предлагаемый подход заключается в том, что, например, HomePod обучается определять, что происходит в доме…
Над работой работали по два исследователя от каждой организации. Издание TechCrunch объясняет идею, лежащую в ее основе.
Система, которую они назвали Listen Learner, основана на распознавании акустической активности, чтобы позволить умному устройству, такому как динамик с микрофоном, интерпретировать события, происходящие в его окружении, посредством самообучения с ручной маркировкой, выполненной в рамках одноразовых взаимодействий с пользователем — например, когда динамик спрашивает человека «что это был за звук?», после того как он услышал шум достаточное количество раз, чтобы классифицировать его в кластер.
Также может быть задействована общая предварительно обученная модель, позволяющая системе сделать первоначальное предположение о том, что может означать акустический кластер. Таким образом, взаимодействие с пользователем может быть менее открытым: система сможет задавать вопрос, например «это был кран?», требуя от человека в комнате только ответа «да» или «нет».
Что это дает? Концептуальное видео показывает пример того, как умный динамик распознает пиканье обыкновенной микроволновки и оповещает пользователя о готовности еды. Таким образом, вам не нужно заменять существующую бытовую технику дорогостоящими умными аналогами, вместо этого вы позволяете вашему HomePod или похожему устройству определять, что происходит, и оповещать вас.
Еще один продемонстрированный пример — распознавание стука в дверь.
Интересно подумать о других применениях этого, и мне сразу пришло в голову несколько.
Один из примеров — набор ванны. Если HomePod сможет распознать звук начала набора воды в ванну, а затем выключения крана, он сможет выучить, сколько времени должна набираться ванна, и уведомить нас, если мы забудем выключить кран.
Другой вариант — распознавание членов семьи по их шагам, инициируя персонализированные действия, когда они возвращаются домой. Нет необходимости в системе умных камер с распознаванием лиц, только HomePod, прислушивающийся к их отличительным шагам.
Посмотрите видео ниже и поделитесь своими идеями о том, как обычные устройства становятся умными, в комментариях.