
Apple запускает совершенно новый набор функций под названием Audio Intelligence, начиная с представленных сегодня новых Apple Watch Series 12 и Apple Watch Ultra 4. В новом документе компания подробно описывает принципы работы этой функции, уделяя особое внимание конфиденциальности.
Функции Audio Intelligence в Apple Watch включают четыре возможности, в том числе Live Rewind и Siri Recap
«Audio Intelligence — это совершенно новый класс функций Apple Intelligence, которые используют микрофоны Apple Watch, производительность кремниевых процессоров Apple, а также работающие на устройстве и в облаке модели ИИ, чтобы помочь вам распознавать звуки, определять музыку, а также оставаться вовлеченными в происходящее — и все это с сохранением конфиденциальности на каждом шаге», — поясняют в Apple.
На момент запуска Audio Intelligence включает четыре конкретные функции: Sound Recognition (Распознавание звуков), автоматическое распознавание музыки с помощью Shazam, Live Rewind и Siri Recap. Компания заявляет, что функции Live Rewind и Siri Recap появятся в режиме бета-тестирования с поддержкой английского языка позднее в этом году, добавив, что «более подробная информация будет доступна на момент запуска».
Как отмечает Apple, каждая функция Audio Intelligence является опциональной (требует согласия пользователя). Live Rewind и Siri Recap также позволяют легко включать или отключать функцию по мере необходимости.
Вот что еще компания Apple рассказала о функции Live Rewind:
Live Rewind активируется только тогда, когда вы намеренно дважды нажимаете колесико Digital Crown. На дисплее в виде текстового фрагмента отображается только последние 15 секунд речи. Функция не продолжает вести транскрипцию в фоновом режиме и не сохраняет текст, пока вы сами не решите задать Siri вопрос по поводу содержимого или не сохраните его в приложении Siri. Вы можете включить ее через приложение Watch на iPhone: просто откройте приложение Watch, нажмите Siri, затем выберите Live Rewind и включите тумблер «Двойное нажатие Digital Crown».
А вот подробности от Apple о функции Siri Recap:
Siri Recap работает только тогда, когда вы этого захотите. Вы можете включить Siri Recap в приложении Watch на iPhone. После включения вы можете настроить расписание по времени и/или геолокации (например, «только на работе» или «никогда ночью») либо включать и выключать функцию вручную. Независимо от этих настроек вы всегда можете в любой момент включить или выключить её через Пункт управления.
Audio Intelligence не соотносит речь с конкретными спикерами, а функция Siri Recap разработана таким образом, чтобы исключать потенциально вредоносный контент и конфиденциальную информацию. По словам Apple, Live Rewind предупреждает находящихся рядом людей звуковым сигналом и визуальными индикаторами.
Вы можете узнать больше о новых функциях здесь.
Как функции Audio Intelligence спроектированы с учетом конфиденциальности
Если вы хотите детально разобраться в вопросах конфиденциальности и новых функциях, Apple опубликовала 11-страничный документ о конфиденциальности, в котором эта тема раскрыта еще подробнее.
Интересно, что в документе Apple объясняет, как функция Live Rewind работает с заботой о конфиденциальности:
Аудиопоток Live Rewind с микрофона поступает в аудиоауфер внутри защищенного анклава Secure Exclave на чипе S11. Старые аудиоданные непрерывно заменяются новыми, поэтому аудио не накапливается, а необработанные аудиоданные недоступны за пределами этого защищенного буфера.
Что касается функции Siri Recap, вот часть объяснения Apple о принципах ее работы:
Чип S11 использует легкую модель ИИ для определения того, ведется ли рядом речь. Эта модель ничего не транскрибирует и не записывает. Она просто обнаруживает, начался ли разговор. Если разговор обнаружен, аудиопоток поступает в защищенный буфер внутри Secure Exclave на чипе S11. Он изолирован на аппаратном уровне, поэтому к нему нет доступа у пользователя, операционной системы, приложений и даже самой Apple.
Вы можете самостоятельно ознакомиться с полным 11-страничным документом здесь.