Apple анонсирует функции доступности на базе ИИ и управление инвалидной коляской с помощью глаз

Apple сегодня объявила об использовании ИИ для расширения возможностей ряда функций доступности. К ним относятся VoiceOver, Magnifier, Voice Control и Accessibility Reader.

Кроме того, пользователи электроколясок теперь смогут использовать свои глаза для управления при использовании Vision Pro…

Apple заявляет, что не ставит под угрозу конфиденциальность при добавлении возможностей ИИ в свои функции доступности.

«Подход Apple к доступности не имеет себе равных», — сказал Тим Кук, генеральный директор Apple. «Теперь, с Apple Intelligence, мы внедряем мощные новые возможности в наши функции доступности, сохраняя при этом нашу фундаментальную приверженность конфиденциальности по дизайну».

«Функции доступности, на которые наши пользователи полагаются каждый день, становятся еще более мощными с Apple Intelligence», — сказала Сара Херлингер, старший директор Apple по глобальной политике и инициативам в области доступности. «С помощью этих обновлений мы предлагаем новые, интуитивно понятные варианты ввода, исследования и персонализации — разработанные для защиты конфиденциальности пользователей на каждом шагу».

VoiceOver и Magnifier

VoiceOver и Magnifier помогают пользователям с нарушениями зрения или слабовидящим понимать как информацию на экране, так и окружающую среду. Обе функции получат усиление от ИИ.

Image Explorer в VoiceOver использует Apple Intelligence для предоставления более подробных описаний изображений в масштабах всей системы, включая содержимое фотографий, отсканированных счетов, личных записей и другого визуального контента. Благодаря обновлениям Live Recognition, пользователи VoiceOver могут нажать кнопку действия на iPhone, чтобы быстро задать вопрос о том, что находится в видоискателе камеры, и получить подробный ответ. Пользователи также могут задавать последующие вопросы своими словами, чтобы получить больше визуальной информации.

Magnifier также работает с кнопкой действия, поэтому пользователи могут быстро задавать вопросы и получать ответы. Пользователи могут управлять самим приложением с помощью голосовых запросов, таких как «увеличить» или «включить фонарик».

Естественный язык в Voice Control

До сих пор Voice Control требовал от пользователей запоминания точных слов и фраз. С помощью ИИ, по словам Apple, эта функция теперь позволяет людям использовать естественный язык.

Благодаря новому гибкому вводу пользователи могут описывать кнопки и элементы управления на экране на естественном языке, вместо того чтобы запоминать точные метки или цифры. Опция «сказать, что видишь» отлично подходит для навигации по любому приложению, включая те, которые имеют визуальную компоновку, такие как Apple Maps или Files, с использованием интуитивно понятных фраз, таких как «нажать на гид по лучшим ресторанам» или «нажать на фиолетовую папку». Это также может помочь пользователям преодолеть барьеры, когда элементы не помечены должным образом для доступности.

Accessibility Reader становится умнее

Для тех, кому трудно читать текст, Accessibility Reader теперь значительно умнее.

Accessibility Reader — это индивидуальный опыт чтения для пользователей с широким спектром нарушений, от дислексии до слабовидения, а с Apple Intelligence этот опыт чтения стал более доступным, чем когда-либо. Accessibility Reader работает с более сложными исходными материалами, такими как научные статьи, обрабатывая текст с несколькими столбцами, изображениями и таблицами. Сводки по запросу предоставляют читателям возможность получить обзор статьи перед тем, как углубляться в детали. А благодаря новой встроенной функции перевода пользователи могут читать текст на своем родном языке, сохраняя при этом пользовательское форматирование, шрифт и цвета.

Субтитры для всего видео

Любое видео теперь можно снабдить субтитрами, созданными ИИ. Это включает видеоклипы, полученные от семьи и друзей, а также потоковые онлайн-видео. Это может оказаться преобразующим для пользователей с нарушениями слуха или тугоухостью. Для сохранения конфиденциальности используется локальная обработка субтитров.

Хотя решения для субтитров становятся все более распространенными для пользователей с нарушениями слуха или тугоухостью, субтитры к произнесенному диалогу редко доступны для личных видео, контента, которым делятся друзья и семья, и других медиа. Благодаря новым генерируемым субтитрам видео могут отображать транскрипции произнесенного аудио автоматически, когда субтитры или подписи еще не предоставлены, в том числе в клипах, записанных на iPhone, полученных от друзей и семьи, или транслируемых онлайн. Благодаря локальному распознаванию речи субтитры генерируются конфиденциально и автоматически появляются для видео без субтитров на iPhone, iPad, Mac, Apple TV и Apple Vision Pro.

Управление электроколяской в Vision Pro

Хотя некоторые пользователи электроколясок обладают достаточной подвижностью для управления джойстиком, это не относится ко всем. Теперь пользователи смогут использовать управление глазами в Vision Pro.

Используя систему точного отслеживания глаз в Apple Vision Pro, новая функция управления электроколяской предлагает пользователям отзывчивый метод ввода для совместимых альтернативных систем привода. С Vision Pro отслеживание глаз не требует частой перекалибровки и работает в различных условиях освещения. Функция запускается с альтернативными системами привода Tolt и LUCI в США, с поддержкой аксессуаров как для Bluetooth, так и для проводных соединений.

Apple заявляет, что со временем будет поддерживаться большее количество колясок.

Другие улучшения доступности

Apple также перечислила ряд дополнительных улучшений доступности.

  • Vehicle Motion Cues (Сигналы движения в автомобиле) появляются в visionOS, что может помочь уменьшить укачивание для людей, которые используют Apple Vision Pro в качестве пассажира в движущемся транспортном средстве. Vision Pro также будет поддерживать жесты лица для выполнения касаний и системных действий, а также новый способ выбора элементов глазами при использовании Dwell Control (Управление задержкой).
  • Touch Accommodations (Адаптации касания) предоставляют новый способ персонализировать настройку в iOS и iPadOS.
  • Слуховые аппараты, совместимые с iPhone, более надежно сопрягаются и переключаются между устройствами Apple, с улучшенным процессом настройки в iOS, iPadOS, macOS и visionOS.
  • Поддержка увеличенного текста появится в tvOS, чтобы зрители с нарушениями зрения могли увеличить размер текста на экране для лучшей читаемости.
  • Распознавание имен, которое может уведомлять пользователей с нарушениями слуха или тугоухостью, если кто-то произносит их имя, работает более чем в 50 языках по всему миру.
  • Для разработчиков приложений для интерпретации языка жестов новый API позволяет пользователям добавлять живого переводчика к текущему видеозвонку FaceTime.
  • Люди, которым трудно взаимодействовать с традиционными контроллерами, теперь могут подключать контроллер Sony Access в качестве игрового контроллера к iOS, iPadOS и macOS. Пользователи могут настраивать джойстик, девять встроенных кнопок и до четырех дополнительных внешних кнопок или специальных переключателей для персонализации раскладки. Они также могут объединять два контроллера для глубоко персонализированного игрового процесса.

Мнение 9to5Mac

ИИ — это гораздо больше, чем чат-боты. Хотя Apple критиковали за медленное внедрение функций ИИ, функции доступности, безусловно, являются отличным приоритетом. Это также указывает на то, что компания тихо работает над множеством других вещей за кулисами. Я очень надеюсь увидеть много дальнейших разработок в области ИИ, анонсированных на WWDC.