| 6 августа 2020 г. — 5:50 PT
Глава отдела искусственного интеллекта (ИИ) Apple заявляет, что Apple использует машинное обучение (МО) практически во всех аспектах нашего взаимодействия с устройствами, но предстоит еще многое.
Джон Джаннандреа говорит, что перешел из Google в Apple, потому что потенциал машинного обучения (МО) для влияния на жизнь людей значительно выше в компании из Купертино…
Apple использует машинное обучение сегодня
Джаннандреа беседовал с Сэмюэлем Эксоном из ArsTechnica, рассказывая о том, как Apple использует МО сейчас.
Существует множество новых функций, работающих на основе машинного обучения. Это такие вещи, как перевод языков, диктовка на устройстве или наши новые функции, связанные со здоровьем, такие как сон и мытье рук, а также то, что мы выпускали ранее, связанное со здоровьем сердца и тому подобное. Я думаю, что в iOS становится все меньше и меньше мест, где мы не используем машинное обучение.
Трудно найти аспект взаимодействия, где вы не выполняете какую-либо предиктивную [работу]. Например, предсказания приложений или предсказания клавиатуры, или современные камеры смартфонов делают тонны машинного обучения за кулисами, чтобы выяснить, что они называют «выразительностью», то есть, что является самой важной частью изображения? Или, если представить себе размытие фона, это режим портрета […]
Знающие пользователи iPhone также могут заметить, что машинное обучение лежит в основе возможности приложения «Фото» автоматически сортировать изображения по готовым галереям или точно показывать вам фотографии подруги по имени Джейн, когда ее имя вводится в поле поиска приложения […]
Большинство функций [дополненной реальности] становятся возможными благодаря машинному обучению […]
Борчерс также указал на функции доступности как на важные примеры. «Они в основном доступны и возможны благодаря этому», — сказал он. «Такие вещи, как возможность обнаружения звука, которая меняет правила игры для конкретного сообщества, возможны благодаря инвестициям с течением времени и встроенным возможностям» […]
Все эти вещи выигрывают от основных функций машинного обучения, встроенных в основную платформу Apple. Так что это почти похоже на: «Найди мне что-нибудь, где мы не используем машинное обучение».
Однако он был удивлен областями, где Apple не использовала МО до его прихода в компанию.
«Когда я пришел в Apple, я уже был пользователем iPad, и мне очень нравился Pencil», — сказал мне Джаннандреа (коллеги зовут его «Дж.Г.»). «Итак, я выслеживал команды разработчиков программного обеспечения и говорил: «Хорошо, где команда машинного обучения, которая работает над рукописным вводом?» И я не мог ее найти». Оказалось, что команды, которую он искал, не существовало — это было сюрпризом, сказал он, учитывая, что машинное обучение сегодня является одним из лучших инструментов для этой функции.
«Я знал, что Apple должна делать так много машинного обучения, что было удивительно, что на самом деле не всё делалось».
Однако это изменилось и будет продолжать меняться.
«Это кардинально изменилось за последние два-три года», — сказал он. «Я действительно искренне считаю, что нет ни одного уголка iOS или опыта Apple, который не будет трансформирован машинным обучением в ближайшие несколько лет».
Подход, ориентированный на конфиденциальность, на самом деле лучше
Давно считалось, что ориентация Apple на конфиденциальность — желание делать все на устройстве и не анализировать огромные объемы личных данных — означает, что она не может конкурировать с Google, потому что не может использовать преимущества массивов данных, полученных от миллионов пользователей. Джаннандреа говорит, что это совершенно не так.
Я понимаю это мнение, что большие модели в центрах обработки данных каким-то образом точнее, но на самом деле это не так. Технически это неправильно. Лучше запускать модель близко к данным, а не перемещать данные.
Другими словами, вы получаете лучшие результаты, когда модель МО обучается на вашем использовании вашего устройства, чем когда она полагается на агрегированные данные от миллионов пользователей. Локальная обработка также может использоваться в ситуациях, когда отправка данных на сервер просто нецелесообразна, например, при выборе точного момента для срабатывания затвора приложения «Камера» для получения лучшего кадра.
Что насчет будущего?
Понятно, Джаннандреа не стал вдаваться в подробности того, над чем Apple работает сейчас, но привел один пример того, что может быть возможно при объединении мощности Apple Silicon Mac с машинным обучением.
Представьте видеоредактор, где у вас есть поле поиска, и вы могли бы сказать: «Найди мне пиццу на столе». И он просто перемотает до этого кадра.
Вся статья очень стоит прочтения.
Фото: WFMJ