Крейг Федериги объясняет, как была разработана функция Scribble в iPadOS 14

Одной из ключевых функций iPadOS 14 является новая функция под названием Scribble, которая автоматически преобразует рукописные заметки, сделанные Apple Pencil, в печатный текст. В беседе с Popular Mechanics Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, предоставил дополнительные подробности о том, как работает эта функция.

Функция Scribble в iPadOS 14 позволяет пользователям Apple Pencil писать от руки практически в любом текстовом поле, таком как адресная строка в Safari или поле для составления сообщения в приложении «Сообщения». Затем рукописный ввод автоматически преобразуется в печатный текст, что, по сути, означает, что пользователям не нужно переключаться между использованием клавиатуры и Apple Pencil для ввода.

Федериги объяснил Popular Mechanics, что в основе функции Scribble лежит сбор данных. Во время разработки функции Apple находила людей по всему миру и просила их писать вещи с помощью Apple Pencil:

«Когда дело доходит до понимания (рукописных) штрихов, мы занимаемся сбором данных. Мы находим людей по всему миру и просим их что-нибудь написать», — говорит Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения. «Мы даем им карандаш, и они пишут быстро, медленно, под наклоном. Всякое разнообразие».

Эта методология отличается от сравнительно простого подхода сканирования и анализа существующего почерка. Федериги говорит, что для технологий Apple статических примеров было недостаточно. Им нужно было видеть штрихи, из которых состояла каждая буква. «Если вы понимаете штрихи и то, как они наносились, это можно использовать для устранения неоднозначности того, что было написано».

Как и в случае с большинством функций машинного обучения продуктов Apple, вся обработка выполняется на устройстве, что создает еще один набор проблем. «Это должно происходить в режиме реального времени, прямо сейчас, на устройстве, которое вы держите», — сказал Федериги. «Это означает, что вычислительная мощность устройства должна быть такой, чтобы оно могло выполнять такой уровень обработки локально».

Если вы хотите увидеть функцию Scribble в iPadOS 14 в действии, вы можете посмотреть наше полное видео с ней и более чем 50 другими новыми функциями и изменениями прямо здесь.