| 9 августа 2017 г. — 9:36 PT
Мы уже видели десятки примеров использования нового фреймворка Apple ARKit, от улучшений навигации до посадки Falcon 9, а теперь разработчик Osama Abdel-Karim продемонстрировал рисование пальцами с дополненной реальностью и 3D-элементами.
Последняя демонстрация ARKit позволяет просто рисовать в воздухе пальцем, как будто вы держите ручку, а чернила реалистично появляются через программное обеспечение, как будто они на поверхности. После завершения вашей иллюстрации, демо-версия опционально позволяет добавить эффект, который оживляет AR-рисунок в виде 3D-объекта.
3D-рисование пальцами использует комбинацию фреймворка ARKit от Apple и инструмента iOS 11 под названием Vision, который отслеживает кончик пальца через программное обеспечение для создания реалистичного эффекта рисования пальцами. Разработчик подробно описывает этот процесс:
Одной из классных библиотек, представленных Apple в iOS 11, является Vision Framework. Он предоставляет некоторые методы компьютерного зрения в достаточно удобном и эффективном виде. В частности, мы будем использовать технику отслеживания объектов. Отслеживание объектов работает следующим образом: сначала мы предоставляем ему изображение и координаты квадрата в пределах границ изображения для объекта, который мы хотим отслеживать. После этого мы вызываем некоторую функцию для инициализации отслеживания. Наконец, мы передаем новое изображение, в котором изменилось положение объекта, и результат анализа предыдущей операции. Исходя из этого, он вернет нам новое положение объекта.
Полная подробная статья, включая исходный код, далее объясняет, как была создана демонстрация. Посмотрите ее в действии ниже:
Apple впервые представила ARKit как часть iOS 11 для iPhone и iPad в июне на WWDC 2017. До сих пор мы видели только любительские проекты использования этого фреймворка в реальном мире. Когда iOS 11 выйдет этой осенью, мы ожидаем увидеть множество приложений ARKit от партнеров по запуску, включая IKEA.