| 4 декабря 2017 г. — 8:09 утра по тихоокеанскому времени
Одной из главных особенностей системы с двумя камерами в последних iPhone является Портретный режим — эффект, который имитирует DSLR-подобную малую глубину резкости, интеллектуально размывая фон ваших фотографий. Apple расширила эту функцию с помощью iPhone X, добавив портретные селфи и имитацию Портретного освещения.
Хотя эти функции в настоящее время ограничены статичными фотографиями, будущие iPhone когда-нибудь смогут использовать ту же технологию для переноса эффекта глубины на видео. Это потрясающий вид, который в настоящее время возможен только с помощью дорогостоящего видеооборудования или значительных усилий при постобработке. Эта функция может стать революционной для видеографов, монтажеров и потребителей, которые уже приняли iPhone как серьезный инструмент для создания фильмов. Приложив некоторые усилия, этот эффект действительно возможен и с сегодняшними iPhone. Вот как это можно сделать.
Когда вы делаете фотографию в Портретном режиме на iPhone, информация о глубине, связанная с изображением, сохраняется как карта глубины в оттенках серого. iOS использует эту карту глубины, чтобы определить, какие части фотографии должны быть размыты, а какие оставаться в фокусе. Это тот же способ, которым 3D-художники имитируют глубину резкости в 3D-рендеринге — анимационное программное обеспечение создает карту глубины, которая затем интерпретируется рендерером.
Если вы хотите создать тот же эффект в видео сегодня, есть два распространенных варианта. Первый и самый простой — потратить деньги на дорогие камеры и объективы с широкой диафрагмой — именно это дает вам малую глубину резкости.
Карта глубины, созданная с помощью программного обеспечения для 3D-рендеринга. Темные области находятся в фокусе, а светлые — размыты.
Второй, более утомительный вариант — использовать программное обеспечение для постобработки, такое как Adobe After Effects, чтобы создать собственные карты глубины или видеомаски, чтобы указать, какие части сцены должны быть в фокусе. Это может включать трудоемкий процесс, называемый ротоскопирование, — задача, требующая много времени, которая часто выполняется кадр за кадром.
iOS 11 включает улучшенные наборы инструментов для разработчиков, которые предоставляют больше доступа к данным глубины, захваченным камерами iPhone. Apple продемонстрировала эти новые возможности на WWDC 2017 с помощью примера приложения под названием AVCamPhotoFilter. По сути, это позволяет разработчикам захватывать потоковые данные глубины с камеры с ограниченным разрешением. Это пример приложения является основой моего решения.
Используя iPhone X с запущенным AVCamPhotoFilter и iPhone 7 Plus в стандартном приложении камеры, я расположил устройства друг над другом, максимально приблизив объективы. Я записывал одну и ту же сцену на каждом устройстве, делая снимок экрана с данными глубины на моем iPhone X, чтобы создать движущуюся карту глубины. Видео ниже демонстрирует этот процесс и получаемый эффект глубины.
Перенеся оба фрагмента видео в Adobe After Effects, я смог легко добавить малой глубины резкости к моему видео, применив размытие линзы камеры к моим кадрам и указав After Effects источник карты глубины. По сути, это то, что iOS делает с данными глубины сегодня, только за кулисами.
Результат не идеален, но занял лишь часть времени, которое потребовалось бы для создания карты глубины вручную. Вывод был бы более точным, если бы и исходное видео, и данные глубины поступали с одного объектива камеры, но AVCamPhotoFilter не поддерживает одновременный захват обоих. Хотя существуют значительные ограничения этого обходного пути, конечный результат удивительно почти так же отполирован, как и эффект глубины на статичных фотографиях.
Разблокировка портретного режима для видео на текущем оборудовании iPhone может оказаться сложной задачей. Эта функция уже требует значительных вычислительных ресурсов для статичных фотографий и была бы значительно более требовательной для видео. Сторонние приложения, такие как Fabby, пытались воссоздать эффект полностью программно, но не очень убедительны. Однако чипы серии A Apple и аппаратное обеспечение камеры продолжают стремительно развиваться каждый год, поэтому эта функция может быть не так уж недостижима.
https://www.youtube.com/watch?v=REZl-ANYKKY
Возможности видео в портретном режиме выходят далеко за рамки простого эффекта малой глубины резкости. Те же данные могут быть использованы для имитации портретного освещения в видео — точно так же, как в собственной телерекламе Apple.
Креативное манипулирование данными глубины может даже позволить реализовать такие эффекты, как видео в стиле tilt-shift и мгновенное маскирование объектов, как будто они стоят перед зеленым экраном. Apple уже с большим успехом использовала эту технику в недавнем обновлении своего приложения Clips на iPhone X, добавив «Selfie Scenes», которые могут поместить вас в центр города или даже на съемочную площадку «Звездных войн».
Наконец, Портретный режим для видео может еще больше укрепить позиции iPhone как незаменимого инструмента для создания фильмов. Традиционные камеры вообще не захватывают данные глубины, что дает iPhone немедленное преимущество даже перед высококлассным видеооборудованием.
Apple демонстрирует свою приверженность камере iPhone, финансируя короткометражный фильм, снятый полностью на iPhone, и выделяя значительные инженерные ресурсы на новые функции камеры с каждой новой моделью. Видео в портретном режиме приблизят iPhone к цели стать не только лучшей камерой, которая у вас есть с собой, но и лучшей камерой в принципе.
Посетите 9to5Mac на YouTube для получения других новостей об Apple: