| 1 ноября 2019 г. — 6:31 PT
iOS 13.2 вышел на этой неделе, и вместе с ним появилась функция Deep Fusion, которую глава маркетинга Apple на презентации iPhone 11 описал как «сумасшедшую науку вычислительной фотографии». (К сожалению, похоже, что она также вызвала проблемы с фоновыми приложениями).
Как и Smart HDR, Deep Fusion объединяет несколько кадров для создания наилучшего возможного составного изображения. Но если Smart HDR ограничен объединением различных экспозиций, одни из которых предназначены для захвата теней, другие — для выявления светлых участков, то Deep Fusion также нацелен на выявление большей детализации…
Вот как Шиллер описал эту функцию, доступную только на трех моделях iPhone 11.
Он делает девять снимков: до нажатия кнопки затвора он уже сделал четыре коротких снимка, четыре дополнительных снимка. Когда вы нажимаете кнопку затвора, делается один длинный снимок, а затем всего за одну секунду Neural Engine анализирует объединенную комбинацию длинных и коротких снимков, выбирая лучший из них, выбирая все пиксели и, пиксель за пикселем, проходя через 24 миллиона пикселей для оптимизации деталей и снижения шума, как вы видите на свитере. Это потрясающе, это первый раз, когда нейронный процессор отвечает за генерацию выходного изображения. Это сумасшедшая наука вычислительной фотографии.
Адам Эстес из Gizmodo тестировал бета-версию несколько недель. Одна из проблем, с которой он столкнулся, заключалась в отсутствии индикации для пользователя о том, когда активен Deep Fusion (хотя есть ситуации, когда он точно не работает). Вам просто нужно сделать снимки на два идентичных телефона, один с iOS 13.2, другой без, и искать различия.
Плохая новость в том, что во многих снимках различия видны только при очень детальном рассмотрении. По его мнению, они вряд ли заметно повлияют на восприятие фотографии большинством людей.
Давайте разберемся, на что действительно похожа сумасшедшая наука вычислительной фотографии Deep Fusion. Если честно, это не похоже ни на что. Сразу после появления функции Deep Fusion в публичной бета-версии iOS 13.2 я установил программное обеспечение на iPhone 11 Pro от Gizmodo, а на своем iPhone 11 Pro оставил предыдущую версию iOS, без Deep Fusion. Затем я сделал кучу снимков в самых разных условиях. Честно говоря, я часто не мог различить снимок с Deep Fusion и снимок без Deep Fusion.
Иногда, однако, разница очевидна. Хотя Эстес описывает разницу между двумя снимками часов в центре нью-йоркского Grand Central Terminal как «незначительную», для меня разница очень ясна даже до просмотра в полноразмерном режиме.
Является ли снимок Deep Fusion *лучше* — это субъективное суждение. Он, безусловно, более резкий, но, возможно, граничит с чрезмерной резкостью. Приложения, такие как Photoshop и Lightroom, позволяют увеличивать резкость фотографий в постобработке, и иногда результат может выглядеть неестественно, если кто-то заходит слишком далеко — и я бы сказал, что это опасно близко к этой области. Однако для среднего человека «резче» означает «лучше», так что Apple, вероятно, приняла правильное решение.
Эстес говорит, что есть один случай, когда разница как небо и земля: фотографии его щенка Пинаты, показанные здесь крупным планом.
Однако все изменилось, когда я начал фотографировать мех. Теоретически, это именно тот сценарий, где Deep Fusion должен преуспевать, поскольку крошечные пряди волос имеют тенденцию сливаться, но нейронный движок может идентифицировать эти детали и объединить их в фото Deep Fusion. Возможно, именно поэтому Apple выбрала бородатого мужчину в свитере с мелкой текстурой, чтобы продемонстрировать Deep Fusion на недавней презентации. Моя версия бородатого мужчины в свитере с мелкой текстурой — это маленький щенок по имени Пината […]
Хотя на обеих этих фотографиях она выглядит ангельски, довольно легко увидеть, что на фотографии слева ее нежные маленькие блики размываются вокруг макушки головы и уха. На фотографии Deep Fusion справа они четкие, как стекло […]
Я больше никогда не хочу делать фотографию Пинаты без Deep Fusion.
То, что мы видим сегодня, конечно, только первая итерация Deep Fusion, и Эстес предполагает, что будущие обновления улучшат возможности зума, подобно тому, как это сделала Google с Pixel 4.
Замечаете ли вы существенные различия на фотографиях до и после обновления до iOS 13.2? Пожалуйста, дайте нам знать в комментариях.
Полный материал можно прочитать здесь.