Вот почему я считаю функции фото на базе ИИ в iOS 27 такими продуманными

В моем обзоре того, что я назвал 11 ключевыми функциями на базе ИИ, анонсированными Apple на WWDC в этом году, я отметил, что функции камеры кажутся невероятно хорошо продуманными.

За две недели, прошедшие с тех пор, мое мнение лишь укрепилось. Инструмент «Очистка» (Clean Up) стал значительно мощнее, а инструменты «Рекадрирование» (Reframe) и «Расширение» (Expand) решают вполне реальные повседневные задачи…

Фотография меняется

Свой первый фотоаппарат я получил на день рождения в 14 лет. Это был «Зенит-Е» — советский кусок металла, который весил примерно как автомобиль и не имел абсолютно никакой электроники или автоматических функций.

Технически в нем был встроенный экспонометр, но селеновый, который с трудом отличал разницу между абсолютно темной комнатой и направлением прямо на солнце. Требовался внешний экспонометр, и каждую выдержку приходилось настраивать вручную. Он был уродливым, тяжелым и неуклюжим — и я его просто обожал.

Если бы тогда вы сказали мне, что однажды я буду использовать телефон в качестве основной камеры и получать гораздо более качественные результаты, чем даже на гораздо более поздних зеркальных фотоаппаратах, я бы поинтересовался, какими запрещенными веществами вы балуетесь. И все же, вот мы здесь.

Десять лет назад казалось немыслимым говорить о том, что зеркальные камеры (DSLR) будут сняты с производства, даже на профессиональном рынке. Однако Nikon полностью прекратила их выпуск, а Canon, хотя и продолжает выпускать существующие модели, не разрабатывала новых уже много лет и, скорее всего, больше никогда не будет. Беззеркальные камеры доминируют на рынке, и отраслевые исследования показывают, что это правда даже среди профессионалов.

Возможно, мы еще не видим многих профессиональных фотографов, повседневно использующих iPhone для своих съемок, но их возможности, безусловно, часто получают признание. Сегодняшние iPhone — это весьма серьезные камеры.

Расцвет вычислительной фотографии

Конечно, возможности маленьких сенсоров и пластиковых линз ограничены. Вы, например, не получаете особого контроля над глубиной резкости.

Apple стала одной из нескольких компаний, осознавших, что умная обработка фото может имитировать результаты, ранее возможные только на камерах высокого класса. Портретный режим, например, стал способом имитации эффекта малой глубины резкости. Первые результаты были не очень хорошими, но с годами функция становилась все более убедительной.

Сегодня огромный объем вычислений происходит при обработке фотографий на iPhone в фоновом режиме.

Исправление ошибок

Apple также начала предоставлять средства для исправления ошибок после того, как снимок сделан. Например, если вы используете портретный режим с диафрагмой f/2.8, но позже решаете, что хотите, чтобы в фокусе было больше деталей, вы можете задним числом изменить симулируемую диафрагму. Если вы сфокусировались не на том человеке или объекте в кинематографическом режиме видео, вы можете изменить точку фокусировки во время редактирования — либо на iPhone, либо на Mac.

Если вы плохо откадрировали фото, из-за чего в кадре оказался лишний человек или предмет, инструмент «Очистка» (Clean Up) позволял удалить их постфактум.

Три ИИ-функции для фото в iOS 27

В iOS 27 Apple сделала инструмент «Очистка» значительно мощнее и дополнила его двумя функциями коррекции: «Рекадрирование» (Reframe) и «Расширение» (Expand).

«Рекадрирование» позволяет искусственно сместить позицию фотографа влево, вправо, вверх или вниз и увидеть фото так, словно оно было снято с этого ракурса.

«Расширение» позволяет изменить соотношение сторон, даже если для этого требуется добавить в кадр контент, которого не было в момент съемки.

Что меня впечатлило в выборе ИИ-инструментов Apple, так это то, как они отвечают реальным потребностям. Компания не использует ИИ для выполнения хитрых трюков просто потому, что они хитрые, а предоставляет функции, которые действительно практичны и полезны.

Очистка (Clean Up)

Инструмент «Очистка» теперь обеспечивает лучшие результаты при использовании аналогично предыдущим версиям iOS. Например, на этом фото слева от Шер находится довольно отвлекающий паром:

Так что давайте уберем его:

Там снова тот же паром, а также швартовный буй слева.

Давайте удалим оба.

Но давайте устроим инструменту настоящее испытание. Здесь у нас в кадре с Амбарой два лишних человека, особенно бросающихся в глаза из-за их яркой спецодежды.

Через несколько секунд — как будто их там никогда и не было.

Рекадрирование (Reframe)

Любой фотограф знает, что малейшее изменение угла может полностью изменить композицию. Здесь Амбара красиво расположена по центру арки, но ценой появления уродливого эвакуатора слева и кучи беспорядочного трафика справа.

Возможно, было бы лучше пожертвовать симметрией арки, чтобы расположиться чуть левее. «Рекадрирование» позволяет нам сделать именно это.

У нас здесь похожая ситуация с отвлекающими людьми на заднем плане слева.

Совсем небольшое смещение вправо скрыло бы их из виду, хотя и ценой потери отделения волос Шер от дерева.

(В идеале мы хотели бы убрать еще и мусор, но пока нельзя комбинировать «Рекадрирование» и «Очистку».)

Опять же, давайте усложним задачу. Эта композиция выглядит немного некомфортно, потому что она обрезает руку Амбары.

Смещение угла вправо исправило бы это, но это довольно серьезная задача для инструмента рекадрирования, так как ему фактически приходится «додумывать» большую часть ее руки. И все же…

Иногда даже самые крошечные изменения имеют значение. Например, на этом снимке я хотел бы чуть большего разделения между развевающимися на ветру волосами Шер и шпилем церкви на заднем плане. Микроскопическое изменение кадра дало решение.

Точно так же здесь: микроскопическое изменение угла обеспечивает разделение между локтем Амбары и краем арки.

Расширение (Extend)

Наконец, инструмент «Расширение» позволяет нам включить элементы, которые находились за пределами кадра. Это еще более сложная задача, так как она требует, чтобы iPhone выдумал правдоподобный и реалистичный контент. Здесь мы можем увидеть пару примеров со зданием «Уоки-Токи» в Лондоне.

В первом случае я обрезал здание по вертикали. Инструмент расширения проделал убедительную работу по восстановлению утраченного края здания, даже если ему пришлось для этого дорисовать здание на заднем плане.

Во втором примере я обрезал его горизонтально, потеряв верхушку здания тем же образом. Что здесь забавно, так это то, что ИИ увидел все краны на заднем плане и сделал вывод, что на вымышленной верхушке здания позади, скорее всего, есть еще один. Если бы вы не знали сцену, думаю, это выглядело бы совершенно правдоподобно.

Конечно, это первая версия для разработчиков, и неизбежны глюки и сбои, но я думаю, что Apple на верном пути с таким вдумчивым и по-настоящему интеллектуальным использованием ИИ. Мне не терпится увидеть, что будет дальше.

А что вы думаете об этом развитии? Пожалуйста, поделитесь в комментариях.