
В iOS 27 Apple представляет новую версию системного движка для обработки RAW-изображений, который использует машинное обучение для значительного улучшения детализации и снижения уровня шума, в том числе при повторной обработке старых RAW-фотографий. Вот подробности.
iOS 27 включает RAW 9
Если вы не знакомы с форматом RAW, то, по сути, это формат изображения, сохраняющий данные, полученные непосредственно с сенсора камеры, что дает фотографам большую гибкость при редактировании таких элементов, как экспозиция, цвет и баланс белого.
У Apple есть собственный системный конвейер для обработки RAW-файлов с камер сторонних производителей, доступный приложениям через Core Image. В настоящее время он включает поддержку и специфические для каждой камеры калибровки для почти 800 моделей, а полный и регулярно обновляемый список совместимости доступен здесь.
На протяжении многих лет Apple восемь раз обновляла свой алгоритм обработки RAW, улучшая работу с данными сенсора, демозаику, шумоподавление и такие настройки, как баланс белого, экспозиция, цвет и тон.
В iOS 27 Apple представляет RAW 9, который, по словам компании, является «самым крупным обновлением на сегодняшний день». Вот что сказал Дэвид Хейворд, инженер Core Image в Apple, на сессии WWDC26 под названием «Улучшение обработки RAW-изображений с помощью Core Image»:
[RAW 9] кардинально улучшает рендеринг RAW-файлов. Он построен на базе плиточной модели CoreML, которая сочетает демозаику с шумоподавлением для наилучшего качества. А модель запускается на устройстве с использованием ядер Apple Neural Engine для оптимальной производительности.
В ходе сессии Хейворд демонстрирует несколько примеров работы RAW 9, сравнивая результаты с RAW 8 и, иногда, с исходными необработанными данными сенсора:


Это увеличенный фрагмент изображения с низким уровнем шума при использовании RAW 8. Это фото винтажного индикатора циферблатного типа, сделанное на Sony Alpha 7 II, выглядит довольно неплохо. Однако, если изучить то же самое изображение в RAW 9, оно становится более резким, четким, а мелкий текст — легче читаемым.



Различия становятся еще более драматичными при просмотре изображений с высоким уровнем шума. Сначала взгляните на исходные RAW-данные, содержащиеся в этом очень зашумленном снимке с ISO 51 200. В этом примере с Canon 5D Mark III представлен 10-кратный кроп изображения коробки с мелками. В RAW-данных так много яркостного и цветового шума, что невозможно различить уникальный цвет каждого мелка. Используя наши предыдущие алгоритмы, вот результат! RAW 8 справился приемлемо, восстановив реальные цвета сцены. Но если изучить результат в RAW 9, вывод будет значительно лучше. Цвета точные и четко определенные. Видны даже блестящие блики на мелках.


Последний пример — это кроп фотографии вышивальной пряжи, сделанной на Fujifilm X-T5 при ISO 12 800. У этой камеры нетрадиционный паттерн сенсора, который сложно обрабатывать методом демозаики. В результатах RAW 8 присутствуют некоторые цветовые артефакты и потеря детализации пряжи. Но если посмотреть на то же изображение в RAW 9, результаты заметно лучше. Мелкий текст стал более читаемым, а текстура пряжи — гораздо четче.
Для разработчиков в сессии подробно рассказывается о том, как включить RAW 9, оптимизировать производительность для редактирования и экспорта, и о многом другом.
Чтобы узнать больше о RAW 9 и других улучшениях Core Image, которые появятся в iOS 27, посмотрите полную запись сессии здесь.
Стоит посмотреть на Amazon