
Технологическое демонстрационное видео от художника по визуальным эффектам Элиши Хунга показывает, как данные с камеры iPhone X TrueDepth могут быть использованы для анимации 3D-персонажей и объектов в CGI-фильме.
Apple предоставляет разработчикам доступ к той же сетке лиц, которую Animoji использует для анимации свиней, кроликов и кучек какашек. Потоковые данные из API iOS могут быть преобразованы в формат, который может интерпретировать традиционное программное обеспечение для 3D-редактирования, как показал Хунг в этой демонстрации:
Вместо использования дорогостоящего оборудования для захвата движения, Хунг написал приложение ARKit для записи своей обновляемой в реальном времени сетки лиц, пока он изображал различные эмоции. Затем он использовал карту глубины для анимации 2D-текстуры своего лица.
Конечный результат удивительно реалистичен и имитирует воспроизведение анимированных лиц, которое можно увидеть в играх класса AAA.
Точности TrueDepth может быть недостаточно для использования в блокбастерах Голливуда, но это может открыть новое направление для видеомейкеров и аниматоров-любителей и полупрофессионалов.
Это также показывает, как может быть создано стороннее приложение для iPhone, которое воссоздает опыт Animoji, но с лицами людей (знаменитостей?), а не существ из эмодзи.