Google Motion Stills обновлено: добавление текста с отслеживанием движения, видео с суперразрешением и синемаграфы

После новых функций для других фотоприложений Google этим утром, Motion Stills получило масштабное обновление, которое позволяет добавлять текст, отслеживающий объект в видео, создавать видео с суперразрешением и автоматические синемаграфы.

Анонсированное в июне и с тех пор интегрированное в приложение Google Photos, Motion Stills использует технологию стабилизации видео для создания легко распространяемых GIF-анимаций и видео из Live Photos.

Motion Text — это удобная функция, которая позволяет накладывать текст таким образом, чтобы он следовал за любым движущимся объектом в видео. Эффект мгновенный и инициализируется во время набора текста, с частотой 1000 кадров в секунду на протяжении всего Live Photo. Эта функция весьма впечатляет и использует технологию отслеживания движения, работающую на серверах YouTube на вашем устройстве:

Сначала мы создаем метаданные движения для вашего видео, используя машинное обучение для классификации объектов переднего и заднего планов, а также для моделирования временной согласованности движения камеры. Затем мы берем эти метаданные и используем их в качестве входных данных для алгоритма, который может отслеживать отдельные объекты, отличая их от других. Алгоритм моделирует состояние каждого объекта, которое включает его движение в пространстве, неявную модель внешнего вида (описываемую как набор его движущихся частей), а также его центроид и протяженность.

В прошлом месяце Google опубликовал способ создания детализации с суперразрешением в изображениях с помощью машинного обучения. Примененное к Motion Stills, каждое экспортированное видео теперь автоматически повышается в четкости. Эта технология также используется для создания полностью автоматических синемаграфов.

Заморозив фон в статичное фото, мы анализируем результат, чтобы оптимизировать идеальный переход цикла. Рассматривая диапазон начальных и конечных кадров, мы строим матрицу оценок переходов между парами кадров. Существенный минимум в этой матрице отражает идеальный переход, приводящий к бесконечному циклу застывшего движения.

Это обновление уже доступно и также добавляет поддержку 3D Touch для предварительного просмотра и открытия клипов в вашем потоке и трее видео.