| 5 августа 2024 г. — 14:23 PT
Apple, возможно, не особо нуждается в NVIDIA, но это не значит, что NVIDIA не нуждается в Apple. В частности, гарнитура Apple Vision Pro используется для разработки человекоподобных роботов. Смотрите, как это делается, ниже:
Видео является частью кампании по продвижению работы NVIDIA в области робототехники.
В пресс-релизе Apple Vision Pro дважды упоминается как инструмент для управления роботами NVIDIA в отношении микросервиса MimicGen NIM:
Обучение базовых моделей для человекоподобных роботов требует невероятного объема данных. Один из способов сбора данных о человеческих демонстрациях — телеоперация, но этот процесс становится все более дорогим и трудоемким.
Опорный рабочий процесс телеоперации от NVIDIA с использованием ИИ и Omniverse, продемонстрированный на конференции компьютерной графики SIGGRAPH, позволяет исследователям и разработчикам ИИ генерировать огромные объемы синтетического движения и данных восприятия из минимального количества удаленно захваченных человеческих демонстраций.
Сначала разработчики используют Apple Vision Pro для захвата небольшого количества телеуправляемых демонстраций. Затем они моделируют записи в NVIDIA Isaac Sim и используют микросервис MimicGen NIM для генерации синтетических наборов данных из записей.
Разработчики обучают базовую модель человекоподобного робота Project GR00T с использованием реальных и синтетических данных, что позволяет им экономить время и сокращать расходы. Затем они используют микросервис Robocasa NIM в Isaac Lab, фреймворке для обучения роботов, для генерации опыта для переобучения модели робота. На протяжении всего рабочего процесса NVIDIA OSMO беспрепятственно назначает вычислительные задания различным ресурсам, экономя разработчикам недели административных задач.
Прочитайте полный релиз здесь для подробного изучения.