Apple получила награду «Лучший доклад» на престижной конференции по машинному обучению

Благодаря недавнему прогрессу в области графики стало более реально обучать модели на синтетических изображениях, потенциально избегая необходимости дорогостоящей аннотации. Однако обучение на синтетических изображениях может не достичь желаемой производительности из-за разрыва между распределениями синтетических и реальных изображений. Чтобы сократить этот разрыв, мы предлагаем обучение «Синтетическое + Неразмеченное» (S+U), где задача состоит в обучении модели для улучшения реалистичности выходных данных симулятора с использованием неразмеченных реальных данных, сохраняя при этом информацию об аннотациях из симулятора. Мы разрабатываем метод для обучения S+U, который использует состязательную сеть, аналогичную Generative Adversarial Networks (GAN), но с синтетическими изображениями в качестве входных данных вместо случайных векторов. Мы вносим несколько ключевых модификаций в стандартный алгоритм GAN для сохранения аннотаций, предотвращения артефактов и стабилизации обучения: (i) термин «саморегуляризации», (ii) локальная состязательная потеря и (iii) обновление дискриминатора с использованием истории улучшенных изображений. Мы показываем, что это позволяет генерировать высокореалистичные изображения, что мы демонстрируем как качественно, так и с помощью пользовательского исследования. Мы количественно оцениваем сгенерированные изображения, обучая модели для оценки взгляда и оценки позы руки. Мы демонстрируем значительное улучшение по сравнению с использованием синтетических изображений и достигаем передовых результатов на наборе данных MPIIGaze без каких-либо размеченных реальных данных.

Спасибо, Том!