ChatGPT скоро сможет видеть все, что происходит на вашем экране

Вчера, в своем весеннем обновлении, OpenAI запустила полностью нативное приложение для Mac для ChatGPT, а также представила свою новую флагманскую модель, GPT-4o. Было множество замечательных демонстраций и поводов для восторга, особенно для пользователей Apple, которые размышляют о слухах о партнерстве Apple и OpenAI для iOS 18.

Одна из ключевых вещей, которая привлекла мое внимание в полном видео с мероприятия, — это грядущая функция приложения ChatGPT, которая была продемонстрирована, но без каких-либо конкретных деталей. Что это за функция? Возможность ChatGPT видеть все, что происходит на экране вашего устройства.

Готовы доверить ChatGPT содержимое вашего экрана?

При запуске приложение ChatGPT для Mac поддерживает ручное создание снимков экрана или загрузку файлов, чтобы затем задавать ChatGPT вопросы о них. Но в будущем, как видно на видео ниже, вы сможете нажать кнопку, которая предоставит приложению доступ ко всему, что отображается на вашем экране.

Эта функция, по-видимому, не будет ограничена Mac, поскольку приложение для iOS и iPadOS продемонстрировало ту же технологию в приведенном ниже примере с репетитором.

Неизвестно, когда эти функции просмотра экрана станут доступны в ChatGPT. Однако они кажутся очевидными дополнениями для более удобного и интерактивного опыта. Apple даже предоставляет API для разработчиков, чтобы получить доступ к содержимому экрана устройства — конечно, с согласия пользователя. Так что OpenAI не делает ничего предосудительного, добавляя эти функции.

Мнение 9to5Mac

Доступ ChatGPT к полному содержимому вашего экрана, безусловно, может показаться немного жутким, но он также, несомненно, будет невероятно полезным.

Скорее всего, будут временные ограничения на доступ приложения к вашему дисплею, требующие нажатия кнопки каждый раз, когда вы хотите предоставить доступ. Но теоретически, однажды станет целесообразным, чтобы ИИ-инструменты имели постоянный доступ ко всему, что вы видите, обеспечивая более плавную помощь с минимальными затруднениями.

ИИ-ассистент, который может видеть все, что вы видите на своих устройствах, кажется чем-то, что Apple могла бы реализовать на системном уровне на всех своих платформах. Если бы Siri была суперзаряжена новым ИИ-интеллектом, то благодаря глубокой системной интеграции она могла бы стать настоящим активом для пользователей в iOS 18 и последующих версиях.