| 14 мая 2024 г. — 4:13 утра по тихоокеанскому времени
Если вы еще не посмотрели вчерашнее мероприятие OpenAI, я настоятельно рекомендую это сделать. Главной новостью стало то, что последняя модель GPT-4o бесшовно работает с любой комбинацией текста, аудио и видео.
Это включает в себя возможность «показывать» приложению GPT-4o запись экрана, которую вы делаете другого приложения – и именно эту возможность компания продемонстрировала с помощью довольно невероятной демонстрации ИИ-репетитора на iPad…
GPT-4o
OpenAI заявила, что «o» означает «omni» (всеобъемлющий).
GPT-4o («o» от «omni») — это шаг к гораздо более естественному взаимодействию человека и компьютера: он принимает в качестве входных данных любую комбинацию текста, аудио и изображений и генерирует любую комбинацию текстовых, аудио и визуальных выходных данных.
Он может отвечать на аудиовходы всего за 232 миллисекунды, в среднем за 320 миллисекунд, что сопоставимо со временем ответа человека (открывается в новом окне) в разговоре […] GPT-4o особенно лучше понимает визуальные данные и аудио по сравнению с существующими моделями.
Даже голосовой аспект этого — это большое дело. Ранее ChatGPT мог принимать голосовой ввод, но преобразовывал его в текст перед обработкой. GPT-4o, напротив, фактически понимает речь, поэтому полностью пропускает этап преобразования.
Как мы отмечали вчера, бесплатные пользователи также получают множество функций, ранее доступных только платным подписчикам.
Демонстрация ИИ-репетитора на iPad
Одной из продемонстрированных OpenAI возможностей была способность GPT-4o наблюдать за тем, что вы делаете на экране своего iPad (в режиме разделенного экрана).
В примере ИИ обучает студента решению математической задачи. Вы можете услышать, что изначально GPT-4o понял задачу и хотел немедленно ее решить. Но новую модель можно прервать, и в данном случае ее попросили помочь студенту решить ее самостоятельно.
Еще одна показанная здесь возможность заключается в том, что модель утверждает, что распознает эмоции в речи, а также может сама выражать эмоции. На мой вкус, в демонстрационной версии это было несколько чрезмерно, и это отражено здесь – ИИ, возможно, ведет себя несколько снисходительно. Но все это настраиваемо.
По сути, каждый студент в мире мог бы иметь частного репетитора с такими возможностями.
Сколько из этого Apple интегрирует?
Мы знаем, что ИИ является основным направлением iOS 18, и что компания завершает сделку по интеграции функций ChatGPT на устройства Apple. Хотя в то время это описывалось как для ChatGPT, теперь кажется весьма вероятным, что фактическая сделка заключается в доступе к GPT-4o.
Но мы также знаем, что Apple работает над собственными моделями ИИ, имея собственные центры обработки данных, работающие на собственных чипах. Например, Apple работает над собственным способом позволить Siri понимать экраны приложений.
Поэтому мы точно не знаем, какие возможности GPT-4o компания принесет на свои устройства, но эта кажется настолько идеально подходящей для Apple, что я должен верить, что она будет включена. Это действительно использование технологий для расширения возможностей людей.
Изображение: OpenAI. Бенджамин Майо внес свой вклад в эту статью.