
Команда исследователей Apple поставила перед собой цель понять, чего реальные пользователи ожидают от ИИ-агентов и как они предпочитают с ними взаимодействовать. Вот что они обнаружили.
Apple изучает тенденции UX для эпохи ИИ-агентов
В исследовании под названием Mapping the Design Space of User Experience for Computer Use Agents (Картографирование пространства пользовательского опыта для компьютерных ИИ-агентов) команда из четырех исследователей Apple утверждает, что, несмотря на то, что рынок активно инвестирует в разработку и оценку ИИ-агентов, некоторые аспекты пользовательского опыта были упущены: как пользователи могут захотеть с ними взаимодействовать и как должны выглядеть эти интерфейсы.
Чтобы изучить это, они разделили исследование на два этапа: сначала они выявили основные шаблоны UX и соображения по дизайну, которые ИИ-лаборатории встраивают в существующие ИИ-агенты. Затем они протестировали и усовершенствовали эти идеи посредством практических пользовательских исследований с использованием интересного метода под названием «Волшебник из страны Оз».

Наблюдая за тем, как эти шаблоны дизайна проявляют себя в реальных пользовательских взаимодействиях, они смогли определить, какие текущие дизайны ИИ-агентов соответствуют ожиданиям пользователей, а какие не соответствуют.
Этап 1: Таксономия
Исследователи изучили девять настольных, мобильных и веб-ориентированных агентов, включая:
- Claude Computer Use Tool
- Adept
- OpenAI Operator
- AIlice
- Magentic-UI
- UI-TARS
- Project Mariner
- TaxyAI
- AutoGLM
Затем они проконсультировались с «8 практиками, которые являются дизайнерами, инженерами или исследователями, работающими в области UX или ИИ в крупной технологической компании», что помогло им составить всеобъемлющую таксономию с четырьмя категориями, 21 подкатегорией и 55 примерами функций, охватывающих ключевые соображения UX для компьютерных ИИ-агентов.
Четыре основные категории включали:
- Запрос пользователя: как пользователи вводят команды
- Объяснимость действий агента: какую информацию представлять пользователю о действиях агента
- Контроль пользователя: как пользователи могут вмешаться
- Ментальная модель и ожидания: как помочь пользователям понять возможности агента
По сути, эта структура охватывала все: от аспектов интерфейса, позволяющих агентам представлять свои планы пользователям, до того, как они сообщают о своих возможностях, сообщают об ошибках и позволяют пользователям вмешиваться, когда что-то идет не так.
Имея все это под рукой, они перешли к этапу 2.
Этап 2: Исследование «Волшебник из страны Оз»
Исследователи привлекли 20 пользователей, имеющих опыт работы с ИИ-агентами, и попросили их взаимодействовать с ИИ-агентом через чат-интерфейс для выполнения либо задачи по аренде отпуска, либо задачи по онлайн-покупкам.

Из исследования:
Участникам был предоставлен имитационный чат-интерфейс, через который они могли взаимодействовать с «агентом», которым управлял исследователь. Одновременно участникам был представлен интерфейс выполнения действий агентом, где исследователь выступал в роли агента и взаимодействовал с пользовательским интерфейсом на экране на основе команды участника. В чат-интерфейсе участники могли вводить текстовые запросы на естественном языке, которые затем появлялись в чате. Затем «агент» начинал выполнение, когда исследователь управлял мышью и клавиатурой на своей стороне, чтобы симулировать действия агента на веб-странице. Когда исследователь завершал задачу, он вводил комбинацию клавиш, которая отправляла сообщение «задача выполнена» в чат. Во время выполнения участники могли использовать кнопку прерывания, чтобы остановить агента, и в чате появлялось сообщение «агент прерван».
Другими словами, пользователи не знали, что ИИ-агентом на самом деле был исследователь, сидящий в соседней комнате, который читал текстовые инструкции и выполнял запрошенную задачу.
Для каждой задачи (аренда отпуска или онлайн-покупки) участникам предлагалось выполнить шесть функций с помощью ИИ-агента, некоторые из которых агент намеренно выполнял с ошибкой (например, застревал в навигационном цикле) или допускал преднамеренные ошибки (например, выбирал не то, что было указано в инструкции пользователя).
В конце каждой сессии исследователи просили участников высказать свое мнение об опыте и предложить функции или изменения для улучшения взаимодействия.
Они также проанализировали видеозаписи и журналы чатов каждой сессии, чтобы выявить повторяющиеся темы в поведении пользователей, их ожиданиях и проблемах при взаимодействии с агентом.
Основные выводы
После завершения всех этапов исследователи обнаружили, что пользователи хотят иметь возможность видеть, что делают ИИ-агенты, но не хотят управлять каждым шагом, иначе они могли бы выполнять задачи сами.
Они также пришли к выводу, что пользователи хотят разного поведения агентов в зависимости от того, исследуют ли они варианты или выполняют знакомую задачу. Аналогично, ожидания пользователей меняются в зависимости от того, знакомы ли они с интерфейсом. Чем менее они были знакомы, тем больше они требовали прозрачности, промежуточных шагов, объяснений и пауз подтверждения (даже в сценариях с низким риском).
Они также обнаружили, что люди хотят большего контроля, когда действия имеют реальные последствия (такие как совершение покупок, изменение данных учетной записи или платежных данных, или контакт с другими людьми от их имени), а также обнаружили, что доверие быстро разрушается, когда агенты делают молчаливые предположения или допускают ошибки.
Например, когда агент сталкивался с неоднозначным выбором на странице или отклонялся от первоначального плана, не помечая это четко, участники инструктировали систему приостановиться и запросить разъяснения, вместо того чтобы просто выбрать что-то на первый взгляд случайное и продолжить.
В том же духе участники сообщали о дискомфорте, когда агент не был прозрачен в отношении принятия определенного решения, особенно когда это решение могло привести к выбору не того продукта.
В целом, это интересное исследование для разработчиков приложений, стремящихся внедрить агентные возможности в свои приложения. Полностью ознакомиться с ним можно здесь.
Акции на аксессуары на Amazon