Исследование Apple изучает, как люди ожидают взаимодействовать с ИИ-агентами

Команда исследователей Apple поставила перед собой цель понять, чего реальные пользователи ожидают от ИИ-агентов и как они предпочитают с ними взаимодействовать. Вот что они обнаружили.

В исследовании под названием Mapping the Design Space of User Experience for Computer Use Agents (Картографирование пространства пользовательского опыта для компьютерных ИИ-агентов) команда из четырех исследователей Apple утверждает, что, несмотря на то, что рынок активно инвестирует в разработку и оценку ИИ-агентов, некоторые аспекты пользовательского опыта были упущены: как пользователи могут захотеть с ними взаимодействовать и как должны выглядеть эти интерфейсы.

Чтобы изучить это, они разделили исследование на два этапа: сначала они выявили основные шаблоны UX и соображения по дизайну, которые ИИ-лаборатории встраивают в существующие ИИ-агенты. Затем они протестировали и усовершенствовали эти идеи посредством практических пользовательских исследований с использованием интересного метода под названием «Волшебник из страны Оз».

Наблюдая за тем, как эти шаблоны дизайна проявляют себя в реальных пользовательских взаимодействиях, они смогли определить, какие текущие дизайны ИИ-агентов соответствуют ожиданиям пользователей, а какие не соответствуют.

Этап 1: Таксономия

Исследователи изучили девять настольных, мобильных и веб-ориентированных агентов, включая:

  • Claude Computer Use Tool
  • Adept
  • OpenAI Operator
  • AIlice
  • Magentic-UI
  • UI-TARS
  • Project Mariner
  • TaxyAI
  • AutoGLM

Затем они проконсультировались с «8 практиками, которые являются дизайнерами, инженерами или исследователями, работающими в области UX или ИИ в крупной технологической компании», что помогло им составить всеобъемлющую таксономию с четырьмя категориями, 21 подкатегорией и 55 примерами функций, охватывающих ключевые соображения UX для компьютерных ИИ-агентов.

Четыре основные категории включали:

  • Запрос пользователя: как пользователи вводят команды
  • Объяснимость действий агента: какую информацию представлять пользователю о действиях агента
  • Контроль пользователя: как пользователи могут вмешаться
  • Ментальная модель и ожидания: как помочь пользователям понять возможности агента

По сути, эта структура охватывала все: от аспектов интерфейса, позволяющих агентам представлять свои планы пользователям, до того, как они сообщают о своих возможностях, сообщают об ошибках и позволяют пользователям вмешиваться, когда что-то идет не так.

Имея все это под рукой, они перешли к этапу 2.

Этап 2: Исследование «Волшебник из страны Оз»

Исследователи привлекли 20 пользователей, имеющих опыт работы с ИИ-агентами, и попросили их взаимодействовать с ИИ-агентом через чат-интерфейс для выполнения либо задачи по аренде отпуска, либо задачи по онлайн-покупкам.

Из исследования:

Участникам был предоставлен имитационный чат-интерфейс, через который они могли взаимодействовать с «агентом», которым управлял исследователь. Одновременно участникам был представлен интерфейс выполнения действий агентом, где исследователь выступал в роли агента и взаимодействовал с пользовательским интерфейсом на экране на основе команды участника. В чат-интерфейсе участники могли вводить текстовые запросы на естественном языке, которые затем появлялись в чате. Затем «агент» начинал выполнение, когда исследователь управлял мышью и клавиатурой на своей стороне, чтобы симулировать действия агента на веб-странице. Когда исследователь завершал задачу, он вводил комбинацию клавиш, которая отправляла сообщение «задача выполнена» в чат. Во время выполнения участники могли использовать кнопку прерывания, чтобы остановить агента, и в чате появлялось сообщение «агент прерван».

Другими словами, пользователи не знали, что ИИ-агентом на самом деле был исследователь, сидящий в соседней комнате, который читал текстовые инструкции и выполнял запрошенную задачу.

Для каждой задачи (аренда отпуска или онлайн-покупки) участникам предлагалось выполнить шесть функций с помощью ИИ-агента, некоторые из которых агент намеренно выполнял с ошибкой (например, застревал в навигационном цикле) или допускал преднамеренные ошибки (например, выбирал не то, что было указано в инструкции пользователя).

В конце каждой сессии исследователи просили участников высказать свое мнение об опыте и предложить функции или изменения для улучшения взаимодействия.

Они также проанализировали видеозаписи и журналы чатов каждой сессии, чтобы выявить повторяющиеся темы в поведении пользователей, их ожиданиях и проблемах при взаимодействии с агентом.

Основные выводы

После завершения всех этапов исследователи обнаружили, что пользователи хотят иметь возможность видеть, что делают ИИ-агенты, но не хотят управлять каждым шагом, иначе они могли бы выполнять задачи сами.

Они также пришли к выводу, что пользователи хотят разного поведения агентов в зависимости от того, исследуют ли они варианты или выполняют знакомую задачу. Аналогично, ожидания пользователей меняются в зависимости от того, знакомы ли они с интерфейсом. Чем менее они были знакомы, тем больше они требовали прозрачности, промежуточных шагов, объяснений и пауз подтверждения (даже в сценариях с низким риском).

Они также обнаружили, что люди хотят большего контроля, когда действия имеют реальные последствия (такие как совершение покупок, изменение данных учетной записи или платежных данных, или контакт с другими людьми от их имени), а также обнаружили, что доверие быстро разрушается, когда агенты делают молчаливые предположения или допускают ошибки.

Например, когда агент сталкивался с неоднозначным выбором на странице или отклонялся от первоначального плана, не помечая это четко, участники инструктировали систему приостановиться и запросить разъяснения, вместо того чтобы просто выбрать что-то на первый взгляд случайное и продолжить.

В том же духе участники сообщали о дискомфорте, когда агент не был прозрачен в отношении принятия определенного решения, особенно когда это решение могло привести к выбору не того продукта.

В целом, это интересное исследование для разработчиков приложений, стремящихся внедрить агентные возможности в свои приложения. Полностью ознакомиться с ним можно здесь.

Акции на аксессуары на Amazon