Apple publie une étude de recherche pour mieux cerner ce que les utilisateurs attendent des « agents IA » capables d’agir à leur place sur des interfaces, ainsi que les formes d’interaction jugées acceptables et rassurantes.
Intitulé Mapping the Design Space of User Experience for Computer Use Agents, le travail pointe un angle mort des évaluations actuelles du marché : la qualité de l’expérience d’usage, au-delà des performances, notamment la manière dont ces agents devraient expliquer leurs actions et laisser la main en cas de besoin (Apple Machine Learning Research).
Deux phases : cartographier, puis confronter au terrain
Les chercheurs ont structuré l’étude en deux temps. Une première phase vise à recenser les grands motifs d’interface déjà utilisés par les agents existants. Une seconde phase teste et affine ces idées via une méthode dite « Wizard of Oz », où l’agent est simulé par un humain sans que les participants en aient connaissance.
Phase 1 : une taxonomie de l’UX des agents
Pour établir une cartographie des approches, l’équipe a analysé neuf agents sur ordinateur, mobile et web :
- Claude Computer Use Tool
- Adept
- OpenAI Operator
- AIlice
- Magentic-UI
- UI-TARS
- Project Mariner
- TaxyAI
- AutoGLM
Les chercheurs ont ensuite échangé avec « 8 practitioners » (design, ingénierie, recherche) au sein d’une grande entreprise technologique. Résultat : une taxonomie articulée en quatre catégories, déclinées en 21 sous-catégories et 55 exemples de fonctionnalités couvrant les principaux enjeux d’expérience utilisateur pour des agents capables d’utiliser un ordinateur.
- User Query : la manière de formuler une demande.
- Explainability of Agent Activities : quelles informations exposer sur les actions de l’agent.
- User Control : comment l’utilisateur peut intervenir.
- Mental Model & Expectations : comment expliciter capacités et limites.
Le cadre englobe aussi bien l’affichage d’un plan d’exécution que la gestion des erreurs, la communication des capacités, ou les mécanismes permettant d’interrompre et de reprendre l’action.
Phase 2 : test « Wizard of Oz » avec 20 participants
Pour la seconde phase, 20 personnes ayant déjà utilisé des agents IA ont été recrutées. Elles devaient accomplir, via une interface de chat, une tâche de location de vacances ou d’achat en ligne. L’exécution, elle, était simulée : un chercheur réalisait les actions (souris et clavier) comme si l’agent opérait sur la page.
Chaque scénario comportait six fonctions à effectuer avec l’aide de l’agent. Certaines étaient volontairement sabotées (boucle de navigation, blocage), ou entachées d’erreurs intentionnelles (sélection d’un élément différent de l’instruction), afin d’observer les réactions face aux écarts, aux ambiguïtés et aux risques perçus.
Les sessions ont ensuite été analysées à partir des enregistrements vidéo et des journaux de conversation, et complétées par un retour des participants sur les améliorations souhaitées.
Ce que les utilisateurs attendent vraiment
- De la visibilité, sans microgestion : les participants veulent comprendre ce que fait l’agent, mais sans devoir contrôler chaque étape — sinon l’intérêt de déléguer s’effondre.
- Des comportements qui varient selon l’objectif : l’exploration (comparaison, recherche d’options) n’appelle pas le même niveau d’autonomie que l’exécution d’une tâche familière.
- Plus d’explications quand l’interface est nouvelle : face à un environnement inconnu, la demande de transparence augmente, avec davantage d’étapes intermédiaires, d’explications et de pauses de confirmation, y compris pour des actions à faible risque.
- Un contrôle renforcé quand les conséquences sont réelles : achats, modifications de compte ou de paiement, prise de contact avec des tiers. Dans ces cas, la tolérance aux hypothèses implicites chute nettement.
- La confiance se casse vite sur les suppositions silencieuses : lorsqu’un choix est ambigu ou que l’agent dévie du plan, les participants préfèrent une mise en pause et une demande de clarification, plutôt qu’une décision « au hasard ».
Le texte complet de l’étude est disponible sur le site de recherche d’Apple (Mapping the Design Space of User Experience for Computer Use Agents).
