Huawei Benchmark expose les échecs des assistants IA dans les tâches du monde réel

L’argumentaire de vente des assistants personnels IA a toujours été le même : donnez à l’agent l’accès à votre vie numérique et il s’occupe du reste. Vos e-mails, votre calendrier, vos notes, vos appareils : tout. Votre IA le sait. Votre IA passe à l'action. Tu te reposes.

Des chercheurs de Huawei Technologies, de l'Institut de technologie de Pékin, de l'Université de Pékin et de l'Académie chinoise des sciences viennent de créer un benchmark pour vérifier si cela est vrai. Spoiler : ce n’est pas le cas.

Claw-Anything évalue simultanément les agents d'IA dans trois dimensions : flux d'événements à long terme couvrant plus de trois mois d'activité utilisateur simulée, services backend interdépendants en moyenne 10,1 par tâche et interaction entre appareils dans les environnements Linux CLI et Android GUI.

La fenêtre contextuelle moyenne par tâche est de 191 700 mots. La plupart des repères existants se situent entre 1 700 et 12 000. Ce n’est pas un petit écart, mais un problème complètement différent. C'est aussi à cela que ressemble la vie réelle, par opposition aux repères ultra-spécifiques et standardisés.

Votre IA n'a aucune idée de ce qui se passe

Le benchmark est noté pass@1 : la probabilité que l'agent termine une tâche correctement dès sa première tentative, sans seconde chance. Une tâche peut demander à l'agent de recouper une alerte de prix pour un produit qu'il a trouvé il y a des semaines, de vérifier le calendrier de l'utilisateur pour un rendez-vous pertinent et d'agir depuis un téléphone. Un autre pourrait vous demander de compiler des travaux récents à partir de notes, de fils de discussion par courrier électronique et de Slack, puis de produire une présentation à partir de zéro.

Ce sont des tâches que les gens demandent réellement aux assistants. Il s'avère que l'IA n'est pas très douée pour eux. GPT-5.5, selon la couverture précédente de Décrypterest le meilleur modèle OpenAI, conçu pour des tâches agentiques et à long terme. Il a obtenu 34,5%.

« Les modèles actuels restent peu fiables, même lorsqu'ils bénéficient d'un accès plus large au monde numérique de l'utilisateur », note le document Claw-Anything. Plusieurs modèles qui semblent impressionnants dans d’autres benchmarks ont encore chuté.

Le benchmark évalue également séparément l'assistance proactive, c'est-à-dire les cas dans lesquels l'agent détecte un besoin et agit sans qu'on le lui demande. La plupart des benchmarks ne testent pas cela. Claw-Anything le fait, et la différence est notable : les agents ont obtenu un score de 25,9 % sur les tâches réactives et de seulement 6,7 % sur les tâches proactives.

Pourquoi la plupart des benchmarks ne vous le disent pas

Les chercheurs avancent un argument convaincant : les benchmarks existants traitent les agents d’IA comme des résolveurs de tâches avec un bureau propre. Claw-Anything les traite comme des assistants personnels plongés dans une vie réelle et désordonnée : événements non pertinents, signaux contradictoires et mois de bruit accumulé. L’agent doit déterminer ce qui est pertinent avant de pouvoir faire quoi que ce soit d’utile.

Les résultats de l’ablation rendent particulièrement claire la dépendance entre plusieurs services. Lorsque les outils nécessaires aux tâches interservices ont été supprimés, les taux de réussite sont tombés à presque zéro, car la plupart des tâches nécessitent que les agents récupèrent des informations et agissent sur plusieurs backends, et non sur un seul.

Il ne s’agit pas d’un nouveau type de problème dans l’évaluation de l’IA. OpenAI a déclaré le banc SWE entaché plus tôt cette année, après que les scores aient chuté d'environ 70 % à 23 % dans une version moins sujette aux fuites. Cela avait à voir avec l’hygiène des données. Il s’agit de quelque chose de plus fondamental : les benchmarks posent-ils la bonne question ?

Du côté de la construction, l'équipe a publié le pipeline qui a généré le benchmark ainsi que 2 000 environnements de formation. La mise au point de Qwen3.5-27B avec 1 500 trajectoires d'agent réussies a amélioré pass@1 de 23,7 %, suffisamment pour surpasser plusieurs modèles fermés du classement, dont Claude Sonnet.

Les chercheurs identifient la coordination entre les services comme le principal défi de référence dans le domaine. L'ensemble de données est sur Hugging Face et le code est sur GitHub.