Agents IA : la fiabilité ne baisse pas, elle s'effondre

Un agent d’intelligence artificielle sait aujourd’hui enchaîner des dizaines d’actions : consulter un site, manipuler des données, écrire du code, appeler un outil, vérifier un résultat, corriger une erreur. Le discours commercial en tire une conclusion simple, celle de l’autonomie.

Une étude parue en avril sur arXiv, relayée en France le 10 août, mesure ce qui se passe réellement quand la mission s’allonge. Ses deux conclusions dérangent l’intuition dominante, et la seconde plus encore que la première.

Comment la mesure a été faite

Les auteurs de The Long-Horizon Task Mirage ? ont construit un banc d’essai baptisé Horizon et analysé plus de 3 100 trajectoires d’agents dans des environnements variés : le web, des systèmes d’exploitation, des bases de données, ainsi que des environnements incarnés. Les expériences portent notamment sur des agents s’appuyant sur des modèles d’OpenAI et d’Anthropic.

Sept grandes catégories de défaillances ont été identifiées, puis regroupées en deux familles. D’un côté, l’exécution : erreurs d’interaction avec l’environnement, mauvaise interprétation des instructions, défauts de planification, accumulation d’erreurs. De l’autre, les capacités propres à l’agent : limites de mémoire, oubli d’informations, hypothèses fausses.

Le chiffre qui déplace le problème

La répartition est nette. 72,5 % des échecs relèvent de la première famille, celle du processus. Les 27,5 % restants tiennent à la conception de l’agent lui-même.

Autrement dit, dans près de trois cas sur quatre, ce n’est pas le modèle qui échoue mais l’organisation de la tâche qui lui est confiée.

Le constat inverse la logique d’achat dominante. Une entreprise déçue par ses résultats cherche généralement un modèle plus performant. L’étude suggère qu’elle devrait d’abord regarder comment elle a formulé le travail. La distinction n’est pas académique : une panne de conduite se corrige en réorganisant le chantier, une limite de fabrication non.

Le second résultat, plus contre-intuitif

On imagine volontiers que la fiabilité décline régulièrement à mesure que les étapes s’ajoutent. Un agent fiable à 95 % par étape réussirait environ 36 % du temps sur vingt étapes enchaînées, et moins de 8 % sur cinquante.

Ce modèle est faux, et l’étude le montre. Les performances restent stables, puis s’effondrent brutalement au-delà d’un certain seuil de complexité. Il n’y a pas de dégradation régulière, il y a un décrochage.

Le mécanisme décrit est celui de la propagation. Une erreur de planification commise tôt contamine toutes les étapes suivantes : l’agent construit la suite de son travail sur une décision erronée. Plus les actions dépendent les unes des autres, plus cet effet domino devient probable.

Anthropic met en avant un phénomène qui nourrit ces erreurs, celui de la pollution du contexte. Au fil de la mission, l’agent accumule informations, décisions et résultats intermédiaires. Une part devient inutile mais continue d’encombrer son contexte et de brouiller son jugement.

La conséquence pratique est difficile à surestimer : un agent qui réussit une tâche de trois étapes ne permet pas de prédire ce qu’il fera sur quinze. Une phase pilote convaincante ne garantit rien du passage à l’échelle.

Ce qui marche, et ce qui coûte cher

L’étude et les recommandations d’Anthropic convergent vers un point qui contredit le réflexe habituel.

Le découpage spontané consiste à séparer par phases : conception, puis réalisation, puis tests, chacune confiée à un agent différent. C’est précisément ce qu’il faut éviter. Ces phases partagent trop de contexte, et chaque passage de relais dégrade l’information.

Le découpage qui fonctionne sépare des chantiers indépendants, qui ne se recouvrent pas, et laisse les tests à celui qui a produit le travail. Seule la relecture d’ensemble échappe à la règle : elle revient utilement à un agent n’ayant rien produit.

Le mot indépendant porte tout le poids. Faute de cette condition, on paie le coût du découpage sans en tirer le bénéfice : de trois à dix fois plus cher qu’un agent unique, à résultat équivalent.

Une capacité qui progresse malgré tout

Il serait faux d’en conclure que rien n’avance.

Le rapport international sur la sécurité de l’IA publié en février établit que les agents accomplissent de façon fiable des tâches de programmation représentant environ une demi-heure de travail humain, contre moins de dix minutes un an plus tôt. L’organisation METR, citée par le Centre pour la sécurité de l’IA, mesure une durée typique proche d’une heure début 2026, avec un doublement moyen tous les sept mois.

Le même rapport apporte une nuance décisive : ces performances restent irrégulières, et les principaux systèmes échouent encore sur des tâches apparemment simples. C’est cette irrégularité, plus que le plafond de capacité, qui pose problème en production. Une limite connue se contourne, une performance imprévisible ne se planifie pas.

Pourquoi ça compte

Ces résultats éclairent trois sujets que nous avons traités ces dernières semaines, et ils en donnent la clé commune.

Ils expliquent d’abord pourquoi une start-up a levé 20 millions de dollars pour industrialiser le déploiement de l’IA en entreprise. Le constat de ses fondateurs était que le blocage venait de l’existant plutôt que du modèle : données fragmentées, processus non documentés, dette technique. Les 72,5 % d’échecs liés au processus disent la même chose, avec un chiffre.

Ils éclairent ensuite les incidents où des agents ont quitté leurs environnements de test. Un système qui enchaîne des centaines d’actions sans supervision continue produit des trajectoires que personne n’a anticipées. Ce n’est pas un défaut de puissance, c’est une propriété des chaînes longues.

Ils relativisent enfin la course aux modèles. Si trois échecs sur quatre relèvent du processus, un modèle deux fois plus capable ne traite qu’un quart du problème. Le point est explicite dans les recommandations qui accompagnent l’étude : changer de fournisseur ne corrige rien.

Pour une direction informatique, quatre questions méritent d’être posées avant tout engagement. Qui a pris cette décision ? Sur quelles informations ? À quel coût ? Et peut-on rejouer uniquement l’étape qui a échoué ? Sans réponse à la dernière, chaque incident oblige à tout recommencer.

Les angles morts

Il s’agit d’une prépublication. L’étude est déposée sur arXiv et n’a pas fait l’objet, à notre connaissance, d’une évaluation par les pairs. Ses résultats sont documentés et sa méthode décrite, ils n’ont pas encore été validés par la communauté scientifique.

La répartition 72,5 / 27,5 porte sur le corpus étudié, avec les environnements et les modèles retenus par les auteurs. Elle indique un ordre de grandeur, elle ne constitue pas une constante applicable à toute organisation.

L’étude de Microsoft Research sur l’altération silencieuse des documents, relayée en juin, portait sur des versions de modèles antérieures. Nous ne la mentionnons que comme convergence, pas comme mesure actuelle.

Enfin, aucune des sources consultées ne fournit de comparaison chiffrée entre fournisseurs sur la résistance aux chaînes longues. Nous ne pouvons pas dire quel modèle s’en sort le mieux.