Évaluation d’un agent IA : arrête de noter des démos, mesure le travail fini

Le problème de l’évaluation des agents IA, ce n’est pas le manque de benchmarks. C’est que la plupart des équipes notent la mauvaise chose.

Une démo bien léchée répond à : « L’agent peut-il accomplir une fois cette tâche soigneusement choisie ? ». Un fondateur a besoin d’une réponse bien plus sévère : « Peut-il finir mon vrai travail, avec de vraies contraintes, et laisser assez de preuves pour que je n’aie pas à tout refaire ? ».

Cette différence, c’est l’écart entre une automatisation impressionnante et une vraie délégation.

La démo, c’est la partie facile

Les démos retirent tout ce qui est désordonné. Le prompt est propre. Le compte est déjà connecté. Les données sont disponibles. Personne n’interrompt l’exécution. Le chemin réussi est enregistré, les tentatives abandonnées disparaissent.

Le vrai travail ne ressemble pas à ça. Un e-mail est ambigu. Un agenda a deux comptes connectés. Un nom de contact correspond à trois personnes. Un site web modifie son formulaire. Un outil tombe en timeout alors que l’agent a déjà effectué une action irréversible.

C’est pour ça que je vois un agent comme un système d’exploitation du travail, pas comme une boîte de chat avec quelques boutons en plus. L’architecture doit inclure des outils, de la mémoire, des permissions, des relances, de l’escalade et des preuves, pas seulement un modèle malin. J’en parle plus en détail dans AI Agent Architecture for Founders Who Just Want the Work Done.

Si une évaluation cache ces conditions, elle mesure un spectacle.

Réussi ou raté, ce n’est pas une évaluation d’agent IA

Un taux de réussite binaire a l’air rassurant. Il cache aussi presque tout ce qui compte en production.

Un agent peut techniquement réussir après 18 minutes, six relances, 4 € d’appels API et dix minutes de vérification humaine. Un autre peut échouer proprement en 20 secondes, expliquer ce dont il a besoin et préserver toutes les actions précédentes. Le premier est noté réussi. Le second, raté. Je choisirais souvent le second système.

AgentSLABench rend ce problème explicite en évaluant les agents par rapport à des objectifs de niveau de service sur la justesse, la latence, le coût, le calcul, la mémoire et le réseau. Sa métrique d’atteinte effective pénalise une exécution « réussie » qui explose le budget opérationnel. C’est la bonne direction : réussir à n’importe quel prix, ce n’est pas réussir en production.

La facture de tokens est généralement la plus petite couche. Au-dessus, il y a les relances, la relecture humaine, les échéances manquées, les actions en double et le coût d’un mauvais résultat. Si ton Dashboard ne montre que les tokens et l’achèvement des tâches, il cache la partie la plus chère.

Les études de productivité ne se contredisent pas

Tu as sûrement vu passer des gros titres incompatibles sur l’IA au travail.

Une expérience de terrain randomisée portant sur 4 867 développeurs chez Microsoft, Accenture et une autre entreprise du Fortune 100 a mesuré une hausse de 26,08 % des tâches accomplies avec des assistants de code IA, tout en signalant l’incertitude des estimations par entreprise (Management Science).

Une autre étude randomisée de METR a testé 16 développeurs open source expérimentés sur 246 tâches dans leurs propres dépôts. Avec les outils IA du début 2025, ils ont mis 19 % plus de temps, alors même qu’ils pensaient que les outils les avaient rendus plus rapides.

Et dans une expérience publicitaire avec 2 234 participants, les équipes humain-IA ont produit 50 % de publicités en plus par personne et des textes plus solides, tandis que les équipes 100 % humaines faisaient mieux sur la qualité des images et que les productions assistées par IA devenaient plus homogènes (Dell’Acqua et ses collègues).

Ces résultats ne sont pas un référendum où un article annule les autres. Ils montrent que le type de tâche, l’expertise de la personne, les critères de qualité, la conception de l’outil et le coût de vérification du résultat changent l’issue.

« L’IA rend-elle les gens plus rapides ? » est trop vague pour piloter quoi que ce soit. « Cet agent produit-il plus de résultats vérifiés sur ce workflow, avec une qualité et un coût acceptables ? » est utile.

Les agents ont besoin d’une grille d’évaluation, pas d’applaudissements

Voici la grille que j’utiliserais avant de confier du travail récurrent à un agent :

1. Achèvement vérifié. Le résultat attendu s’est-il produit dans le système de référence, et pas seulement dans le message final de l’agent ?
2. Qualité. Le résultat respecte-t-il des critères d’acceptation explicites ? « E-mail envoyé » ne suffit pas s’il est parti à la mauvaise personne.
3. Latence. Combien de temps a pris un résultat vérifié, file d’attente, relances et temps de réponse humain compris ?
4. Coût total. Compte les appels au modèle, les outils payants, les tentatives ratées et les minutes de relecture humaine.
5. Reprise et escalade. L’agent n’a-t-il relancé que lorsque c’était sans risque, évité les actions en double et demandé de l’aide au bon moment ?
6. Preuves. Une personne peut-elle inspecter la source, la décision, l’action et l’état final sans reconstituer toute l’exécution ?

Ce dernier point n’est pas de la bureaucratie. C’est ce qui te permet de déléguer sans lâcher le contrôle. Les travaux du NIST sur les sondes d’évaluation pour l’IA agentique réclament eux aussi des pistes d’audit lisibles par machine, un ancrage factuel et des tests adverses au sein des workflows à plusieurs étapes.

De bonnes preuves servent aussi la sécurité. Un agent doit prouver ce qu’il a consulté et modifié tout en respectant des permissions étroites. C’est le même principe que celui qui explique comment Notis protège tes données sans théâtre sécuritaire.

La métrique que je mettrais sur le Dashboard

Ma métrique étoile polaire serait le Taux de résultats vérifiés :

résultats achevés et vérifiés ÷ tous les résultats assignés

« Vérifié » doit vouloir dire que l’état attendu existe et que les critères d’acceptation sont remplis. Un e-mail est dans Envoyés. Une réunion existe dans le bon agenda. Un enregistrement de base de données contient les champs requis. Une publication programmée a un identifiant de plateforme et le bon média.

J’associerais ce taux à quatre garde-fous :

• le coût par résultat vérifié ;
• la durée médiane de relecture humaine, en minutes ;
• le taux de relances et d’actions en double ;
• la précision de l’escalade : l’agent a-t-il demandé de l’aide quand il le fallait, et s’est-il fait oublier quand il pouvait continuer sans risque ?

Ça met aussi en lumière la fausse efficacité. EcoAgent-Bench évalue 304 tâches issues de cas réels, avec des actions tarifées et des budgets explicites. Il montre que les agents peuvent respecter un budget annoncé sans adapter leurs décisions sur le plan économique : ils escaladent trop peu dans certains cas et dépensent trop dans d’autres. Passer un contrôle de budget, ce n’est pas la même chose que faire de bons arbitrages.

Ce que ça change quand tu achètes ou construis un agent

Ne commence pas par le classement de l’éditeur. Commence par 20 exemples de ton propre travail : des cas routiniers, des cas ambigus, des cas avec des données manquantes et un ou deux cas limites dangereux.

Définis l’état final attendu et les preuves requises. Relance plusieurs fois le même jeu de cas. Note les échecs, les relances, le temps de relecture et le coût. Puis change une seule chose à la fois.

Pour les fondateurs qui cherchent où les agents aident vraiment, AI Agents for Business cartographie les workflows qui gagnent à être délégués et ceux qui ont encore besoin d’un humain dans la boucle.

Ma règle personnelle est simple :

Si vérifier le travail revient à le refaire, l’agent n’a rien délégué du tout.

Le meilleur agent n’est pas celui qui a l’air le plus humain en démo. C’est celui qui termine le travail sans bruit, sait quand s’arrêter et te remet la preuve.

C’est ce qu’on construit chez Notis : un assistant IA à qui tu délègues depuis les messageries que tu utilises déjà, avec des outils connectés et des résultats vérifiables, pas un endroit de plus pour regarder un agent faire son numéro.