Tests d’un agent IA : quel score exiger avant le lancement ?
On vous demande quel score votre agent IA doit atteindre avant le lancement. Si vous répondez par un chiffre copié, votre barrière teste le risque d’un autre.
EN 30 SECONDES
Un seuil d’évaluation est le score qu’un agent IA doit atteindre sur un jeu figé de cas de test avant qu’une nouvelle version parte en production. Il se mérite : figer le jeu, chiffrer chaque erreur, écrire pourquoi.
À RETENIR · 3
- Un seuil n’a de sens qu’avec son jeu de tests figé, sa raison et la personne qui porte le risque.
- Figez le jeu de tests avant de mesurer : si vous pouvez modifier le jeu, vous pouvez déplacer le seuil.
- Avec un seuil copié, votre barrière laisse passer une version sans avoir jamais testé votre risque.
Sur cette page
Un seuil copié teste le risque d’un autre
EN BREF Un seuil repris d’un benchmark ou d’une autre équipe rend un verdict sur leur déploiement, pas sur le vôtre.
LES MOTS À CONNAÎTRE
- Seuil
- Le score qu’une nouvelle version doit atteindre sur une dimension mesurée avant sa mise en production.
- Jeu de tests
- Les cas sur lesquels on fait tourner l’agent, chacun avec le comportement attendu.
- Jeu figé
- Une version publiée du jeu de tests, qui ne change plus. Toute modification crée une nouvelle version.
- Référence
- Le premier score du système, sans retouche, sur le jeu figé. Les exécutions suivantes s’y comparent.
L’épisode 3 refusait de publier un taux de justesse. L’épisode 6 décrivait la barrière de mise en production et vous laissait le choix des seuils. L’épisode 7 montrait que, selon ses hypothèses affichées, les cas confiés à une personne peuvent dominer la facture.
Ce silence était voulu : un seuil issu de mon déploiement mesure mon risque, pas le vôtre. Je donne plutôt la méthode, la partie qui se transpose, limites de la preuve comprises.
ATTENTION
La méthode vient d’une plateforme de 11 agents avec un seul banc d’essai partagé, le code qui exécute les tests. Ce nombre décrit mon travail documenté. Même l’exemple à zéro échec est une règle pour des cas de test connus, pas une règle universelle ni une garantie de sécurité.
Un seuil copié
Un seuil mérité
Un seuil emprunté a l’air d’une preuve. Il est donc pire que pas de barrière du tout.
Dans la section suivante : Alors, qu’a un seuil mérité qu’un seuil copié n’a pas ?
Un seuil est une affirmation, pas un simple chiffre
EN BREF Un seuil est une fiche à sept champs, et le chiffre en est le moins intéressant.
EN CLAIR
Une évaluation, c’est un examen pour votre agent, passé sur un Jeu de tests Les cas sur lesquels on fait tourner l’agent, chacun avec le comportement attendu. Voir le glossaire. Le Seuil Le score qu’une nouvelle version doit atteindre sur une dimension mesurée avant sa mise en production. Voir le glossaire en est la note de passage. Sauf qu’ici, vous écrivez l’examen, vous fixez la note, et vous payez quand l’agent se trompe.
Seul, un chiffre n’est que plus grand ou plus petit qu’un autre. Les six champs autour le rendent défendable.
Un seuil par dimension notée ; un score global unique n’est pas une barrière.
Le sens du seuil.
La valeur : la seule partie qu’on copie.
L’empreinte du jeu figé sur lequel il a été mérité.
Qui paie quand cette dimension échoue.
Qui porte le risque, pas qui a lancé l’évaluation.
Quand le seuil doit être justifié de nouveau, sinon il devient du folklore.
Le champ « because » (la raison) tranche : qui paie quand cette dimension échoue, et à peu près combien ? Si vous ne savez pas le dire, vous avez hérité du chiffre.
ADAM explique : Prenons un examen : le jeu figé est le sujet, le seuil la note de passage. Mais deux équipes peuvent, à raison, fixer des notes différentes, et réussir ne prouve pas l’absence d’erreurs plus tard.
Dans la section suivante : Alors, d’où vient la valeur du seuil ?
Comment un seuil se mérite, étape par étape
EN BREF Un seuil sort d’une boucle qu’on répète sur un jeu figé, jusqu’à ce que les échecs coûteux cessent de diminuer.
Figez les cas de test avant la première exécution. Un Jeu figé Une version publiée du jeu de tests, qui ne change plus. Toute modification crée une nouvelle version. Voir le glossaire ne change plus, car si vous pouvez modifier le jeu, vous pouvez déplacer le seuil en modifiant le jeu. Ajouter ou retirer un cas crée une nouvelle version : seules les exécutions sur la même version se comparent.
La première exécution du candidat (la version testée), sans retouche, c’est votre Référence Le premier score du système, sans retouche, sur le jeu figé. Les exécutions suivantes s’y comparent. Voir le glossaire. Tout chiffre suivant s’y compare.
ÉTAPE PAR ÉTAPE
Étape 1. Figer. Notez l’empreinte du jeu, une signature de son contenu. Avant ça, rien n’est comparable.
- Figer Notez l’empreinte du jeu, une signature de son contenu. Avant ça, rien n’est comparable.
- Référence Lancez le candidat tel quel : la suite se compare à ce score.
- Trier par coût Regroupez les échecs par coût, pas par nombre. Dix échecs bon marché et un coûteux ne pèsent pas comme onze échecs égaux.
- Changer une chose Modifiez le prompt, la recherche de documents, la politique ou le modèle séparément quand c’est possible. Un meilleur score isolé ne prouve pas la cause : répétez les exécutions pour voir la variabilité.
- Relancer et comparer Relancez sur la même version du jeu, avec les mêmes labels, notez chaque changement de configuration, comparez, puis retour à l’étape 2.
La boucle montre où en est le système, pas ce qui est assez bon. Le prix de chaque erreur en décide : un seuil zéro pour les échecs graves connus dont personne ne sait nommer le prix, un budget pour ceux qui coûtent des minutes de relecture.
OBJET OBTENU
Méritez le seuil, ne le copiez pas
FAQ
Parce qu’il a été établi sur les données d’un autre, ses modes d’échec et son coût de l’erreur. Copié dans votre barrière, il juge un déploiement que vous n’avez pas, et ce verdict a l’air d’une preuve.
NIVEAU TERMINÉ
Ce que vous savez maintenant
- Ce que contient la fiche d’un seuil en plus du chiffre : son jeu, sa raison, son responsable et une date de revue.
- La boucle : figer, prendre une référence, trier les échecs par coût, changer une chose, relancer.
Vérifiez par vous-même
Touchez ou cliquez une question pour voir la réponse.
Un fournisseur vous montre la note que son agent a obtenue sur un benchmark public. Pouvez-vous en faire votre seuil de lancement ?
Pas telle quelle : elle vient de ses données et de son coût de l’erreur. Mesurez sur votre jeu figé, avec votre propre raison.
Ingénieur web3 x IA, ancien CTO d’Integra. Auteur nommé (1 sur 5) d’ERC-3643, premier auteur d’ERC-6960, co-auteur d’ERC-7410 et co-auteur d’ERC-8203, encore à l’état de brouillon.
Un projet à livrer ou un poste à pourvoir ?
Parlons de votre besoinSuivre les notes techniques
Recevez les nouveaux articles sur l’IA en production et les smart contracts par email.