Jeu de tests d’un agent IA : garder un score fiable dans le temps
Six mois après le lancement, une exécution rate le seuil. Votre agent a-t-il vraiment changé, ou bien le jeu de tests ?
EN 30 SECONDES
Un jeu de tests figé est une version publiée de vos cas de test, dont l’empreinte est notée à chaque exécution. Quand une exécution rate le seuil, l’empreinte dit si le jeu a changé.
À RETENIR · 3
- Ne changez le jeu que par une nouvelle version, avec un motif écrit, et notez son empreinte à chaque exécution.
- Quand une exécution descend sous le seuil, l’agent, le jeu ou le coût qui fonde le seuil a pu changer. Trouver lequel, c’est l’essentiel du travail.
- Mettez la date de revue dans le fichier que lit la barrière : un jeu périmé continue de passer.
Sur cette page
Figez le jeu avant toute mesure
EN BREF Un jeu figé ne change que par une nouvelle version, avec un motif écrit et une nouvelle empreinte.
LES MOTS À CONNAÎTRE
- Jeu figé
- Une version publiée du jeu de tests, qui ne change plus. Toute modification crée une nouvelle version.
- Empreinte (hash)
- Une courte signature calculée à partir du contenu du jeu. Changez un seul cas et la signature change.
- Réserve finale (holdout)
- Des cas ouverts seulement le jour de la mise en production. Personne n’a le droit d’ajuster l’agent sur ces cas.
Ajouter un cas, corriger un label (le comportement attendu d’un cas) ou retirer une donnée sensible crée une nouvelle version du Jeu figé Une version publiée du jeu de tests, qui ne change plus. Toute modification crée une nouvelle version. Voir le glossaire. Son Empreinte (hash) Une courte signature calculée à partir du contenu du jeu. Changez un seul cas et la signature change. Voir le glossaire est notée à chaque exécution : chacun peut vérifier que deux exécutions ont passé le même examen.
Gardez le document qui décrit l’ancienne version, ainsi que l’historique que votre politique de conservation autorise. Ne changez jamais le jeu de comparaison en douce pour faire passer un candidat.
Les seuils se méritent sur le noyau figé, et personne n’a le droit d’ajuster le système sur la Réserve finale (holdout) Des cas ouverts seulement le jour de la mise en production. Personne n’a le droit d’ajuster l’agent sur ces cas. Voir le glossaire.
EN CLAIR
Chaque cas porte le comportement attendu : répondre, s’abstenir ou bloquer. Ce label, c’est le responsable du risque qui le fixe, pas l’ingénieur pressé de voir du vert. Faites valider les labels par des experts du domaine, et la politique d’acceptation par le responsable du risque.
Dans la section suivante : Alors, que vérifier d’abord quand une exécution rate le seuil ?
Quand une exécution rate le seuil, cherchez ce qui a bougé
EN BREF Quand une exécution descend sous le seuil, vérifiez ce qui a changé avant que quiconque touche à l’agent.
ÉTAPE PAR ÉTAPE
Étape 1. Le raté. Une exécution descend sous le seuil. Listez ce qui a changé depuis l’exécution de comparaison.
- Le raté Une exécution descend sous le seuil. Listez ce qui a changé depuis l’exécution de comparaison.
- Le jeu a changé L’empreinte diffère : vous avez passé un autre examen. Relancez d’abord sur le jeu figé d’origine.
- L’agent a changé Jeu stable, agent modifié : une régression probable, le cas pour lequel la barrière existe. Confirmez par des exécutions répétées et suspendez la mise en production.
- Le coût a changé Seul le coût qui fondait le seuil a changé : revoyez-le avec le responsable du risque.
- Le noter Notez lequel c’était dans le registre, à côté de l’empreinte. Cette ligne fait d’une dispute une piste d’audit.
La première branche piège : un jeu enrichi de neuf cas est un autre examen. Une empreinte notée à chaque exécution en fait une vérification de deux minutes, pas une dispute de deux jours.
OBJET OBTENU
Cherchez d’abord ce qui a bougé
Dans la section suivante : Et si c’est le jeu lui-même qui a vieilli ?
Un jeu figé a une date de péremption
EN BREF Un jeu figé n’est pas éternel : il a un cycle de vie, et sa fin se décide.
Un jeu de tests périmé ne se met pas à échouer. Il se met à passer, tranquillement, sur des questions que vos utilisateurs ne posent plus depuis un an.
Une barrière qui dit toujours oui coûte plus cher que pas de barrière, et n’en dit pas plus. Mettez donc la date de revue à côté du seuil, dans le fichier que lit la barrière.
On vous demande de prouver la justesse au lieu de l’affirmer ? Les seuils font partie de ce que vous remettez, avec le jeu, les résultats et le raisonnement. C’est l’argument de l’AI Act vu comme une checklist d’ingénierie.
FAQ
Assez pour couvrir les catégories importantes et l’incertitude acceptée ; les erreurs rares demandent plus de preuves. Un seul échec grave doit toujours bloquer une barrière à zéro échec, quelle que soit la taille du jeu.
À sa date de revue, et dès que la tâche, le risque, les données ou le budget changent. Un nouveau modèle demande une nouvelle évaluation, sans justifier à lui seul un autre niveau d’exigence. Vérifiez la comparabilité dès que la version du jeu change.
NIVEAU TERMINÉ
Ce que vous savez maintenant
- Comment change un jeu figé : seulement par une nouvelle version, avec un motif et une nouvelle empreinte.
- Pourquoi un jeu périmé continue de passer, et où mettre la date de revue.
Vérifiez par vous-même
Touchez ou cliquez une question pour voir la réponse.
Une relectrice a corrigé trois labels faux dans le jeu depuis la dernière exécution. Le nouveau score est plus bas. Est-ce une régression ?
Impossible à dire pour l’instant. Des labels corrigés font une nouvelle version et une nouvelle empreinte : les deux exécutions n’ont pas passé le même examen. Relancez les deux candidats sur la même version.
Vous avez fini tous les niveaux publiés de cette série. Retour à la carte de la série
Ancien CTO d’Integra. Auteur nommé (1 sur 5) d’ERC-3643, premier auteur d’ERC-6960, co-auteur d’ERC-7410 et co-auteur d’ERC-8203, encore à l’état de brouillon. Conçoit des systèmes d’IA en production et des systèmes Web3 régulés.
Un projet à livrer ou un poste à pourvoir ?
Parlons de votre besoinSuivre les notes techniques
Recevez les nouveaux articles sur l’IA en production et les smart contracts par email.