Erreurs d’un agent IA : comment leur coût fixe le score exigé
Dans un exemple fictif, le candidat A rate 14 cas de test, le candidat B seulement 10. C’est pourtant B qui est bloqué.
EN 30 SECONDES
Le score de lancement est fixé par type d’erreur : un seuil zéro quand une réponse fausse n’a pas de prix connu, un budget quand le coût se compte en minutes de relecture.
À RETENIR · 3
- Il faut chiffrer les deux façons de se tromper. Bloquez les échecs graves connus dans le jeu d’évaluation, sans confondre zéro échec observé avec zéro risque en production.
- Les limites de relecture se fixent selon une capacité documentée : le budget d’escalades, ce sont les minutes qu’on accepte de payer.
- Moins d’échecs peut quand même bloquer une version, si l’un tombe dans la classe dont le seuil vaut zéro.
Sur cette page
Chiffrez les deux façons de se tromper
EN BREF On peut se tromper de plusieurs façons, à des prix très différents, et chacune appelle sa propre limite.
LES MOTS À CONNAÎTRE
- Seuil
- Le score qu’une nouvelle version doit atteindre sur une dimension mesurée avant sa mise en production.
- Preuve mince
- Un cas où les documents n’étayent pas vraiment une réponse : l’agent devrait le confier à une personne.
- Escalade
- L’agent confie un cas à une personne au lieu d’y répondre.
Le sens coûteux, c’est répondre sur une Preuve mince Un cas où les documents n’étayent pas vraiment une réponse : l’agent devrait le confier à une personne. Voir le glossaire, et parfois personne ne le remarque avant un audit. C’est ce que les citations vérifiées et l’abstention sont faites pour empêcher pendant l’exécution. Ici, ce sens reçoit un Seuil Le score qu’une nouvelle version doit atteindre sur une dimension mesurée avant sa mise en production. Voir le glossaire : zéro, faute de pouvoir en nommer le prix.
ÉTAPE PAR ÉTAPE
Étape 1. La question. Dans votre domaine, quelle erreur coûte cher ?
- La question Dans votre domaine, quelle erreur coûte cher ?
- Seuil zéro Une réponse fausse et assurée ferait agir quelqu’un : bloqué.
- Un budget Chiffrez les minutes de relecture de chaque refus inutile, et renouvelez le budget.
- Pas de barrière Peu coûteux dans les deux sens : gardez les évaluations poussées pour les erreurs plus lourdes.
Un agent lent reçoit un plafond fixé par le délai de revue. Une fuite de données n’a pas de seuil du tout : elle bloque la mise en production.
ATTENTION
Un outil de rédaction en lecture seule et un agent qui peut déplacer de l’argent ne demandent pas les mêmes preuves. Les deux gagnent à avoir des tests de régression. Des droits plus larges justifient des tests plus poussés, des validations explicites et des contrôles plus serrés.
Dans la section suivante : Alors, que se passe-t-il quand deux candidats se mesurent à ces seuils ?
Un exemple chiffré : deux candidats, un seul bloqué
EN BREF Sur le même jeu fictif, c’est le candidat qui a le moins d’échecs qui se fait bloquer.
Toutes les valeurs sont fictives : le calcul se transpose, les valeurs jamais. Le jeu compte 200 cas : 160 auxquels l’agent peut répondre, et 40 à preuve mince, où il devrait passer la main.
EN CLAIR
Une Escalade L’agent confie un cas à une personne au lieu d’y répondre. Voir le glossaire inutile, c’est un cas que l’agent passe à une personne alors qu’il aurait pu y répondre. Chacune coûte du temps de relecture, donc elle a un prix.
Deux seuils s’appliquent : aucun cas à preuve mince traité, et au plus 10 % d’escalades inutiles, soit 16 sur 160.
UN EXEMPLE CONCRET
Chiffres illustratifs
VALIDÉLe candidat A passe les deux seuils
ENTRÉE
- Preuve mince, traité quand même
- 0 sur 40
- Escalades inutiles
- 14 sur 160
- Total des échecs
- 14
CE QUI SE PASSE
- Seuil zéro sur la preuve mince : aucun cas observé, le seuil tient.
- 14 sur 160, c’est 8,75 %, sous le budget de 10 %.
- À environ 3 $ l’une, ces escalades coûtent environ 42 $ par exécution.
SORTIE
- Résultat
- peut partir en production
BLOQUÉLe candidat B : moins d’échecs, et pourtant bloqué
ENTRÉE
- Preuve mince, traité quand même
- 1 sur 40
- Escalades inutiles
- 9 sur 160
- Total des échecs
- 10
CE QUI SE PASSE
- 9 sur 160, c’est environ 5,6 %, bien sous le budget.
- Mais un cas à preuve mince a reçu une réponse assurée, et ce seuil vaut zéro.
- B a moins d’échecs que A. Mais c’est la classe qui compte, et c’est elle qui a échoué.
SORTIE
- Résultat
- bloqué
- Suite
- retour dans la boucle
Le coût d’une escalade est la seule donnée sourcée : environ trois minutes de relecture à 60 $ de l’heure, une hypothèse modélisée dans l’épisode sur le coût d’un parc de 46 agents. Soit environ 3 $ par escalade.
48 $
par exécution pour 16 escalades inutiles
Illustratif : 16 × environ 3 $, d’après les hypothèses modélisées de l’épisode 7.
16, c’est ce que cette file a accepté d’absorber. Le seuil ne veut donc pas dire « 10 % de justesse ». Il dit : nous paierons 16 de ces escalades, et voici le taux qui donne ce compte.
Changez une donnée, et le seuil bouge : tarif de relecture divisé par deux, ou relecture en deux heures au lieu d’une journée. Le chiffre devrait bouger quand votre coût de l’erreur bouge.
OBJET OBTENU
Moins d’échecs peut quand même bloquer
ATTENTION
Le seuil zéro bloque tout échec observé dans la classe grave : une décision d’acceptation, pas une affirmation statistique que le vrai taux d’échec serait nul. Si le système n’y arrive pas, réduisez ses droits ou changez le processus. Le jeu de tests n’est pas une preuve de sécurité.
FAQ
Fixez avec les responsables du processus les erreurs inacceptables et le budget de relecture, puis mesurez sur un jeu versionné et représentatif. Une barrière à zéro échec peut bloquer les erreurs graves connues, sans prouver que les autres sont impossibles. Tirez les autres limites de la capacité, de la qualité attendue et de l’incertitude, et documentez vos raisons.
NIVEAU TERMINÉ
Ce que vous savez maintenant
- Pourquoi chaque façon de se tromper a sa propre limite : un seuil zéro, un budget ou un blocage.
- Pourquoi le candidat qui rate le moins peut quand même être celui qu’on bloque.
Vérifiez par vous-même
Touchez ou cliquez une question pour voir la réponse.
Dans l’exemple chiffré, l’équipe de relecture double. Quel seuil pourrait être recalculé, et lequel ne devrait pas bouger ?
Le budget d’escalades peut être revu avec le responsable du risque : il découle de ce que la file de relecture peut absorber. Le seuil zéro sur la preuve mince reste : il n’a jamais été chiffré en minutes.
Ancien CTO d’Integra. Auteur nommé (1 sur 5) d’ERC-3643, premier auteur d’ERC-6960, co-auteur d’ERC-7410 et co-auteur d’ERC-8203, encore à l’état de brouillon. Conçoit des systèmes d’IA en production et des systèmes Web3 régulés.
Un projet à livrer ou un poste à pourvoir ?
Parlons de votre besoinSuivre les notes techniques
Recevez les nouveaux articles sur l’IA en production et les smart contracts par email.