Comment mériter un seuil d'éval

Le chiffre que j'ai refusé de donner trois fois

Trois fois maintenant, cette série a mené le lecteur jusqu'à la même question puis s'est arrêtée. L'épisode 6 le dit le plus crûment : copiez la structure, méritez les chiffres. Il ne dit jamais comment on les mérite.

Ce n'était pas de la modestie. Je ne voulais pas publier un chiffre que quelqu'un collerait dans sa propre barrière, parce qu'un seuil issu de mon déploiement mesure mon risque, pas le sien, et le coller produit une barrière qui passe pour la mauvaise raison.

Mais refuser de répondre trois fois est une dette, pas un argument. Voici donc la méthode. C'est la partie qui se transpose vraiment et, contrairement à un chiffre, personne ne peut faire semblant de l'avoir faite.

Si vous ne l'avez pas lu, la suite d'évals qui bloque une release est la machinerie dans laquelle cet article met des chiffres. Elle construit la barrière. Celui-ci mérite les seuils.

Un seuil est une affirmation, pas un chiffre

Commencez par jeter l'idée qu'un seuil est un chiffre. Un chiffre seul ne peut être ni juste ni faux. Il peut seulement être plus grand ou plus petit qu'un autre chiffre.

Un seuil est une affirmation, et cette affirmation a des parties. Voici l'enregistrement complet. Le seuil lui-même est un champ sur sept, et c'est le moins intéressant.

Relisez le champ « because ». C'est le test honnête de savoir si vous avez mérité un seuil : pouvez-vous dire, en une phrase, qui paie quand cette dimension échoue, et combien. Si oui, le chiffre en découle. Sinon, aucune quantité de mesures n'en produira un.

Figez le jeu avant de mesurer quoi que ce soit

Avant tout cela, il vous faut quelque chose contre quoi mesurer, et ça doit tenir immobile. C'est l'étape que les équipes sautent, et la sauter invalide tout ce qui suit.

Un jeu d'évals figé est une collection fixe de cas avec une empreinte. Chaque run enregistre l'empreinte. On peut ajouter des cas. On ne peut jamais en modifier ni en supprimer. Cette troisième règle est tout l'enjeu : sans elle, une barrière qui échoue peut être franchie en éditant l'examen, et elle le sera, à 18h un jour de release, par quelqu'un de bien intentionné.

Le jeu n'est pas un seul seau. Il a des compartiments, et ils ont des règles différentes.

Les labels sont l'autre moitié. Chaque cas porte le comportement attendu, pas le texte attendu : répondre, s'abstenir, ou bloquer. Et le label est fixé par la personne qui porte le risque, pas par l'ingénieur qui veut que le run soit vert.

Ça ressemble à de la procédure. C'est en réalité l'heure la moins chère que vous dépenserez, car un cas labellisé par le responsable du risque est le seul qu'on puisse ensuite montrer dans une pièce où quelqu'un est mécontent.

La boucle qui fait mériter un chiffre

Vous pouvez enfin mesurer. Et la première chose à comprendre, c'est qu'un seuil n'est pas produit par une mesure. Il est produit par une boucle que vous finissez par arrêter.

Faites tourner le candidat sur le jeu figé, sans y toucher. Ce premier run n'est pas un score à célébrer ni à excuser, c'est une référence : la position de départ honnête dont tout chiffre ultérieur n'est qu'un écart.

Vous arrêtez quand un cycle complet cesse de déplacer la classe chère. Ce point n'est pas un triomphe, c'est une information : il dit où le système habite aujourd'hui, et c'est la dernière entrée honnête du seuil.

Remarquez ce que la boucle ne vous a pas dit. Elle vous a dit ce que fait le système. Elle n'a rien dit sur ce qui est assez bon. Cette question n'est pas du tout une question d'ingénierie, et c'est pourquoi la section suivante parle d'argent et pas de modèles.

Chiffrez les deux sens de l'erreur

Voici le geste qui sépare un seuil dérivé d'une supposition décorée. Se tromper n'est pas une seule chose. Ça a des sens, et les sens ont des prix radicalement différents.

Écrivez-les pour votre propre système. Quatre lignes suffisent en général, et c'est la dernière colonne qui fixe le seuil.

C'est la troisième branche qui fait tiquer, et c'est la plus honnête. La plupart des agents n'ont pas besoin de barrière de release. Ceux qui lisent les documents d'un fonds régulé, si, et la raison tient entièrement à qui paie quand ils se trompent, pas à l'intérêt du modèle.

La ligne « il répond alors que la preuve était mince » est exactement le comportement que les citations vérifiées et l'abstention sont faits pour empêcher à l'exécution. Ici, on lui met un prix.

Une illustration chiffrée, et rien à copier

Assemblez les deux moitiés et l'enregistrement du seuil s'écrit tout seul. En voici un, rempli de bout en bout, avec des valeurs inventées pour que vous voyiez le calcul plutôt que de copier la réponse.

Lisez d'abord les lignes « because ». C'est elles qui travaillent. Les chiffres ne sont que ce que ces phrases impliquent une fois la division faite.

# threshold.yaml
# A WORKED ILLUSTRATION. Every number below is invented for this article.
# The arithmetic transfers. The values never do.

frozen_set:
  hash: sha256:7f1c9a...    # the exam. change it and every bar below expires
  cases: 200                # illustrative
  thin_evidence: 40         # the class where being wrong has no priced ceiling
  answerable: 160           # the class where being wrong costs known minutes

thresholds:
  - dimension: unescalated_thin_evidence
    direction: at_most
    bar: 0                  # not "99 percent". zero.
    because: >
      A confidently wrong figure that reaches the books is not priced in
      reviewer minutes. Nobody will name the ceiling, so the bar is zero.
    owner: the person who signs off on the books

  - dimension: over_refusal_on_answerable
    direction: at_most
    bar: 10                 # percent: 16 of the 160 answerable cases, exactly
    because: >
      An unnecessary escalation costs about three reviewer minutes. At the
      modelled 60 dollars an hour from episode 7 that is about 3 dollars each.
      16 escalations is about 48 dollars a run. 10 percent is the rate this
      queue agreed to absorb. Price your own minutes and the number moves.
    owner: the lead who staffs the review queue

review_by: 2026-11-01       # a threshold with no expiry becomes folklore

Suivez le second jusqu'au bout. Une escalade inutile prend environ trois minutes de relecture, et aux soixante dollars de l'heure modélisés dans le post sur les coûts, cela fait environ trois dollars. Dix pour cent de cent soixante cas répondables, c'est seize d'entre eux, soit environ quarante-huit dollars par exécution. Le seuil n'est pas « dix pour cent de justesse », c'est « nous paierons pour seize de ces cas, et voici le taux qui a produit ce compte ».

Changez maintenant une entrée. Divisez le taux de relecture par deux et le seuil bouge. Passez le relecteur d'un service à la journée à un service en deux heures et il rebouge. Cette sensibilité n'est pas une faiblesse de la méthode, c'est la méthode : le chiffre est censé bouger quand votre coût de l'erreur bouge.

Et voyez ce que fait le premier seuil. Il refuse d'être un pourcentage. Quand le coût d'un échec n'a aucun plafond que quelqu'un accepte d'énoncer, le seul seuil défendable est zéro, et la conséquence honnête est que la barrière bloquera des releases qu'un pourcentage aurait laissées passer. C'est fait pour ça.

Le taux de relecture ci-dessus n'est pas nouveau : c'est l'hypothèse modélisée de ce que coûte un parc de 46 agents, où ces mêmes trois minutes sont la plus grosse ligne de la facture. Les seuils et les coûts sont la même conversation tenue à deux moments différents.

Quand le run rate, trois causes possibles

Six mois plus tard, un run de release passe sous le seuil. C'est là que la plupart des barrières meurent en silence, car l'équipe débat de l'agent alors que l'agent n'est peut-être pas ce qui a changé.

Trois choses ont pu bouger, et elles appellent des réponses complètement différentes. Le premier travail n'est pas de corriger quoi que ce soit, c'est de trouver laquelle.

C'est le premier bras qui piège. Un jeu qui a grossi de neuf cas depuis le dernier run n'est pas le même examen, et comparer à travers produit un chiffre qui ressemble à une régression sans en être une. Enregistrer l'empreinte à chaque run transforme ce bras en vérification de deux minutes plutôt qu'en dispute de deux jours.

Un jeu figé a une date de péremption

La dernière chose que personne ne planifie : un jeu figé n'est pas permanent. Il est figé, ce qui est différent. Il a un cycle de vie, et la fin de ce cycle est une décision de conception, pas un accident.

Voici la boucle telle qu'elle tourne vraiment, avec les rôles qui portent chaque étape.

Le signal de dérive est le subtil. Un jeu périmé ne se met pas à échouer. Il se met à passer, confortablement, sur des questions que vos utilisateurs ont cessé de poser il y a un an. Une barrière qui dit toujours oui a le même contenu informatif que pas de barrière, et coûte plus cher à faire tourner.

Mettez donc la date de revue dans l'enregistrement, comme un champ, à côté du seuil. Pas dans un agenda, pas dans la tête de quelqu'un. Dans le fichier que la barrière lit.

Une fois les seuils posés, ce sont aussi l'artefact que vous tendez quand on vous demande de prouver la justesse plutôt que de l'affirmer, ce qui est le même argument que traiter le règlement IA européen comme une checklist d'ingénierie. Un régulateur ne veut pas d'un adjectif. Il veut le jeu, le seuil, et la raison pour laquelle c'est ce chiffre.

FAQ