Contrôle des citations d’IA : le sens, puis les chiffres
Votre IA écrit « environ 60 jours » et cite une clause qui dit 90. Quel contrôle l’arrête ?
EN 30 SECONDES
Un contrôle de citation est un test : le passage cité soutient-il la phrase, et ses chiffres correspondent-ils à la source ? Si un test échoue, ou si la preuve manque ou se contredit, le système s’abstient.
À RETENIR · 3
- Une citation vérifiée correspond exactement à la source stockée. Le passage doit soutenir la phrase et, si l’affirmation contient des chiffres, chacun doit correspondre. Réussir ces contrôles étaye la réponse, sans prouver que la source ou la réponse est vraie.
- Un passage neutre compte comme non étayé. Avec cette logique, une seule affirmation qui échoue bloque toute la réponse.
- Le système refuse selon des états de la preuve fixés à l’avance : aucune source, des sources qui se contredisent, ou un chiffre qui ne correspond pas.
Sur cette page
Vérifier une citation, plutôt que de simplement la joindre
EN BREF Attacher une citation est facile. La vérifier, c’est retrouver exactement la source stockée, contrôler le sens et, si besoin, les chiffres.
LES MOTS À CONNAÎTRE
- Extrait source
- Le passage exact d’un document source sur lequel s’appuie une phrase de la réponse.
- Contrôle d’implication (NLI)
- Un test fait par un modèle : le passage soutient-il la phrase, la contredit-il, ou ni l’un ni l’autre ? NLI signifie inférence en langage naturel.
- Abstention
- Le système ne répond pas, parce que la preuve est mince. Il dit « je ne sais pas » au lieu de deviner.
- Relais vers une personne
- Le passage de la question à une personne, avec ce que le système a trouvé et le point où il s’est arrêté.
EXEMPLE
Un brouillon cite la bonne clause du bail, mais écrit 60 jours là où elle dit 90. Un autre cite une vraie page qui ne dit pas cela. Tous deux ont l’air sourcés, mais le premier contredit sa source et le second n’est pas étayé.
Pour le sens, on utilise le Contrôle d’implication (NLI) Un test fait par un modèle : le passage soutient-il la phrase, la contredit-il, ou ni l’un ni l’autre ? NLI signifie inférence en langage naturel. Voir le glossaire, ou NLI. L’Extrait source Le passage exact d’un document source sur lequel s’appuie une phrase de la réponse. Voir le glossaire cité soutient-il l’affirmation, la contredit-il, ou ni l’un ni l’autre ? « Ni l’un ni l’autre » ne suffit pas : neutre veut dire non étayé, et non étayé mène à l’abstention.
Viennent ensuite les chiffres. Un modèle de langage écrit les chiffres avec aisance, et se trompe quand même. Un montant, une date ou un décompte doit correspondre exactement à la source.
En finance, « à peu près » mène tout droit à un chiffre faux enregistré avec assurance.
ÉTAPE PAR ÉTAPE
Étape 1. Correspondance exacte. D’abord, le passage cité doit correspondre exactement au document stocké.
- Correspondance exacte D’abord, le passage cité doit correspondre exactement au document stocké.
- Contrôle du sens Le passage soutient-il la phrase, la contredit-il, ou ni l’un ni l’autre ?
- Contrôle des chiffres Si la phrase contient des chiffres, chacun doit correspondre au passage, au chiffre près.
- Étayé Tous les contrôles requis passent : l’affirmation peut partir avec sa citation.
- Contredit Le passage dément l’affirmation, ou un chiffre diffère : la réponse est bloquée et l’écart signalé.
- Neutre Le passage ne soutient ni ne dément : le système s’abstient et passe la main à une personne.
Dans cette conception, une seule affirmation détectée comme non étayée déclenche l’abstention complète. Livrer les parties étayées demanderait une règle de réponse partielle mise par écrit, avec ses propres cas d’évaluation.
ATTENTION
Un contrôle réussi étaye, il ne prouve pas : le vérificateur est un modèle, il peut se tromper, donc il doit être évalué aussi. La source peut aussi être périmée ou ne pas faire autorité. Et l’abstention ne traite que les défauts que les contrôles détectent.
Dans la section suivante : À quoi cela ressemble-t-il sur un bail ?
Un exemple concret : une réponse envoyée, une réponse bloquée
EN BREF Une question, deux brouillons : le premier passe les deux contrôles, le second change un chiffre et se fait bloquer.
Le bail, la clause et les chiffres ci-dessous sont fictifs.
UN EXEMPLE CONCRET
Chiffres illustratifs
VALIDÉBrouillon 1 : le chiffre concorde
ENTRÉE
- Question
- Quel préavis le bail du lot 4B impose-t-il ?
- Extrait source
- Clause 12.1 : « Le locataire donne un préavis écrit de 90 jours. »
- Brouillon
- Le bail impose un préavis écrit de 90 jours.
CE QUI SE PASSE
- Le brouillon cite la clause 12.1.
- Contrôle du sens : l’extrait soutient la phrase.
- Contrôle des chiffres : 90 dans le brouillon, 90 dans l’extrait.
SORTIE
- Verdict
- étayé
- Résultat
- réponse envoyée, clause 12.1 citée
BLOQUÉBrouillon 2 : le chiffre dérive
ENTRÉE
- Extrait source
- La même clause 12.1
- Brouillon
- Le bail impose environ 60 jours de préavis.
CE QUI SE PASSE
- Le brouillon cite la même clause : il a l’air sourcé.
- Le contrôle des chiffres trouve 60 dans le brouillon et 90 dans l’extrait.
- Verdict « contredit » : la réponse est bloquée et l’écart signalé.
SORTIE
- Verdict
- contredit
- Résultat
- bloquée, écart signalé
OBJET OBTENU
« Presque » ne suffit pas
Dans la section suivante : Et quand aucun passage ne convient, ou que deux se contredisent ?
Quand le système a le droit de refuser
EN BREF Le système refuse quand la preuve est dans un état fixé à l’avance, jamais parce qu’il se sent incertain.
Le tableau le compare à un bot de prestataire classique, un assistant fourni par une société externe. Il couvre les défauts que les contrôles détectent, sans garantie de tous les repérer.
EN CLAIR
Une Abstention Le système ne répond pas, parce que la preuve est mince. Il dit « je ne sais pas » au lieu de deviner. Voir le glossaire n’est pas une impasse. Avec le Relais vers une personne Le passage de la question à une personne, avec ce que le système a trouvé et le point où il s’est arrêté. Voir le glossaire, quelqu’un reçoit la question, les sources trouvées et le point où le contrôle s’est arrêté.
NIVEAU TERMINÉ
Ce que vous savez maintenant
- Ce que cherchent le contrôle du sens et celui des chiffres.
- Pourquoi un passage neutre compte comme un échec, pas comme une réussite.
- Quels états de la preuve, fixés avant le lancement, mènent à un refus.
Vérifiez par vous-même
Touchez ou cliquez une question pour voir la réponse.
Cas fictif : une réponse contient trois affirmations. Deux sont étayées. La troisième reçoit un verdict neutre. Que renvoie le système ?
Il s’abstient sur toute la réponse et passe la main. Neutre veut dire insuffisant, et une seule affirmation en échec arrête tout. Envoyer les deux bonnes demanderait une règle explicite de réponse partielle.
Cas fictif : deux baux trouvés donnent des préavis différents pour le même lot. Les deux citations sont réelles. Que fait le système ?
Il s’abstient et confie le conflit à une personne, sans choisir la source la plus probable : un conflit est un état de la preuve à part entière.
Ancien CTO d’Integra. Auteur nommé (1 sur 5) d’ERC-3643, premier auteur d’ERC-6960, co-auteur d’ERC-7410 et co-auteur d’ERC-8203, encore à l’état de brouillon. Conçoit des systèmes d’IA en production et des systèmes Web3 régulés.
Un projet à livrer ou un poste à pourvoir ?
Parlons de votre besoinSuivre les notes techniques
Recevez les nouveaux articles sur l’IA en production et les smart contracts par email.