Sources vérifiées : quand l’IA doit dire « je ne sais pas »

Le problème : une vraie source derrière une réponse fausse

EN BREF Sur les comptes d’un fonds, une erreur affirmée avec aplomb coûte plus qu’une réponse lente : ce système est conçu pour s’abstenir si un contrôle échoue.

J’ai livré un système RAG qui contrôle chaque citation. Il tournait dans un fonds américain de private equity immobilier, confidentiel, qui gère environ 3 Md$ d’actifs.

L’échec visé est discret. L’assistant cite un vrai document du fonds, mais la page ne justifie pas sa réponse. C’est un scénario illustratif, pas un incident client rapporté ici.

J’ai construit les contrôles de citation, les contrôles des chiffres et le mécanisme d’abstention. Aucune réponse non étayée : c’est l’objectif des évaluations, pas une promesse absolue en production.

?Dans la section suivante : Alors, qu’est-ce qui rend une citation « vérifiée » ?

EN BREF Une citation vérifiée renvoie au passage exact et garde la trace des contrôles qui ont testé s’il soutient l’affirmation.

Avec le RAGRAG Génération augmentée par la recherche : le modèle cherche d’abord dans vos documents, puis rédige sa réponse à partir de ce qu’il a trouvé. Voir le glossaire, le modèle cherche d’abord dans vos documents, puis rédige à partir de ce qu’il a trouvé. Une citationCitation Un lien entre une phrase de la réponse et son extrait source, pour qu’une personne puisse l’ouvrir et la vérifier. Voir le glossaire relie une phrase de la réponse au passage exact qui la fonde. Ce passage, c’est son extrait sourceExtrait source Le passage exact d’un document source sur lequel s’appuie une phrase de la réponse. Voir le glossaire.

EN CLAIR

Un lien rend une réponse vérifiable. Pour s’y fier, il reste deux questions : le passage soutient-il cette affirmation précise, et la source est-elle à jour et fait-elle autorité ?

ADAM

ADAM explique : Mon vérificateur fait comme un professeur exigeant qui ouvre le livre à chaque note de bas de page. La limite : c’est un modèle, il peut rater des choses lui aussi.

Mon vérificateur fait comme un professeur exigeant qui ouvre le livre à chaque note de bas de page. La limite : c’est un modèle, il peut rater des choses lui aussi.

▼

Un contrôle réussi étaye, il ne prouve pas. C’est le jugement d’un modèle, et ce jugement peut être faux. Ses ratés doivent entrer dans le jeu d’évaluation, les questions de test sur lesquelles on note le système.

?Dans la section suivante : Alors, où se placent ces contrôles dans le système ?

EN BREF Chaque question suit les mêmes quatre étapes, et la dernière bifurque.

Ce système servait de couche de réponse commune à la plateforme à 11 agents du fonds. Chaque agent qui lisait un document héritait des mêmes contrôles de citation.

OBJET OBTENU

Pas de contrôle réussi, pas de réponse

Si un contrôle échoue, aucune réponse ne part : une personne reprend la question.

ATTENTION

L’abstentionAbstention Le système ne répond pas, parce que la preuve est mince. Il dit « je ne sais pas » au lieu de deviner. Voir le glossaire oriente vers une revue les défauts de preuve que les contrôles détectent. Elle réduit le risque, sans garantir que toute réponse non étayée soit repérée. Et une seule affirmation en échec arrête toute la réponse : livrer les seules parties étayées demanderait une règle écrite, avec ses propres cas d’évaluation.