Une suite d'évaluation RAG utile sépare la qualité de récupération de la qualité de génération. Côté récupération, la précision du contexte demande quelle part du contenu récupéré était réellement pertinente, et le rappel du contexte demande si les passages nécessaires ont bien été récupérés. Côté génération, la fidélité demande si chaque affirmation est étayée par le contexte, et la pertinence demande si la réponse traite la question. Ce découpage compte, car un score de fidélité faible signale généralement un problème de récupération, pas un problème de prompt.
Le plafond se manifeste ainsi : rappel du contexte élevé, fidélité élevée, et les tickets support disent toujours que l'assistant a donné la mauvaise politique. Cette combinaison est la signature d'un corpus qui se contredit. La récupération a trouvé des passages pertinents, la génération leur est restée fidèle, et les passages divergeaient. Toutes les métriques standard sont calculées par requête contre le contexte récupéré — aucune ne peut donc voir le second document contradictoire.
Ce qu'il faut ajouter : des métriques au niveau du corpus. Taux de conflit par sujet, distribution de l'obsolescence, et couverture des sources faisant autorité. Elles se mesurent sur la base de connaissances, indépendamment des requêtes, et expliquent le plafond que vos métriques par requête ne dépassent pas.
Une pile de métriques réellement diagnostique
1. Instrumenter récupération et génération séparément
Suivez la précision et le rappel du contexte sur un jeu d'évaluation fixe, aux côtés de la fidélité et de la pertinence. Quand la qualité baisse, ce découpage indique immédiatement s'il faut ajuster le découpage en chunks, les embeddings et le reranking, ou bien le prompt et le modèle. Les tableaux de bord à score unique masquent exactement l'information nécessaire.
2. Exiger des citations pour rendre la fidélité auditable
Calculez la fidélité au niveau des affirmations avec un juge obligé de citer le passage justificatif. La métrique devient débogable — on peut lire le passage utilisé — et cela révèle le cas où une affirmation est jugée fidèle à un document qui n'aurait jamais dû faire autorité.
3. Mesurer la base de connaissances, pas seulement les réponses
Ajoutez le taux de conflit (combien de sujets ont des sources contradictoires), la fraîcheur (quelle part du corpus récupérable est obsolète) et la couverture d'autorité (combien de questions à fort trafic pointent vers une source de vérité validée). Ces métriques évoluent lentement, anticipent les incidents, et sont les seules à s'améliorer quand on corrige la documentation plutôt que le code.
Les métriques impossibles à calculer par requête
Taux de conflit, obsolescence et couverture d'autorité exigent de scanner tout le corpus et de comparer les documents entre eux. C'est la couche sur laquelle Alignode opère.
- Quantifier les contradictions et le contenu obsolète dans Confluence, Notion, SharePoint, Slack et Drive.
- Suivre le taux de conflit dans le temps pour que la qualité des connaissances devienne une métrique surveillée, pas une hypothèse.
- Router chaque conflit détecté vers l'équipe responsable pour que le corpus s'améliore au lieu de dériver.
Questions fréquentes
Quelles sont les principales métriques d'évaluation RAG ?
Quatre métriques couvrent l'essentiel : la précision du contexte (quelle part du contenu récupéré était pertinente), le rappel du contexte (les passages nécessaires ont-ils été récupérés), la fidélité (chaque affirmation générée est-elle étayée par le contexte) et la pertinence de la réponse (la réponse traite-t-elle la question). Les suivre séparément est ce qui les rend diagnostiques.
Comment mesurer la fidélité en RAG ?
Décomposez la réponse en affirmations atomiques et faites étiqueter chacune par un modèle juge — étayée, contredite ou non étayée — contre le contexte récupéré, avec citation obligatoire du passage justificatif. La fidélité est alors la part d'affirmations étayées, et les citations rendent chaque score auditable.
Quelle différence entre précision et rappel du contexte ?
La précision du contexte mesure quelle part du contenu récupéré était réellement utile — elle chute quand le retriever renvoie du bruit. Le rappel du contexte mesure si les passages nécessaires ont été récupérés — il chute quand le chunking, les embeddings ou le top-k provoquent des oublis. Les deux problèmes exigent des correctifs opposés.
Pourquoi nos métriques RAG sont bonnes alors que les utilisateurs ont de mauvaises réponses ?
Parce que chaque métrique standard est calculée par requête contre le contexte récupéré. Si deux documents du corpus se contredisent, la récupération peut renvoyer l'un ou l'autre, la génération reste fidèle à celui obtenu, et les quatre métriques passent — pendant que la moitié des utilisateurs reçoit la mauvaise politique. Le détecter exige une mesure des conflits au niveau du corpus.
À quelle fréquence évaluer un système RAG ?
Faites tourner les métriques par requête à chaque release sur un jeu d'évaluation fixe, pour détecter immédiatement les régressions de chunking, d'embeddings ou de prompts. Faites tourner les métriques au niveau du corpus en continu, car les connaissances dérivent à leur propre rythme : documents édités, politiques modifiées, doublons créés sans que personne ne touche au pipeline.
Guides associés
Relevez le plafond que vos métriques n'arrivent pas à dépasser.
Découvrez comment Alignode mesure et réduit les conflits dans votre base de connaissances pour que vos scores RAG puissent réellement progresser.