La dérive entre par plusieurs portes. Des documents sont modifiés alors que l'index vectoriel contient encore les anciens chunks. Une nouvelle page faisant autorité est publiée tandis que trois versions périmées restent récupérables. Les usages évoluent avec l'adoption et sollicitent des recoins du corpus jamais évalués. Chacun de ces facteurs dégrade les réponses sans toucher une ligne du pipeline, ce qui explique que les benchmarks de lancement donnent une fausse confiance qui expire silencieusement au trimestre suivant.
La dérive est difficile à détecter parce qu'elle ne ressemble pas à une erreur. La récupération renvoie un passage pertinent et bien formé, la génération lui reste fidèle, la réponse se lit parfaitement. Seule une personne connaissant la politique actuelle peut voir qu'elle est périmée. Le temps qu'elle le remarque, l'assistant a répété la réponse obsolète des centaines de fois — d'où la nécessité de surveiller la dérive sur le corpus, en continu, plutôt que de la découvrir via les tickets support.
Le signal à suivre : non pas la qualité des réponses, mais la divergence du corpus. Dès que deux documents récupérables répondent différemment à la même question, la dérive a déjà eu lieu — quoi que dise votre jeu d'évaluation cette semaine.
Comment surveiller la dérive de récupération
1. Suivre la fraîcheur de l'index face aux modifications des sources
Chaque chunk récupérable doit porter un horodatage de dernière synchronisation traçable et un lien vers la version du document source. Alertez quand une source est modifiée sans régénération des embeddings. Les chunks désynchronisés sont la forme de dérive la plus fréquente et la plus facile à corriger — et invisible pour l'évaluation au niveau des réponses.
2. Suivre le taux de conflit comme une série temporelle
Comparez en continu les passages qui répondent à la même question. Une hausse du nombre de paires contradictoires par sujet est le premier avertissement fiable que votre base de connaissances diverge — généralement des semaines avant que cela n'apparaisse dans les plaintes utilisateurs ou les tableaux de bord de métriques par requête.
3. Surveiller la couverture des requêtes à mesure que l'usage change
Journalisez les sujets réellement demandés et comparez-les à ce que couvre votre jeu d'évaluation. À mesure que l'adoption s'étend à de nouvelles équipes, le trafic se déplace vers des parties du corpus jamais validées. Élargir le jeu d'évaluation pour suivre la distribution réelle des requêtes garde vos métriques honnêtes.
Surveiller les connaissances, pas seulement le pipeline
La dérive de récupération naît dans les documents : elle doit donc être surveillée là où vivent les documents. Alignode observe la couche de connaissances en continu et transforme la divergence en travail actionnable.
- Scanner en continu Confluence, Notion, SharePoint, Slack et Drive pour repérer les nouvelles contradictions et doublons obsolètes.
- Exposer le taux de conflit et l'obsolescence comme métriques suivies, pour voir la dérive avant les utilisateurs.
- Réconcilier le contenu périmé avec une source de vérité validée et router les corrections vers l'équipe responsable.
Questions fréquentes
Qu'est-ce que la dérive de récupération ?
La dérive de récupération est la dégradation progressive de la qualité des réponses RAG causée par des changements dans la base de connaissances plutôt que dans le pipeline. Les sources sont modifiées, des pages périmées restent récupérables, les doublons s'accumulent et les usages évoluent — la récupération renvoie donc du contenu qui ne reflète plus la vérité actuelle, sans qu'aucun composant n'ait changé.
Comment détecter la dérive dans un système RAG ?
Surveillez le corpus, pas seulement les réponses : suivez la fraîcheur de l'index face aux modifications des documents sources, comptez dans le temps les paires de passages contradictoires par sujet, et comparez les sujets réellement interrogés à votre couverture d'évaluation. La hausse des conflits et les chunks désynchronisés sont les indicateurs les plus fiables.
La dérive des embeddings est-elle la même chose ?
C'est l'une de ses causes. Si les documents sont mis à jour sans régénérer leurs embeddings, l'index conserve des vecteurs périmés et la récupération renvoie des chunks obsolètes. La dérive de récupération est plus large : elle couvre aussi les documents périmés restés publiés, l'accumulation de doublons et le déplacement des requêtes.
À quelle fréquence réindexer notre base vectorielle ?
Réindexez sur changement de source plutôt que selon un calendrier fixe quand c'est possible : déclenchez la ré-embedding à l'édition du document source, et réconciliez les suppressions pour que le contenu retiré cesse d'être récupérable. À défaut de synchronisation événementielle, la cadence doit refléter la vitesse réelle d'évolution des politiques.
Les outils d'observabilité détectent-ils la dérive de récupération ?
Ils détectent ses symptômes — scores de fidélité en baisse, davantage de pouces vers le bas, plus d'escalades — une fois les réponses déjà fausses. Ils ne voient pas le corpus : ils ne peuvent donc pas signaler qu'une nouvelle page de politique contredit désormais trois anciennes. Anticiper la dérive exige un monitoring au niveau des connaissances.
Guides associés
Stoppez la dégradation avant que vos utilisateurs ne la signalent.
Découvrez comment Alignode surveille en continu la dérive, les contradictions et le contenu obsolète de votre base de connaissances.