RAG sur documents internes : ce qui marche vraiment en production

Résumé : Un RAG en production repose sur du chunking structuré, une recherche hybride (BM25 + vecteurs), des citations, de l'évaluation, du contrôle d'accès et une stratégie pour garder l'index d'embeddings à jour.

Le RAG (Retrieval-Augmented Generation) est ce qui fait le gros du travail dans "l'IA sur vos documents". C'est aussi la partie qui, dans la plupart des démos, tient avec des prières et du prompt-engineering.

La couche de retrieval : ce qui tient en production

Stratégie de chunking

Oubliez les splitters récursifs par nombre de caractères. Utilisez la structure du document : titres, paragraphes, items de liste. Gardez les lignes de tableau entières. Embarquez un chemin de titres dans les métadonnées de chaque chunk.

Recherche hybride (BM25 + vecteurs)

Le vectoriel seul rate trop de requêtes "keyword-heavy" (acronymes, IDs, codes). Combinez BM25 avec les vecteurs et reranker le top 50.

Citations des sources

Affichez toujours l'extrait source utilisé par le modèle. Les utilisateurs font confiance à un assistant qui pointe vers le document ; ils se méfient de celui qui se contente de parler.

Exploitation, sécurité et fraîcheur

Évaluation avant la mise en prod

Le RAG en prod échoue en silence : les réponses semblent fluides alors que la récupération est mauvaise. Avant le lancement, on maintient un petit jeu de questions de référence avec les sources attendues — testées en régression à chaque déploiement. On journalise aussi les hits de retrieval et les pouces haut/bas pour voir quels types de documents et requêtes dérivent dans le temps.

Contrôle d'accès et cloisonnement

Les docs internes ne forment pas un seul grand sac. Chaque chunk porte tenant, équipe et sensibilité en métadonnées ; le retrieval filtre avant que le LLM ne voie le contexte. Si votre organigramme et les droits dossier sont la source de vérité, synchronisez ces règles dans l'index — sinon vous finirez par récupérer quelque chose qu'un utilisateur ne devrait pas voir.

Garder l'index à jour

Un RAG périmé est pire que pas de RAG : il cite en toute confiance la politique du trimestre dernier. On branche des webhooks ou des jobs planifiés pour que, lorsqu'une page Confluence, un PDF ou un contrat change, les chunks concernés soient ré-embeddés ou invalidés. Sur de gros corpus, les mises à jour incrémentales battent un réindex complet chaque nuit.