Le RAG ne comprend pas le droit

Le titre est volontairement injuste. Le RAG n’a jamais prétendu comprendre le droit. Il répond à un problème différent : donner à un modèle accès à une mémoire externe au lieu de le laisser répondre uniquement à partir de ses paramètres.^[1] Pour un juriste, l’intérêt est évident. Les textes peuvent être choisis, mis à jour, retrouvés et vérifiés. Une machine qui montre ses sources reste préférable à une machine qui répond de mémoire.

La difficulté commence après. Retrouver le bon document n’est pas encore déterminer le droit applicable.

Une recherche exacte peut conduire à une réponse fausse

La fiscalité internationale en donne des exemples très simples. Une convention peut avoir été modifiée par un avenant, puis affectée par l’Instrument multilatéral. Les modifications ne prennent pas nécessairement effet à la même date selon l’impôt concerné. Un système peut retrouver l’article exact, le citer correctement et raisonner à partir d’une version qui ne gouvernait pas les faits.

Il en va de même des exceptions. La règle générale peut être parfaitement retrouvée alors que le dossier relève d’un protocole, d’une disposition transitoire ou d’une jurisprudence située ailleurs dans le corpus. Et parfois, le problème n’est même pas documentaire : le fait décisif n’est pas connu. La localisation d’une activité, la date de début d’un chantier ou l’entité qui dispose réellement d’un lieu ne peuvent pas être complétées par vraisemblance.

Dans ces situations, le système doit faire davantage que lire. Il doit sélectionner une version, articuler plusieurs normes, qualifier les faits et, lorsque les éléments manquent, accepter de ne pas conclure.

Le retrieval fixe une limite, sans garantir le raisonnement

Les évaluations récentes confirment cette distinction. Legal RAG Bench, construit à partir de 4 876 passages et 100 questions complexes, conclut dans son dispositif expérimental que la récupération de l’information est le principal déterminant de la performance et qu’elle fixe le plafond de nombreux systèmes RAG juridiques.^[2] Si la bonne matière n’est pas retrouvée, le modèle ne peut pas l’inventer utilement.

L’inverse n’est pas vrai. Une étude publiée en août 2026 sur huit systèmes Legal RAG, testés sur le RGPD en anglais et un corpus national de droit civil en français, constate que les hallucinations subsistent. Les questions contenant une prémisse fausse sont particulièrement difficiles, parce que le système doit d’abord refuser l’hypothèse de l’utilisateur avant de rechercher une réponse.^[3]

Un autre benchmark, consacré au droit fiscal français, isole la temporalité. Sur le track étudié, un RAG limité au texte actuel récupère la version juridiquement applicable dans 0 % des cas, alors qu’un index multi-version atteint 98,3 % de précision stricte moyenne.^[4] Le problème ne vient pas d’une source inventée, mais d’une source réelle utilisée au mauvais moment.

Le modèle reconstruit encore la norme au dernier instant

Dans une architecture RAG classique, le système sélectionne des passages et les place dans le contexte du modèle. C’est ensuite au modèle de reconnaître qu’un alinéa constitue une exception, qu’un renvoi modifie la règle, qu’une définition doit être appliquée en amont ou qu’un fait indispensable manque.

Lorsque la question est étroite, cette reconstruction peut être excellente. Lorsque plusieurs qualifications dépendent les unes des autres, elle devient plus fragile. Le modèle ne se contente plus de lire et de synthétiser. Il recompose une architecture normative en langage naturel au moment même où il rédige la réponse.

Augmenter la taille du corpus ne change pas cette nature. Une base de dix millions de documents peut être un outil de recherche remarquable. Elle ne constitue pas, par ce seul volume, une représentation de dix millions de règles.

Ce qui manque se situe entre la source et la conclusion

Une norme a une origine, une autorité, un champ d’application et une période d’effet. Elle comporte des conditions, parfois des alternatives, des exceptions et des renvois. Elle doit être confrontée à des faits établis, contestés ou inconnus. Une seule donnée peut suffire à empêcher la conclusion.

Il ne s’agit pas pour autant de convertir tout le droit en un immense moteur symbolique. Les modèles sont trop utiles pour lire, rapprocher, extraire, explorer et expliquer. Mais les éléments qui déterminent juridiquement le résultat doivent pouvoir être contrôlés ailleurs que dans une prose convaincante.

Le RAG restera une composante essentielle de nombreux systèmes juridiques. Il n’est simplement pas, à lui seul, une théorie du raisonnement juridique.