... Mirages révolus et nouvelles ambitions d’une justice mathématisée.
Yannick Meneceur, Chercheur associé au CRLD et doctorant en droit à l’Université Paris-Saclay [1] livre au Village de la Justice une réflexion approfondie sur la rencontre entre l’IA et le Droit, ses perspectives, ses biais et ses limites.

Parmi les applications de « l’IA » [2] dans le domaine du droit et de la justice, les outils dits de justice prédictive ont occupé une place très importante dans l’espace de communication médiatique et commercial au sujet de ces outils au milieu des années 2010, ayant pris d’assaut les services de l’État et les milieux professionnels du droit et de la justice [3]. L’idée d’une justice parfaitement prévisible et susceptible de faire l’objet d’un traitement mathématique et statistique n’était pourtant pas tout à fait nouvelle. De Leibniz [4] à Condorcet [5], en passant par les travaux contemporains de Loevinger [6], Kort [7] ou encore Lawlor [8], le traitement de la jurisprudence par des moyens mathématiques, statistiques et probabilistes avait déjà été déjà explorée de manière approfondie, mais sans réelle issue probante. Le réenchantement de « l’IA » avec le succès de l’apprentissage profond (deep learning) a été l’occasion de renouveler et de réactualiser ces projets, avec, en apparence, d’audacieuses réalisations émanant de startups spécialisées - les legaltechs.

En plein milieu de ce bouillonnement médiatico-commercial, nous avions émis quelques doutes sur l’avenir de cette « justice prédictive » [9]. Six ans plus tard, si l’on s’en tient aux ambitions initiales, nos doutes semblent s’être en partie confirmés, avec un bilan paraissant, à tout le moins, très contrasté : le marché est toujours en voie de consolidation avec un certain nombre d’acteurs toujours présents mais regroupés [10]. Ce type de service représente aujourd’hui environ 5% du secteur, sans effondrement ni croissance exponentielle. Pour autant, il n’est plus question pour eux de « prédire » quoi que ce soit mais plutôt de mesurer, en ressuscitant à cette fin le vocabulaire né dans les années 1950 de la « jurimétrie » [11].

En parallèle de cet assagissement, une toute nouvelle déferlante technologique est venu offrir d’autres perspectives au sujet l’application de « l’IA » au droit et à la justice. Des « modèles génératifs » sont venus revigorer les ambitions de l’apprentissage profond [12], avec le lancement tonitruant de ChatGPT en novembre 2022. Le robot conversationnel d’OpenAI, bijou d’ingénierie, a rendu accessible à un très large public une technologie prolixe, adaptable et agile, en donnant accès une interface conversationnelle répondant à toutes les interrogations imaginables en langage naturel. Les juristes ont très rapidement investi cet outil afin d’automatiser la rédaction d’actes juridiques, s’amusant de ses limites actuelles mais convaincus de ses futures potentialités [13]

De manière bien plus discrète, de nouveaux outils de regroupement automatisée des décisions ont également été expérimentés, notamment en France, en lien avec la Cour de cassation, afin d’essayer d’identifier automatiquement les décisions similaires, en préalable d’une recherche de divergences de rédaction et, partant, de jurisprudence [14].

Prédire, générer et regrouper : voilà désormais les trois piliers de « l’IA » appliqués aux métiers juridiques et judiciaires, avec des interrogations de fond communes : est-ce que la « texture ouverte » du droit se prête à un tel traitement ? Est-ce qu’une représentation mathématisée d’une décision de justice conserve un « grain » suffisant pour être traitée informatiquement ? Est-ce que ces outils sont mieux adaptés à la Common Law, s’agissant du système juridique des États-Unis où ils ont été conceptualisés dès la fin des années 1950 ?

Nous verrons qu’une fois la confusion levée entre ambitions descriptives et prescriptives, la modélisation des décisions de justice par diverses méthodes algorithmiques est bien de nature à produire une certaine représentation. La nature de cette représentation reste toutefois à qualifier avec précision et ne parait pas, en toute hypothèse, pouvoir se défaire de biais tenaces. Les préjugés de notre société sont en effet profondément intriqués dans le matériel linguistique servant à l’entraînement de ces systèmes et il semble bien difficile pour un traitement informatique, par nature formel et non ambiguë, de s’en départir [15]. De même, de récents travaux de recherche viennent confirmer que le traitement par « l’IA » ne semble pas nécessairement plus pertinent dans les systèmes juridiques de common law [16].

De la prédiction à l’analyse.

Une mesure moins qu’une prédiction - L’objectif annoncé par les legaltechs a évolué en France, même si certaines s’étaient déjà montrées assez prudentes dès leur lancement. La capacité à « prédire » le montant d’une indemnisation dans divers contentieux (divorce, licenciement, réparation du préjudice corporel, rupture brutale des relations commerciales, etc.), avec une valeur ajoutée bien incertaine [17], n’est plus mise en avant par les opérateurs. Ceux-ci préfèrent désormais se référer à « la recherche et l’analyse », « l’analyse du risque juridique » ou la « maîtrise de l’aléa du quantum » où l’étude quantitative des litiges précédents a remplacé la très ambitieuse « prédiction ».

Des barèmes dynamiques - Autrement dit, ces applications s’efforcent désormais d’élaborer des sortes de barèmes dynamiques, distribués selon divers critères par des approches probabilistes. Si certains éditeurs juridiques produisaient déjà depuis quelques années des représentations graphiques dans des moteurs de recherche, notamment au moyen d’un dénombrement de décisions présentant des critères communs, les concepteurs d’outils de jurimétrie cherchent plutôt à tirer avantage de diverses formes d’apprentissage automatique pour modéliser mathématiquement un traitement contentieux.

Un complément à la détermination d’une stratégie contentieuse plutôt qu’une solution univoque - La jurimétrie est donc plutôt présentée aujourd’hui comme l’une composante d’une démarche d’élaboration d’une stratégie contentieuse plutôt que comme une solution universelle. C’est pourquoi ces outils se sont bien plus développés chez les avocats, les directions juridiques ou les compagnies d’assurances que chez les magistrats. Auprès de ces derniers ces outils s’inscrivent plutôt dans le mouvement de « barémisation » des décisions de justice [18], concrétisé bien avant l’irruption de « l’IA » sous forme de référentiels et dont il a été montré qu’il s’inscrivait dans les méthodes comportementales de management dites des coups de coude (nudges), visant à uniformiser la production jurisprudentielle [19].

Le sens des résultats produits par des solutions de jurimétrie.

Une confusion classique entre modèles explicatifs et prédictifs - Il doit être clarifié au préalable un malentendu classique entre modèles explicatifs et prédictifs en matière de modélisation statistique. Alors que les modèles explicatifs visent à identifier les causalités d’un phénomène, les modèles prédictifs visent, quant à eux, à estimer la probabilité de survenance d’un phénomène en trouvant la meilleure combinaison de facteurs influant sur l’apparition de ce phénomène. La distinction n’est pas que théorique : elle influe directement sur la qualité des résultats produits, certains travaux partant du principe erroné que les modèles à fort pouvoir explicatif auraient, par nature, un fort pouvoir prédictif. De nombreuses recherches, tant en philosophie des sciences qu’en statistiques [20], ont documenté la nature des erreurs produites du fait de cette confusion et sont trop souvent écartées des débats relatifs à la fiabilité (et au sens) de la jurimétrie.

Un modèle mathématique d’un ensemble de décisions de justice n’est pas une imitation de la logique du raisonnement des juristes - De manière tout aussi substantielle, la construction d’un modèle mathématique basé sur un plus ou moins grand nombre de critères afin d’identifier des régularités ne rend pas compte ni ne reproduit un raisonnement juridique [21]. Spécifiquement pour le raisonnement judiciaire, celui-ci est surtout affaire d’appréciation et d’interprétation, en croisant les faits prouvés et pertinents du litige avec les règles de droit applicables, dans une démarche cherchant à conjuguer des impératifs parfois contradictoires (comme des conflits de normes). Annoncer que « l’intelligence artificielle a appris à reproduire le raisonnement des magistrats » est donc un raccourci qui doit être explicité : en utilisant de l’apprentissage automatique, il n’a pas été cherché à établir une cartographie des étapes d’une réflexion humaine. L’objectif est de modéliser mathématiquement un « ordre secondaire », caché et impersonnel [22] produisant, pour un jeu d’informations d’entrée, un résultat proche d’un traitement humain. La démarche n’ambitionne donc à aucun moment de reproduire un code informatique explicite imitant le raisonnement juridique ni d’établir à proprement parler des statistiques générales dans ce domaine contentieux. « L’apprentissage » de la machine produit ici une équation non intelligible dont la performance est validée si l’introduction de données de test permet d’obtenir un résultat proche des attentes du concepteur.

Des modèles mathématiques saisissant la régularité du langage - Mais dans le cas des contentieux judiciaires ainsi traduits en modèles mathématiques, qu’est-ce qui est effectivement traduit ? Il est loin d’être sûr que ce soit effectivement un ordre spontané secondaire capturant l’essence du raisonnement des juges. D’autres hypothèses pourraient être testées, en commençant par une évidence : la matière traitée par les algorithmes est avant tout linguistique.

Ainsi, est-ce l’on ne révèlerait pas plutôt l’homogénéité du registre de langage des juristes plutôt que la manière d’appliquer le droit ? Ne faudrait-il pas y voir la traduction de contraintes communes sur un comportement collectif, nous renseignant probablement plus sur la mise en forme de la justification donnée par les juges à leur décision que sur les « causes » de leur décision [23] ? À titre d’exemple, une machine entraînée par l’University College London (UCL) avec la jurisprudence de la Cour européenne des droits de l’homme a en réalité « appris » la fréquence de mots dans les décisions de violations (ou de non-violations) et non le droit [24]. D’autres recherches ont commenté ces travaux de l’UCL en rappelant notamment que la meilleure prédictibilité de la partie factuelle d’une décision par rapport à la partie d’analyse juridique devait conduire à conclure que l’on ne peut pas conclure à grand-chose sur la capacité réelle de ces systèmes à produire des informations signifiantes [25]. Autrement dit, ces outils mettent en corrélation des séquences linguistiques qui sont le fruit du raisonnement, au sens psychologique et causal du terme, qu’il s’agissait précisément de reproduire, et ne peuvent donc expliquer ces résultats ni même les anticiper pour l’avenir [26].

Les nouvelles ambitions des intelligences artificielles génératives.

Le succès des larges modèles de langage - Développés dans le sillage du succès de l’apprentissage profond, les usages saisissants des larges modèles de langage (LLM, large language models) ont submergé le grand public avec la mise en ligne de ChatGPT en novembre 2022. Appliqués au domaine du droit, ces LLMs ont détourné l’attention de la jurimétrie : il n’est plus ici question d’anticiper un résultat, mais de produire de manière autonome des textes entiers et argumentés, dans un langage adapté et convaincant.

La nature des larges modèles de langage - Concrètement ces LLMs sont une représentation du langage en nombres et vecteurs de nombres, traitée par des méthodes mathématiques, statistiques et probabilistes. Ces modèles, pré-entrainés (le P de gPt), ont la particularité d’être généralistes pour avoir intégré des quantités considérables de données de toute nature et en plusieurs langues. Le robot conversationnel ChatGPT est donc ainsi en capacité de répondre en français, sur des thématiques aussi diverses que la santé, les finances ou le droit. Précisions que ces moteurs peuvent également être spécialisés avec des couches d’entraînement ou d’autres méthodes spécifiques (comme LegiGPT, entraîné avec les textes de loi disponible sur Legifrance) [27].

Les limites des larges modèles de langage - Les exemples n’ont pas manqué pour illustrer les limites de ces modèles de langage, qu’il s’agisse de les qualifier de perroquets stochastiques [28], de les remettre au travail avec l’apparition de signes de « paresse » [29] ou de constater la persistance de ce qui est improprement qualifié « d’hallucinations » (puisque anthropomorphique en renvoyant à une perception d’une pathologie propre à des êtres vivants [30]). Sans oublier les très convaincantes explications des premières versions publiques de ChatGPT sur la manière de soigner les dents d’une poule ou de ramasser les œufs de vache. Spécifiquement pour le droit, certains ont pensé pouvoir qualifier les compétences d’outils comme ChatGPT en lui soumettant les questions d’examens professionnels, comme celui d’avocat [31].

Les limites des LLMs, déjà bien documentées, peuvent être regroupées en quatre catégories [32] :

• La génération d’informations erronées alors qu’il n’y a pas de réponse ;
• La génération d’informations obsolètes ou génériques lorsque l’utilisateur attend une réponse spécifique et actuelle ;
• La génération de réponses à partir de sources ne faisant pas autorité ;
• La génération de réponses inexactes en raison d’une confusionterminologique, dans laquelle différentes sources de formation utilisent la même terminologie pour parler de choses différentes.

Les apports des larges modèles de langage pour les juristes - C’est ainsi, que souvent conscients de ces limites, des juges [33] ou des avocats [34] ont pu chercher à expérimenter ces nouveaux outils avec plus ou moins de réussite, dans un objectif d’amélioration de leur productivité. S’il doit être rappelé les risques portant sur le réemploi de données à caractère personnel ou confidentielles avec des outils externes à une organisation, le champ des possibles est large pour les juristes : aide à la rédaction, automatisation de réponses, robots conversationnels, résumés de larges volumes de textes, génération de mots-clés à fins de classification, etc.

Un chemin étroit pour des usages à très forte valeur ajoutée – Toutefois, s’il est recherché une standardisation de la rédaction dans certaines hypothèses, le recours à des trames classiques pourrait être plus efficace que des systèmes non déterministes, comme les « IA » génératives, dont le type exact de contenu n’est jamais totalement garanti. Dans l’hypothèse de l’ajout d’une part créative dans une rédaction, pour échapper à des propos très standardisés, le recours à des modules « d’IA » générative pourrait alors être tout à fait considéré. Mais le chemin, en réalité, est très étroit. Les juristes qui savent déjà bien écrire ne trouveront pas nécessairement de valeur ajoutée pour des cas complexes, car la production des « IA » génératives pourra leur sembler trop généraliste. Les juristes débutants y trouveront probablement une sorte de « marche pied » pour entrer dans un exercice, mais dont les limites devront être bien comprises pour éviter les biais d’automatisation et, surtout, ralentir l’acquisition d’une expérience pertinente et d’empêcher leur apprentissage du droit et des méthodes juridiques d’analyse et d’argumentation.

L’impossible élimination des biais algorithmiques.

Les algorithmes ne sont pas biaisés par nature - Il sera tout d’abord précisé que ce ne sont pas les algorithmes qui produisent, par nature, des biais de traitement comme des discriminations sur des données sensibles (ethnie, religion, genre, état de santé, etc). Sauf intention délibérée d’un concepteur, les données sont la principale source de ces comportements inattendus des systèmes, notamment s’agissant d’aide à la décision. La crainte qui sera évoquée ici est relative au renforcement des discriminations résultant d’une confiance trop importante accordée à ces systèmes en les pensant « neutres ».

Le risque des « variables proxys » - La fragilité de ces modèles, prédictifs ou génératifs, tient donc à cette extrême sensibilité aux biais des données, parfois renforcés au travers de « variables proxys » paraissant anodines, mais avantageant (ou désavantageant) une catégorie sensible de population. L’exemple de l’algorithme américain Compas en matière d’évaluation du risque de récidive est certainement le plus célèbre et le mieux documenté : c’est bien le code postal qui a indirectement qualifié l’origine ethnique des individus et a conduit à appliquer un haut score de récidive à toutes les populations afro-américaines.

Le risque de datasnooping – Pour la jurimétrie, une des difficultés structurelles tient à la qualité des données employées pour concevoir les modèles. La sélection de décisions opérée pour correspondre à un cadre d’analyse laisse de côté un nombre potentiellement substantiel de décisions, dont l’intérêt pour enrichir la diversité du modèle aurait pu être décisif, mais qui n’offraient pas la matière formelle nécessaire. Pour le reformuler, ce « datasnooping » conduit à un biais dans les données, pour ne sélectionner par exemple que les seules décisions de juridictions ou de formations au contenu particulièrement riche et adapté pour l’entraînement. Les décisions se bornant, sur le fondement de l’art. 455 du code de procédure civile, à effectuer un visa aux écritures des parties pour exposer les prétentions des parties sont-elles employables par exemple ? De manière plus spécifique sur le contentieux de la réparation du préjudice corporel, rien n’indique si des transactions ont pu intervenir sur certains postes de préjudice, minorant ainsi sensiblement les données chiffrées d’apprentissage. Comme nous l’avons précédemment rappelé, ce que ces outils prennent pour objet ne sont pas des facteurs causatifs des comportements des juges mais un discours de justification de leur action.

Des difficultés structurelles tenant à la transformation du langage en nombre – Pour les « IA » génératives, deux publications de sociologie de l’Université de Californie à Los Angeles (UCLA) [35], attribuent à la méthode même d’embedding (plongement lexical), utilisée pour manipuler informatiquement le langage, des difficultés structurelles. Ces publications rappellent les progrès considérables réalisés en linguistique grâce à cette méthode, mais démontrent que la transformation de termes en objets chiffrés conduit à intégrer, sans pouvoir toujours les détecter ou les filtrer, les connotations péjoratives présentes dans nos propres usages du langage. L’influence négative de l’adjonction du terme « banlieue » dans une « IA » générative d’image confirme bien ce diagnostic [36].

Des constats indifférents au type de système juridique.

La fragilité des modèles face à l’évolutivité du droit – Le dernier constat qui peut être fait est d’ordre technique et tient à la fragilité des modèles s’entraînant dans un système juridique de droit continental. Si l’on comprend que les variations d’interprétation ont vocation à coloniser progressivement les modèles mathématiques par de nouveaux entraînements, deux questions demeurent : a) si une interprétation, même très minoritaire, entraîne un revirement rapide de jurisprudence comment le modèle peut-il s’adapter ? ; b) si la loi et la jurisprudence changent, que faire du modèle ? Ces simples questions démontrent que la construction de cathédrales algorithmiques est extrêmement fragile quand, structurellement, les fondations sont mouvantes. Si l’on risque relativement peu de révolution en entraînant une machine à distinguer un chat d’un chien, la matière juridique s’avère bien plus versatile.

Un problème à considérer pour l’ensemble des systèmes juridiques - Il a donc été parfois avancé comme argument en faveur du développement de ces systèmes qu’ils seraient mieux adaptés à d’autres systèmes juridiques, fondés sur les précédents, du fait même qu’ils auraient été d’abord conçus et imaginés dans ce contexte précis [37]. Il est vrai qu’en common law, des solutions « d’IA » analysent déjà des tendances et des découvrent des constantes dans certains contentieux où tant la forme que le fond présentent une certaine forme de stabilité.

Mais, en réalité, tant l’approche statistique du traitement de la jurisprudence que la recherche de preuves (legal discovery) conduisent à réduire des concepts complexes, ambigus et parfois contradictoires en objet manipulables informatiquement, donc nécessairement explicites et non ambigus. En ce qui concerne les « IA » génératives, une récente étude du Stanford RegLab a démontré le solide enracinement d’erreurs dans les modèles de langage [38]. L’étude mesure l’ampleur des erreurs commises par les machines, qui se révèlent alarmantes : le jeu de requêtes testé sur des cas aléatoires de la Cour fédérale étasunienne a produit 69% d’erreurs avec ChatGPT 3.5 et 88% avec Llama 2. Les LLMs échoueraient également à corriger les hypothèses légales incorrectes d’un utilisateur en posant des séries de questions contrefactuelles [39]. L’étude alerte sur une intégration rapide et non supervisée des LLMs populaires pour des tâches juridiques, qu’il s’agisse de professionnels aguerris ou de justiciables en quête d’informations.

Le risque d’une influence illégitime - De manière générale, en cherchant à révéler aux professionnels comment le « droit se fait », l’on finit en réalité par définir ce qu’est le droit lui-même. Il s’agit là des effets de biais cognitifs bien connus, comme les biais d’automatisation, où les individus, en devenant progressivement de plus en plus confiants dans l’information fournie par un système automatisé, normalisent leurs comportements [40]. Une étude de l’Université de Cornell dans le domaine des sciences de l’information a cherché à mesurer l’influence des systèmes « d’IA » génératifs sur la production d’opinions [41]. Cette étude a permis d’évaluer le comportement de plus de 1 500 participants face à des outils d’aide à la rédaction. Ceux-ci ont employé un site web conçu par les chercheurs pour répondre à la question « Est-ce que les médias sociaux sont bons pour la société ? ». Ce site, qui leur proposait une aide à la rédaction intentionnellement biaisée (soit avec une connotation positive, soit une aide avec connotation négative, soit aucune aide) a capté leurs réactions au fur et à mesure de la frappe, telles que les suggestions de « l’IA » acceptées lors de la frappe ou encore le temps de rédaction du paragraphe. L’étude a révélé que les personnes qui ont utilisé une « IA » générative biaisée intentionnellement ont été deux fois plus susceptibles d’écrire un paragraphe en accord avec l’assistant que les personnes écrivant sans l’aide d’un tel outil.

Concrètement, ces applications risquent donc de tempérer substantiellement la créativité des professionnels du droit et leurs pratiques, sauf à imaginer que ces applications soient spécifiquement conçues pour favoriser l’innovation. Ce constat touche aux devoirs professionnels et éthiques des juristes, qui les enjoint de produire une réponse appropriée et individualisée aux circonstances particulières dont ils sont saisis. Des effets normatifs puissants découlent donc de l’introduction des diverses formes d’applications traitant de manière statistique le droit et la jurisprudence et il conviendrait d’établir des standards spécifiques particulièrement rigoureux, conscients de cette « texture ouverte » du droit, aptes à écarter des outils créant sans réelle précaution l’illusion d’une meilleure connaissance [42].

Bibliographie sélective.

E. Barthe, Intelligence artificielle en droit : derrière la "hype", la réalité, Precisement.org, mis à jour le 23 janvier 2024
A. Bensamoun (dir.), G. Loiseau (dir.), Droit de l’intelligence artificielle, 2e édition, LGDJ, 2022
A. Garapon, J. Lassègue, Justice digitale, PUF, 2018
F. G’Sell, Justice Numérique, Dalloz, 2021
J. Guilhem (dir.), Sciences et sens de l’intelligence artificielle, Dalloz, 2020
Y. Meneceur, L’intelligence artificielle en procès, Bruylant, 2020
N. Regis, L’intentionnalité du juge, Archives de philosophie du droit, Dalloz, n° 63, 2022, p. 472, note n° 44
F. Rouvière, La justice prédictive : peut-on réduire le droit aux algorithmes ?, Pouvoirs 2021/3, n°178, Le Seuil, pp.97 à 107
R. Sève (dir.), La justice prédictive, coll. Archives de philosophie du droit, 60, Dalloz, 2018

Yannick Meneceur Chercheur associé au CRLD et doctorant en droit à l’Université Paris-Saclay