Les algorithmes de justice prédictive sont toujours discriminatoires

Les algorithmes de justice prédictive  sont construits sur des données désordonnées, subjectives et discriminatoires. Ils peuvent ainsi reproduire ou amplifier les préjugés nuisant aux communautés marginalisées. Telle est la conclusion de Ngozi Okidegbe, spécialiste des données et du droit, sur le site Futurity.org.

Les biais des algorithmes de justice prédictive

Les algorithmes de justice pénale sont souvent présentés comme impartiaux. Ces calculs algorithmiques sur le risque, la criminalité et la récidive sont déployés dans de nombreux domaines en rapport avec la justice et la police.

Leur objectif original était d’adoucir des décisions souvent inégales prises par des humains faillibles et biaisés.

Toutefois, jusqu’à présent, c’est loin d’avoir été le cas, explique Okidegbe, professeure agrégée de droit et professeur adjoint d’informatique et de sciences des données à l’Université de Boston. Cette scientifique étudie l’utilisation des technologies prédictives dans le système de justice pénale américain. Elle analyse en outre leur impact sur les communautés racialement marginalisées.

Aux États-Unis, ces groupes marginalisés sont incarcérés à près de quatre fois le taux de leurs pairs blancs. Selon le Bureau of Justice, une branche du ministère américain de la justice, en 2021, il y avait 1.186 adultes noirs incarcérés dans des établissements d’État ou fédéraux pour 100.000 adultes. On comptait également 1.004 indiens d’Amérique et autochtones de l’Alaska incarcérés pour 100.000 adultes. À titre de comparaison, les Américains blancs incarcérés en 2021 pour 100.000 habitants étaient au nombre de 222.

Au cours de travaux récents, Okidegbe a étudié le rôle de ces algorithmes dans les inégalités et les conséquences imbriquées de la technologie et de la loi.  Elle a pour cela mené des recherches sur les données se trouvant derrière les décisions de libération sous caution.

Les algorithmes de justice prédictive peuvent amplifier les biais

Dans leur forme la plus élémentaire, les algorithmes sont des raccourcis de résolution de problèmes. Les ingénieurs peuvent entraîner des ordinateurs à digérer une grande quantité de données.

Par exemple, Spotify utilise des algorithmes pour suggérer des chansons que l’entreprise pense que ses auditeurs pourraient apprécier. Cette sélection est effectuée en fonction de leurs écoutes précédentes.

Plus un modèle informatique doit contenir de données, plus ses résultats doivent être nuancés et précis. Toutefois, selon de nombreuses recherches universitaires, les algorithmes construits sur des données incomplètes peuvent reproduire ou amplifier ce biais.

De prime abord, il ne s’agit d’un gros problème si, par exemple, l’obsession de Peppa Pig de votre jeune enfant s’infiltre dans vos suggestions sur Spotify. Cependant, cela peut avoir des effets dévastateurs dans d’autres contextes.

Prenons l’exemple d’un juge, propose Okidegbe. Ce juge reçoit un score de risque de récidive généré par algorithme lors d’un rapport sur un criminel condamné. Ce score lui indique la probabilité que cette personne commette un autre crime dans le futur. Et plus le score est élevé, plus la personne est susceptible d’être un récidiviste. Le juge tient compte de ce score et assigne plus de temps de prison à quelqu’un avec un score de récidive élevé.

Néanmoins, un rapport de l’organisation de presse à but non lucratif ProPublica a révélé que, parce que ces scores semblent impartiaux, ils peuvent avoir beaucoup de poids auprès des juges les employant.

En réalité, ils ne sont ni impartiaux ni hermétiques. ProPublica a constaté qu’un système particulier utilisé par les tribunaux américains se trompait environ deux fois plus souvent pour les Noirs que pour les Blancs. Il qualifiait à tort deux fois plus de Noirs n’ayant pas récidivé comme étant à haut risque de récidive.

Données désordonnées

Dans la Connecticut Law Review, Okidegbe retrace cette incohérence jusqu’à sa source. Pour cela, elle identifie un « problème d’entrée » à trois volets.

Premièrement, les juridictions ne savent pas si et comment elles utilisent des algorithmes avant procès. Par ailleurs, elles les adoptent souvent sans consulter les communautés marginalisées. Elles ne cherchent pas à vérifier si ces communautés sont affectées de manière disproportionnée par leur utilisation.

Deuxièmement, ces mêmes communautés sont généralement exclues du processus de construction de tels algorithmes de justice prédictive.

Enfin, même dans les juridictions où les membres du public peuvent donner leur avis sur l’utilisation de tels outils, leur contribution change rarement quoi que ce soit.

« Du point de vue de la justice raciale, il y a d’autres préjudices qui résultent de l’utilisation de ces systèmes algorithmiques. Le paradigme même qui régit si et comment nous utilisons ces algorithmes est assez technocratique et peu diversifié. Kate Crawford a noté le «problème des hommes blancs» de l’IA », déclare Okidegbe.

Les systèmes algorithmiques excluent les groupes racialement marginalisés et les autres groupes politiquement opprimés, explique Okidegbe.

Celle-ci a examiné le pouvoir décisionnel de savoir si et comment utiliser des algorithmes, et pour produire quelles données ils sont utilisés. Elle a constaté que les communautés marginalisées sont les plus susceptibles d’en être affectées, car elles ne sont pas centrées. Par ailleurs, elles sont souvent absentes lors des prises de décisions.

« Le recours aux algorithmes est incompatible avec un projet de justice raciale, en raison de la manière dont ils maintiennent la marginalisation de ces mêmes communautés. »

Changer le pouvoir

D’une part, les algorithmes de justice prédictive produisent des résultats biaisés nuisant de manière disproportionnée aux communautés marginalisées. D’autre part, les données utilisées pour les former peuvent être désordonnées, subjectives et discriminatoires.

Il existe une idée fausse selon laquelle les algorithmes ne sont construits qu’avec des données quantitatives. Ils ne le sont pas, ils sont également construits avec des données qualitatives.

Les ingénieurs informaticiens et les concepteurs de données rencontreront les décideurs politiques pour déterminer le problème que leur algorithme devrait résoudre et les ensembles de données sur lesquelles s’appuyer pour le construire.

Dans le contexte pénal, cela signifierait travailler avec les juges. Cela pourrait les aider à déterminer des peines de prison. Mais il est beaucoup moins probable que les ingénieurs de données rencontrent des personnes incarcérées. Au lieu de cela, les grands ensembles de données utilisés dans les algorithmes avant le procès sont formés autrement. Leurs données proviennent de « sources de connaissances carcérales », telles que les dossiers de police et les documents judiciaires.

Rendre ce processus plus uniforme et moins biaisé que les humains nécessite une refonte radicale de toute la structure, estime Okidegbe.

« Cela signifie en fait tenir compte des connaissances des communautés marginalisées et politiquement opprimées, et les faire informer sur la façon dont l’algorithme est construit. Il faut également une surveillance continue des technologies algorithmiques par ces communautés. Cela nécessite la construction de nouvelles structures institutionnelles et de changer notre état d’esprit sur qui est crédible et qui devrait être au pouvoir en ce qui concerne l’utilisation de ces algorithmes. »