Un des reproches formulés à l’encontre des systèmes de reconnaissance faciale est le fait que leurs algorithmes présentent de sérieux biais liés au genre et à la couleur. Depuis un certain temps, plusieurs voix dénoncent la misogynie et le racisme des logiciels d »intelligence artificielle.
« Les systèmes de police prédictifs basés sur des algorithmes ne seront jamais sûrs tant que le système de justice pénale sur lequel ils sont construits n’est pas réformé », a déclaré récemment, Andrea Nill Sánchez, la directrice de l’AI Now Institute, un centre de recherche étudiant les implications sociales de l’intelligence artificielle, lors d’une série d’auditions publiques devant la Commission LIBE (Commission des libertés civiles, de la justice et des affaires intérieures) du Parlement européen.
Données douteuses
Pour Sanchez, les systèmes de polices prédictive se basent sur des « données sales » compilées pendant des décennies d’inconduite policière.
« Il n’existe actuellement aucune méthode pour résoudre cela via la technologie », affirme l’experte.
Son témoignage se base sur une étude détaillée menée par l’Institut AI Now l’année dernière. Ce rapport a montré comment les systèmes de police prédictive étaient intrinsèquement biaisés. Lors de cette étude, l’équipe de l’Institut a examiné 13 juridictions policières américaines accusées de pratiques illégales, de corruption et de pratiques biaisées, ayant construit ou acquis des systèmes de police prédictive. Les scientifiques ont constaté que dans neuf de ces juridictions, il existait un risque élevé que les prévisions du système comportent des biais intégrés dans les données.
Selon Sanchez, ces systèmes sont en quelque sorte susceptibles d’automatiser la corruption.
« Si elle n’est pas maîtrisée, la prolifération des services de police prédictive risque de reproduire et d’amplifier les modèles de conduite corrompue, illégale et contraire à l’éthique liés aux discriminations qui affligent les forces de l’ordre à travers le monde. »
La discrimination de la police est endémique
« Les systèmes de police prédictive et les données qu’ils traitent sont la progéniture d’un monde injuste. Alors que le système de justice pénale des États-Unis est un vestige de l’esclavage et de siècles de racisme contre les personnes de couleur, la discrimination au sein des forces de l’ordre est endémique à travers le monde, y compris en Europe », a encore déclaré la directrice.
Jusqu’à présent, les avertissements d’AI Now ont été largement ignorés. Aux États-Unis, quelques juridictions ont mis un terme à la prévision policière. Il semble que le Royaume-Uni et l’Europe s’apprêtent à suspendre l’utilisation de ces logiciels dans certaines régions. Cependant, l’utilisation des systèmes de police prédictive et de reconnaissance faciale par les forces de l’ordre ne cesse d’augmenter dans le monde entier.