« La pandémie de coronavirus inaugure une époque dorée pour les collecteurs de données personnelles »

Selon la célèbre mathématicienne et data scientist Cathy O’Neil, autrice de l’ouvrage « Algorithmes : la bombe à retardement », l’usage d’applications pour lutter contre le coronavirus est insensé car cela contribue à exclure la population à haut risque.

Dans une interview accordée au quotidien espagnol El País, O’Neil, l’une des expertes les plus critiques en matière d’intelligence artificielle, estime également que la pandémie de coronavirus constitue une époque dorée pour les collecteurs de données.

Critique des algorithmes

Selon la scientifique et militante du mouvement citoyen Occupy Wall Street, les algorithmes sont des opinions enfermées dans les mathématiques. Dans son ouvrage, la data scientist explique la manière dont les algorithmes reproduisent les biais de leurs créateurs dans des secteurs vitaux tels que l’assurance, les bourses universitaires, la justice, la sélection du personnel et même dans le fonctionnement démocratique.

« Les algorithmes ne sont pas machos, racistes ou classistes, mais les décisions prises par leurs développeurs peuvent faire en sorte qu’ils le soient. Par conséquent, les populations les moins riches sont les plus affectées par ces algorithmes. »

« Nous vivons dans une utopie technologique », expliquait-elle lors d’une interview pour NPR en 2016. « L’utopie techno est cette idée que les outils d’apprentissage automatique, les algorithmes, les éléments qui aident Google comme les voitures qui se conduisent toutes seules, rendent les choses objectives et équitables alors qu’en fait, nous n’avons vraiment aucune idée de ce qui arrive à la plupart des algorithmes sous le capot. »

O’Neil dénonce les biais des algorithmes. La croyance générale veut que nous pensions que ces algorithmes sont totalement impartiaux alors qu’en fait, il existe toutes sortes d’espaces pour leurs biais.

De nombreux modèles d’algorithmes utilisés aujourd’hui dans les secteurs public et privé souffrent certainement des préjugés et des idées fausses de leurs concepteurs. Par exemple, en 2011, un homme du Massachusetts a été informé que son permis de conduire avait été révoqué parce qu’un algorithme de reconnaissance faciale l’avait confondu avec un autre conducteur du Massachusetts impliqué dans une activité criminelle. Dans la même veine, le détecteur de discours de haine de Google aurait été biaisé racialement.

« Le problème est que lorsque les personnes font confiance aux choses à l’aveugle et lorsqu’elles les appliquent simplement à l’aveugle, elles ne pensent pas aux causes et aux effets », met en garde O’Neil.

Celle-ci pense que les applications de traçage numérique des malades du coronavirus pourraient également comporter des biais.

Applications vouées à l’échec

Ces applications de suivi du coronavirus dépendent du Bluetooth, et les smartphones disposent de cette technologie.

« Par conséquent, les personnes qui n’ont pas de téléphone portable comme les détenus, les personnes âgées ou les sans-abri, ne seront pas visibles par le système. Et ceux qui ne sont pas incités à utiliser l’application, tels que les migrants irréguliers, qui craignent d’être expulsés, et ceux qui ne peuvent pas se permettre de rester chez eux sans travailler, ne l’utiliseront pas. Ensuite, il y a ceux qui ont un téléphone portable et des papiers, mais pas d’assurance maladie pour payer le traitement. Les groupes que je viens de citer coïncident presque parfaitement avec la population la plus à risque d’infection. L’application peut-elle suivre les infections si les plus vulnérables sont hors de son champ de vision ? Non », précise la mathématicienne dans El País. 

Même si toute la population possédait un smartphone, le résultat serait le même.

« Si l’application restait à usage volontaire, nous aurions le même problème : une bonne partie de la population à haut risque choisirait de ne pas l’utiliser. Si ce n’était pas volontaire, comme le système de surveillance chinois baptisé crédit social, cela fonctionnerait mieux, mais il s’agirait d’un système oppresseur pour les personnes. »

Respect de la vie privée

Lorsqu’on lui demande s’il est possible que la technologie de contact tracing sur laquelle se base ce type d’applications respecte la vie privée, Cathy O’Neil répond :

« La question à un million de dollars est de savoir si le concept d’optionnalité peut être séparé de celui de vie privée. Chaque fois que l’on évoque le respect de la vie privée, on sous-entend que l’application est à usage facultatif, mais ce n’est pas suffisant pour contenir une pandémie : cela reviendrait à supposer que tout le monde va collaborer et rester confiné de manière volontaire si on l’exige, même si cela est contraire aux intérêts des personnes. Toutefois, est-il possible que cela soit obligatoire tout en respectant la vie privée ? C’est un scénario difficile à imaginer. »

La mathématicienne pense également que tout le monde ne restera pas confiné parce qu’une application le demande.

« Je ne sais pas en Europe, mais aux États-Unis, cela ne fonctionnerait pas parce que la moitié des citoyens penseraient que leur liberté est violée et que l’autre moitié devrait continuer à travailler et ne pourrait pas se permettre d’être confinée. »

Virtualisation croissante de la société

Cathy O’Neil évoque également le fait que les empires de données tels que Google, Facebook et Amazon collectent énormément auprès des enfants. Ces entreprises ont leurs propres initiatives éducatives qui rassemblent énormément d’informations sur la manière dont les enfants apprennent. La scientifique estime que c’est un sujet qui doit être étudié en profondeur.

« Je n’ai aucune preuve qu’ils aient fait quelque chose d’illégal, mais mon intuition est qu’il y a beaucoup d’armes de destruction mathématique là-bas [des algorithmes dits opaques qui causent des dommages à grande échelle à une partie de la population]. La virtualisation croissante de la société à la suite de la crise des coronavirus peut inaugurer une époque dorée pour les collecteurs de données en général, mais plus particulièrement pour ceux qui recherchent des données sur les enfants. Et ce qu’ils peuvent en faire plus tard est vraiment effrayant. »

Application du système de crédit social chinois en Occident

Lorsqu’on lui demande si le système chinois de crédit social pourrait être appliqué en Europe ou aux Etats-Unis, O’Neil rétorque que c’est un système qui est déjà d’application en Occident.

« En Chine, il existe une multitude d’entreprises qui font ce travail, bien qu’il soit vrai que Pékin les contrôle ensuite. La grande différence est en réalité que les gouvernements occidentaux ne disent pas explicitement qu’ils nous surveillent et pourquoi ils le font. Mais ils laissent implicitement faire et bénéficient de ce que font les entreprises commerciales. La NSA accède aux profils Acxiom de toute personne dans le pays qui dépense de l’argent. Le fait que ces profils existent, sont à vendre et deviennent de plus en plus complets profite aux campagnes politiques, aux agences de renseignement … à tous ceux qui veulent exercer un contrôle. Il n’y a pas de freins et de contrepoids : les lois sur la confidentialité aux États-Unis sont extrêmement pauvres et ne se réfèrent qu’à des données très spécifiques, telles que les données médicales. Le fait est qu’avec le big data et l’intelligence artificielle, il est déjà possible de savoir si vous êtes malade, il n’est pas nécessaire de connaître vos antécédents médicaux : votre consommation révèle si vous êtes diabétique ou atteint d’un cancer. »

Cathy O’Neil considère enfin qu’une application de suivi du coronavirus pourrait être un pas de plus vers un vaste réseau de surveillance. 

« Vous pouvez déduire le parti politique avec lequel quiconque sympathise en étudiant avec qui et comment son profil Facebook interagit. Mais vous ne pouvez pas faire ce type d’analyse pour savoir si quelqu’un est infecté par un coronavirus. Du point de vue de la surveillance, nous sommes donc confrontés à une nouvelle base de données. »