Des générateurs d’images IA formés sur des images d’abus sexuels d’enfants

Des images d’abus sexuels d’enfants auraient pu aider les systèmes d’IA à produire des clichés sexuels réalistes de faux enfants, rapporte le quotidien britannique The Guardian. Depuis lors, la base de données ayant servi à cette formation a été supprimée.  

Des milliers d’images d’abus sexuels

Une nouvelle étude citée par The Guardian indique que des milliers d’images d’abus sexuels d’enfants ont été dissimulées au sein des générateurs d’images populaires d’IA. Suite à cette étude, les opérateurs de certains de ces ensembles d’images utilisés pour la formation de l’intelligence artificielle ont fermé l’accès à ces bases de données.

L’Observatoire Internet de Stanford a repéré un ensemble de plus de 3.200 images d’abus sexuels d’enfants au sein de LAION. LAION est la base de données géante d’IA comprenant un index d’images et de légendes en ligne utilisé pour la formation des créateurs d’images IA les plus importants comme Stable Diffusion.

Cet organisme de surveillance a collaboré avec le Centre canadien de protection de l’enfance et autres associations afin de réaliser l’identification du matériel illégal. Cela afin de signaler les sources originales des photos aux autorités. Plus de 1.000 des images se sont avérées être du matériel pédopornographique.

« Nous constatons que la possession d’un ensemble de données LAION-5B rempli même à la fin de 2023 implique la possession de milliers d’images illégales », ont écrit les chercheurs.

LAION n’a pas tardé à réagir. Les ensembles de données ont été supprimés temporairement par LAION (Large-scale Artificial Intelligence Open Network). Ce dernier a déclaré appliquer la tolérance zéro pour les contenus illégaux.

Renforcement des abus sexuels contre de vraies victimes

Les chercheurs ont expliqué que la formation de LAION-5B avec ces clichés impliquait la diffusion de milliers d’images illégales.

Ces clichés ne correspondent qu’à une infime partie de l’indice LAION incluant 5,8 milliards d’images. Toutefois, les chercheurs de Stanford estiment que cela est suffisant pour influencer les outils d’IA pour engendrer des résultats nuisibles. Par ailleurs, cela provoque le renforcement des abus antérieurs envers de vraies victimes figurant plusieurs fois.

Avec ces images, les systèmes d’IA ont pu générer plus simplement des images réalistes des images d’enfants. Cela leur a permis ensuite de convertir des clichés réels d’adolescents totalement vêtus en nus sur les réseaux sociaux.

Jusqu’à présent, la seule manière pour les systèmes d’IA non contrôlés de générer des images d’abus d’enfants était de recourir à la combinaison de deux types d’images : les contenus pornographiques pour adultes et les photos d’enfants bénignes.

Nettoyage difficile

Le nettoyage des données de ces ensembles est difficile. Par conséquent, l’Observatoire Internet de Stanford plaide pour des mesures plus strictes. Selon ce dernier, les contributeurs à la construction de ces ensembles devraient les supprimer ou collaborer avec des intermédiaires pour le nettoyage du matériel. Une autre méthode serait de supprimer l’ancienne version de Stable Diffusion de tout l’Internet.

David Thiel, technologue en poste à l’Observatoire Internet de Stanford, un des auteurs du rapport, explique que les plateformes légales pourraient arrêter de proposer des versions téléchargeables, surtout si on les utilise pour générer des images abusives.

Cette tâche n’est pas simple. En effet, plusieurs projets d’intelligence artificielle générative ont été lancés précipitamment sur le marché. Ils ont en outre été rendus accessibles car la compétition est importante dans ce secteur.

Le grattage complet à l’échelle d’Internet et la création de cet ensemble de données pour la formation des modèles auraient dû se limiter à une opération de recherche. Cela n’aurait pas dû être quelque chose d’open source sans attention rigoureuse.

Stability AI, startup londonienne conceptrice des modèles texte-image Stable Diffusion, est un utilisateur éminent de LAION ayant contribué au développement de l’ensemble de données.

Les dernières versions de Stable Diffusion compliquent la création de contenu nuisible. Cependant, une ancienne version est toujours inclue à des applications tierces. Par ailleurs, cette version demeure « le modèle le plus populaire pour générer images explicites ».

Lloyd Richardson, directeur des technologies de l’information du Centre canadien de protection de l’enfance, a expliqué qu’il était impossible de retirer cela. En effet, ce modèle se trouve sur de nombreux ordinateurs particuliers.  Enfin, Stability AI affirme n’héberger que des versions de Stable Diffusion ayant fait l’objet d’un filtrage. Selon la société, des mesures proactives auraient été prises pour atténuer le risque d’utilisation abusive.

Utilisation de filtres

Stability AI utilise des filtres pour éviter que les contenus risqués n’atteignent ses modèles. La société évite ainsi que le modèle ne génère du contenu dangereux. D’autre part, LAION aurait procédé au développement de filtres rigoureux permettant la détection et la suppression des contenus risqués avant leur publication.

Selon le rapport de Stanford, ces filtres mineurs auraient pu être plus puissants si la société avait consulté au préalable des experts en sécurité des enfants.

Une partie importante des données de LAION est issue de Common Crawl. Cette source est un référentiel de données régulièrement extrait de l’Internet ouvert.  Toutefois, LAION se doit d’analyser et filtrer ces contenus avant de les utiliser, a déclaré Rich Skrenta, le directeur exécutif de Common Crawl.

La plupart des générateurs de texte en image proviennent des systèmes de données de LAION. Toutefois, on ne sait pas toujours lesquels.

OpenAI, concepteur de Dall-E et ChatGPT, affirme ne pas utiliser LAION. D’autre part, OpenAI aurait affiné ses modèles pour refuser les demandes de contenu sexuel avec des mineurs.

Le modèle de texte-image de Google, Imagen, serait basé sur un ensemble de données LAION. Cependant, celui-ci n’a pas été rendu public l’année derniere. En effet, un audit de la base de données a montré que ce modèle contenait un large corpus de contenus inappropriés tels que des images pornographiques, des propos racistes et des stéréotypes sociaux nocifs.

LAION est le l’œuvre de Christoph Schuhmann, un chercheur et enseignant allemand. Plus tot cette année, Schuhmann a déclaré qu’une telle base de données visuelles était partiellement accessible au public afin de garantir que le futur du développement de l’IA ne fasse pas l’objet d’un contrôle par une poignée de personnes et grandes entreprises.