Les cybercriminels affirment avoir développé des grands modèles de langage tels que ceux alimentant ChatGPT. Ceux-ci pourraient les aider dans leurs pratiques frauduleuses de phishing et dans la création de logiciels malveillants, rapporte le site Wired.
Des clones de ChatGPT
Il n’aura pas fallu beaucoup de temps pour que les cybercriminels ne mettent la main sur la technologie à la base de ChatGPT, le générateur de texte par intelligence artificielle. Quelques mois seulement après le lancement de cet outil, un chatbot IA ayant bouleversé l’économie des startups, les pirates informatiques affirment avoir créé leurs propres versions de la technologie de génération de texte par IA.
Ces clones de ChatGPT pourraient théoriquement renforcer la capacité des criminels à concevoir des logiciels malveillants et des e-mails de phishing incitant les utilisateurs à transmettre leurs identifiants de connexion.
Depuis plus d’un mois, les cybercriminels publient sur le dark web des entrées vantant les mérites de deux grands modèles de langage (LLM) qu’ils auraient développés. Ces systèmes, censés imiter les fonctionnalités de ChatGPT d’Open AI et de Bard de Google, génèrent du texte pour répondre aux questions ou invites saisies par les utilisateurs.
Mais, contrairement aux grands modèles de langage développés des entreprises légitimes, ces chatsbots IA sont commercialisés pour des activités illégales.
Cependant, certains spécialistes remettent en question l’authenticité de ces chatbots. En effet, les cybercriminels ne sont pas exactement des personnes dignes de confiance. Néanmoins, cette annonce survient à un moment où les escrocs se servent du battage médiatique de l’IA générative à leurs propres fins.
WormGPT et FraudGPT
Ces dernières semaines, les pirates informatiques ont diffusé sur des forums du dark web des informations concernant le développement de deux chatbots IA nommés WormGPT et FraudGPT.
Les LLM développés par les grandes sociétés technologiques, telles que Google, Microsoft et OpenAi, ont mis en place des garde-fous et des mesures de sécurité afin d’éviter qu’ils soient utilisés à mauvais escient. Dès lors, si vous leur demandez de générer des logiciels malveillants ou de produire des discours de haine, ils refuseront catégoriquement.
Par contre, les LLM frauduleux seraient capables de supprimer tout type de protections de sécurité ou de barrières éthiques.
WormGPT a été repéré pour la première fois par le chercheur indépendant en cybersécurité Daniel Kelley. Ce dernier a travaillé avec la société de sécurité SlashNext pour produire un compte-rendu des résultats.
Selon les développeurs de WormGPT, cet outil offre un nombre illimité de caractères et un formatage de code.
« Les modèles d’IA sont particulièrement utiles pour le phishing, en particulier car ils abaissent les barrières d’entrée pour de nombreux cybercriminels novices », explique Kelley. « Beaucoup de personnes affirment que la plupart des cybercriminels peuvent rédiger un e-mail en anglais, mais ce n’est pas nécessairement vrai pour de nombreux escrocs. »
Lors d’un test du système, Kelley demandé de produire un e-mail pouvant être utilisé dans le cadre d’une escroquerie de compromis de messagerie professionnelle, avec un prétendu PDG écrivant à un responsable de compte pour dire qu’un paiement urgent était nécessaire.
Kelley a été surpris par les résultats. Ce dernier que le système a pu générer un « un e-mail non seulement remarquablement persuasif mais également rusé d’un point de vue stratégique ».
Logiciels malveillants indétectables
Pendant ce temps, le créateur de FraudGPT a revendiqué un potentiel plus élevé pour son système. Selon le développeur, le système est capable de produire des malwares indétectables et de repérer des fuites et des failles.
En outre, il pourrait rédiger du texte susceptible d’être utilisé dans des escroqueries en ligne. Rakesh Krishnan, l’analyste principal des menaces de la société de sécurité Netenrich qui a découvert FraudGPT, affirme que la personne qui le commercialise a annoncé le produit sur plusieurs forums du dark web et également sur Telegram.
Toujours selon Krishnan, le créateur du système a publié une vidéo montrant le chatbot générant un e-mail frauduleux. Les développeurs essayaient également de vendre l’accès au système pour 200 dollars par mois. Le développeur de FraudGPT a également prétendu avoir quelques centaines d’abonnés. D’autre part, le créateur de WormGPT aurait reçu des paiements sur une adresse de portefeuille de crypto-monnaie qu’ils partageaient.
« Tous ces projets n’en sont qu’à leurs débuts », ajoute Krishnan. « Nous n’avons pas beaucoup de retours pour savoir si les gens achètent ou utilisent les systèmes. »
Authenticité des clones de ChatGPT
Selon les experts, il est difficile de vérifier la composition et la légitimité des systèmes de clones de ChatGPT.
Les escrocs cybercriminels sont connus pour escroquer d’autres fraudeurs. Des recherches antérieures ont montré qu’ils essaient fréquemment de s’arnaquer. Par ailleurs, ils ne fournissent pas ce qu’ils prétendent vendre et offrent un mauvais service client.
Selon Sergey Shykevich, responsable du groupe de renseignement sur les menaces de la société de sécurité Check Point, il existe des preuves que des personnes gens utilisent vraiment WormGTP.
« Il semble qu’il existe un véritable outil », déclare Shykevich. « Le vendeur derrière ce dernier est relativement fiable et a un historique sur les forums de cybercriminalité. »
Shykevich est moins convaincu de l’authenticité de FraudGPT. Le vendeur de ce clone a également affirmé avoir développé des systèmes nommés DarkBard et DarkBert. Toutefois, certains de ses messages ont été supprimés des forums. Quoi qu’il en soit, le chercheur de Check Point affirme qu’il n’y a aucun signe indiquant que l’un des systèmes est plus performant que ChatGPT, Bard ou d’autres LLM commerciaux.
Kelley estime que les affirmations sur les LLM malveillants créés jusqu’à présent sont légèrement exagérées ». « Ce n’est pas nécessairement différent de ce que font les entreprises légitimes dans le monde réel ».
Cybercriminalité et IA générative
Il n’est pas surprenant que les cybercriminels veuillent participer au boom des LLM. Selon le FBI, ces derniers envisagent d’utiliser l’IA générative dans leur travail. Europol a émis un avertissement similaire. Selon plusieurs autres organismes, les LLM pourraient aider les cybercriminels pour la fraude, l’usurpation d’identité et pour d’autres pratiques d’ingénieries sociales plus rapidement qu’auparavant. Ils leur permettraient également d’améliorer leur anglais écrit.
Chaque fois qu’un nouveau produit, service ou événement attire l’attention du public, les escrocs se précipitent pour l’inclure dans leur artillerie de piratage.
Dans son rapport WormGPT, Kelley note que les cybercriminels partagent souvent des jailbreaks qui permettent aux personnes de contourner les restrictions de sécurité mises en place par les fabricants de LLM populaires. Mais même les versions sans contraintes de ces modèles peuvent, heureusement, ne pas être très utiles pour les cybercriminels dans leur forme actuelle.
Shykevich, le chercheur de Check Point, explique que même lorsqu’il a vu des cybercriminels essayer d’utiliser des modèles publics, ils n’ont pas été efficaces.
« Ils peuvent créer des souches de ransomwares, des voleurs d’informations, mais pas mieux qu’un développeur moyen », dit-il. « Cependant, les membres des forums de cybercriminalité parlent toujours de créer leurs propres clones et ils ne feront que s’améliorer dans l’utilisation des systèmes. Faites donc attention à ce que vous cliquez. »