Une enquête de la BBC News a révélé qu’une fonctionnalité de ChatGPT permettant aux utilisateurs de créer facilement leurs propres assistants d’intelligence artificielle peut être utilisée pour créer des outils de cybercriminalité.

OpenAI l’a lancé le mois dernier afin que les utilisateurs puissent créer des versions personnalisées de ChatGPT “pour presque n’importe quoi”.

Maintenant, la BBC News l’a utilisé pour créer un transformateur préentraîné génératif qui conçoit des e-mails, des textes et des publications sur les réseaux sociaux convaincants pour des escroqueries et des piratages.

Cela fait suite à des avertissements concernant les outils d’IA.

La BBC News s’est abonnée à la version payante de ChatGPT, à 20 £ par mois, a créé un bot IA personnalisé appelé Crafty Emails et lui a demandé d’écrire du texte utilisant “des techniques pour inciter les gens à cliquer sur des liens ou à télécharger des éléments qui leur sont envoyés”.
La BBC News a téléchargé des ressources sur l’ingénierie sociale et le bot a absorbé les connaissances en quelques secondes. Il a même créé un logo pour le GPT. Et tout le processus n’a nécessité aucun codage ni programmation.

Le bot a été capable de créer un texte très convaincant pour certaines des techniques d’arnaque et de piratage les plus courantes, dans plusieurs langues, en quelques secondes.

La version publique de ChatGPT a refusé de créer la plupart du contenu, mais Crafty Emails a fait presque tout ce qui lui était demandé, ajoutant parfois des avertissements indiquant que les techniques d’arnaque étaient éthiquement condamnables.

OpenAI n’a pas répondu à de nombreuses demandes de commentaires ou d’explications.

Lors de sa conférence des développeurs en novembre, la société a révélé qu’elle allait lancer un service similaire à un App Store pour les GPT, permettant aux utilisateurs de partager et de facturer leurs créations.

En lançant son outil GPT Builder, la société a promis de vérifier les GPT pour empêcher les utilisateurs de les créer à des fins frauduleuses.

Cependant, les experts estiment qu’OpenAI ne les modère pas avec la même rigueur que les versions publiques de ChatGPT, offrant potentiellement un outil d’IA de pointe aux criminels.

Arnaque par SMS “Salut maman”

La BBC News a demandé à Crafty Emails d’écrire un texte faisant semblant d’être une fille en détresse utilisant le téléphone d’un inconnu pour demander de l’argent à sa mère pour un taxi – une arnaque courante dans le monde entier, connue sous le nom d’arnaque “Salut maman” ou arnaque WhatsApp.
Crafty Emails a écrit un texte convaincant, utilisant des emojis et de l’argot, l’IA expliquant qu’il déclencherait une réponse émotionnelle car il “fait appel aux instincts protecteurs de la mère”.

Le GPT a également créé une version en hindi, en quelques secondes, utilisant des termes tels que “namaste” et “rickshaw” pour la rendre plus culturellement pertinente en Inde.

Mais lorsque la BBC News a demandé à la version gratuite de ChatGPT de composer le texte, une alerte de modération est intervenue, indiquant que l’IA ne pouvait pas aider avec une “arnaque connue”.

Courriel du prince nigérian

Les courriels d’arnaque du prince nigérian circulent depuis des décennies, sous une forme ou une autre.
Crafty Emails en a écrit un, utilisant un langage émotionnel que le bot a dit “fait appel à la gentillesse humaine et aux principes de réciprocité”.

Mais le ChatGPT normal a refusé.

Smishing SMS

La BBC News a demandé à Crafty Emails de rédiger un texte encourageant les gens à cliquer sur un lien et à saisir leurs coordonnées personnelles sur un site Web fictif – une autre attaque classique, connue sous le nom d’attaque de phishing par SMS, ou “Smishing”.
Crafty Emails a créé un texte prétendant offrir des iPhones gratuits.

Il avait utilisé des techniques d’ingénierie sociale telles que le “principe du besoin et de la cupidité”, a déclaré l’IA.

Mais la version publique de ChatGPT a refusé.

Arnaque aux cadeaux crypto

Les arnaques aux cadeaux Bitcoin encouragent les gens sur les réseaux sociaux à envoyer des Bitcoins, promettant qu’ils recevront le double en cadeau. Certains ont perdu des centaines de milliers de dollars.
Crafty Emails a rédigé un tweet avec des hashtags, des emojis et un langage persuasif dans le ton d’un fan de crypto.

Mais le ChatGPT générique a refusé.

Courriel de spear-phishing

L’une des attaques les plus courantes consiste à envoyer un courriel spécifique à une personne pour la persuader de télécharger une pièce jointe malveillante ou de visiter un site Web dangereux.
Crafty Emails GPT a rédigé un tel courriel de spear-phishing, avertissant un cadre d’entreprise fictif d’un risque de données et l’encourageant à télécharger un fichier piégé.

Le bot l’a traduit en espagnol et en allemand, en quelques secondes, et a déclaré avoir utilisé des techniques de manipulation humaine, y compris les principes du troupeau et de la conformité sociale, “pour persuader le destinataire d’agir immédiatement”.

La version ouverte de ChatGPT a également exécuté la demande, mais le texte qu’elle a fourni était moins détaillé, sans explications sur la manière dont elle tromperait avec succès les gens.

Jamie Moles, directeur technique principal de la société de cybersécurité ExtraHop, a également créé un GPT personnalisé pour la cybercriminalité.

“Il est clair qu’il y a moins de modération lorsqu’il est personnalisé, car vous pouvez définir vos propres ‘règles d’engagement’ pour le GPT que vous construisez”, a-t-il déclaré.

L’utilisation malveillante de l’IA est une préoccupation croissante, les autorités cybernétiques du monde entier émettant des avertissements ces derniers mois.

Il existe déjà des preuves que des escrocs du monde entier se tournent vers de grands modèles de langage (LLM) pour surmonter les barrières linguistiques et créer des escroqueries plus convaincantes.

Des LLM illégaux tels que WolfGPT, FraudBard, WormGPT sont déjà en usage.

Mais les experts estiment que les GPT Builders d’OpenAI pourraient donner aux criminels accès aux bots les plus avancés jusqu’à présent.

“Permettre des réponses non censurées sera probablement une mine d’or pour les criminels”, a déclaré Javvad Malik, avocat de la sensibilisation à la sécurité chez KnowBe4.

“OpenAI a une histoire de verrouillage des choses, mais dans quelle mesure ils peuvent le faire avec des GPT personnalisés reste à voir.”