Experts Find AI Browsers Can Be Tricked by PromptFix Exploit to Run Malicious Hidden Prompts

Les Navigateurs IA Sous la Menace de l’Injection de Prompts Malveillants

Une nouvelle technique d’ingénierie sociale, baptisée “PromptFix”, permet de tromper les intelligences artificielles génératives (GenAI) utilisées dans les navigateurs IA. Cette méthode consiste à dissimuler des instructions malveillantes au sein de fausses vérifications CAPTCHA sur des pages web. Les chercheurs de Guardio Labs ont démontré que cette attaque peut pousser ces agents IA à interagir avec des pages de phishing ou des sites frauduleux, voire à effectuer des achats, sans que l’utilisateur humain n’en soit conscient.

Ce phénomène, qualifié de “Scamlexity”, combine “scam” (escroquerie) et “complexity” (complexité). Il exploite la conception des IA conçues pour aider rapidement les utilisateurs, en les manipulant pour qu’elles exécutent des actions indésirables.

Points Clés

• PromptFix : Technique d’injection de prompt dissimulant des instructions malveillantes dans des éléments web (comme des CAPTCHA).
• Scamlexity : Nouvel âge des escroqueries où les IA autonomes (agents) sont utilisées pour des actions malveillantes à grande échelle.
• Mode Agent de ChatGPT et Navigateur Comet : Les cibles identifiées pour cette attaque, capables d’exécuter des actions sans supervision humaine directe.
• Automatisation des Fraudes : Les IA peuvent être amenées à remplir des informations personnelles et financières, cliquer sur des liens malveillants, ou télécharger des payloads.
• Exemples d’Attaques :
  • Achats sur des sites frauduleux imitant des enseignes connues (ex: Walmart).
  • Clic sur des liens dans des emails de phishing bancaire et saisie de credentials.
  • Téléchargement de malwares via des “drive-by download”.
• Utilisation de la GenAI par les Cybercriminels : Les attaquants utilisent la GenAI pour créer du contenu de phishing réaliste, cloner des marques et automatiser le déploiement d’attaques.
• Exposition de Code Propriétaire : Les assistants de codage IA peuvent involontairement révéler des informations sensibles.
• Campagnes de Phishing MFA et Malware : Exploitation de services IA pour distribuer des kits de phishing MFA (comme Tycoon) et des malwares (ex: zgRAT).
• Arnaques aux Investissements : Utilisation de deepfakes et de faux sites pour tromper les utilisateurs et les inciter à investir.

Vulnérabilités

• Les navigateurs IA qui agissent comme des “agents” autonomes et qui peuvent exécuter des actions en ligne sans validation humaine systématique.
• La capacité des IA à interpréter et à agir sur des instructions cachées dans le contenu web.

Recommandations

• Développer des défenses proactives pour anticiper, détecter et neutraliser ces attaques.
• Renforcer les garde-fous pour la détection de phishing, la vérification de la réputation des URL, la détection de spoofing de domaine et la gestion des fichiers malveillants.
• Les plateformes IA doivent implémenter des mesures de sécurité robustes pour empêcher la création de sites web malveillants et l’exécution d’actions dangereuses.
• Il est crucial de comprendre que la GenAI amplifie les capacités des acteurs malveillants plutôt que de remplacer les méthodes d’attaque existantes.

Source