Model Security Is the Wrong Frame – The Real Risk Is Workflow Security

Sécurité des flux de travail pilotés par l’IA : un nouveau paradigme

La protection des modèles d’intelligence artificielle (IA) ne suffit plus face à l’intégration croissante de ces technologies dans les processus métier. Le risque réel réside désormais dans la sécurisation des flux de travail qui les entourent. Des exemples récents, tels que des extensions de navigateur malveillantes dérobant des données de discussion ChatGPT et des vulnérabilités de prompt injection dans des assistants de codage, démontrent que les cyberattaquants ciblent le contexte opérationnel de l’IA plutôt que les algorithmes eux-mêmes.

Points Clés :

• L’IA comme moteur de flux de travail : Les systèmes d’IA sont de plus en plus utilisés pour automatiser des tâches, connecter des applications et interagir avec des données sensibles, brouillant les frontières traditionnelles entre les systèmes.
• Le risque contextuel : L’IA, fonctionnant sur des bases probabilistes, est sensible aux manipulations de son contexte d’entrée et de sortie. Les instructions malveillantes intégrées dans des données apparemment innocentes peuvent détourner son comportement.
• Limites des contrôles de sécurité traditionnels : Les approches de sécurité classiques, conçues pour des logiciels déterministes et des périmètres clairs, ne suffisent pas à appréhender les flux de travail dynamiques et contextuels de l’IA.

Vulnérabilités Explotées (exemples, sans CVE spécifié dans l’article) :

• Vol de données de discussion IA : Des extensions de navigateur malveillantes ont réussi à exfiltrer des conversations d’utilisateurs avec des IA.
• Prompt Injection : Des instructions malveillantes dissimulées dans des référentiels de code ont trompé des assistants IA pour exécuter des malwares.

Recommandations :

• Adopter une approche de sécurité centrée sur le flux de travail : Protéger l’ensemble du processus impliquant l’IA, et pas seulement le modèle.
• Inventorier et comprendre l’utilisation de l’IA : Identifier toutes les applications IA, officielles ou non (“shadow AI”), leurs accès aux données et leurs capacités d’action.
• Mettre en place des garde-fous externes : Utiliser des middleware pour valider les actions de l’IA avant leur exécution ou leur transmission, notamment pour le filtrage des données sensibles.
• Appliquer le principe du moindre privilège : Accorder aux agents IA uniquement les permissions strictement nécessaires pour leurs tâches.
• Surveiller les anomalies : Détecter les comportements inhabituels des IA, comme l’accès à de nouvelles sources de données.
• Sensibiliser les utilisateurs : Informer sur les risques liés aux extensions non vérifiées et au partage de prompts.
• Vérifier les plugins tiers : Traiter tout outil interactif avec l’IA comme faisant partie du périmètre de sécurité.
• Utiliser des plateformes de sécurité SaaS dynamiques : Des outils spécialisés peuvent offrir une visibilité en temps réel, apprendre les comportements normaux et signaler les anomalies dans les flux de travail IA.

Source