Hiding Prompt Injection in Legal Filing

Injection de prompts : le risque de manipulation des documents légaux

L’insertion malveillante d’instructions invisibles dans des documents juridiques électroniques constitue une menace émergente pour l’intégrité des systèmes judiciaires utilisant l’IA. Cette technique vise à influencer ou à biaiser le traitement automatisé des dossiers par les outils d’assistance juridique.

Points clés :

• Risque systémique : L’utilisation de “prompt injection” dans des documents légaux démontre que l’automatisation des flux de travail dans le secteur public peut être détournée si elle n’est pas correctement sécurisée.
• Conséquences judiciaires : Une telle tentative de manipulation peut entraîner des sanctions sévères pour les auteurs, incluant l’interdiction de déposer des documents par voie électronique et l’obligation de recourir exclusivement au format papier.
• Vulnérabilité aux biais : L’intégration croissante de l’IA expose les tribunaux à des manipulations invisibles conçues pour induire en erreur les systèmes d’analyse automatique.

Vulnérabilités :

• Il n’existe pas de CVE spécifique pour cette attaque, car il s’agit d’une vulnérabilité conceptuelle de type “Prompt Injection” ciblant les Large Language Models (LLM) et les systèmes de traitement automatique de texte, plutôt qu’une faille logicielle isolée.

Recommandations :

• Audits et détection : Mettre en place des mécanismes de détection robustes pour identifier les instructions masquées ou les injections de données malveillantes dans les documents soumis.
• Politiques strictes : Établir des protocoles clairs régissant l’utilisation de l’IA dans les workflows officiels.
• Vérification humaine : Maintenir une supervision humaine systématique sur les résultats générés ou analysés par des outils d’IA, et privilégier des formats de fichiers sécurisés ou standardisés pour limiter l’exécution de code ou d’instructions cachées.

Source