Friday Squid Blogging: “Squidbleed” Vulnerability

Risques liés à l’usage de l’IA générative dans l’analyse forensique

L’article aborde les dangers de l’utilisation de l’intelligence artificielle générative dans le domaine des preuves judiciaires, en s’appuyant sur l’exemple récent d’une affaire criminelle en Grèce.

Points clés :

• Illusion de fiabilité : L’usage de l’IA pour améliorer des images de vidéosurveillance dégradées (vieilles de 16 ans) crée un effet « CSI » trompeur, où le système « hallucine » des détails visuels non présents dans la source originale.
• Inégalité de traitement de l’information : Selon la théorie de l’information, il est mathématiquement impossible de reconstruire des données perdues à partir d’un signal fortement compressé ou corrompu.
• Biais technologique : La présentation de reconstructions algorithmiques comme preuves indéniables devant les tribunaux constitue une dérive inquiétante, risquant de condamner des individus sur la base de probabilités statistiques et non de faits réels.
• Contexte socio-politique : L’article souligne une tendance préoccupante à la suppression de l’accès aux archives publiques, réduisant la transparence gouvernementale et la capacité des citoyens à se défendre face aux outils de surveillance étatiques.

Vulnérabilités et failles critiques :

• Absence de CVE spécifique : Le problème identifié ici n’est pas une faille logicielle isolée, mais une vulnérabilité systémique liée à l’interprétation des données par les modèles d’IA (hallucinations).
• Biais d’interprétation : Risque élevé de faux positifs dus à l’extrapolation algorithmique sur des données à faible résolution.

Recommandations :

• Scepticisme forensique : Les autorités judiciaires et les experts doivent rejeter l’idée que l’IA puisse « nettoyer » des preuves visuelles de manière objective.
• Droit à l’expertise : Il est impératif de contester la validité scientifique des preuves générées par IA lorsque la source originale est trop dégradée pour permettre une identification fiable.
• Transparence algorithmique : Exiger une documentation stricte sur le fonctionnement des modèles utilisés en police scientifique pour éviter l’usage de « boîtes noires » lors de la présentation de preuves.

Source