Sécurité de l'IA (MITRE ATLAS)
Comprendre la sécurité de l'IA selon MITRE ATLAS (AI Security 101)
Selon MITRE ATLAS : AI SECURITY 101, la sécurité de l’IA est une discipline qui vise à protéger les systèmes d’IA contre les menaces.
Elle regroupe des outils, des stratégies et des processus.
Son but est d’identifier et de prévenir les risques qui compromettent la confidentialité, l’intégrité ou la disponibilité des systèmes.
Quelles sont les attaques sur l'IA ?
Les systèmes d’IA sont vulnérables à des attaques uniques. Ces attaques ciblent leurs composants. Les attaques contre l'IA exploitent trois axes principaux :
Temps d'accès à l'IA
Pendant l'entraînement : L'attaquant peut empoisonner les données d'entraînement avec des exemples malveillants
Pendant l'inférence : L'attaquant peut réaliser des attaques par évasion (ex : entrées conçues pour tromper le modèle)
Points d'accès à l'IA
Numérique (API) : L'attaquant peut manipuler un chatbot par Prompt Injection. Il peut aussi abuser d'une API pour réaliser une extraction de modèle (ex : interroger massivement le modèle pour en reconstituer une copie)
Physique : L'attaquant peut modifier les données à la source (ex : altérer les capteurs d'une voiture autonome pour provoquer un accident)
Connaissance du système
Boîte blanche : L'attaquant, s'il connaît bien le modèle, peut réaliser des attaques par inversion pour reconstituer les données d'entraînement à partir du modèle
Boîte noire : Sans connaître les détails du modèle, l'attaquant peut également tester différentes entrées pour identifier ses faiblesses et les exploiter
Exemples d’attaques courantes
Empoisonnement de données
Évasion (ex : entrées trompeuses pour fausser les réponses)
Extraction fonctionnelle (ex : l'attaquant copie le modèle en l'interrogeant massivement pour mieux l'attaquer)
Injection d'invite (Prompt Injection)
👉 Consultez ATLAS Matrix pour avoir un détail des attaques : https://atlas.mitre.org/matrices/ATLAS
Intégrer la sécurité dans le cycle de vie des modèles
La gestion de la sécurité suit des méthodologies comme CRISP-ML(Q) : https://ml-ops.org/content/crisp-ml
Ce modèle inclut six phases :
Compréhension métier et des données
Préparation des données
Ingénierie des modèles ML
Assurance qualité des applications ML
Déploiement
Surveillance et maintenance
Chaque étape nécessite d’identifier, d’évaluer et d’atténuer les risques.
Les cybercriminels peuvent donc attaquer :
Les LLMs
Extraction de données personnelles
Détournement par Prompt Injection
Manipulation via des plugins malveillants
Le matériel
Exploitation de signaux (ex : consommation électrique)
Perturbations des données ou de l’environnement
Composants malveillants intégrés aux circuits
Ressources complémentaires
Ci-dessous, voici une liste de ressources complémentaires sur la sécurité de l’IA :
Guidelines for Secure AI System Development, UK National Cyber Security Centre
A Unified Framework of Five Principles for AI in Society, Harvard Data Science Review
Ethics and Governance of Artificial Intelligence for Health, World Health Organization
Strengthening and Democratizing the US Artificial Intelligence Innovation Ecosystem: An Implementation Plan for a National Artificial Intelligence Research Resource, National Artificial Intelligence Research Resource Task Force
Artificial Intelligence Bill of Rights, Stanford University Human-Centered Artificial Intelligence
S.3572 Algorithmic Accountability Act of 2022, 117th United States Congress
EU Artificial Intelligence Act, European Parliament