Prompt injection
Définition
La prompt injection est une vulnérabilité spécifique aux modèles de langage. Elle consiste à insérer dans une entrée utilisateur, ou dans un document que l'IA va lire, des instructions cachées qui modifient le comportement du modèle. Par exemple, un attaquant peut faire en sorte qu'un assistant d'entreprise révèle des données confidentielles, exécute une action non autorisée, ou ignore ses garde-fous. Il existe deux grandes catégories : la prompt injection directe (l'utilisateur saisit lui-même les instructions malveillantes) et l'indirecte (les instructions sont cachées dans un fichier, une page web ou un email que l'IA traite). C'est aujourd'hui l'une des menaces les plus discutées dans la sécurité IA. Pour une entreprise qui déploie un assistant connecté à des outils internes, la défense passe par la séparation stricte entre instructions et données, le contrôle des sources d'entrée, et l'audit des actions exécutées par l'IA.
Voir aussi
Aller plus loin avec hIAppy
Vous voulez appliquer concrètement Prompt injection dans votre PME ou ETI ?
- Diagnostic IA hIAppy Vision : on cadre votre cas d'usage en 4 à 6 semaines.
- Prototype IA hIAppy Lab : POC fonctionnel en 5 à 15 jours.
- Formations IA hIAppy Learn : ateliers et formations sur mesure.