Un avocat américain cite six jurisprudences dans un mémoire rédigé avec ChatGPT. Problème : aucune n'existe. Le juge n'a pas apprécié. Cette histoire, devenue virale, illustre parfaitement le phénomène d'Hallucination — le talon d'Achille des LLM.
Qu'est-ce qu'une hallucination ?
Une Hallucination, en IA, c'est quand un modèle génère une information fausse, inventée ou incohérente, tout en la présentant avec la même assurance qu'un fait vérifié. Le modèle ne « sait » pas qu'il se trompe : il ne distingue pas le vrai du faux. Il produit du texte statistiquement plausible — pas nécessairement vrai.
Pourquoi l'IA hallucine-t-elle ?
Pour comprendre, il faut revenir à la mécanique fondamentale d'un LLM. Pendant son Entraînement, le modèle apprend à prédire le Token suivant dans une séquence de texte. Il développe des associations statistiques entre les mots à partir de son Dataset d'entraînement.
Quand vous lui posez une question sur un sujet rare ou ambigu, le modèle n'a pas de « réponse stockée ». Il génère la suite la plus probable, Token par Token, en s'appuyant sur le mécanisme d'Attention du Transformer. Si le sujet est peu représenté dans ses données d'entraînement, ces probabilités deviennent moins fiables — et le modèle comble les lacunes par des inventions plausibles.
La Température joue aussi un rôle. Plus elle est élevée, plus le modèle explore des tokens moins probables, augmentant la créativité mais aussi le risque d'hallucination.
Les types d'hallucinations
Les hallucinations factuelles sont les plus dangereuses : des dates fausses, des citations inventées, des statistiques fictives. Le modèle « sait » que dans un contexte de réponse factuelle, il faut donner un chiffre — alors il en génère un, qu'il soit correct ou non.
Les hallucinations de source : le modèle attribue une citation à la mauvaise personne ou invente une référence bibliographique complète. La forme est parfaite, le fond est fictif.
Les hallucinations logiques : un raisonnement qui semble cohérent mais repose sur des prémisses inventées. Particulièrement vicieux car plus difficile à détecter.
Comment s'en protéger ?
Le RAG : ancrer l'IA dans vos données
La technique la plus efficace est le RAG (Retrieval-Augmented Generation). Au lieu de laisser le LLM répondre uniquement depuis sa mémoire (ses paramètres), on lui fournit des documents sources stockés dans une Base vectorielle via des Embedding. Le modèle génère alors sa réponse en s'appuyant sur des données vérifiables.
C'est le principe du Grounding : ancrer les réponses dans des sources concrètes plutôt que dans des associations statistiques.
Le Fact-checking systématique
Toute information critique générée par une IA doit être vérifiée. La méthode SIFT (Stop, Investigate, Find, Trace) est un bon réflexe : arrêtez-vous, vérifiez la source, croisez avec d'autres sources, remontez à l'original.
Le prompting adapté
Un Prompt bien construit réduit les hallucinations. Demander au modèle de « citer ses sources » ou de « dire quand il n'est pas sûr » active des garde-fous issus de son Alignement par RLHF. Le Chain of Thought Prompting, en forçant le raisonnement explicite, expose aussi les failles logiques.
La Self-Consistency
Poser la même question plusieurs fois et comparer les réponses. Si le modèle donne des réponses contradictoires, c'est un signal d'Hallucination probable.
Le cas particulier de la Sycophancy
Un phénomène voisin : la Sycophancy. Le modèle a tendance à vous donner raison, même quand vous avez tort. Si vous affirmez quelque chose de faux, le LLM risque de valider et de construire dessus plutôt que de vous corriger. Ce Biais de confirmation algorithmique renforce les croyances erronées au lieu de les challenger.
L'humain dans la boucle
En entreprise, la solution la plus robuste reste le HITL (Human-in-the-Loop) : garder un humain dans la boucle de validation pour toute décision importante. L'IA propose, l'humain vérifie et décide. Cette approche n'est pas un aveu de faiblesse de l'IA — c'est la seule façon responsable de l'utiliser en production aujourd'hui.