Le fonctionnement de l’IA générative expliquée simplement

Vendredi dernier, alors que je roulais tranquillement sur la RN41, je tombe sur un sujet IA sur France Info, que vous pouvez retrouvé sous forme d’un article titré : « Quand ChatGPT bugge et oublie François Bayrou ».

(Source : https://www.franceinfo.fr/internet/intelligence-artificielle/intelligence-artificielle-quand-chatgpt-assure-que-francois-bayrou-n-a-jamais-ete-premier-ministre_7486438.html)

Les journalistes posaient la question : pourquoi l’IA « se trompe » ? Quand « corrigera-t-on ces bugs » ? Plus je les écoutais, plus je bouillonnais au fond de moi : « mais ils parlent de l’IA sans réellement s’être renseignés sur le sujet ou quoi? ou bien ils ont tellement peu de temps, qu’ils font des raccourcis maladroits et mal-informent leurs auditeurs. »

Un bug est une erreur de codage que l’on peut corriger. Sauf que là, ChatGPT n’a pas buggé. Il a fonctionné parfaitement bien, comme il est censé fonctionner : Il a généré une réponse probabiliste à partir de régularités apprises dans des milliards de textes. Ce mécanisme produit une cohérence stylistique et syntaxique. Il ne délivre jamais une vérité garantie.

Il n’y aura pas de correctif, car ce n’est pas une panne. C’est le fonctionnement normal du système.

Bref j’avais déjà prévu d’aborder la thématique du fonctionnement des IA génératives pour cette newsletter de rentrée mais cette approximation journalistique m’a donné encore plus envie de le faire.

La difficulté étant pour moi, de ne pas tomber dans le même biais d’approximation, en vulgarisant et essayant de rendre des concepts techniques accessibles via des images culinaires (parce que oui, je ne suis pas que passionné de tech et la cuisine fait partie de mes nombreuses passions :))

Une vue d’ensemble : modèle, algorithme, données

Avant de détailler les étapes internes du fonctionnement d’une IA générative, il est utile de situer son fonctionnement global.

👉 Les données = les ingrédients.

Ce sont les matières premières de l’IA : textes, images, sons. Les données structurées ressemblent à un garde-manger bien organisé, avec les bocaux alignés et étiquetés. Les données non structurées ressemblent plutôt à un panier de marché rempli en vrac de légumes, d’épices et de produits variés. Quoiqu’il en soit, sans ces provisions, aucun plat ne peut être préparé.

👉 L’algorithme = la recette.

C’est la suite d’instructions précises qui dit comment préparer et associer les ingrédients. « Découpe cette donnée, compare-la à celle-ci, mélange-les avec ce poids. » L’algorithme transforme un stock brut en apprentissage structuré.

👉 Le modèle = le chef cuisinier formé.

Après avoir étudié des milliers de recettes et répété les gestes, il sait désormais improviser. On peut lui donner trois ingrédients au hasard et il invente un plat original. Le modèle, c’est le cerveau numérique entraîné, prêt à répondre, traduire ou générer.

L’IA générative fonctionne donc comme une école de cuisine géante : on fournit les ingrédients (données), on suit des recettes (algorithmes), et à la sortie, on obtient un chef qui sait créer (modèle). Ce cycle — collecte, entraînement, prédiction — est le cœur de la mécanique de l’IA moderne.

Si on fait le parallèle avec ChatGPT que tout le monde connait :

ChatGPT est simplement l’interface qui nous permet de dialoguer avec une instance du modèle GPT en phase d’inférence. C’est comme la salle de restaurant où l’on passe commande au chef. L’inférence correspondrait à cette commande : le plat que l’on demande, avec ses ingrédients précisés ou laissés ouverts. On formule une requête en langage naturel, et le modèle répond en préparant le plat probabiliste correspondant.

Comment ça marche, concrètement ?

👉 Étape 1 : le découpage en tokens

Une question comme « Quelle est la recette d’une omelette ? » est découpée en fragments élémentaires appelés tokens. Exemple : « Quelle » peut être séparé en [« Quel », « le »], « omelette » en [« ome », « lette »].

Ces morceaux sont comme des ingrédients bruts. Chacun est ensuite transformé en vecteur numérique, l’équivalent des mesures précises d’une recette. Un vecteur représente une position dans un espace mathématique à plusieurs centaines voire plusieurs milliers de dimensions.

Pour rendre cela accessible :

On peut comparer cet espace à une immense carte où chaque mot a une adresse. Deux mots proches sur la carte partagent souvent des usages communs. Exemple : « chat » et « chien » apparaissent côte à côte. À l’inverse, « chat » et « moteur » se trouvent très éloignés. On peut aussi imaginer un planétarium : chaque mot est une étoile, certaines forment une constellation (animaux domestiques), d’autres sont dans une autre galaxie (mécanique).

👉 Étape 2 : l’attention

Les IA générative que l’on connait ont une architecture appelée « transformer ».

Pour votre culture : c’est une organisation de réseaux neuronaux qui permet de traiter l’information en parallèle plutôt que mot par mot, ce qui a permis de franchir un cap décisif dans l’IA générative, il y a quelques années. Elle applique le mécanisme d’attention, qui mesure l’importance relative de chaque mot par rapport aux autres.

C’est aussi cette architecture qui donne naissance au sigle GPT : Generative Pre-trained Transformer. « Generative » car il produit du texte, « Pre-trained » car il a appris sur d’immenses corpus avant d’être utilisé, « Transformer » car il repose sur cette architecture spécifique.

Dans cette architecture, chaque token identifié en étape 1 joue trois rôles, que l’on peut vulgariser ainsi :

• Query (la question) : comme un ingrédient qui demande « Avec qui je me combine ? »

• Key (la carte d’identité) : comme l’étiquette sur un pot d’épice qui dit ce qu’il contient.

• Value (l’apport réel) : comme la saveur que cette épice ajoute au plat.

Le modèle compare chaque question (Q) avec les étiquettes (K) pour trouver les correspondances. Ensuite, il pèse les saveurs (V) en fonction de ces correspondances.

Pour vulgariser, on peut imaginer une conversation lors d’une préparation en cuisine : certains ingrédients se réclament naturellement. Par exemple, « farine » appelle très fortement « œufs » parce qu’ils sont souvent associés pour faire une pâte. En revanche, « œufs » ne rappellent pas directement « farine » si on pense à une omelette. On pourrait aussi dire que « café » appelle « sucre » dans de nombreuses situations, mais l’inverse n’est pas vrai.

Ces liens illustrent le rôle des Q, K et V : la Query pose la question (« avec qui je vais bien ? »), la Key présente l’identité (« je suis de la farine » ou « je suis du sucre »), et la Value apporte la saveur concrète (« j’épaissis la pâte » ou « j’adoucis l’amertume »). Les liens sont donc orientés, avec des influences fortes d’un côté et plus faibles de l’autre.

👉 Étape 3 : la prédiction

Le modèle calcule la probabilité conditionnelle de chaque token possible à la suite. Traduction directe : compte tenu de tout ce qui précède, quelle est la suite la plus plausible. Image cuisine : le chef regarde le plat en cours et choisit l’ingrédient suivant selon les associations apprises.

Exemples courts

• « casser les _ » → « œufs » arrive presque toujours en tête.

• « tarte aux _ » → « pommes » domine. (Ne m’en voulez pas si vous êtes team « tarte aux fraises » ;)) La « distribution » est simplement une liste d’options avec leurs poids (fort, moyen, faible).

Réglages clés de la prédiction que vous pouvez retrouver en paramètres de certaines IA génératives :

• Température : ouvre plus ou moins la porte aux options rares. Température basse → plat classique. Température haute → plus d’essais.

• Top-k : ne garder que les k options les plus probables (k=1 → on prend la première).

• Top-p : ne garder que les options jusqu’à atteindre une probabilité cumulée p (p=0,9 → on pioche dans les 90 % les plus probables).

Le modèle échantillonne ensuite une option, l’ajoute, puis recommence au mot suivant. Ce cycle crée des phrases fluides et génère des variantes plausibles quand plusieurs options se valent.

👉 Étape 4 : la génération mot à mot

Chaque mot est ajouté comme si l’on versait une épice avec une cuillère plus ou moins remplie. Exemple : 88 % de chance pour « sel », 6 % pour « poivre », 4 % pour « cannelle ». À chaque ajout, la phrase se construit, comme un plat qui prend forme petit à petit.

On peut aussi l’imaginer comme un dé de cuisine que l’on lance : la face « sel » a beaucoup plus de chances de sortir, mais de temps en temps c’est « cannelle » qui tombe.

Parfois encore, la cuillère glisse et met une pincée inattendue, comme de la cannelle dans une soupe, ou le dé tombe sur une face improbable. Le résultat reste mangeable, mais pas tout à fait conforme à la recette.

C’est exactement ainsi que l’IA génère du texte :

Elle choisit à chaque étape parmi plusieurs options possibles, en suivant des probabilités. Les réglages comme la température et le top‑p influencent directement ce processus : température basse, le cuisinier suit la recette à la lettre ; température haute, il ose ajouter des épices rares. Avec le top‑p, on limite le choix aux ingrédients les plus probables, comme un garde-manger restreint. Ce fonctionnement introduit une part de surprise et explique la variété des réponses.

👉 Étape 5 : les filtres et garde-fous

À ce niveau s’ajoutent des couches de régulation. Parmi elles :

le RLHF (Reinforcement Learning with Human Feedback), où des humains évaluent les réponses pour orienter le modèle vers des comportements jugés plus utiles ou sûrs ;

les filtres probabilistes, qui détectent et bloquent certains contenus sensibles à l’aide d’algorithmes entraînés, mais qui peuvent produire des faux positifs ou des faux négatifs ;

et enfin des règles déterministes, simples instructions fixes du type « si tel mot apparaît, bloquer la réponse ».

Ces trois mécanismes, combinés, constituent une chaîne de garde-fous qui encadrent le fonctionnement du modèle sans jamais le rendre infaillible.

On peut les comparer à une chaîne de cuisine avec plusieurs étapes de contrôle : un premier tamis grossier qui enlève les noyaux, un second plus fin qui filtre les pépins, et enfin un goûteur qui vérifie si le plat reste conforme à certaines attentes.

Ces dispositifs limitent les excès, mais laissent passer des nuances. Ils réduisent les risques sans jamais supprimer totalement l’incertitude : un goût inattendu peut toujours apparaître, comme un petit grain de poivre oublié dans la sauce.

Pourquoi cela crée des « hallucinations » ?

Un modèle génératif ne consulte pas une base documentaire. Il recompose une réponse en combinant des associations apprises et le contexte du prompt, comme un cuisinier qui compose avec ce qu’il a sous la main. Parfois, il ajoute une épice absente de la recette d’origine si l’association lui paraît plausible dans sa « cuisine » statistique.

Exemples concrets

• Requête improbable : « J’ai deux oeufs de brebis dans mon frigo. donne-moi une recette healthy pour les cuisiner ce soir ». Le modèle combine « œuf » + « brebis » + « cuisine » et propose une préparation crédible (omelette, crème, pâte). Il n’a pas vérifié l’existence d’une telle recette dans un livre. Il a extrapolé.

• Donnée périmée : « qui est le Premier ministre aujourd’hui ? » Un modèle dont l’entrainement date de plusieurs mois répond avec sa dernière connaissance apprise. Il reconstruit une valeur plausible sans consulter une source à jour.

• Amalgame d’éléments proches : « sauce carbonara traditionnelle » avec « crème fraîche ». L’IA mélange la version apprise la plus fréquente dans ses données, même si la recette canonique n’en contient pas.

• Citations ou chiffres précis : si on demande une référence exacte, le modèle peut produire une « fausse précision » (numéro de page, DOI, quantité au gramme près) parce qu’il complète un motif, sans archive interne.

Pourquoi cela arrive

• Le modèle maximise la probabilité d’une suite de tokens. Il n’interroge ni base de connaissances, ni fichier local.

• Le contexte fourni dans le prompt pèse lourd. Une contrainte ambiguë oriente la « recette » dans une mauvaise direction. C’est pour cela qu’on dit souvent qu’en IA générative « Shit In, Shit out ».

• L’absence de recherche externe (RAG, navigateur) le pousse à combler les vides par des motifs plausibles.

Comment réduire le phénomène en pratique

• Préciser l’intention et les contraintes : « si l’info est incertaine, réponds “je ne sais pas” ».

• Demander des sources vérifiables ou activer la recherche quand c’est possible.

• Baisser la température pour réduire les ajouts créatifs.

• Fournir un contexte structuré (ingrédients autorisés, étapes, quantités).

• Utiliser un corpus métier via RAG (une sorte de base de données pour IA) pour ancrer la réponse.

Ces sorties inattendues sont l’équivalent culinaire d’associer deux saveurs encore jamais cuisinées ensemble. Le résultat surprend. Parfois c’est faux. Parfois c’est inventif. Ce n’est pas un bug. C’est l’effet normal d’une cuisine probabiliste qui explore l’espace des possibles.

À cela s’ajoutent des contraintes économiques : OpenAI perd plusieurs milliards de dollars chaque année et cherche à réduire ses coûts. L’entreprise sélectionne automatiquement, dans GPT‑5, des variantes de modèles parfois moins puissantes mais aussi moins coûteuses.

Dans certains cas, l’analyse de certains tokens peut aussi être simplifiée ou ignorée pour économiser du calcul et donc faire des économies de $, ce qui réduit encore la précision. Le revers de cette logique est que la qualité des réponses peut fluctuer selon le modèle et les optimisations effectivement utilisés.

Un nouvel alphabet du sens

L’exemple de l’article de France Info illustre bien la confusion qui entoure encore les IA génératives. Quand le journaliste conclut que « ChatGPT a buggé » parce qu’il affirme que François Bayrou n’a jamais été Premier ministre, il emploie un vocabulaire inadapté. L’IA n’a pas « planté » comme un logiciel classique. Elle a appliqué son fonctionnement normal : recomposer une réponse à partir de régularités statistiques. En l’absence de données actualisées et de vérification externe, elle a produit une réponse plausible du point de vue probabiliste, mais factuellement fausse.

La bonne explication consiste donc à dire que ChatGPT n’est pas une base documentaire ni une encyclopédie connectée en temps réel. C’est un modèle qui prédit la suite la plus probable de tokens. Quand l’information attendue est absente, périmée ou ambiguë, il remplit les vides par des associations apprises, quitte à créer ce que l’on appelle une « hallucination ». Corriger en toute humilité ce type d’erreur journalistique, c’est rappeler que l’on n’a pas affaire à un bug, mais à la mécanique normale d’une IA générative. Et que lire ses réponses impose un réflexe critique : ce sont des constructions probabilistes, pas des vérités absolues.

À retenir

• ❌ ChatGPT ne bugge pas. Il suit une recette probabiliste.

• ⚙️ Les hallucinations sont des mélanges plausibles, parfois inventifs.

• 📚 Le sens produit est toujours filtré comme un plat passé au tamis.

• 🌍 La vraie question est : dans quelles cuisines acceptons-nous l’imprévu et l’expérimentation, et dans quelles cuisines exigeons-nous des plats stables et toujours identiques ?

👉 Quand quelqu’un dira : « l’IA a encore buggé », souvenons-nous que ce n’est pas un four qui s’arrête. C’est un cuisinier qui suit sa recette probabiliste et qui sert un plat cohérent, même si parfois l’assaisonnement surprend.

👉 Il faut aussi garder en tête que toutes les IA ne fonctionnent pas ainsi. Les IA génératives excellent dans la formalisation de notre créativité et leur souplesse, mais il existe d’autres familles d’IA conçues pour des tâches spécialisées : diagnostic médical, détection de fraude, reconnaissance d’image industrielle. Ces modèles sont entraînés pour exécuter une tâche unique avec un haut niveau de fiabilité. L’erreur reste possible, mais elle est statistiquement beaucoup plus rare que dans la génération de texte libre. Pour le mot de la fin, je crois profondément que l’avenir de l’IA, notamment en entreprise, réside dans ces IA spécialistes, capables d’apporter de la fiabilité et de la valeur ciblée là où les IA génératives privilégient la souplesse et l’exploration.