Depuis fin 2022, ChatGPT est devenu un réflexe pour des millions d'utilisateurs. Résumer un document, rédiger un email, brainstormer une stratégie… mais derrière cette interface de conversation apparemment simple se cache une mécanique complexe. Comprendre cette mécanique, même à grands traits, c'est se donner les moyens de mieux utiliser l'outil — et surtout de mieux en percevoir les limites.
Un LLM, c'est quoi exactement ?
ChatGPT repose sur un LLM (Large Language Model), un grand modèle de langage. Concrètement, c'est un programme qui a été entraîné sur des milliards de textes issus d'Internet : livres, articles, forums, documentation technique. Son objectif pendant cet entraînement ? Apprendre à prédire le mot suivant dans une phrase.
C'est tout. Et c'est beaucoup.
En répétant cet exercice de prédiction des milliards de fois grâce à des GPU surpuissants, le modèle développe une compréhension statistique impressionnante du langage. Il « sait » que « le chat est sur le… » sera probablement suivi de « toit » ou « canapé » plutôt que de « stratosphère ».
Le texte en pièces détachées : la Tokenisation
Avant de traiter votre question, le modèle découpe votre texte en Token. Un token n'est pas forcément un mot : c'est un fragment de texte. « Intelligence » peut être découpé en « Intelli » + « gence ». La phrase « Bonjour, comment allez-vous ? » représente environ 7 tokens.
Ce découpage est réalisé par un algorithme appelé BPE (Byte Pair Encoding), qui optimise le vocabulaire du modèle pour un traitement efficace. Le modèle ne voit jamais vos mots tels quels — il voit des suites de nombres représentant des tokens.
Chaque LLM a une Context Window, c'est-à-dire un nombre maximum de tokens qu'il peut traiter en une seule conversation. C'est pour ça que les conversations très longues finissent par « perdre le fil ».
L'architecture Transformer : la révolution de 2017
La puissance de ChatGPT vient de son architecture : le Transformer. Inventé par Google en 2017, ce type de Réseau de neurones a révolutionné le NLP (traitement du langage naturel).
Sa force ? Le mécanisme d'Attention. À chaque étape de la génération, le modèle calcule l'importance relative de chaque token par rapport à tous les autres. Quand vous écrivez « La banque au bord de la rivière », l'Attention permet au modèle de comprendre que « banque » fait référence à un terrain et non à un établissement financier — grâce au contexte fourni par « rivière ».
Plus précisément, le Transformer utilise la Multi-head Attention : plusieurs « têtes » analysent le texte simultanément sous différents angles (syntaxe, sémantique, référence…). C'est comme si plusieurs lecteurs analysaient votre phrase en parallèle, chacun cherchant un type de relation différent.
La génération : mot par mot, probabilité par probabilité
Quand vous posez une question à ChatGPT, il ne « cherche » pas la réponse dans une base de données. Il génère sa réponse Token par token, en choisissant à chaque étape le token le plus probable compte tenu de tout ce qui précède.
Deux paramètres influencent ce choix. La Température contrôle le degré d'aléatoire : basse, le modèle est prévisible et factuel ; haute, il devient plus créatif mais aussi plus imprévisible. Le Top-p (ou nucleus sampling) limite les options aux tokens les plus probables, filtrant les choix aberrants.
C'est cette mécanique probabiliste qui explique pourquoi ChatGPT peut donner des réponses différentes à la même question, et pourquoi il peut parfois produire des Hallucinations — des affirmations fausses énoncées avec aplomb.
Ce que ChatGPT ne fait PAS
Il ne comprend pas. Il n'a ni conscience, ni intention. Il produit du texte statistiquement plausible. C'est un outil de prédiction linguistique extraordinairement puissant, mais qui reste fondamentalement un modèle probabiliste.
C'est aussi pour ça que le Prompt Engineering — l'art de bien formuler ses instructions — est si important. Un Prompt précis, avec du Contexte et un format de sortie clair, active les bonnes « régions » statistiques du modèle et produit de meilleurs résultats.
De GPT à Claude, Gemini et Mistral
ChatGPT n'est qu'un des nombreux LLM disponibles. Claude (Anthropic) mise sur la sécurité et l'Alignement. Gemini (Google) excelle en Multimodal. Mistral, le champion français, propose des modèles Open Source compétitifs. Tous partagent l'architecture Transformer, mais diffèrent par leurs données d'entraînement, leur Fine-tuning et leurs garde-fous.