T
Données
Tokenisation
Définition
Processus de découpage du texte en unités plus petites (tokens) que le modèle peut traiter. Un token peut être un mot, une partie de mot ou un caractère.
Voir aussi
Aller plus loin avec hIAppy
Vous voulez appliquer concrètement Tokenisation dans votre PME ou ETI ?
- Diagnostic IA hIAppy Vision : on cadre votre cas d'usage en 4 à 6 semaines.
- Prototype IA hIAppy Lab : POC fonctionnel en 5 à 15 jours.
- Formations IA hIAppy Learn : ateliers et formations sur mesure.