Cross-entropy
Définition
La cross-entropy, ou entropie croisée, est une fonction de perte qui mesure la distance entre deux distributions de probabilités : celle prédite par un modèle et celle attendue (les vraies étiquettes). Elle est utilisée massivement dans les tâches de classification, notamment lorsque le modèle se termine par une couche softmax. Concrètement, plus la prédiction du modèle est proche de la vérité, plus la cross-entropy est faible. À l'inverse, une prédiction très éloignée de la réalité génère une perte élevée, ce qui pousse l'algorithme d'apprentissage à corriger les poids du réseau. Sa popularité tient à deux raisons : elle est mathématiquement bien adaptée aux problèmes de classification multi-classe, et son gradient se calcule simplement, ce qui en fait un partenaire naturel de la backpropagation.
Voir aussi
Aller plus loin avec hIAppy
Vous voulez appliquer concrètement Cross-entropy dans votre PME ou ETI ?
- Diagnostic IA hIAppy Vision : on cadre votre cas d'usage en 4 à 6 semaines.
- Prototype IA hIAppy Lab : POC fonctionnel en 5 à 15 jours.
- Formations IA hIAppy Learn : ateliers et formations sur mesure.