Entropie croisée

La minimisation de l'entropie croisée est souvent utilisée en optimisation et en estimation de probabilité d'événements rares ; voir méthode de l'entropie croisée.

Quand on compare une distribution ${\displaystyle q}$  avec une distribution de référence ${\displaystyle p}$ , l'entropie croisée et la divergence de Kullback-Leibler sont identiques à une constante additive près (quand ${\displaystyle p}$  est fixé): les deux atteignent leur minimum lorsque ${\displaystyle p=q}$ , ce qui donne ${\displaystyle 0}$  pour la divergence KL, et ${\displaystyle \mathrm {H} (p)}$  pour l'entropie croisée.

Cependant, comme expliqué dans l'article divergence de Kullback-Leibler, la distribution ${\displaystyle q}$  est parfois la loi fixée a priori, et la distribution ${\displaystyle p}$  est optimisée pour être la plus proche possible de ${\displaystyle q}$ , sous certaines contraintes. Dans ce cas les deux minimisations ne sont pas équivalentes. Cela conduit à des ambiguïtés dans la littérature, avec des auteurs tentant de réduire la confusion en définissant l'entropie croisée par ${\displaystyle D_{KL}(p||q)}$  plutôt que par ${\displaystyle H(p,q)}$ .

• Méthode de l'entropie croisée

• Entropie conditionnelle

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Cross entropy » (voir la liste des auteurs).

•   Portail des mathématiques