Loi de probabilité

En théorie des probabilités et en statistique, une loi de probabilité ou distribution de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable. Certaines questions ont cependant fait apparaître des lois à support infini non dénombrable ; par exemple, lorsque le nombre de tirages de pile ou face effectués tend vers l'infini, la distribution des fréquences avec lesquelles le côté pile apparaît s'approche d'une loi normale.

Des fluctuations ou de la variabilité sont présentes dans presque toute valeur qui peut être mesurée lors de l'observation d'un phénomène, quelle que soit sa nature ; de plus, presque toutes les mesures ont une part d'erreur intrinsèque. Les lois de probabilité permettent de modéliser ces incertitudes et de décrire des phénomènes physiques, biologiques, économiques, etc. Le domaine de la statistique permet de trouver des lois de probabilité adaptées aux phénomènes aléatoires.

Il existe beaucoup de lois de probabilité différentes. Parmi toutes ces lois, la loi normale a une importance particulière puisque, d'après le théorème central limite, elle approche le comportement asymptotique de nombreuses lois de probabilité.

Le concept de loi de probabilité se formalise mathématiquement à l'aide de la théorie de la mesure : une loi de probabilité est une mesure particulière, souvent vue comme la loi décrivant le comportement d'une variable aléatoire, discrète ou continue. Une mesure est une loi de probabilité si sa masse totale vaut 1. L'étude d'une variable aléatoire suivant une loi de probabilité discrète fait apparaître des calculs de sommes et de séries, alors que l'étude d'une variable aléatoire suivant une loi absolument continue fait apparaître des calculs d'intégrales. Des fonctions particulières permettent de caractériser les lois de probabilité, par exemple la fonction de répartition et la fonction caractéristique.

Une loi de probabilité décrit de manière théorique le caractère aléatoire d'une expérience dont le résultat dépend du hasard^[1],[2]. La notion d'« expérience aléatoire » est dégagée pour désigner un processus réel de nature expérimentale, où le hasard intervient, avec des issues possibles bien identifiées^[3]. Par exemple, le lancer d'un dé ordinaire (équilibré) est une expérience aléatoire : le résultat est un chiffre entre 1 et 6, et chaque chiffre a la même chance d'apparaître ; la loi de probabilité de cette expérience aléatoire est donc : les six chiffres sont équiprobables, de probabilité 1/6.

Historiquement, les lois de probabilité ont été étudiées dans les jeux de hasard : jeux de dés, jeux de cartes, etc. Les résultats possibles d'un tel phénomène sont en nombre fini, sa loi de probabilité est dite discrète. Donner la loi de probabilité revient à donner la liste des valeurs possibles avec leurs probabilités associées^[4]. Elle est alors donnée sous forme de formule, de tableau de valeurs, d'arbre de probabilité ou de fonctions (qui seront détaillées dans les sections suivantes).

Dans un contexte plus général, c'est-à-dire dans le cas où le nombre de valeurs possibles du phénomène aléatoire n'est pas fini mais infini (dénombrable ou non), la loi de probabilité décrit toujours la répartition des chances pour des résultats possibles mais est caractérisée par des fonctions (densité de probabilité et fonction de répartition, entre autres) ou plus généralement par des mesures.

L'utilisation du hasard existe depuis l'Antiquité, notamment dans les jeux de hasard, les paris sur les risques des transports maritimes ou les rentes viagères^[5]. Cependant, une des premières références connues à des calculs de probabilités est un calcul élémentaire sur la Divine Comédie qui n'apparaît qu'au XV^e siècle pendant la Renaissance^[6]. Les premiers traités forment le début de la théorie des probabilités, principalement basée sur des probabilités combinatoires. Les problèmes se posent ainsi, à propos de la durée d'un jeu de cartes :

« Sur la durée des parties que l'on joue en rabattant... On demande combien il y a à parier que la partie qui peut durer à l'infini sera finie en un certain nombre déterminé de coups au plus. »

— Essay, de Montmort, 1713^[7].

On reconnaît ici la probabilité (« à parier ») qu'une variable (« la durée de la partie ») soit plus petite qu'une valeur (« certain nombre déterminé ») ; il s'agit de la fonction de répartition de la loi de probabilité de la durée d'une partie.

C'est dans la thèse de Nicolas Bernoulli, publiée en 1711, qu'apparaît pour la première fois la loi uniforme^[8]. Certaines autres lois font alors leur apparition, comme la loi binomiale ou la loi normale, même si leurs approches ne sont pas complètement rigoureuses^[8]. Par exemple, la loi normale est construite par Abraham de Moivre grâce à la courbe de Gauss par une approximation numérique^[9]. Au XVIII^e siècle, d'autres idées liées aux lois de probabilité émergent également^[8], comme l'espérance d'une variable aléatoire discrète avec Jean le Rond D'Alembert ou les probabilités conditionnelles avec Thomas Bayes. Quelques lois de probabilité continues sont énoncées dans un mémoire de Joseph-Louis Lagrange en 1770^[8].

L'utilisation rigoureuse des lois de probabilité se développe à partir du XIX^e siècle dans des sciences appliquées, telles que la biométrie avec Karl Pearson^[10] ou la physique statistique avec Ludwig Boltzmann^[11].

La définition formelle des mesures de probabilités commence en 1896 avec une publication d'Émile Borel^[12] et se poursuit avec plusieurs autres mathématiciens tels que Henri-Léon Lebesgue, René Maurice Fréchet, Paul Lévy et notamment Andreï Kolmogorov qui formule les axiomes des probabilités en 1933.

En théorie des probabilités, une loi de probabilité est une mesure dont la masse totale vaut 1. En particulier, cette mesure vérifie les trois axiomes des probabilités.

Le triplet ${\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )}$ est appelé espace probabilisé. Une loi de probabilité est également appelée distribution de probabilité pour une étude plus appliquée^[13].

Une manière usuelle d'expression d'une loi est l'utilisation d'une variable aléatoire puisque, pour toute loi de probabilité ${\displaystyle \mathbb {P} }$ sur ${\displaystyle (\Omega ,{\mathcal {A}})}$, il existe^[14] une variable aléatoire ${\displaystyle X}$ définie sur un espace probabilisé (potentiellement différent de ${\displaystyle (\Omega ,{\mathcal {A}})}$) et de loi ${\displaystyle \mathbb {P} }$. Les lois les plus couramment étudiées en théorie des probabilités sont les lois à valeurs réelles ; elles peuvent être représentées à l'aide d'une variable aléatoire réelle par la définition suivante.

Ainsi, pour définir la loi d'une variable aléatoire, on transporte la loi de probabilité ${\displaystyle \mathbb {P} }$ sur ${\displaystyle \Omega }$ en une mesure ${\displaystyle \mathbb {P} _{X}}$ sur ${\displaystyle \mathbb {R} }$.

La représentation d'une loi par une variable aléatoire n'est pas unique^[16]. Autrement dit, deux variables aléatoires différentes, ou même définies sur des espaces différents, peuvent avoir la même loi. Deux variables aléatoires réelles ${\displaystyle X}$ et ${\displaystyle Y}$ ont même loi si ${\displaystyle \mathbb {P} _{X}=\mathbb {P} _{Y}\ }$ (en termes d'égalité de mesures). C'est-à-dire : ${\displaystyle \mathbb {P} _{X}(B)=\mathbb {P} _{Y}(B)}$ pour tout ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$. Le théorème suivant permet d'utiliser une autre caractérisation :

L'intégrale apparaissant dans le dernier terme est l'intégrale, au sens de la théorie de la mesure, de la fonction ${\displaystyle \varphi }$ par rapport à la mesure ${\displaystyle \mathbb {P} _{X}}$. Cette intégrale prend la forme d'une somme dans le cas des lois discrètes.

Ainsi, deux variables aléatoires réelles ${\displaystyle X}$ et ${\displaystyle Y}$ ont même loi si : ${\displaystyle \mathbb {E} \left[\varphi (X)\right]=\mathbb {E} \left[\varphi (Y)\right]}$ pour toute fonction ${\displaystyle \varphi :\mathbb {R} \rightarrow \mathbb {R} }$ telle qu'au moins un des deux termes de l'égalité ait un sens.

Ce résultat est appelé law of the unconscious statistician (en) en anglais.

Intuitivement, une loi de probabilité est dite multidimensionnelle, ou n-dimensionnelle^[19], si elle décrit plusieurs valeurs (aléatoires) d'un phénomène aléatoire. Par exemple lors du jet de deux dés, la loi de probabilité des deux résultats obtenus est une loi bidimensionnelle. Le caractère multidimensionnel apparaît ainsi lors du transfert, par une variable aléatoire, de l'espace probabilisé ${\displaystyle (\Omega ,{\mathcal {A}})}$ vers un espace numérique ${\displaystyle E^{n}}$ de dimension n. Dans l'exemple des deux dés, la dimension est n = 2 et l'espace ${\displaystyle E^{2}}$ est ${\displaystyle \{1,\dots ,6\}\times \{1,\dots ,6\}}$. La loi est également appelée loi jointe^[20].

Un exemple important de loi multidimensionnelle est la loi de probabilité produit ${\displaystyle \mathbb {P} =\mathbb {P} _{1}\otimes \mathbb {P} _{2}}$ où ${\displaystyle \mathbb {P} _{1}}$ et ${\displaystyle \mathbb {P} _{2}}$ sont deux lois unidimensionnelles. Cette loi de probabilité est la loi d'un couple de variables aléatoires indépendantes^[21], c'est le cas de l'exemple des deux dés.

La variable aléatoire ${\displaystyle X}$ est alors identifiée^[22] à un vecteur aléatoire à n dimensions : ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$. Le théorème de Cramer-Wold^[23] assure que la loi (n-dimensionnelle) de ce vecteur aléatoire est entièrement déterminée par les lois (unidimensionnelles) de toutes les combinaisons linéaires de ses composantes : ${\displaystyle \sum _{i=1}^{n}a_{i}X_{i}}$ pour tous ${\displaystyle a_{1},a_{2},\dots ,a_{n}}$.

Une loi bidimensionnelle (ou n-dimensionnelle) est dite^[24] absolument continue sur ${\displaystyle \mathbb {R} ^{2}}$ si la loi est absolument continue par rapport à la mesure de Lebesgue sur ${\displaystyle \mathbb {R} ^{2}}$, c'est-à-dire si la loi de la variable aléatoire correspondante s'écrit sous la forme :

${\displaystyle \mathbb {P} (X\in B)=\iint _{B}f_{X}(x_{1},x_{2})\mathrm {d} x_{1}\mathrm {d} x_{2}}$ pour tout ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} ^{2}).}$

Intuitivement, la loi marginale d'un vecteur aléatoire est la loi de probabilité d'une de ses composantes. Pour l'obtenir, on projette la loi sur l'espace unidimensionnel de la coordonnée recherchée. La loi de probabilité de la i-ème coordonnée d'un vecteur aléatoire est appelée la i-ème loi marginale^[25]. La loi marginale ${\displaystyle \mathbb {P} _{i}}$ de ${\displaystyle \mathbb {P} }$ s'obtient par la formule :

${\displaystyle \mathbb {P} _{i}(A)=\mathbb {P} _{X_{i}}(A)=\iint {1}_{\omega _{i}\in A}\mathbb {P} (\mathrm {d} (\omega _{1},\dots ,\omega _{n}))}$ pour tout ${\displaystyle A\in {\mathcal {B}}(\mathbb {R} )}$.

Les lois marginales d'une loi absolument continue s'expriment à l'aide de leurs densités marginales.

Intuitivement, une loi de probabilité conditionnelle permet de décrire le comportement aléatoire d'un phénomène lorsque l'on connaît une information sur ce processus. Autrement dit, la probabilité conditionnelle permet d'évaluer le degré de dépendance stochastique entre deux évènements^[26]. Par exemple, lors d'un lancer de dés, la loi conditionnelle permet de donner la loi de la somme des résultats sachant que l'un des deux dés a donné un résultat d'au moins quatre.

La probabilité conditionnelle se définit^[27], de manière la plus intuitive, sur les évènements par la probabilité ${\displaystyle \mathbb {P} (\cdot |B)}$ d'un évènement A conditionnellement à un autre événement B. Pour tout A et B de la tribu sous-jacente tels que ${\displaystyle \mathbb {P} (B)\neq 0}$ :

${\displaystyle \mathbb {P} (A|B)={\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (B)}}.}$

La loi de probabilité^[28] ${\displaystyle \mathbb {P} (\cdot |B)}$ est utilisée dans les probabilités et statistique élémentaires, pour la formule des probabilités totales ou le théorème de Bayes par exemple.

La probabilité conditionnelle est également définie pour les variables aléatoires. On étudie alors la loi d'une variable X conditionnellement à une variable Y. Lorsque ${\displaystyle \mathbb {P} (Y=y)\neq 0}$, la loi de X sachant Y = y est définie par^[28] :

${\displaystyle \mathbb {P} (X\in A|Y=y)={\frac {\mathbb {P} (X\in A,Y=y)}{\mathbb {P} (Y=y)}}.}$

Cependant, cette définition n'est pas valide si la loi de Y est absolument continue puisque ${\displaystyle \mathbb {P} (Y=y)=0}$, pour tout y. La définition suivante est valide pour tout couple de variables aléatoires.

De manière plus générale, la loi de probabilité se définit à partir de l'espérance conditionnelle d'une variable aléatoire X sachant une tribu ${\displaystyle {\mathcal {G}}}$. Cette espérance conditionnelle est l'unique variable aléatoire ${\displaystyle {\mathcal {G}}}$-mesurable, notée ${\displaystyle \mathbb {E} \left[X|{\mathcal {G}}\right]}$ et vérifiant^[27] : ${\displaystyle \mathbb {E} \left[Z\mathbb {E} (X|{\mathcal {G}})\right]=\mathbb {E} \left[ZX\right]}$ pour toute Z, variable ${\displaystyle {\mathcal {G}}}$-mesurable. La loi conditionnelle est alors définie par^[31] :

${\displaystyle \mathbb {P} (A|{\mathcal {G}})=\mathbb {E} (1_{A}|{\mathcal {G}})}$ où ${\displaystyle 1_{A}}$ est la fonction indicatrice de ${\displaystyle A}$.

Dans le cas des lois absolument continues, il existe une densité conditionnelle d'une loi par rapport à l'autre, et inversement. Si ${\displaystyle (x,y)\mapsto f(x,y)}$ est la densité de la loi bidimensionnelle, les deux densités conditionnelles sont alors données par^[32] :

${\displaystyle f(x|y)={\frac {f(x,y)}{f_{Y}(y)}}={\frac {f(x,y)}{\int f(x,y)\mathrm {d} x}}}$ et ${\displaystyle f(y|x)={\frac {f(x,y)}{f_{X}(x)}}={\frac {f(x,y)}{\int f(x,y)\mathrm {d} y}}}$.

Ici, ${\displaystyle f_{X}}$ et ${\displaystyle f_{Y}}$ sont les deux lois marginales de X et Y respectivement. En remplaçant les intégrales par des sommes, on obtient des formules similaires dans le cas où les lois marginales sont discrètes ou lorsque la loi marginale de X est discrète et celle de Y est absolument continue, ou inversement^[33].

Puisque ${\displaystyle \mathbb {R} }$ est un espace de Banach, les lois à valeurs dans un espace de Banach généralisent les lois à valeurs réelles. La définition est alors similaire^[34].

Pour obtenir de bonnes propriétés, il est courant de considérer des mesures de probabilités tendues, c'est-à-dire qui intuitivement sont concentrées sur un ensemble compact, et de supposer que l'espace de Banach est séparable^[35].

Un exemple possible d'espace de Banach est l'espace des fonctions continues ${\displaystyle {\mathcal {C}}(\mathbb {R} ^{+},\mathbb {R} )}$. Un processus stochastique est une famille de variables aléatoires ${\displaystyle (X_{t})_{t\in T}}$ indexées par un ensemble d'indices T. Une définition possible de la loi de probabilité d'un tel processus est la donnée des lois finies-dimensionnelles^[36], c'est-à-dire la loi de probabilité multidimensionnelle des vecteurs ${\displaystyle (X_{t_{1}},X_{t_{2}},\dots ,X_{t_{n}})}$ lorsque ${\displaystyle t_{1},t_{2},\dots ,t_{n}\in T}$. La loi peut alors être étendue par le théorème d'extension de Carathéodory pour le processus entier. Prenons l'exemple du mouvement brownien ${\displaystyle (B_{t})_{t\in \mathbb {R} _{+}}}$ qui est à trajectoires continues, sa loi de probabilité est la mesure de Wiener^[37], généralement notée W :

${\displaystyle W(A)=\mathbb {P} ((B_{t})_{t\geq 0}\in A)}$, pour tout A sous-ensemble mesurable de ${\displaystyle {\mathcal {C}}(\mathbb {R} ^{+},\mathbb {R} )}$.

Une loi de probabilité est une mesure de masse totale unitaire. L'ensemble des lois de probabilité est donc un sous-espace de l'espace des mesures finies. Cet espace est souvent noté^[38] ${\displaystyle {\mathcal {P}}(\mathbb {R} )}$ ou ${\displaystyle {\mathcal {M}}_{1}(\mathbb {R} )}$ pour les lois de probabilité réelles. Dans la suite de cette section, les propriétés de cet espace sont détaillées pour les lois de probabilité réelles ; elles sont cependant vraies sur les espaces de Banach.

On peut munir cet espace d'une topologie appelée la topologie faible^[38]. Cette topologie définit donc une convergence faible des lois de probabilité : une suite de lois de probabilité ${\displaystyle (\mathbb {P} _{n},n=1,2,\dots )}$ converge faiblement vers une loi de probabilité ${\displaystyle \mathbb {P} }$ si :

${\displaystyle \lim _{n\rightarrow \infty }\int \varphi (\omega )\mathbb {P} _{n}(\mathrm {d} \omega )=\int \varphi (\omega )\mathbb {P} (\mathrm {d} \omega )}$ pour toute fonction ${\displaystyle \varphi }$ continue bornée.

La convergence est notée^[38] : ${\displaystyle \mathbb {P} _{n}{\xrightarrow {w}}\mathbb {P} }$. Cette convergence se répercute, par le théorème de transfert, sur les variables aléatoires ${\displaystyle (\mathbb {X} _{n},n=1,2\dots )}$ de lois respectives ${\displaystyle (\mathbb {P} _{n},n=1,2,\dots )}$ ; la convergence de variables aléatoires est alors appelée convergence en loi (ou en distribution ou faible) et est notée ${\displaystyle X_{n}{\xrightarrow {\mathcal {L}}}X}$ ou ${\displaystyle X_{n}{\xrightarrow {\mathcal {D}}}X}$. Si la convergence faible des variables aléatoires est souvent utilisée, elle ne concerne en fait que leur loi.

L'espace des lois de probabilité muni de cette topologie faible est^[39] un espace métrique, complet et séparable (dans le cas d'un espace de Banach également séparable), ce qui en fait un espace polonais.

Certaines lois sont regroupées par familles (appelées familles paramétriques de lois de probabilité) par rapport à certaines propriétés de leur densité ou de leur fonction de masse, ou suivant le nombre de paramètres qui les définissent.

Les paramètres dits de position^[40] influent sur la tendance centrale de la loi de probabilité, c'est-à-dire la ou les valeurs autour desquelles la loi prend ses plus grandes valeurs. L'espérance, la médiane, le mode, les différents quantiles ou déciles en sont des exemples.

Les paramètres dits d'échelle^[40] influent sur la dispersion ou l'« aplatissement » de la loi de probabilité. La variance (ou le moment d'ordre deux), l'écart type et l'écart interquartile en sont des exemples.

Les paramètres dits de forme^[40] sont les autres paramètres liés aux lois de probabilité. La queue ou traîne d'une loi de probabilité réelle fait partie de sa forme. Les queues de gauche et de droite sont^[41] respectivement des intervalles du type ${\displaystyle \left]-\infty ,x\right[}$ et ${\displaystyle \left[y,+\infty \right[}$. Une loi de probabilité est dite à queue lourde si la mesure de probabilité de la queue ${\displaystyle \mathbb {P} (\left[y,+\infty \right[)}$ tend moins vite vers 0, pour x allant à l'infini, que celle de la loi normale^[42]. Notamment, toute loi absolument continue, centrée, réduite dont la densité vérifie^[43] :

${\displaystyle \lim _{|x|\rightarrow +\infty }f(x)\exp \left({\frac {1}{2}}x^{2}\right)=+\infty }$

est une loi à queues droite et gauche lourdes. L'asymétrie (ou moment d'ordre trois^[44]) est un exemple de paramètre de forme, elle permet de rendre la queue de droite plus ou moins lourde^[45]. Le kurtosis (ou moment d'ordre quatre^[44]) permet de favoriser ou de défavoriser les valeurs proches de la moyenne de celles qui en sont éloignées. Une loi de probabilité est dite mésokurtique, leptokurtique ou platikurtique si son kurtosis est nul, positif ou négatif.

Une loi est dite de la famille exponentielle à un paramètre^[46] si sa densité de probabilité ou sa fonction de masse ne dépend que d'un paramètre ${\displaystyle \theta }$ et est de la forme :

${\displaystyle f(y)={\begin{cases}a(\theta )b(y)\mathrm {e} ^{-c(\theta )d(y)}&{\text{ si }}\alpha <y<\beta \\0&{\text{ sinon.}}\end{cases}}}$

Cette famille regroupe beaucoup de lois classiques : loi normale, loi exponentielle, loi Gamma, loi du χ², loi bêta, loi de Bernoulli, loi de Poisson, etc.

Une loi est dite de la famille puissance à deux paramètres^[46] ${\displaystyle \alpha }$ et ${\displaystyle \theta }$ si sa densité est de la forme :

${\displaystyle f(y)={\begin{cases}\displaystyle \alpha {\frac {y^{\alpha -1}}{\theta ^{\alpha }}}&{\text{ si }}0\leq y\leq \theta \\0&{\text{ sinon.}}\end{cases}}}$

Lorsqu'une loi de probabilité multidimensionnelle représente la direction aléatoire d'un phénomène, elle est dite loi directionnelle. Elle est alors la loi d'un vecteur aléatoire unitaire d-dimensionnel où ${\displaystyle d\geq 2}$ ou, de manière équivalente, c'est une loi de probabilité sur la sphère d-dimensionnelle. Une loi directionnelle d-dimensionnelle peut alors être représentée par un vecteur (d-1-dimensionnel) en coordonnées polaires. Les lois de von Mises et de Bingham en sont des exemples^{[a 1]}.

S'il existe, le n-ième moment d'une loi de probabilité ${\displaystyle \mathbb {P} }$ est défini par :

${\displaystyle m_{n}=\int _{\Omega }\omega ^{n}\mathbb {P} (\mathrm {d} \omega )}$.

Cette formule s'écrit^[47] plus simplement ${\displaystyle m_{n}=\mathbb {E} [X^{n}]}$ dans le cas où la loi est définie à partir de la variable aléatoire ${\displaystyle X}$.

Le premier moment, ou moment d'ordre 1, est également appelé l'espérance de la loi ; lorsque ce moment est nul, la loi est dite centrée. Le deuxième moment d'une loi centrée est également appelé la variance de la loi^[48] ; lorsque ce moment vaut 1, la loi est dite réduite.

Certaines lois sont définies par un nombre fini de leurs moments : la loi de Poisson est complètement définie par son espérance^[49], la loi normale est complètement définie par ses deux premiers moments^[50] ; cependant, d'une manière générale, la collection de tous les moments ${\displaystyle (m_{n},n\in \mathbb {N} )}$ d'une loi de probabilité ne suffit pas à caractériser cette dernière^[51]. Certaines lois ne possèdent pas de moments, c'est le cas de la loi de Cauchy.

Les lois de probabilité permettent de représenter des phénomènes aléatoires. L'entropie de Shannon d'une loi de probabilité a été introduite en thermodynamique pour quantifier l'état de désordre moléculaire d'un système^[52]. Le but est de mesurer par une fonction le manque d'information de la loi de probabilité^[53]. L'entropie a d'abord été définie pour les lois discrètes puis étendue pour les lois absolument continues. Pour une loi discrète ${\displaystyle \mathbb {P} _{1}=\sum _{i\leq n}p_{i}\delta _{x_{i}}}$ et une loi ${\displaystyle \mathbb {P} _{2}}$ de densité ${\displaystyle f}$, l'entropie H est définie respectivement par^[52],[54] :

${\displaystyle H(\mathbb {P} _{1})=-\sum _{i=1}^{n}p_{i}\log _{2}(p_{i})}$ et ${\displaystyle H(\mathbb {P} _{2})=-\int _{\mathbb {R} }f(x)\ln(f(x))dx}$.

• La loi normale est celle d'entropie maximale parmi toutes les lois possibles ayant même moyenne et même écart-type^[11].
• La loi géométrique est celle d'entropie maximale parmi toutes lois discrètes de même moyenne^[11].
• La loi uniforme continue est celle d'entropie maximale parmi les lois à support borné.
• La loi exponentielle est celle d'entropie maximale parmi les lois portées par ${\displaystyle \mathbb {R} _{+}}$ et ayant la même moyenne^[11].
• Les lois de la famille puissance, comme celle de Zipf, sont d'entropie maximale parmi celles auxquelles on impose la valeur du logarithme d'une moyenne.

L'état d'entropie maximale est l'état le plus désordonné, le plus stable et le plus probable d'un système^[53]. Ces lois sont donc les moins prévenues de toutes les lois compatibles avec les observations ou les contraintes, et donc les seules admissibles objectivement comme distributions de probabilités a priori. Cette propriété joue un grand rôle dans les méthodes bayésiennes.

Les lois de probabilité les plus courantes dans les applications sont les lois dites discrètes et les lois dites absolument continues. Il existe cependant des lois de probabilité ni discrètes ni absolument continues.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite concentrée^[49] ou portée sur un ensemble ${\displaystyle A\in {\mathcal {A}}}$ si ${\displaystyle \mathbb {P} (A)=1}$. Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite discrète^[13],[15] s'il existe un ensemble fini ou dénombrable sur lequel elle est concentrée.

Un élément ${\displaystyle \omega \in \Omega }$ est appelé un atome d'une loi de probabilité ${\displaystyle \mathbb {P} }$ si le singleton ${\displaystyle \{\omega \}\in {\mathcal {A}}}$ et si ${\displaystyle \mathbb {P} (\{\omega \})\neq 0}$. L'ensemble ${\displaystyle \Omega _{a}}$ des atomes d'une loi de probabilité est fini ou dénombrable. Plus généralement, cette propriété est valable pour toute mesure σ-finie. Pour une loi de probabilité réelle, l'ensemble de ses atomes est exactement l'ensemble des points de discontinuité de sa fonction de répartition^[55] ; dans ce cas, la finitude ou la dénombrabilité de l'ensemble des atomes se retrouve à partir du fait que la fonction de répartition est bornée^[56].

Un critère suffisant pour qu'une loi soit discrète est que ${\displaystyle \Omega }$ soit fini ou dénombrable.

Si ${\displaystyle \mathbb {P} }$ est discrète, alors elle est concentrée en particulier sur l'ensemble (fini ou dénombrable) ${\displaystyle \Omega _{a}}$ de ses atomes^[57]. Pour définir ${\displaystyle \mathbb {P} }$, il suffit alors de définir l'ensemble des couples^[49] : ${\displaystyle \{(\omega ,p(\omega ))\in \Omega _{a}\times ]0,1]\}}$, où ${\displaystyle p}$ est la fonction de masse de ${\displaystyle \mathbb {P} }$. On obtient ainsi :

${\displaystyle \mathbb {P} (A)=\sum _{\omega \in \Omega _{a}}p(\omega )\ \delta _{\omega }(A)=\sum _{\omega \in A\cap \Omega _{a}}p(\omega )}$, pour tout ${\displaystyle A\in {\mathcal {A}}}$,

où ${\displaystyle \delta _{\omega }}$ est la mesure de Dirac^[16],[24] au point ${\displaystyle \omega }$.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire, les précédentes notions s'utilisent aussi pour cette variable aléatoire : une variable aléatoire ${\displaystyle X}$ est dite concentrée sur un ensemble ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$, respectivement est dite discrète, si sa loi ${\displaystyle \mathbb {P} _{X}}$ est concentrée sur ${\displaystyle B}$, respectivement est discrète. De même, l'ensemble des atomes de ${\displaystyle X}$ est l'ensemble ${\displaystyle \mathbb {R} _{a}}$ des atomes de ${\displaystyle \mathbb {P} _{X}}$.

Pour une variable aléatoire discrète ${\displaystyle X}$, on obtient :

${\displaystyle \mathbb {P} (X\in B)=\sum _{x\in \mathbb {R} _{a}}p_{X}(x)\ \delta _{x}(B)=\sum _{x\in B\cap \mathbb {R} _{a}}\mathbb {P} (X=x)}$, pour tout ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$,

où ${\displaystyle p_{X}}$ est la fonction de masse de ${\displaystyle \mathbb {P} _{X}}$, et ${\displaystyle \delta _{x}}$ la mesure de Dirac au point ${\displaystyle x}$.

Pour une variable aléatoire discrète ${\displaystyle X}$, le théorème de transfert s'exprime sous forme de sommes (ou de séries)^[58] :

${\displaystyle \mathbb {E} \left[\varphi (X)\right]=\sum _{x\in \mathbb {R} _{a}}\varphi (x)\ p_{X}(x)}$, pour toute fonction ${\displaystyle \varphi :\mathbb {R} \longrightarrow \mathbb {R} }$ positive ou nulle, ou telle que la série converge absolument.

La fonction de répartition d'une loi discrète est constante par morceaux^[49]. Une loi discrète peut être représentée par un diagramme en bâtons^[13].

Voici une liste non exhaustive de lois de probabilité discrètes à support fini ou dénombrable.

La mesure de Dirac est la plus simple des lois discrètes au sens où le support de la loi ne contient qu'une valeur^[59]. Si une variable aléatoire est de loi de Dirac ${\displaystyle \delta _{x}}$, alors ${\displaystyle X}$ vaut ${\displaystyle x}$ avec une probabilité égale à 1. Cette loi modélise un phénomène déterministe (non aléatoire) puisque le résultat de l'expérience est (presque sûrement) égal à la valeur connue ${\displaystyle x}$.

La loi uniforme discrète modélise un phénomène aléatoire dont les résultats sont équiprobables, par exemple un lancer de dé. Si le support ${\displaystyle S}$ de la loi est l'ensemble à ${\displaystyle n}$ éléments distincts ${\displaystyle \{x_{1},x_{2},\dots ,x_{n}\}}$, alors cette loi est définie par :

${\displaystyle \mathbb {P} (\{x_{1}\})=\mathbb {P} (\{x_{2}\})=\ldots =\mathbb {P} (\{x_{n}\})={\frac {1}{n}}.}$

La loi de Bernoulli correspond à une expérience à deux issues (succès–échec), généralement codées respectivement par les valeurs 1 et 0, lors d'une expérience à deux issues et dont la probabilité de succès est ${\displaystyle p}$. Cette loi dépend d'un paramètre ${\displaystyle p\in [0,1]}$ mesurant la probabilité de succès. Une variable aléatoire ${\displaystyle X}$ à valeurs dans ${\displaystyle \{0,1\}}$ possède une loi de Bernoulli si :

${\displaystyle \mathbb {P} (X=1)=p}$ et ${\displaystyle \mathbb {P} (X=0)=1-p}$.

Son univers image est ${\displaystyle \{0,1\}}$.

C'est la loi du nombre de succès obtenus à l'issue de ${\displaystyle n}$ épreuves de Bernoulli indépendantes et de même paramètre ${\displaystyle p\in [0,1]}$, autrement dit c'est la loi de la somme ${\displaystyle X}$ de ${\displaystyle n}$ variables aléatoires indépendantes de loi de Bernoulli de même paramètre. Cette loi à support fini est définie par :

${\displaystyle \mathbb {P} (X=k)={n \choose k}p^{k}(1-p)^{n-k}}$, pour tout ${\displaystyle k\in \{0,1,\dots ,n\}}$.

Son univers image est ${\displaystyle \{0,1,\dots ,n\}}$.

C’est une distribution concentrée sur un ensemble du type ${\displaystyle \{k\cdot d,k\in \mathbb {Z} \}}$, où ${\displaystyle d>0}$.

C'est la loi du numéro ${\displaystyle X}$ de l'épreuve amenant le premier succès lors d'une succession d'épreuves de Bernoulli indépendantes et de même paramètre ${\displaystyle p\in [0,1]}$. Elle peut ainsi modéliser le temps d'attente du premier succès dans une série d'épreuves de Bernoulli indépendantes à probabilité de succès ${\displaystyle p}$. C'est l'unique loi discrète à posséder la propriété de perte de mémoire. Cette loi à support infini dénombrable est définie par :

${\displaystyle \mathbb {P} (X=n)=(1-p)^{n-1}p}$, pour tout ${\displaystyle n\in \mathbb {N} ^{*}}$.

Son univers image est ${\displaystyle \mathbb {N} ^{*}}$.

La loi de Poisson est la loi qui décrit le comportement du nombre d'évènements se produisant dans un laps de temps fixé lorsque l’écart entre deux évènements successifs suit une loi exponentielle, ce qui est le cas dans la plupart des applications. Cette loi à support infini dénombrable dépend d'un paramètre ${\displaystyle \lambda >0}$. Si ${\displaystyle X}$ est une variable aléatoire suivant une loi de Poisson, alors :

${\displaystyle \mathbb {P} (X=n)={\frac {\lambda ^{n}}{n!}}\mathrm {e} ^{-\lambda }}$, pour tout ${\displaystyle n\in \mathbb {N} }$.

Son univers image est ${\displaystyle \mathbb {N} }$.

La loi hypergéométrique est la loi suivie par le nombre ${\displaystyle X}$ de boules gagnantes extraites lors d'un tirage simultané de ${\displaystyle n}$ boules dans une urne contenant ${\displaystyle pA}$ boules gagnantes et ${\displaystyle (1-p)A}$ boules perdantes. Cette loi à support fini dépend de trois paramètres ${\displaystyle n\in \mathbb {N} ^{*}}$, ${\displaystyle p\in [0,1]}$ et ${\displaystyle A\in \mathbb {N} ^{*}}$, et est définie par :

${\displaystyle \mathbb {P} (X=k)={\frac {{pA \choose k}{(1-p)A \choose n-k}}{A \choose n}}}$, pour tout ${\displaystyle k\in \{0,1,\dots ,n\}}$.

Une loi de probabilité réelle ${\displaystyle \mathbb {P} }$ est dite absolument continue^[60] ou à densité^[24] lorsqu'elle est absolument continue par rapport à la mesure de Lebesgue.

Si ${\displaystyle \mathbb {P} }$ est absolument continue alors en vertu du théorème de Radon-Nikodym^[61], elle possède une densité de probabilité par rapport à la mesure de Lebesgue, c'est-à-dire qu'il existe^[24] une unique (à égalité Lebesgue-presque partout près) fonction mesurable positive ${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} _{+}}$ telle que pour tout ${\displaystyle A\in {\mathcal {B}}(\mathbb {R} )}$ :

${\displaystyle \mathbb {P} (A)=\int _{A}f(x)\,\mathrm {d} x=\int _{\mathbb {R} }\mathbf {1} _{A}(x)f(x)\,\mathrm {d} x}$

où ${\displaystyle \mathbf {1} _{A}}$ est la fonction caractéristique du borélien ${\displaystyle A}$. Cette densité de probabilité n'a pas toujours d'expression analytique (voir les exemples ci-dessous).

Lorsqu'une loi de probabilité absolument continue est définie à partir d'une variable aléatoire ${\displaystyle X}$, la variable aléatoire est dite absolument continue^[16] ou à densité et la densité de la loi ${\displaystyle \mathbb {P} _{X}}$ est également appelée la densité de ${\displaystyle X}$, elle est parfois notée ${\displaystyle f_{X}}$.

Pour une variable aléatoire absolument continue ${\displaystyle X}$, le théorème de transfert s'écrit^[62] à l'aide d'une intégrale de Lebesgue^[60], pour toute fonction ${\displaystyle \varphi :\mathbb {R} \longrightarrow \mathbb {R} }$ intégrable par rapport à ${\displaystyle \mathbb {P} _{X}(\mathrm {d} x)=f_{X}(x)\,\mathrm {d} x}$ ou positive ou nulle :

${\displaystyle \mathbb {E} \left[\varphi (X)\right]=\int _{\mathbb {R} }\varphi (x)f_{X}(x)\,\mathrm {d} x}$.

La fonction de répartition d'une loi absolument continue est localement absolument continue, c'est une propriété nécessaire et suffisante. Une loi absolument continue ne possède pas d'atome^[63]. Toutefois, cette propriété, qui oppose les lois absolument continues aux lois discrètes, n'est pas caractéristique des lois absolument continues mais des lois continues (voir la section Lois singulières ci-dessous).

Les lois absolument continues sont parfois appelées plus simplement lois continues^[64]. C'est un abus de langage dû au fait que dans la plupart des applications en statistique, les lois continues sont absolument continues^[65], mais ce n'est pas vrai dans le cas général.

La loi uniforme sur un intervalle indique, intuitivement, que toutes les valeurs de l'intervalle ont les mêmes chances d'apparaître. Plus formellement, chaque sous-intervalle ${\displaystyle \left[c,d\right]\subset \left[a,b\right]}$ a une probabilité égale à la mesure de Lebesgue de ${\displaystyle \left[c,d\right]}$ (multipliée par une constante) d'apparaître. La loi uniforme ne dépend que de l'intervalle, son support est compact et sa densité est donnée par :

${\displaystyle f(x)={\frac {1}{b-a}}}$ pour ${\displaystyle x\in \left[a,b\right]}$.

${\displaystyle f(x)=0}$ sinon.

La loi exponentielle est la loi communément utilisée pour modéliser le temps de vie d'un phénomène puisque c'est l'unique loi absolument continue possédant la propriété de perte de mémoire. En ce sens elle est l'analogue continu de la loi géométrique. Cette loi à support semi-infini ne dépend que d'un paramètre (parfois appelé l'intensité), sa densité est donnée par, pour tout ${\displaystyle x\geq 0}$ :

${\displaystyle f(x)=\lambda \mathrm {e} ^{-\lambda x}}$.

La loi normale, ou loi gaussienne, est une loi centrale en théorie des probabilités et en statistique. Elle décrit le comportement des séries d'expériences aléatoires lorsque le nombre d'essais est très grand. C'est la loi limite dans le théorème central limite, elle est également l'unique loi stable de paramètre 2. La loi normale est caractérisée par sa moyenne (qui est également sa médiane) et par son écart-type, son support est la droite réelle. Sa densité est symétrique et sa forme est communément appelée la courbe de Gauss ou courbe en cloche :

${\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\mathrm {e} ^{-{\frac {(x-m)^{2}}{2\sigma ^{2}}}}.}$

La loi de Cauchy est la loi stable de paramètre 1, ce qui lui donne de bonnes propriétés. Elle est cependant un exemple typique de loi n'admettant pas de moments, en particulier ni moyenne, ni variance. Son support est la droite réelle et sa densité est symétrique et définie par :

${\displaystyle f(x)={\frac {1}{\pi }}{\frac {1}{1+x^{2}}}}$.

La loi de la position d'un mouvement brownien plan au moment où celui-ci atteint la droite ${\displaystyle y={\frac {1}{2}}}$ est une loi de Cauchy^{[a 2]}.

La loi de Tukey-lambda est une loi absolument continue, elle possède donc une densité de probabilité mais cette dernière n'a pas d'expression analytique. Cette loi dépend d'un paramètre, son support est soit un intervalle borné centré à l'origine, soit la droite réelle (en fonction du paramètre). La loi de Tuckey-lambda est définie à partir de sa fonction quantile (voir section Autres caractérisations ci-dessous) :

${\displaystyle Q(p)={p^{\lambda }-(1-p)^{\lambda } \over \lambda }}$.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite continue ou diffuse^[55] lorsqu'elle ne possède pas d'atome.

En particulier, les lois absolument continues sont continues, la réciproque n'est cependant pas vraie. La fonction de répartition d'une loi de probabilité réelle continue est continue^[55], c'est une propriété nécessaire et suffisante.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite singulière lorsqu'elle est continue mais pas absolument continue. C'est-à-dire qu'une loi singulière ne possède ni atome, ni densité.

Ces notions se disent également pour les lois de probabilité définies à partir de variables aléatoires : une variable aléatoire ${\displaystyle X}$ est continue (ou diffuse), respectivement singulière, lorsque sa loi de probabilité associée ${\displaystyle \mathbb {P} _{X}}$ est continue (ou diffuse), respectivement singulière.

C'est une loi singulière. Elle est définie à partir de l'ensemble de Cantor : ${\displaystyle \left\{\sum _{n=1}^{\infty }{\frac {x_{n}}{3^{n}}}\mid x_{n}\in \{0,2\}\right\}}$. Lorsque ${\displaystyle X_{n}}$ sont des variables indépendantes et identiquement distribuées de loi uniforme discrète sur ${\displaystyle \{0,2\}}$, alors

${\displaystyle X=\sum _{n=1}^{\infty }{\frac {X_{n}}{3^{n}}}}$

est une variable aléatoire de loi de Cantor^[66]. Cette loi de probabilité^[67] s'écrit sous la forme ${\displaystyle \mathbb {P} _{X}=\left({\tfrac {1}{2}}\delta _{0}+{\tfrac {1}{2}}\delta _{2}\right)^{\otimes \mathbb {N} }}$, c'est la loi uniforme sur l'ensemble de Cantor. Sa fonction de répartition est l'escalier de Cantor, elle est dérivable presque partout et de dérivée nulle presque partout^[66].

Dans les applications, il est rare que les lois continues contiennent une partie singulière^[65]. L'ensemble de Cantor apparaît toutefois dans certains exemples bien connus : l'ensemble des zéros du mouvement brownien est un ensemble de type Cantor.

Il existe des lois de probabilité qui ne sont ni discrètes, ni absolument continues, ni singulières, elles sont parfois appelées lois mixtes^[68],[69].

D'un point de vue plus général, toute loi de probabilité ${\displaystyle \mathbb {P} }$ peut se décomposer^[65],[56] en une combinaison linéaire d'une loi continue ${\displaystyle \mathbb {P} _{\text{c}}}$ et d'une loi discrète ${\displaystyle \mathbb {P} _{\text{d}}}$. De plus le théorème de décomposition de Lebesgue appliqué^[65] à ${\displaystyle \mathbb {P} _{\text{c}}}$ indique que cette loi continue se décompose en une combinaison linéaire de deux lois continues, l'une ${\displaystyle \mathbb {P} _{\text{ac}}}$ est absolument continue par rapport à la mesure de Lebesgue et l'autre ${\displaystyle \mathbb {P} _{\text{s}}}$ est singulière, étrangère à la mesure de Lebesgue. La décomposition s'écrit donc^[70] :

${\displaystyle \mathbb {P} =\alpha \mathbb {P} _{\text{d}}+(1-\alpha )\mathbb {P} _{\text{c}}=\alpha \mathbb {P} _{\text{d}}+\beta \mathbb {P} _{\text{ac}}+\gamma \mathbb {P} _{\text{s}}}$

avec ${\displaystyle \alpha ,\beta ,\gamma \in \left[0,1\right]}$ et ${\displaystyle \alpha +\beta +\gamma =1}$. La présence de ${\displaystyle (\alpha ,\beta ,\gamma )}$ assure que ${\displaystyle \mathbb {P} (\Omega )=1}$.

La loi de probabilité réelle suivante est un exemple de loi mixte obtenue en mélangeant une loi discrète, définie par ses atomes ${\displaystyle \{x_{k},k\in \mathbb {N} \}}$ et sa fonction de masse ${\displaystyle p}$, avec une loi absolument continue^[65] de densité ${\displaystyle f}$ :

${\displaystyle \mathbb {P} (\mathrm {d} x)=\alpha f(x)\,\mathrm {d} x+(1-\alpha )\sum _{k\in \mathbb {N} }p(x_{k})\delta _{x_{k}}(\mathrm {d} x)}$

où ${\displaystyle \alpha \in \left]0,1\right[}$. Sa fonction de répartition est une fonction continue par morceaux^[71], mais pas constante par morceaux (ce qui est le cas des fonctions de répartition des lois discrètes).

Intuitivement, cela correspond à un phénomène aléatoire dont la loi est absolument continue. Cependant, l'appareil de mesure ne peut mesurer les données qu'à partir d'un certain seuil c. Toutes les mesures non détectées par l'appareil seront assignées à 0, ainsi la loi est nulle sur toute partie « plus petite » que c alors qu'un saut apparaît au singleton c. Les mesures suivent la loi absolument continue pour les valeurs plus grandes que c^[68]. Dans cet exemple la fonction de répartition est discontinue en c.

Il existe plusieurs fonctions à variables réelles ou complexes qui déterminent de manière unique les lois de probabilité. Les propriétés de certaines de ces fonctions permettent de déduire des propriétés pour les lois comme le calcul des moments ou une expression de la convergence en loi.

D'après le lemme de classe monotone, les ensembles ${\displaystyle \left]-\infty ,x\right]}$, appelés pavés ou rectangles, engendrent^[72] la tribu borélienne réelle ${\displaystyle {\mathcal {B}}(\mathbb {R} )}$ et sont stables par intersection finie, il suffit alors de définir une loi de probabilité sur les pavés. On suppose que la loi de probabilité est réelle, c'est-à-dire ${\displaystyle (\Omega ,{\mathcal {A}})=(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$.

La fonction de répartition d'une loi de probabilité ${\displaystyle \mathbb {P} }$ réelle, notée par ${\displaystyle F}$, est^[73] la fonction définie par, pour tout ${\displaystyle x\in \mathbb {R} }$ :

${\displaystyle F(x)=\mathbb {P} {\big (}\left]-\infty ,x\right]{\big )}.}$

Une loi de probabilité est caractérisée par sa fonction de répartition, c'est-à-dire que deux lois de probabilité sont égales si et seulement si leurs fonctions de répartitions sont égales^[74].

Plus généralement, toute fonction ${\displaystyle F}$ croissante, continue à droite et vérifiant : ${\displaystyle \lim _{x\to -\infty }F(x)=0}$ et ${\displaystyle \lim _{x\to \infty }F(x)=1}$ est la fonction de répartition d'une unique^[75] loi de probabilité sur ${\displaystyle \mathbb {R} }$. La loi de probabilité définie à partir d'une fonction de répartition est appelée mesure de Lebesgue-Stieltjes^[74].

Un des avantages de la fonction est qu'elle est bien définie pour toute loi de probabilité^[75]. Cependant, elle n'a pas toujours d'expression explicite, un exemple étant la fonction de répartition de la loi normale. La fonction de répartition permet parfois des calculs de lois aisés (loi du maximum ou du minimum d'un échantillon, par exemple) et fournit un critère commode^[76] de convergence des lois de probabilité via le théorème porte-manteau.

On appelle fonction caractéristique d'une loi de probabilité ${\displaystyle \mathbb {P} }$, et l'on note ${\displaystyle \Phi }$, la « symétrie » de la transformée de Fourier de ${\displaystyle \mathbb {P} }$. Pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle \Phi (t)={\mathcal {F}}(\mathbb {P} )(-t)=\int _{\Omega }\mathrm {e} ^{\mathrm {i} t\omega }\,\mathbb {P} (\mathrm {d} \omega ).}$

Suivant la définition de la transformée de Fourier, la fonction caractéristique est sa symétrique ou non^[77]. Comme son nom l'indique, la fonction caractéristique détermine la loi de manière unique^[78], c'est-à-dire que deux lois de probabilité sont égales si et seulement si leurs fonctions caractéristiques sont égales.

Un des avantages de la fonction caractéristique est qu'elle existe pour toute loi de probabilité^[76],[77]. De plus, en utilisant la formule d'inversion de la transformée de Fourier^[79], la loi de probabilité s'obtient à partir de la fonction caractéristique. La représentation des lois par la fonction caractéristique permet également de caractériser^[80] la convergence des lois de probabilité via le théorème porte-manteau.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire ${\displaystyle X}$, d'après le théorème de transfert, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle \Phi _{X}(t)=\int _{\mathbb {R} }\mathrm {e} ^{\mathrm {i} tx}\,\mathbb {P} _{X}(\mathrm {d} x)=\int _{\Omega }\mathrm {e} ^{\mathrm {i} tX(\omega )}\,\mathbb {P} (\mathrm {d} \omega )=\mathbb {E} \left[\mathrm {e} ^{\mathrm {i} tX}\right].}$

La fonction génératrice des moments d'une loi de probabilité ${\displaystyle \mathbb {P} }$, notée ${\displaystyle M}$, est la « symétrie » de la transformée de Laplace de ${\displaystyle \mathbb {P} }$^[66],[81]. Lorsque la fonction ${\displaystyle \omega \mapsto \mathrm {e} ^{t\omega }}$ est intégrable par rapport à la mesure ${\displaystyle \mathbb {P} }$, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle M(t)={\mathcal {L}}(\mathbb {P} )(-t)=\int _{\Omega }\mathrm {e} ^{t\omega }\,\mathbb {P} (\mathrm {d} \omega ).}$

La fonction génératrice des moments détermine la loi de probabilité de manière unique si cette fonction existe sur un intervalle contenant l'origine^[76].

Un des avantages de cette fonction génératrice des moments est qu'elle permet de retrouver les moments de la loi de probabilité par les dérivées^[81]. Pour tout ${\displaystyle k\in \mathbb {N} }$, la ${\displaystyle k}$-ième dérivée de la fonction génératrice des moments en 0 est le moment d'ordre ${\displaystyle k}$ de la loi de probabilité :

${\displaystyle M^{(k)}(0)=\int _{\Omega }\omega ^{k}\mathbb {P} (\mathrm {d} \omega )}$.

La représentation des lois par la fonction génératrice des moments permet également de caractériser^[76] la convergence des lois de probabilité via le théorème porte-manteau.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire ${\displaystyle X}$, d'après le théorème de transfert, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle M_{X}(t)=\int _{\mathbb {R} }\mathrm {e} ^{tx}\,\mathbb {P} _{X}(\mathrm {d} x)=\int _{\Omega }\mathrm {e} ^{tX(\omega )}\,\mathbb {P} (\mathrm {d} \omega )=\mathbb {E} \left[\mathrm {e} ^{tX}\right]}$.

De plus, pour des lois définies à partir de variables aléatoires, cette fonction permet aisément de montrer l'indépendance des variables^[81].

Il existe un cas particulier pour les lois discrètes. La fonction génératrice des probabilités d'une loi de probabilité discrète ${\displaystyle \mathbb {P} =\sum _{k}p_{k}\delta _{k}}$ est définie^[81] comme l'espérance de la série génératrice : ${\displaystyle g(t)=\sum _{k}t^{k}p_{k}}$, sous réserve d’existence de cette série. Cette fonction génératrice détermine la loi de probabilité de manière unique^[81].

La fonction quantile^[82] d'une loi de probabilité réelle ${\displaystyle \mathbb {P} }$, notée ${\displaystyle Q}$, est la fonction qui donne les quantiles de la loi. Elle est définie par^[83], pour tout ${\displaystyle p\in \left]0,1\right[}$ :

${\displaystyle Q(p)=\inf\{u\in \mathbb {R} \mid F(u)\geq p\}}$,

où ${\displaystyle F}$ est la fonction de répartition de ${\displaystyle \mathbb {P} }$.

Certaines lois de probabilité sont plus faciles à définir, via leur fonction quantile. Intuitivement, ${\displaystyle Q(p)}$ est la valeur telle qu'une proportion ${\displaystyle x}$ des valeurs possibles de la loi lui soit inférieure. ${\displaystyle Q\left({\tfrac {1}{4}}\right)}$, ${\displaystyle Q\left({\tfrac {1}{2}}\right)}$ et ${\displaystyle Q\left({\tfrac {3}{4}}\right)}$ sont respectivement le 1^er quartile, la médiane^{[Information douteuse]} et le 3^e quartile de la loi.

Si ${\displaystyle F}$ est bicontinue alors ${\displaystyle Q}$ est la fonction réciproque de la fonction de répartition^[82] : ${\displaystyle Q=F^{-1}}$ ; c'est pour cela que dans le cas général on appelle aussi la fonction quantile réciproque généralisée de ${\displaystyle F}$ ou fonction inverse continue à droite de ${\displaystyle F}$.

Cette fonction quantile détermine la loi associée^[83] ${\displaystyle \mathbb {P} }$ au sens où, si ${\displaystyle U}$ est une variable aléatoire de loi uniforme continue sur [0, 1], alors ${\displaystyle Q(U)}$ est une variable aléatoire de loi ${\displaystyle \mathbb {P} }$ initiale. Cette représentation est particulièrement utile pour simuler des lois de probabilité^[84] puisqu'il suffit alors de simuler une loi uniforme continue et d'y appliquer la fonction quantile (voir la section ci-dessous sur la simulation des lois de probabilité).

Certaines lois n'ont pas de fonction de répartition explicite mais sont définies à partir de leur fonction quantile, c'est le cas de la loi de Tukey-lambda.

La répartition statistique d'une variable au sein d'une population est souvent voisine des modèles mathématiques des lois de probabilité^[85]. Il est souvent intéressant, pour des raisons théoriques et pratiques, d'étudier le modèle probabiliste, dit théorique^[86]. L'étude commence alors par une sélection au hasard de plusieurs valeurs ou individus. Si la méthode utilisée est parfaite, c'est-à-dire que ces valeurs observées sont issues d'une sélection équiprobable^[85], alors elles sont des variables aléatoires et l'étude du phénomène revient à étudier la loi de probabilité.

Afin d'étudier les lois de probabilité, il est important de pouvoir les simuler, ceci est dû notamment à l’utilisation de l'informatique dans les sciences. Comme indiqué ci-dessus, les lois de probabilité sont caractérisées par la fonction quantile via une variable aléatoire de loi uniforme continue. Cette méthode générale comprend deux étapes^[87] : la génération de valeurs dites pseudo-aléatoires de loi uniforme et l'inversion de la fonction de répartition de la loi étudiée. Cette deuxième étape n'est pas évidente à réaliser pour toutes les lois, d'autres méthodes sont alors utilisées.

« Quiconque considère des méthodes arithmétiques pour produire des nombres aléatoires est, bien sûr, en train de commettre un péché. » — John von Neumann

Pour obtenir des valeurs suivant la loi uniforme continue, l'ordinateur simule des valeurs de la loi uniforme discrète. Plusieurs méthodes ont été utilisées^[88] : l'utilisation de tables de données qui pouvaient en contenir plus d'un million est de moins en moins utilisée ; l'utilisation de processus physique comme la création d'un bruit électronique est assez coûteuse pour la récupération des données ; l'utilisation d'algorithmes arithmétiques est la méthode la plus simple. Ces algorithmes étant déterministes (non aléatoires), les valeurs obtenues sont appelées pseudo-aléatoires. De nombreux algorithmes ont été créés pour améliorer l'indépendance entre les valeurs et leur répartition dans l'intervalle ${\displaystyle \left[0,1\right]}$.

Lorsque la fonction de répartition est inversible, on utilise la caractérisation par la fonction quantile. Quelques exemples illustrent des cas où cette fonction n'est pas inversible : la méthode de Box-Muller permet de simuler la loi normale^[89], la méthode de rejet de von Neumann est fondé sur un test statistique et est applicable pour plusieurs lois^[90], d'autres méthodes spécifiques aux lois existent^[91]. Pour une distribution à support fini, on peut utiliser la méthode des alias qui simule la distribution en temps constant.

Une utilisation importante d'une simulation de loi de probabilité est la méthode de Monte-Carlo, pour faire des calculs approchés d’intégrales.

Par exemple pour approcher la valeur de π, la méthode consiste à simuler un grand nombre de valeurs suivant une loi uniforme continue sur ${\displaystyle \left[0,1\right]}$ et de compter la proportion des couples ${\displaystyle (x,y)}$ d'entre eux qui vérifient ${\displaystyle x^{2}+y^{2}\leq 1}$. Cette proportion se rapproche de ${\displaystyle {\frac {\pi }{4}}}$ lorsque le nombre de points tend vers l'infini^[92].

Plusieurs approximations d'une loi de probabilité existent en utilisant les différentes caractérisations détaillées ci-dessus. C'est généralement les techniques utilisées dans les cas pratiques. La première étape est la récolte des données, ce qui permet de construire les objets empiriques comme la fonction de répartition empirique. Ces derniers sont parfois appelés, par abus de langage, des lois de probabilité mais ce sont en fait des lois empiriques appelées distributions statistiques^[85]. Des théorèmes limites ou des tests statistiques permettent finalement d'identifier la meilleure loi de probabilité qui modélise le phénomène aléatoire initial^[86].

« Les probabilités doivent être regardées comme analogues à la mesure des grandeurs physiques, c'est-à-dire qu'elles ne peuvent jamais être connues exactement mais seulement avec une certaine approximation. »

— Émile Borel^[93]

Le test statistique de Kolmogorov-Smirnov, basé sur le théorème porte-manteau, permet d'identifier la fonction de répartition empirique calculée à partir des données à une fonction de répartition d'une loi de probabilité, en fonction d'un taux de rejet. L'avantage de la convergence des fonctions de répartition est que ces fonctions existent pour toutes lois de probabilité. Cette convergence permet en particulier d'approcher une loi absolument continue par une suite de lois discrètes^[94].

Différents théorèmes de convergence de variables aléatoires permettent de construire une suite de lois de probabilité qui converge vers une loi donnée, ou inversement de construire une loi comme limite de lois de probabilité. Le théorème central limite concerne la loi normale pour loi limite. Le théorème de continuité de Paul Lévy concerne la convergence des fonctions caractéristiques.

La régression quantile permet d'approcher les quantiles de la loi par les quantiles empiriques, c'est-à-dire calculés à partir d'éventuelles données. On peut utiliser un test statistique pour comparer les quantiles empiriques (observés) avec les quantiles de la loi qui est supposée modéliser le phénomène.

Cette approche est particulièrement utile pour étudier certaines lois qui ne sont pas connues explicitement par leur densité ou leur fonction de répartition mais par leurs quantiles, c'est le cas de la loi de Tukey-lambda.

Plusieurs tests statistiques existent pour comparer deux lois. Plus précisément, les tests d'adéquation permettent de comparer une loi empirique (c'est-à-dire calculée à partir des données issues d'échantillons) à une loi de probabilité dite a priori qui est censée modéliser le phénomène étudié. Les deux principaux tests sont : le test de Kolmogorov-Smirnov mentionné ci-dessus qui compare les fonctions de répartition et le test d'adéquation du χ² qui compare les effectifs observés en utilisant une loi du χ². Parmi ces tests, ceux qui concernent la loi normale sont dits tests de normalité.

Les tests d’homogénéité permettent de comparer deux lois empiriques pour savoir si elles sont issues du même phénomène ou, de manière équivalente, si elles peuvent être modélisées par la même loi de probabilité a priori. Ces tests comparent certaines propriétés des lois empiriques à la propriété de la loi a priori. Ils sont utiles dans la pratique puisqu'ils permettent de comparer non pas des lois entières mais des valeurs issues des lois^[95] : le test de Fisher estime le rapport des variances empiriques via la loi de Fisher^[95], le test de Student estime la moyenne empirique via la loi de Student^[96], etc.

Les lois de probabilité sont utilisées pour représenter les phénomènes observés. Une loi de probabilité, dite a priori, est supposée modéliser les données récupérées, des tests statistiques sont alors réalisés pour affirmer ou infirmer la concordance de la loi de probabilité avec les données. Dans bien des domaines, les méthodes ont évolué et de meilleures lois de probabilité ont été créées afin de mieux correspondre au problème posé. Voici une liste d'exemples concrets qui proposent des modélisations :

• en économie : la bourse est une institution qui permet d'échanger des biens ou des titres. Afin de mieux estimer le prix futur d'un bien ou d'un titre, une étude de l'évolution historique de son prix est réalisée, notamment par la modélisation des variations des cours des prix. Ces variations ont d'abord été modélisées par une loi normale (Bachelier, 1900), puis une amélioration a été faite avec les lois stables de Pareto (Mandelbrot, 1963). Depuis, de nouveaux modèles sont toujours recherchés pour améliorer la perception des risques^{[a 3]} ;
• aux jeux de hasard : pour jouer au loto français, il faut choisir six numéros parmi les quarante-neuf possibles. Si les joueurs choisissent leurs numéros au hasard, c'est-à-dire avec une loi uniforme discrète, alors le nombre de gagnants suit une loi de Poisson. Grâce à cette considération, une étude peut être réalisée puisque le nombre de gagnants est une donnée connue. Il apparaît que le choix n'est pas uniforme mais que les petits numéros ont été plus choisis^{[a 4]} ;
• en maintenance : une bonne compréhension de la dégradation permet d'améliorer la performance de la maintenance. Plusieurs lois a priori ont été utilisées pour modéliser l'évolution de la fissure des chaussées : la loi exponentielle, la loi de Weibull, la loi log-normale, la loi log-logistique, etc. Pour une utilisation de la méthode du maximum de vraisemblance, la loi log-logistique fait partie des lois les plus adaptées^{[a 5]} ;
• en médecine : pour tester l'efficacité des médicaments, un essai clinique est réalisé auprès d'un échantillon d'utilisateurs. Cette méthode fait partie de la théorie de la décision. Une des méthodes est de sélectionner un malade pour réaliser un test avec deux issues (succès ou échec), c'est-à-dire de modéliser par une loi de Bernoulli, puis de recommencer le plus de fois possibles ; c'est la méthode des urnes de Bernoulli. Une meilleure méthode est d'utiliser la loi hypergéométrique, ce choix permet de ne considérer qu'une population d'individus de taille fixée préalablement^{[a 6]} ;
• en météorologie : en hydrologie, la pluviométrie est l'étude de la quantité d'eau issue de la pluie tombée en un point du sol pendant une durée de temps fixée. Le choix de la loi a priori ne fait pas consensus au sein de la communauté scientifique internationale. Certains auteurs préconisent l'utilisation de la loi log-normale qui s'ajuste bien aux petites valeurs. D'autres proposent la loi Gamma qui s'ajuste bien aux valeurs expérimentales. L'utilisation de la loi de Pareto a son intérêt pour représenter les valeurs moyennes^{[a 7]}.

• Philippe Barbé et Michel Ledoux, Probabilité, Les Ulis, EDP Sciences, 2007, 241 p. (ISBN 978-2-86883-931-2, lire en ligne).
• Patrick Bogaert, Probabilités pour scientifiques et ingénieurs : Introduction au calcul des probabilités, Paris, Éditions De Boeck, 2006, 387 p. (ISBN 2-8041-4794-0, lire en ligne).
• Yves Caumel, Probabilités et processus stochastiques, Paris/Berlin/Heidelberg etc., Springer, 2011, 303 p. (ISBN 978-2-8178-0162-9, lire en ligne).
• Dalang et Conus, Introduction à la théorie des probabilités, Lausanne, Presses polytechniques et universitaires romandes, 2008, 204 p. (ISBN 978-2-88074-794-7, lire en ligne).
• Yves Ducel, Les probabilités à l'agrégation externe de mathématiques : Guide pour une révision, Besançon, Presses Universitaires de Franche-Comté, 1996, 42 p. (ISBN 2-909963-08-X, lire en ligne).
• Michel Henry, Probabilités et statistique, Presses Universitaires de Franche-Comté, 2001, 262 p. (lire en ligne).
• Franck Jedrzejewski, Modèles Aléatoires et Physique Probabiliste, Paris/Berlin/Heidelberg etc., Springer, 2009, 572 p. (ISBN 978-2-287-99307-7, lire en ligne).
• (en) Fima Klebaner, Introduction to Stochastic Calculus With Applications, Imperial College Press, 2005, 416 p. (ISBN 1-86094-555-4, lire en ligne).
• (en) Michel Ledoux et Michel Talagrand, Probability in Banach spaces : isoperimetry and processes, Berlin/Heidelberg/Paris etc., Springer, 2002, 485 p. (ISBN 3-540-52013-9, lire en ligne).
• Jean-Jacques Martiano, Maths : Prépas commerciales, Principes, 2006, 539 p. (ISBN 978-2-84472-828-9, lire en ligne).
• Alan Ruegg, Autour de la modélisation en probabilités, Presses Polytechniques et universitaires romandes, 1994, 4^e éd., 157 p. (ISBN 2-88074-286-2, lire en ligne).
• (en) David Ruppert, Statistics and Finance : An Introduction, Springer, 2004, 485 p. (ISBN 0-387-20270-6, lire en ligne).
• Gilbert Saporta, Probabilités, Analyse des données et Statistiques, Paris, Éditions Technip, 2006, 622 p. [détail des éditions] (ISBN 978-2-7108-0814-5, présentation en ligne).
• (en) Albert Shiryaev, Probability, Springer, 1995, 2^e éd., 627 p. (ISBN 978-0-387-94549-1, lire en ligne).
• (en) Dennis Wackerly, William Mendenhall et Richard L. Schaeffer, Mathematical Statistics with applications, Brooks Cole, 2008, 7^e éd., 922 p. (lire en ligne).

• Ressource relative à la santé :
  • Medical Subject Headings
• Notice dans un dictionnaire ou une encyclopédie généraliste :

  • Store norske leksikon
• Notices d'autorité :

  • BnF (données)
  • LCCN
  • GND
  • Japon
  • Israël
  • Tchéquie

• Portail des probabilités et de la statistique