Twierdzenie Bayesa

Twierdzenie Bayesa – twierdzenie teorii prawdopodobieństwa, wiążące prawdopodobieństwa warunkowe dwóch zdarzeń warunkujących się nawzajem, sformułowane przez Thomasa Bayesa. Twierdzenie stanowi podstawę teoretyczną wnioskowania bayesowskiego, oraz sieci bayesowskich stosowanych w eksploracji danych.

Twierdzenie (wzór) Bayesa w swej podstawowej formie mówi, że^[1]

${\displaystyle {\mathsf {P}}(A\mid B)={\frac {{\mathsf {P}}(B\mid A)\,{\mathsf {P}}(A)}{{\mathsf {P}}(B)}},}$

(B)

gdzie ${\displaystyle A}$ i ${\displaystyle B}$ są zdarzeniami oraz ${\displaystyle {\mathsf {P}}(B)>0,}$ przy czym

• ${\displaystyle {\mathsf {P}}(A\mid B)}$ oznacza prawdopodobieństwo warunkowe, tj. prawdopodobieństwo zajścia zdarzenia ${\displaystyle A,}$ o ile zajdzie zdarzenie ${\displaystyle B.}$
• ${\displaystyle {\mathsf {P}}(B\mid A)}$ oznacza prawdopodobieństwo zajścia zdarzenia ${\displaystyle B,}$ o ile zajdzie zdarzenie ${\displaystyle A.}$

Z definicji prawdopodobieństwa warunkowego

${\displaystyle {\mathsf {P}}(A\mid B)={\frac {{\mathsf {P}}(A\cap B)}{{\mathsf {P}}(B)}}.}$

W przypadku, gdy ${\displaystyle {\mathsf {P}}(A)=0,}$ twierdzenie zachodzi, ponieważ wtedy ${\displaystyle P(A\cap B)=0.}$ Załóżmy zatem, że ${\displaystyle {\mathsf {P}}(A)>0.}$ Wtedy

${\displaystyle {\mathsf {P}}(B\mid A)={\frac {{\mathsf {P}}(A\cap B)}{{\mathsf {P}}(A)}}.}$

Stąd

${\displaystyle {\mathsf {P}}(A\mid B)\cdot {\mathsf {P}}(B)={\mathsf {P}}(A\cap B)={\mathsf {P}}(B\mid A)\cdot {\mathsf {P}}(A).}$

Dzieląc stronami powyższą równość przez ${\displaystyle {\mathsf {P}}(B),}$ otrzymujemy tezę.

Niech ${\displaystyle B,T_{1},\dots ,T_{n}}$ będą takimi zdarzeniami, że

${\displaystyle {\mathsf {P}}(B)>0,\quad B\subset \bigcup _{i=1}^{n}T_{i}}$    i    ${\displaystyle T_{i}\cap T_{j}=\varnothing \quad (i\not =j).}$

Wtedy

${\displaystyle {\mathsf {P}}(T_{j}|B)={\frac {{\mathsf {P}}(B|T_{j}){\mathsf {P}}(T_{j})}{\sum _{i=1}^{n}{\mathsf {P}}(B|T_{i}){\mathsf {P}}(T_{i})}}.}$^[2]

W szczególności, gdy ${\displaystyle A}$ jest dowolnym zdarzeniem oraz ${\displaystyle T_{1}=A,T_{2}=A',}$ to

${\displaystyle {\mathsf {P}}(A\mid B)={\frac {{\mathsf {P}}(B\mid A)\,{\mathsf {P}}(A)}{{\mathsf {P}}(B\mid A){\mathsf {P}}(A)+{\mathsf {P}}(B\mid A'){\mathsf {P}}(A')}}.}$

(B2)

Ze wzoru Bayesa (B) wynika, że

${\displaystyle {\mathsf {P}}(T_{i}|B)={\mathsf {P}}(B|T_{i})\cdot {\frac {{\mathsf {P}}(T_{i})}{{\mathsf {P}}(B)}}.}$

Stąd z twierdzenia o prawdopodobieństwie całkowitym mamy

${\displaystyle {\mathsf {P}}(B)={\mathsf {P}}\left(B\cap \bigcup _{i=1}^{n}T_{i}\right)={\mathsf {P}}\left(\bigcup _{i=1}^{n}B\cap T_{i}\right)=\sum _{i=1}^{n}{\mathsf {P}}(B\cap T_{i})=\sum _{i=1}^{n}{\mathsf {P}}(B|T_{i}){\mathsf {P}}(T_{i}).}$

Niech ${\displaystyle B}$ będzie zdarzeniem „u pacjenta występuje wysoka gorączka”, a ${\displaystyle A}$ będzie zdarzeniem „pacjent ma grypę”. Jeśli znane są odsetek gorączkujących ${\displaystyle {\mathsf {P}}(B)}$ i odsetek chorych na grypę ${\displaystyle {\mathsf {P}}(A)}$ w całej populacji, oraz odsetek gorączkujących wśród chorych na grypę, tj. ${\displaystyle {\mathsf {P}}(B|A),}$ to twierdzenie Bayesa pozwala wyznaczyć odsetek chorych na grypę wśród gorączkujących ${\displaystyle {\mathsf {P}}(A|B).}$

Na przykład jeżeli wiadomo, że ${\displaystyle {\mathsf {P}}(B)=0{,}2,{\mathsf {P}}(A)=0{,}1}$ oraz ${\displaystyle {\mathsf {P}}(B|A)=0{,}7,}$ to na mocy wzoru (B):

${\displaystyle {\mathsf {P}}(A\mid B)={\frac {{\mathsf {P}}(B\mid A)\,{\mathsf {P}}(A)}{P(B)}}={\frac {0{,}7\cdot 0{,}1}{0{,}2}}=0{,}35}$

Twierdzenia Bayesa można użyć do interpretacji rezultatów badania przy użyciu testów wykrywających narkotyki. Załóżmy, że przy badaniu narkomana test wypada pozytywnie w 99% przypadków, zaś przy badaniu osoby nie zażywającej narkotyków wypada negatywnie w 99% przypadków. Pewna firma postanowiła przebadać swoich pracowników takim testem, wiedząc, że 0,5% z nich to narkomani. Chcemy obliczyć prawdopodobieństwo, że osoba, u której test wypadł pozytywnie, rzeczywiście zażywa narkotyki. Oznaczmy następujące zdarzenia:

• ${\displaystyle D}$ – dana osoba jest narkomanem,
• ${\displaystyle N}$ – dana osoba nie jest narkomanem,
• ${\displaystyle +}$ – u danej osoby test dał wynik pozytywny,
• ${\displaystyle -}$ – u danej osoby test dał wynik negatywny.

Wiemy, że:

• ${\displaystyle {\mathsf {P}}(D)=0{,}005,}$ gdyż 0,5% pracowników to narkomani,
• ${\displaystyle {\mathsf {P}}(N)=1-{\mathsf {P}}(D)=0{,}995,}$
• ${\displaystyle {\mathsf {P}}(+|D)=0{,}99,}$ gdyż taką skuteczność ma test przy badaniu narkomana,
• ${\displaystyle {\mathsf {P}}(-|N)=0{,}99,}$ gdyż taką skuteczność ma test przy badaniu osoby niebędącej narkomanem,
• ${\displaystyle {\mathsf {P}}(+|N)=1-{\mathsf {P}}(-|N)=0{,}01.}$

Mając te dane, chcemy obliczyć prawdopodobieństwo, że osoba, u której test wypadł pozytywnie, rzeczywiście jest narkomanem. Ze wzoru (B2) wynika, że

${\displaystyle {\mathsf {P}}(D|+)={\frac {{\mathsf {P}}(D){\mathsf {P}}(+|D)}{{\mathsf {P}}(+)}}={\frac {{\mathsf {P}}(+|D){\mathsf {P}}(D)}{{\mathsf {P}}(+|D){\mathsf {P}}(D)+{\mathsf {P}}(+|N){\mathsf {P}}(N)}}={\frac {0{,}99\cdot 0{,}005}{0{,}99\cdot 0{,}005+0{,}01\cdot 0{,}995}}=0{,}3322.}$

Mimo potencjalnie wysokiej skuteczności testu, prawdopodobieństwo, że narkomanem jest badany pracownik, u którego test dał wynik pozytywny, jest równe około 33%, więc jest nawet bardziej prawdopodobnym, że taka osoba nie zażywa narkotyków. Ten przykład pokazuje, dlaczego ważne jest, aby nie polegać na wynikach tylko pojedynczego testu.

Innymi słowy, pozorny paradoks polegający na dużej dokładności testu (99% wykrywalności narkomanów wśród narkomanów i nieuzależnionych wśród nieuzależnionych) i niskiej dokładności badania bierze się stąd, że w badanej próbie tylko niewielka część osób to narkomani.

Przykładowo jeśli badamy 1000 osób, 0,5% z nich, czyli 5 to narkomani, a 995 nie. Natomiast test wskaże jako narkomanów 1% nieuzależnionych (995 · 1% ≈ 10), oraz 99% uzależnionych (5 · 99% ≈ 5). Ostatecznie test wypadł pozytywnie dla 15 osób, jednak tylko 5 z nich to narkomani.

W interpretacji subiektywistycznej jest twierdzeniem wręcz podstawowym^[3]. Otóż niech ${\displaystyle X}$ będzie pewnym zdarzeniem, ${\displaystyle T}$ zaś pewną teorią.

${\displaystyle P(X)}$ jest obserwowanym prawdopodobieństwem zdarzenia ${\displaystyle X,}$ zaś ${\displaystyle P(X|T)}$ to prawdopodobieństwo, że zdarzenie ${\displaystyle X}$ nastąpi według teorii ${\displaystyle T.}$ Z kolei ${\displaystyle P(T)}$ to prawdopodobieństwo, że teoria ${\displaystyle T}$ jest prawdziwa, ${\displaystyle P(T|X)}$ to prawdopodobieństwo, że teoria ${\displaystyle T}$ jest prawdziwa, jeśli zaobserwowano ${\displaystyle X.}$

Zdania typu „prawdopodobieństwo, że teoria ${\displaystyle T}$ jest prawdziwa” są z punktu widzenia interpretacji obiektywistycznej nie do przyjęcia – teoria jest prawdziwa (prawdopodobieństwo równe jedności) lub też nie (prawdopodobieństwo równe zeru), czyli prawdziwość teorii nie jest zdarzeniem losowym.

• ThomasT. Bayes ThomasT., An essay towards solving a Problem in the Doctrine of Chances [online] [dostęp 2018-10-15] [zarchiwizowane z adresu 2011-04-10]  (ang.). (Opracowanie Bayesa w zapisie oryginalnym)
• JamesJ. Joyce JamesJ., Bayes’ Theorem, [w:] Stanford Encyclopedia of Philosophy, CSLI, Stanford University, 30 września 2003, ISSN 1095-5054 [dostęp 2017-12-30]  (ang.). (Twierdzenie Bayesa)
• Grant Sanderson, Bayes theorem, 3blue1brown, YouTube, 22 grudnia 2019 [dostęp 2021-03-14].