Egyszempontos varianciaanalízis

A statisztikában az egyszempontos varianciaanalízis (rövidítve egyszempontos ANOVA) olyan technika, amely két vagy több minta átlagának összehasonlítására használható (az F-eloszlás használatával). Ez a technika csak numerikus válasz adatokkal használható, a függő változó, általában egy változó, és ezek numerikus, vagy (általában) kategorikus bemeneti adatok, a független változó, mindig egy változó, ezért "egyirányú".^[1]

Az ANOVA azt a nullhipotézist teszteli, hogy a minták minden csoportban azonos átlagértékű populációkból kerülnek kiválasztásra. Ehhez két becslés készül a lakosság varianciájáról. Ezek a becslések különböző feltételezésekre támaszkodnak (lásd alább). Az ANOVA képez egy F-statisztikát,  ami a mintákon belüli átlagok varianciájának a varianciahányadosa. Hogyha a csoportátlagokat azonos átlagértékű populációkból vettük, akkor a csoportok közötti variancia alacsonyabb kellene, hogy legyen, mint a minták varianciája, követve a központi határeloszlás-tételt. Egy magasabb arány tehát implikálja, hogy a mintákat különböző átlagértékű populációkból vettük.

Jellemzően azonban az egyszempontos ANOVA legalább három csoport közötti különbségek mérésére használt teszt, mivel a két csoport eseté t-próba alkalmazható (Gosset, 1908). Amikor csak két csoport átlagát hasonlítjuk össze,  a t-próba valamint az F-teszt egyenértékű; az összefüggés az ANOVA és a t között F = t². Az egyszempontos ANOVA kiterjesztése a kétszempontos varianciaanalízis, ami két különböző kategorikus független változó hatását vizsgálja a függő változóra.

Az egyszempontos ANOVA eredményei addig tekinthetőek megbízhatónak, amíg a következő feltételezések teljesülnek:

• Válasz változó reziduálisok normális eloszlásúak (vagy közel normális eloszlásúak).
• A populációk varianciája egyenlő.
• Adott csoport válaszai független, azonos eloszlású, normális eloszlású véletlen változók (nem egy egyszerű véletlen minta (SRS)).

Ha az adatok ordinálisak, nem-parametrikus alternatívaként például a Kruskal–Wallis egyutas varianciaanalízis használható. Ha a varianciák nem egyenlőek, a kétmintás Welch t-teszt általánosítását lehet használni.^[2]

Az ANOVA egy viszonylag robusztus eljárás, a normalitás megsértésére való tekintettel is.^[3]

Az egyszempontos ANOVA általánosítható faktoriális, többváltozós elrendezésekhez, valamint kovariancia elemzéséhez is.

Gyakran kijelentetik a népszerű irodalomban, hogy ezen F-tesztek egyike sem robusztus, amikor súlyosan sérül az a feltételezés, hogy az egyes populációk követik normális eloszlást, különösen a kis alfa szintek és az aszimmetrikus elrendezés miatt.^[4] Emellett azt is állítják, hogy ha a mögöttes feltételezés, a homoszkedaszticitás megsérül, az elsőfajú hiba lehetősége jelentősen nő.^[5]

Azonban az 1950-es években és korábban készült munkák alapján ez tévedés. Az első átfogó vizsgálat a kérdésre a Monte Carlo szimuláció volt Donaldson (1966) által.^[6] Megmutatta, hogy a normalitás általános sérülései során (pozitív ferdeség, nem egyenlő szórások) "az F-teszt olyan konzervatív", hogy kevésbé valószínű azt találnunk, hogy egy változó szignifikáns, mint azt, hogy nem. Azonban, hogyha akár a minta mérete, vagy a cellák száma növekszik, "a teljesítmény görbék a normál eloszlás felé konvergálnak". Tiku (1971) megállapította, hogy "a nem-normál elméletű F ereje eltér a normál elmélet erejétől, egy korrekciós idő által, amely élesen csökken a minta méretének  növekedésével."^[7] A probléma a nem-normalitással, különösen a nagy minták esetén, sokkal kevésbé súlyos, mint azt népszerű cikkek sejtetik.

Az aktuális nézet szerint a "Monte-Carlo tanulmányokat széles körben használták a normál eloszlás-alapú vizsgálatokhoz meghatározandó, hogy milyen érzékenyek ezek a normál eloszlás megsértésének feltételezésére, a vizsgált változókra vonatkozóan a populáción belül . Az általános következtetés ezekből a vizsgálatokból, hogy az ilyen sértések következményei kevésbé súlyosak, mint azt korábban gondolták. Ezek a következtetések növelték az eloszlás-függő statisztikai tesztek általános népszerűségét rengeteg kutatási területen."^[8]

Nemparaméteres alternatívákért faktoriális elrendezésben, lásd Sawilowsky.^[9] További párbeszédért lásd ANOVA rangsorolva.

A normál lineáris modell a kezelt csoportokat a valószínűségi disztribúció alapján írja le, amelyej hasonló harang alakú (normál) görbék más átlagokkal. Tehát a modellek illeszkedési csupán az egyes kezelési csoportok átlagait és a variancia számítását igényli. Az átlagok és a variancia számítása a hipotézis tesztelés részeként zajlik.

A leggyakrabban használt normál lineáris modellek egy teljesen randomizált kísérlethez:^[10]

${\displaystyle y_{i,j}=\mu _{j}+\varepsilon _{i,j}}$ (az átlagok modell)

vagy

${\displaystyle y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}}$ (a hatások modell)

ahol

${\displaystyle i=1,\dotsc ,I}$ index a kísérleti egységek fölött

${\displaystyle j=1,\dotsc ,J}$ index a kezelt csoportok között

${\displaystyle I_{j}}$ a kísérleti egységek száma a j-edik kezelt csoportban

${\displaystyle I=\sum _{j}I_{j}}$ a kísérleti egységek teljes száma

${\displaystyle y_{i,j}}$megfigyelések

${\displaystyle \mu _{j}}$ a j-edik kezelt csoportokra vonatkozó megfigyelések átlaga

${\displaystyle \mu }$ a megfigyelések nagy átlaga

${\displaystyle \tau _{j}}$a j-edik kezelési hatás, a nagy átlagtól való eltérés

${\displaystyle \sum \tau _{j}=0}$

${\displaystyle \mu _{j}=\mu +\tau _{j}}$

${\displaystyle \varepsilon \thicksim N(0,\sigma ^{2})}$, ${\displaystyle \varepsilon _{i,j}}$ normál eloszlású zéró átlagú random hibák.

Az indexet " ${\displaystyle i}$" a kísérleti egységek felett több módon lehet értelmezni. Egyes kísérleteknél, ugyanaz a kísérleti egység  számos kezeléshez tartozik;  egységre. Máskor minden csoportban van külön, egyedi kísérleti egységek vannak; ilyenkor  egyszerűen egy indexe a ${\displaystyle j}$-edik listának.

A kísérleti megfigyeléseket ${\displaystyle y_{ij}}$ elrendezhetjük oszloponként csoportokban:

	Lists of Group Observations
	${\displaystyle I_{1}}$	${\displaystyle I_{2}}$	${\displaystyle I_{3}}$	${\displaystyle \dotso }$	${\displaystyle I_{j}}$
1	${\displaystyle y_{11}}$	${\displaystyle y_{12}}$	${\displaystyle y_{13}}$		${\displaystyle y_{1j}}$
2	${\displaystyle y_{21}}$	${\displaystyle y_{22}}$	${\displaystyle y_{23}}$		${\displaystyle y_{2j}}$
3	${\displaystyle y_{31}}$	${\displaystyle y_{32}}$	${\displaystyle y_{33}}$		${\displaystyle y_{3j}}$
${\displaystyle \vdots }$					${\displaystyle \vdots }$
${\displaystyle i}$	${\displaystyle y_{i1}}$	${\displaystyle y_{i2}}$	${\displaystyle y_{i3}}$	${\displaystyle \dotso }$	${\displaystyle y_{ij}}$
	Group Summary Statistics						Grand Summary Statistics
# Observed	${\displaystyle I_{1}}$	${\displaystyle I_{2}}$	${\displaystyle \dotso }$	${\displaystyle I_{j}}$	${\displaystyle \dotso }$	${\displaystyle I_{J}}$	# Observed	${\displaystyle I=\sum I_{j}}$
Sum				${\displaystyle \sum _{i}y_{ij}}$			Sum	${\displaystyle \sum _{j}\sum _{i}y_{ij}}$
Sum Sq				${\displaystyle \sum _{i}(y_{ij})^{2}}$			Sum Sq	${\displaystyle \sum _{j}\sum _{i}(y_{ij})^{2}}$
Mean	${\displaystyle m_{1}}$	${\displaystyle \dotso }$		${\displaystyle m_{j}}$	${\displaystyle \dotso }$	${\displaystyle m_{J}}$	Mean	${\displaystyle m}$
Variance	${\displaystyle s_{1}^{2}}$	${\displaystyle \dotso }$		${\displaystyle s_{j}^{2}}$	${\displaystyle \dotso }$	${\displaystyle s_{J}^{2}}$	Variance	${\displaystyle s^{2}}$

Összehasonlítva a modellt az összegzésekkel: ${\displaystyle \mu =m}$ és ${\displaystyle \mu _{j}=m_{j}}$. A nagy átlag és a nagy variancia a nagy összegekből számolandó, nem pedig a csoport átlagokból és szórásokból.

Az összefoglaló statisztikákat figyelembe véve a hipotézis teszt számításait láthatjuk táblázatos formában. Míg két oszlop négyzetösszeg (SS) látható, addig csak egy oszlop is elég az eredmények megjelenítéséhez.

ANOVA table for fixed model, single factor, fully randomized experiment

Source of variation	Sums of squares	Sums of squares	Degrees of freedom	Mean square	F
Explanatory SS[11]	Computational SS[12]	DF	MS
Treatments	${\displaystyle \sum _{Treatments}I_{j}(m_{j}-m)^{2}}$	${\displaystyle \sum _{j}{\frac {(\sum _{i}y_{ij})^{2}}{I_{j}}}-{\frac {(\sum _{j}\sum _{i}y_{ij})^{2}}{I}}}$	${\displaystyle J-1}$	${\displaystyle {\frac {SS_{Treatment}}{DF_{Treatment}}}}$	${\displaystyle {\frac {MS_{Treatment}}{MS_{Error}}}}$
Error	${\displaystyle \sum _{Treatments}(I_{j}-1)s_{j}^{2}}$	${\displaystyle \sum _{j}\sum _{i}y_{ij}^{2}-\sum _{j}{\frac {(\sum _{i}y_{ij})^{2}}{I_{j}}}}$	${\displaystyle I-J}$	${\displaystyle {\frac {SS_{Error}}{DF_{Error}}}}$
Total	${\displaystyle \sum _{Observations}(y_{ij}-m)^{2}}$	${\displaystyle \sum _{j}\sum _{i}y_{ij}^{2}-{\frac {(\sum _{j}\sum _{i}y_{ij})^{2}}{I}}}$	${\displaystyle I-1}$

${\displaystyle MS_{Error}}$a modell ${\displaystyle \sigma ^{2}}$-ének becsült varianciája.

Az ANOVA elemzés alapja egy sor számításon áll. Az adatokat táblázatos formában gyűjti. Aztán

• Minden egyes kezelési csoport összegezve van a kísérleti egységek száma, két összeg, egy átlag és egy variancia alapján. A kezelési csoport összefoglalók kombinálva vannak, hogy biztosítsák az egységek számáról és a végösszegek összértékét. A nagy átlag és a nagy variancia a nagy végösszegekből számolandó. A kezelési és a nagy átlagokat felhasználja a modell.
• A három szabadságfok és négyzetösszeg a végösszegekből számolandó.
• A számítógép általában az F-értékből határozza meg a p-értéket, ami megállapítja, hogy a kezelések szignifikáns eredményeket szültek-e. Hogyha az eredmények szignifikánsak, akkor a modellnek előreláthatóan van érvényessége.

Ha a kísérlet kiegyensúlyozott, minden ${\displaystyle I_{j}}$ feltétel egyenlő, tehát a négyzetösszeg számolások egyszerűsödnek. Egy bonyolultabb kísérletben, ahol a kísérleti egységek (vagy a környezeti hatások) nem homogének, sorban értelmezett statisztikákat is használunk az elemzésben. Az extra feltételek meghatározása csökkenti az elérhető szabadságfokok számát.

Képzeljünk el egy kísérletet, hogy egy faktor 3 szintjének hatását tanulmányozzuk (pl. három szintű permetező egy növényültetvényen). Hogyha 6 megfigyelésünk van minden szinten, akkor le tudjuk írni a lehetséges kimeneteleket az alábbi táblázatnak megfelelően, ahol a₁, a₂, és a₃ a faktor 3 szintje, melyeket megfigyelünk.

a1	a2	a3
6	8	13
8	12	9
4	9	11
5	11	8
3	6	7
4	8	12

A nullhipotézis (H0), az összes F-tesztre vonatkozóan erre a kísérletre nézve az lenne, hogy a faktor három szintje ugyanazt a hatást váltja ki, átlagosan. Hogy kiszámítsuk az F-arányt:

1. lépés: Számítsuk ki az átlagot az egyes csoportokon belül:

${\displaystyle {\begin{aligned}{\overline {Y}}_{1}&={\frac {1}{6}}\sum Y_{1i}={\frac {6+8+4+5+3+4}{6}}=5\\{\overline {Y}}_{2}&={\frac {1}{6}}\sum Y_{2i}={\frac {8+12+9+11+6+8}{6}}=9\\{\overline {Y}}_{3}&={\frac {1}{6}}\sum Y_{3i}={\frac {13+9+11+8+7+12}{6}}=10\end{aligned}}}$

2. lépés: Számítsuk ki a teljes átlagot

${\displaystyle {\overline {Y}}={\frac {\sum _{i}{\overline {Y}}_{i}}{a}}={\frac {{\overline {Y}}_{1}+{\overline {Y}}_{2}+{\overline {Y}}_{3}}{a}}={\frac {5+9+10}{3}}=8}$

ahol a a csoportok száma.

3. lépés: Számítsuk ki a csoportok közötti (between-group) négyzetösszegek különbségét:

${\displaystyle {\begin{aligned}S_{B}&=n({\overline {Y}}_{1}-{\overline {Y}})^{2}+n({\overline {Y}}_{2}-{\overline {Y}})^{2}+n({\overline {Y}}_{3}-{\overline {Y}})^{2}\\[8pt]&=6(5-8)^{2}+6(9-8)^{2}+6(10-8)^{2}=84\end{aligned}}}$

ahol n az adat értékek száma csoportonként.

A csoportok közötti szabadságfok eggyel kevesebb, mint a csoportok száma

${\displaystyle f_{b}=3-1=2}$

így a csoportok közötti átlagos négyzetes érték:

${\displaystyle MS_{B}=84/2=42}$

4. lépés: Számítsuk ki a csoporton belüli (within-group) négyzetösszeget. Kezdjük adatok központosításával az egyes csoportokban

a1	a2	a3
6-5=1	8-9=-1	13-10=3
8-5=3	12-9=3	9-10=-1
4-5=-1	9-9=0	11-10=1
5-5=0	11-9=2	8-10=-2
3-5=-2	6-9=-3	7-10=-3
4-5=-1	8-9=-1	12-10=2

A csoporton belüli négyzetösszeg az alábbi táblázat minden értékének négyzetösszege:

${\displaystyle {\begin{aligned}S_{W}=&(1)^{2}+(3)^{2}+(-1)^{2}+(0)^{2}+(-2)^{2}+(-1)^{2}+\\&(-1)^{2}+(3)^{2}+(0)^{2}+(2)^{2}+(-3)^{2}+(-1)^{2}+\\&(3)^{2}+(-1)^{2}+(1)^{2}+(-2)^{2}+(-3)^{2}+(2)^{2}\\=&\ 1+9+1+0+4+1+1+9+0+4+9+1+9+1+1+4+9+4\\=&\ 68\\\end{aligned}}}$

A csoporton belüli szabadságfok:

${\displaystyle f_{W}=a(n-1)=3(6-1)=15}$

Így a csoporton belüli átlag négyzet értéke:

${\displaystyle MS_{W}=S_{W}/f_{W}=68/15\approx 4.5}$

5. lépés: Az F-arány

${\displaystyle F={\frac {MS_{B}}{MS_{W}}}\approx 42/4.5\approx 9.3}$

A kritikus érték az a szám, amelyet a teszt statisztika meg kell, hogy haladjon, hogy elutasíthassuk a tesztet. Ebben az esetben, F_crit(2,15) = 3.68 ahol α = 0.05. Mivel F=9.3 > 3.68, az eredmények szignifikánsak 5% - os szignifikancia szinten. Tehát el kell utasítanunk a nullhipotézist, következtetésként levonva, hogy erős bizonyíték áll fent a három csoport elvárt értékeinek különbözőségére. Erre a tesztre vonatkozó p-érték 0.002.

Az F-teszt elvégzése után, szokás szerint "post-hoc" tesztet futtatunk a csoportátlagokról. Ebben az esetben, az első két csoport átlaga 4 egységgel különbözik, az első és a harmadik csoport átlaga 5 egységgel, a második és a harmadik csoport átlaga pedig csak egy egységgel. A standard hiba minden ilyen különbségre nézve ${\textstyle {\sqrt {4.5/6+4.5/6}}=1.2}$. Következésképp, az első csoport erősen különbözik a többitől, mivel az átlagos különbség többszöröse a standard hibának, szóval magabiztosan kijelenthetjük, hogy az első csoport populációjának az átlaga különbözik a többi csoport populációjának átlagától. Ellenben nincs bizonyíték arra, hogy a második és a harmadik csoportnak eltérő populáció átlagai vannak, mivel egy egység átlagos különbsége összehasonlítható a standard hibával. Megjegyzés: az F(x, y) az F-eloszlás kumulatív eloszlás függvényének x szabadságfokú számlálóját, y szabadságfokú nevezőjét jelöli.

• Varianciaanalízis
• F próba (Tartalmaz egy egyirányú ANOVA példát)
• Vegyes modell
• Többváltozós varianciaanalízis (MANOVA)
• Repeated measures ANOVA
• Kétszempontos ANOVA
• Welch t-teszt

• George Casella. Statistical design. Springer (2008. április 18.). ISBN 978-0-387-75965-4