verze v pdf - Analýza kvantitativních dat

UK FHS
Historická sociologie
Analýza kvantitativních dat II.
Testování hypotéz (1)
a
asociace mezi znaky v
kontingenční tabulce
Jiří Šafr
jiri.safr(AT)seznam.cz
Poslední aktualizace 26/1/2014
OBSAH
1. Princip testování statistických hypotéz
Spojitá (číselná) data
2. Testování hypotéz rozdílu mezi dvěma průměry a
rozptyly
3. Kategoriální data → Chí-kvadrát testy dobré shody:
– homogenity četností kategorií jedné proměnné
– asociaci dvou znaků v kontingenční tabulce
– Chíkvadrát test pro četnosti kategorií v rámci jedné proměnné
(One-dimensional "goodness of fit" test)
4. Souvislosti uvnitř kontingenční tabulky: Adjustovaná
residua a znaménkové schéma (poznámky, viz jinou presentaci)
5. Vícerozměrná analýza & statistické testování hypotéz
(několik poznámek)
6. Třídění třetího stupně a elaborace vztahů (několik
poznámek)
7. Neparametrické testy
8. Webové nástroje pro analýzu
Upozornění: Jednou tato presentace bude rozdělena min. do tří (1+2+7; 3+4; 5+6).
Princip testování
statistických hypotéz
Proč testujeme hypotézy?
(statistická indukce)
• Protože pracujeme (většinou pouze) s
výběrovými daty
→ potřebujeme vědět, zda (a do jaké míry)
to, co jsme naměřili ve vzorku platí v celé
populaci, tj. zda výsledky ze výběrového
souboru lze zobecnit na celou populaci.
Zdroj: [Příručka pro sociology 1980: 218-220]
Statistická kritéria a ověřování hypotéz
• K ověřeni nulové hypotézy se používá specielně
zvolená náhodná veličina - statistické kriterium
(K), její přesné rozdělení je známé - je v tabulkách.
• Pro kritérium K se volí kritická oblast - soubor
hodnot kritéria, pro něž odmítáme nulovou
hypotézu. Bod K je kritický bod (Kkr) tehdy, když
odděluje kritickou oblast od oblasti, v níž hypotézu
přijímáme.
• Přijetí/odmítnutí hypotézy
provádíme na základě
odpovídajícího statistického
kriteria s určitou
pravděpodobností.
Zdroj: [Příručka pro sociology 1980: 218-220]
Statistická kritéria a ověřování hypotéz
• Předpokládáme, že nulová hypotéza je
pravdivá tehdy, jestliže pravděpodobnost
toho, že kriterium K bude mít hodnotu vyšší
než Kkr tzn. že se bude nacházet v kritické
oblasti, se rovná zvolené pravděpodobnosti
→ hladina významnosti
Zdroj: [Příručka pro sociology 1980: 218-220]
Obecný postup přijetí / odmítnutí
nulové hypotézy
1. zvolíme odpovídající kritérium (hl. dle typu znaku),
2. vypočítáme pozorovanou hodnotu kriteria KH
(vycházíme ze zjištěného empirického rozdělení),
3. zvolíme hladinu statistické významnosti
(většinou 0,05 nebo 0,01)
4. Z tabulek rozděleni kritéria K pro danou hladinu
významnosti najdeme kritický bod KKR
5. Jestliže:
KH > Kkr
→ nulovou hypotézu H0 odmítáme
KH < Kkr
→ H0 nemůžeme zamítnout.
Alternativně pomocí software spočítáme p-hodnotu (viz dále).
Tento postup ovšem nelze používat mechanicky, protože …
Statistická hypotéza
• je tvrzení o rozdělení pozorované náhodné veličiny,
např. o rozdělení nějaké statistiky (parametru jako
průměr, podíl, rozptyl) náhodného výběru.
• Pokud rozdělení výběrové statistiky známé, pak lze
hypotézu formulovat přímo jako tvrzení o hodnotě
parametru příslušného rozdělení (např. že určitá politická
strana má podporu 25 %).
• Hypotéza se týká celého základního souboru, z nějž
jsme vybírali (nebo který experimentálně zkoumáme),
např. všech dospělých osob v ČR,
• ale její testování se odehrává pouze na vybraných
jedincích, které jsme skutečně zkoumali.
• Smyslem testování je správně zobecnit z vybrané
podmnožiny (výběru) na celek.
[Soukup 2010: 79]
Testování statistických hypotéz
• Z výběrových dat vypočteme testovou
statistiku
• na základě porovnání s kvantily rozdělení
této statistiky (za předpokladu platnosti
nulové hypotézy)
• zjistíme, zda je na zvolené hladině
spolehlivosti možno nulovou hypotézu
zamítnout.
[Soukup 2010: 79]
Platnost H0: Testová a kritická
hodnota
• Pokud
vypočítaná testová < kritická (tabulková)
hodnota
→ nelze zamítnout H0
(→ „rozdíly v populaci nejsou“)
K testování hypotéz podrobněji viz [Hendl 2006: 176-188]
Testování hypotéz
Statistická hypotéza H0: „žádný rozdíl“ (variabilita v
datech je náhodná) → testem hodnotíme sílu dokladu proti
tomuto předpokladu
H1: alternativní, platí, když neplatí H0 „existence rozdílů
/ závislosti“
• Hladina významnosti α = pravděpodobnost, že
zamítneme H0, ačkoliv ona platí. → „míra naší ochoty
smířit se s výskytem chyby“. Obvykle 0,05 či 0,01, což je
ale pouze konvence.
• Hodnota významnosti p - pravděpodobnost realizace
hodnoty testovací statistiky, pokud platí H0.
Dosažená hladina hodnoty p < α ukazuje na
neplatnost H0.
Hodnota p-value vyjadřuje nejmenší hodnotu α, při
které ještě zamítneme H0 a přijmeme H1 (alternativní
hypotézu).
Platnost hypotéz o základním souboru a
možná rozhodnutí na základě testování
• chyba I. druhu → když je nulová hypotéza zamítnuta,
přestože H0 platí.
• chyba II. druhu → když nulová hypotéza zamítnuta není,
přestože neplatí.
• Kvalita testu je dána pravděpodobnostmi, s jakými tyto
chyby mohou nastat (α a β v tabulce).
• Pro výběrový soubor nelze současně minimalizovat
pravděpodobnosti obou druhů chyb.
• Proto se statistici rozhodli omezit riziko chyby prvního
druhu na rozumnou velikost, nejčastěji na 5 % (α = 0,05).
Chyba I. druhu → H0 ve skutečnosti-v populaci platí, ale my jí ale zamítneme.
Chyba II druhu → H0 neplatí, ale my jí nezamítneme (přijmeme).
[Soukup 2010: 80]
Testování hypotéz
• Zamítání nulové hypotézy se tedy děje nejčastěji
s 5% rizikem,
tj. stanovujeme pravděpodobnost zamítání
nulové hypotézy při její platnosti v základním
souboru na maximální hodnotu 0,05.
• Protože chybu druhého druhu nemáme jasně pod
kontrolou, volíme v případě, že nedokážeme na
základě hodnoty testové statistiky zamítnout
nulovou hypotézu,
opatrný závěr: „nezamítáme H0“
místo závěru „zamítáme H1 a přijímáme H0“.
[Soukup 2010: 80]
Normální rozložení ukazující hladinu
významnosti α = 0,05
•
•
•
Hladinou významnosti rozumíme pravděpodobnost zamítnutí nulové
hypotézy, pakliže ve skutečnosti (v základním souboru-populaci) platí.
Pokládat hodnotu za významnou na hladině 0,05 znamená, že má
pravděpodobnost 0,05 nebo menší, že se vyskytne na jednom z konců normálního
rozložení. Poněvadž je rozložení symetrické, jsou oba konce rozložení stejné a
hladina významnosti 0,05 znamená useknutí konců ukázané v grafu →
vyšrafovaná plocha je pravděpodobnost 0,05/2 = 0,025.
Hladina významnosti 0,05 znamená, že u 100 výběrů bude mít 5 z nich větší než
očekávanou hodnotu pozorovaného rozdílu způsobenou náhodně. [Köniová a kol. 1988: 140]
Co znamená „statisticky významný výsledek“?
• Tvrzeni, že výsledky jsou statisticky významné na hladině a =
0,05 má přesně tento (a žádný jiný) význam [Rabušic, Soukup 2007: 381]:
• U náhodného reprezentativního výběru znamená, že riziko
nesprávného zobecnění z náhodného reprezentativního výběru
na cely základní soubor je nejvýše 0,05 (tj. 5 %).
Např. riziko, že v základním souboru studentů není procento
spokojenosti vyšší než 50 %.
• Jde o riziko tzv. chyby I. druhu, že nesprávně zamítneme
statistickou nulovou hypotézu H0.
Tj. zde hypotézu, že rozdíl mezi skutečným procentem
spokojených v základním souboru a zadaným procentem 50 % je
nulový.
• Chybně zamítneme hypotézu, že rozdíl mezi hodnotou u výběru
(60 %) a pesimisticky předpokládanou možnou hodnotou v
základním souboru (50 %) je jen náhodný. Tedy chybně učiníme
závěr, že z výběru lze provést zobecnění (zde zobecnění, že v
souboru studentů je počet spokojených větší než 50 %).
• Statistická významnost tedy znamená pouze, že výsledek je
„‚statisticky zobecnitelný z reprezentativníhorandomizovaného výběru na základní soubor, a to se
zvoleným rizikem. [Blahuš 2000]
Testování hypotéz důležité vlastnosti a omezení
• p-hodnoty nevypovídají nic o
síle evidence → mj. jsou závislé
na velikosti výběru
• Nezamítnutí H0 neznamená její
důkaz.
Statistická indukce
a testování hypotéz
→ zobecňování výsledků z výběrového
souboru na základní soubor
Při tom musí být splněny předpoklady:
- velkého náhodného výběru (n > 30)
- z dostatečně velké populace (min 100x
větší než plánovaný vzorek),
- musí jít o výběr, pro celou populaci
(census) nedává smysl
Podrobně viz [Soukup, Rabušic 2007].
Statistická významnost a síla testu
Nezamítne H0
Zamítne H0
H0 platí
1-α
α
Chyba I.
druhu
H0 neplatí
β
Chyba II.
druhu
1-β
Síla
• Chyba I. druhu. Hodnota α je pravděpodobnost zamítnutí
nulové hypotézy za předpokladu, že ona platí.
• Chyba II. druhu. Hodnota β je pravděpodobnost
nezamítnutí nulové hypotézy za předpokladu, že ona
neplatí.
• Síla testu nebo-li 1-β je pravděpodobnost zamítnutí nulové
hypotézy za předpokladu, že ona neplatí.
H0 podle
rozhodnutí testu
Síla testu
platí
neplatí
H0 ve skutečnosti
platí
neplatí
činíme
dopouštíme
správné
se chyby II.
rozhodnutí
druhu
dopouštíme
činíme
se chyby I.
správné
druhu
rozhodnutí
Síla testu (S) = 1 - β, tj. jako pravděpodobnost, že
test správně zamítne hypotézu, která ve
skutečnosti neplatí.
Síla testu je určena třemi faktory
• Velikostí účinku (ES): hodnota efektu
(např. rozdíl mezi průměry nebo velikost
korelace mezi proměnnými).
• Alfa (α): volba menší hodnoty, čím menší
tak zmenšujeme sílu. Nejčastěji α = 0.05.
• Velikost výběru: větší výběr → větší síla.
Proto při velkých výběrech i malou
odchylku hodnotíme jako statisticky
významnou. A na to pozor!
Velikost chyby I. a II. druhu
Velikost chyby I. a II. druhu a síly testu je spolu úzce provázána.
Pokud vzrůstá velikost jedné chyby, klesá velikost druhé a naopak.
Jejich vzájemný vztah je také ovlivněn velikostí výběru a velikostí efektu:
Statistické testy
Nejčastější statistické testy (dle testovacího
kritéria):
1. Parametrické – jsou vázány splněním předpokladů
o parametrech základního souboru, hl. testovaná
proměnná je v základní souboru normálně
rozdělena:
Z-test → porovnání průměrů, když známe směrod. odchylku populace
T-test → porovnání průměrů, stejné rozptyly neznáme směrod. odchylku
populace
F-test → porovnání rozptylů (pro více kategorií např. Oneway ANOVA)
2. Neparametrické – nejsou závislé na splnění
předpokladů ohledně základního souboru:
Chí-kvadrát, Komolgorův-Smirnovův rozdělení ve 2populacích,
Mann-Whitney test (dvouvýběrový t-test Mediánu ve dvou
subpopulacích) Wilkoxnův, …
Konkrétní volba testu a jeho použití závisí mj. na
charakteru/typu proměnné.
Viz standardní učebnice statistiky, např. [Hendl 2006]
Statistické testy
- Jednostranné testy (test zda hodnota leží
napravo/nalevo, tj. vyšší /nižší, od očekávané
hodnoty)
- Dvoustranné testy: odchylky od H0 bez ohledu
na směr (vyšší /nižší hodnota)
Testování hypotéz o statistické
významnosti rozdílu mezi
dvěma aritmetickými průměry
a rozptyly
Z-test
• Pro testování parametrů kvantitativních
proměnných (průměry, ale i rozdíly hodnot nebo
korelační koeficienty)
• Podmínky: Náhodný výběr větší než 30,
normální rozložení znaku a známe rozptyl
v základním souboru (populaci)
• Výběrový X – Populační (testovaný) μ průměr
Pokud vypočítaná testová < kritická
(tabulková) hodnota → nelze
zamítnout H0
Normální rozložení a Z-skóry
Normované
(standardizované)
normální rozdělení
N(0;1) má parametry:
Průměr µ =0
Směr.odch. σ = 1
(průměr = medián = modus)
Násobky
Směrodatné
odchylky
α
z α/2
Z
10%
z.1
z.05
1.282 1.645
5%
1%
z.025
z.01
z.005
z.001 z.0005
1.960 2.326 2.576 3.090 3.291
http://www.stat.tamu.edu/~west/applets/ci.html
Z-test příklad
(neznáme populační rozptyl)
Vypočtená hodnota Z je větší než obě
tabelované hodnoty (1,96 pro α = 5 % i 2,58 pro α
= 1 %), proto nulovou hypotézu zamítáme.
Německé abstrakty jsou statisticky
významně kratší než všechny abstrakty.
[Köniová a kol. 1988: 149]
t-test: testy pro průměry
•
Jednovýběrový t-test (One-sample t-test)
→ rozdíl od populačního průměru μ0 (nebo porovnání s jinou testovouteoretickou hodnotou).
Hypotézou je, že střední hodnota normálního rozdělení (průměr), z něhož výběr pochází,
se rovná μ0. (např. H0: výběrová hodnota průměrného příjmu se neliší od hodnoty 10,5 tis.)
T-TEST
•
/TESTVAL 10.5 /VARIABLES prijem.
Párový t-test (Pair-sampled t-test) porovnání dvou průměrů v závislých
výběrech, tj. při uspořádání pozorování ve dvojicích (měřené proměnné
jsou na sobě závislé).
Nejčastěji jde o zjišťování velikosti či obměny znaku u téže osoby ve dvou časových
okamžicích (např. názor před a po shlédnutí filmu). A nebo porovnání průměrů u dvou věcně
„srovnatelných“ proměnných, tj. hodnoty musí mít stejný rozsah.
Např. intenzita sledování TV (q1_a) a intenzita chození do kina (q1_b) (H0: Průměry sou shodné.)
•
T-TEST PAIRS q1_a WITH q1_b (PAIRED).
Dvouvýběrový t-test (Independent-samples t-test) → porovnání dvou
průměrů v nezávislých výběrech, tj. test rozdílu průměrných hodnot
znaku u dvou podskupin podle dichotomického znaku
Např. Příjem (prijem) podle pohlaví (S30) (H0: Rozdíl mezi průměry v podskupinách je nulový.)
Nejprve provedeme test rovnosti rozptylů → různý způsob výpočtu t-testu.
T-TEST GROUPS s30(1 2)/ VARIABLES prijem.
Kategoriální data
Testování
rozložení kategorií u jedné proměnné
a
asociací v kontingenční tabulce
Kontingenční tabulka a
statistické testování
Statistické míry a testování
• Nezávislost = oba znaky navzájem neovlivňují v tom,
jakých konkrétních hodnot nabývají
• Homogenita (shodnost struktury) = očekávané četnosti
jsou v políčcích každého řádku ve stejném vzájemném
poměru bez ohledu na konkrétní volbu řádku
• → test dobré shody = porovnání očekávaných četností
v jednotlivých polích tabulky - za předpokladu, že
hodnoty obou sledovaných znaků na sobě nezávisí - a
skutečných četností.
• Pokud hypotéza nezávislosti (resp. homogenity) platí,
má testová statistika přibližně rozdělení Chíkvadrát o (r1)(s-1) stupních volnosti. Hodnota testové statistiky se
tedy porovná s kritickou hodnotou (kvantilem) příslušné
hladiny významnosti.
Chí-kvadrát testy: test dobré shody
• Test pro homogenitu distribucí mezi kategoriemi
znaku/ů
• Pro nominální znaky (i ordinální a kardinální)
• Nevyžaduje znalost předchozího rozdělení znaku
• Očekávané-teoretické frekvence lze získat buď z našich
dat (u kontingenční tabulky) nebo od jinud, např. z
výsledků jiného výzkumu.
• Odpovídá na otázku, zda jsou rozdíly mezi empirickými
(pozorovanými - fO) četnostmi a teoretickými
(očekávanými -fE) četnostmi náhodné nebo ne.
•
Počet stupňů volnosti: df = K -1
K =počet kategorií
pro kontingenční tabulku df = (r-1) (s-1)
r = počet řádků s = počet sloupců v tabulce
Testovací kritérium χ2 má rozdělení
dle stupňů volnosti
Vyzkoušejte na: http://www.stat.tamu.edu/~west/applets/chisqdemo1.html
V zásadě existují dvě aplikace
Chíkvadrát testu
1. Test dobré shody = Homogenita četností
kategorií v rámci jedné proměnné (nebo
obecněji odchylka od očekávané/teoretické
četnosti)
→ One-dimensional "goodness of fit" test
Na tom si dále vysvětlíme princip
2. Test nezávislosti 2 znaků → Asociace dvou
znaků v kontingenční tabulce
(3.) Aplikace One-dimensional "goodness of fit"
testu s teoretickými četnostmi „od jinud“
(z jiného výzkumu / teorie) → varianta na 1.
Chíkvadrát test odpovídá na
otázku, jsou-li rozdíly mezi
empirickými a teoretickými
četnostmi (ve výběrových datech)
náhodné nebo ne.
Chí-kvadrát testy: test dobré shody
• Test pro homogenitu distribucí mezi kategoriemi znaku/ů
• test dobré shody = shody relativních četností ni/n a hypotetických
pravděpodobností.
• Pro nominální znaky (i ordinální a kategorizované kardinální)
• Nevyžaduje znalost předchozího rozdělení znaku
• Očekávané frekvence: dle rozložení kategorií 1 znaku nebo v
kontingenční tabulce vztah 2 znaků
• Odpovídá na otázku, zda jsou rozdíly mezi empirickými
(pozorovanými - fO) četnostmi a teoretickými (očekávanými -fE)
četnostmi náhodné nebo ne.
•
Počet stupňů volnosti df = (r-1) (s-1) nebo K - 1 pro jednodim.test
r = počet řádků s = počet sloupců v tabulce
Nebo také se lze setkat s určením stupňů volnosti df = k - 1 – r,
kde k - počet kategorií r - počet parametrů předpokládaného rozdělní, kdy v tabulce třídění 1.
stupně je r =2
1. Chí-kvadrát test dobré shody
homogenity četností kategorií v
rámci jedné proměnné
Obecně: ověřujeme odchylku od očekávané/teoretické
četnosti
Očekávané-teoretické četnosti určujeme buď na základě
rozložení v datovém souboru nebo dle „teorie“, např.
porovnání s hodnotou z jiného výzkumu
1. Test dobré shody
- jednodimenzionální Chí-kvadrát test:
Shoda s teoretickými četnostmi
Hypotéza o rovnoměrném zastoupení kategorií 1.
znaku.
Například: shodné zastoupení kategorií věku
Pozorované absolutní četnosti kategorií věku
(tabulka třídění 1.stupně, absolutní četnosti):
1. Velmi nízký 5
2. Střední
10
3. Vysoký
9
Celkem
24
H0: počet respondentů je ve všech kategoriích stejný
Očekávané (teoretické) četnosti = 24 : 3 = 8.
1. Chí-kvadrát test pro homogenitu
kategorií uvnitř jednoho znaku
H0: Počet respondentů je ve všech kategoriích stejný.
→ Ověřujeme model stejných pravděpodobností (equal probabibilities)
Příklad. pozorované absolutní četnosti kategorií:
Očekávané (teoretické) četnosti = 24 : 3 = 8
→ Stejná proporce
zastoupení kategorií
(33,3 % / 33,3 % / 33,3 %)
Pozorované:
Očekávané:
Vypočítanou hodnotu χ2 porovnáme s kritickou hodnotou z tabulek (viz dále)
[Příručka pro sociology 1980: 221-222]
Jednodimenzionální Chí-kvadrát
test dobré shody
• Nulová hypotéza vyjadřuje očekávání, že
pozorované a očekávané četnosti se neliší.
• Určení stupňů volnosti df = k - 1
• k - počet kategorií
• Kritický bod z tabulky statistické významnosti pro
hladinu statistické významnosti Alpha 0,05
• Pokud vypočítaná χ2 < χ2 kritická hodnota→
nelze zamítnout H0 (= četnosti jsou mezi
kategoriemi stejné).
Zpět do příkladu
Kritickou hodnotu χ2 najdeme pro v tabulkách pro zvolenou
hladinu významnosti α a počtu stupňů volnosti df zde:
df = k – 1 kde k počet kategorií znaku a
r je počet parametrů předpokládaného rozdělení, které
hodnotíme na základě výběrového souboru (např. pro normální
rozdělení dva parametry: μ a s2)
Zde je to 3 kategorie znaku a 1 parametr (relativ. podíl):
df = 3 – 1 = 2
Najdeme tabulkovou kritickou hodnotu χ2krit = 5,991 (viz dále)
Protože ta je vyšší než námi naměřená χ2 = 1,74
→ rozložení četností odpovídá H0
→ nemůžeme H0 zamítnout, tj. rozdíly mezi skupinami v
populaci nejsou.
Obecně v kontingenční tabulce (pro dva znaky) je počet stupňů
volnosti df = (r-1) (s-1) (viz dále)
r = počet řádků s = počet sloupců v tabulce
Určení kritické hodnoty χ2 v tabulce
Stupeň volnosti
Hladina významnosti (α)
a nebo vyhodnocení podle
hodnoty významnosti p-value
Spočítali jsme:
Chisq = 1,74 df =2
Při převodu testovací statistiky (zde Chisq) na
p-hodnotu hledáme plochu pod normální
křivkou pro hodnoty nad námi naměřenou
hodnotou (zde 1,74).
V grafu tak odečteme:
Plochy pod hustotou na obou stranách
rozdělení - každá má velikost 0,2095
násobíme 2x, protože jde o dvoustranný
test (musíme brát v úvahu oba konce
statistiky)
p-hodnota = 0,2095 x 2 = 0,419
Ta je vyšší než 0,05 proto nulovou hypotézu
nemůžeme zamítnout.
p-hodnota je pravděpodobnost výskytu
námi spočtené hodnoty testové statistiky,
za předpokladu, že platí nulová hypotéza.
Vyjadřuje nejmenší hodnotu α, při které
ještě zamítneme H0 a přijmeme H1.
Výpočet lze znázornit na:
http://www.stat.tamu.edu/~west/applets/chisqdemo.html
P-hodnotu nám spočítá většina statistických programů.
Více k principu hladiny významnosti při testování hypotéz
viz [Hendl 2009: 181-191], pro Chíkvadrát test [314-323].
Chí-kvadrát test
→ test nezávislosti polí v tabulce
• Nulová hypotéza „o nezávislosti“ odpovídá na
otázku, zda jsou rozdíly mezi empirickýmipozorovanými a teoretickými četnostmi náhodné
nebo ne.
• Očekávané četnosti lze získat z hodnot v
populaci nebo porovnávat s teoretickou
hodnotou, např. z jiného výzkumu.
• Nejčastěji třídíme údaje podle dvou nebo více
znaků v kontingenční tabulce. (viz dále)
• Lze aplikovat na již existující agregovaná data
(publikované tabulky apod.)
• Příklad: porovnání vzdělanostní struktury v
kohortě 50-64 a 65-79 (data ISSP 2007)
2. Chí-kvadrát test pro asociaci
dvou znaků v kontingenční
tabulce
→ hypotéza homogenity
(nezávislost mezi zkoumanými znaky)
Očekávané-teoretické četnosti → předpoklad
nezávislosti četností znaku A a B,
určujeme je na základě rozložení v datovém
souboru: jsou dány marginálními distribucemi
sledovaných znaků
Řešíme podobný problém jako v analýze rozptylu (porovnání shody
průměrů v podskupinách).
Příklad: Čtení knih a vzdělání
Očekávaná četnost pro dané políčko = násobek odpovídajících
marginálních četností vydělíme celkovou sumou četností
Např. pro fE11 je 645*173/1202 = 92,8
Postup pro ruční výpočet
V SPSS: Očekávané četnosti (Expected count)
a empirické (=absolutní) četnosti (Count)
Příklad: Čtení knih a vzdělání
Příklad: Čtení knih a vzdělání
df = (5-1)(3-1) = 8 při Alpha 0,05
naměřená hodnota
χ2 = 112,17 > χ2krit = 15,507
→ nemůžeme přijmout (zamítáme) H0 „o nezávislosti“,
tj., že ve čtení nejsou rozdíly mezi vzdělanostními kategoriemi
→ alespoň u jedné kategorie (buňce v tabulce) v porovnání s
ostatními kategoriemi tabulky se liší očekávané od empirických
četností (Test říká, že tuto skutečnost nalezneme s 95 % jistotou v celé populaci.)
Místo porovnání hodnoty
testovacího kritéria s kritickými
– tabulkovými hodnotami se
pro rozhodování o nulové
hypotéze používá také
p-hodnota, či significance
kterou zjistíme pomocí
statistického software (princip viz dále).
p < α zamítáme H0
p > α nelze zamítnout H0
P-value – úroveň statistické
významnosti (level of significance)
• Hodnota p-value vyjadřuje nejmenší hodnotu
α, při které ještě zamítneme H0 a přijmeme
H1 (alternativní hypotézu).
• Ve výstupech SPSS: Asymp. Sig. (2-sided)
• Formálně tedy stačí porovnat zvolené α s
vypočtenou hodnotou p a zamítnout H0, pokud
α > p, a naopak α < p.
• Výstupy z počítačových programů bohužel svádí
k tomu, abychom hladinu α předem nevolili a
hodnotili věrohodnost hypotéz až podle
vypočtené hodnoty p.
[Hebák 1995: 84-85]
• Hladina významnosti α = pravděpodobnost, že zamítneme H0, ačkoliv
ona platí. → „míra naší ochoty smířit se s výskytem chyby“.
Zpět do příkladu
p-value – úroveň statistické významnosti
Chis = 112.2
df = 8
Kontingenční tabulka a testy
dobré shody – pozor na:
• Pro použití testů založených na testu dobré
shody (test nezávislosti nebo homogenity) je
třeba, aby se v tabulce nevyskytlo méně než
20 % políček, v nichž by očekávané četnosti
byly menší než 5.
V případě, že se tak stane, můžeme zvážit
transformaci — sloučení některých méně
obsazených kategorií (např. "ano" a "spíše ano").
• Testování hypotéz můžeme provádět pouze na
výběrovém souboru, tj. ne na celé populaci
(census), navíc data musí být pořízena
náhodným výběrem.
Kontingenční tabulka
- vyjádření vztahů kategorií
• Statistika Chíkvadrát nevypovídá nic o síle
vztahu, pouze zamítá/nezamítá nulovou
hypotézu o závislosti nebo homogenitě na dané
hladině významnosti alfa.
• Pro zjištění síly vztahu →
- koeficienty asociace (obdobné korelaci, např. CC),
- znaménkové schéma – adjustovaná residua
- podíl šancí (OR),
- u ordinálních veličin korelační koef. dle pořadí.
Odlišné testy pro nominální a ordinální
proměnné (jedna / obě).
Vícerozměrná analýza &
statistické
testování hypotéz
Vztahy mezi dvěma a více
proměnnými
Úkoly v SPSS:
• souvisí čtení knih (q1_d) s věkem
(vekkat)?
• Souvisí Pocit, že je uspěchaný ve volném
čase (q5a_b) a lokalita bydliště (S21)
Další příklady výpočtu
Chíkvadrátu pro vztah dvou
proměnných
příklad Chí-kvadrát testu (2-dim)
Kouření marihuany u žáků 9 a 12 třídy
Zdroj: [Thyer, B. A. 2001.The Handbook of SOCIAL WORK RESEARCH METHODS.]
Příklad Chí-kvadrát test: pozorované a
teoretické četnosti, stupně volnosti
Příklad Chí-kvadrát test: Výpočet
2x2 tabulka je rozepsána jako „had“ v řádcích
Chíkvadrát kritický z tabulek > Chíkvadrát dosažený (naměřený)
→ Ho nelze zamítnout = homogenita mezi kategoriemi
Pouhý celkový test homogenity
polí kontingenční tabulky
sociologovi ovšem nestačí.
A tedy co dál?
U kterých kategorií je v
kontingenční tabulce souvislost
silnější a u kterých slabší?
Viz presentace Kontingenční tabulka:
vztahy mezi kategorizovanými znaky
Adjustovaná residua
Znaménkové schéma
• CROSSTABS: Adj. standardised (v SPSS / PSPP)
Adjustovaná residua
• Residuum v daném políčku tabulky (=pozorovaná
(observed) minus očekávaná (expected) hodnota) dělený
odhadem vlastní standardní chyby. Odpovídající
standardizovaný residuál je vyjádřen v jednotkách
směrodatné odchylky nad nebo pod průměrem.
Znaménkové schéma → jednoduchá vizualizace
• 'kde abs(z) >= 3.29 nahradí +++ resp. ---,
• 'kde abs(z) >= 2.58 nahradí ++ resp. --,
• 'kde abs(z) >= 1.96 nahradí + resp. -.
Podrobněji viz prezentaci AKD2_kontg_tab.ppt
Znaménkové schéma
• Kritérium v daném políčku tabulky
(Adjustované residuum) označuje
významnost rozdílu mezi empirickým
zjištěnou četností a teoretickou
(očekávanou) četností.
• Umožňuje rychlou orientaci mezi dvěma
znaky.
Test odchylky od nezávislosti
v poli tabulky:
Adjustovaná residua
a znaménkové schéma
Více viz AKD2_kontg_tab.ppt
Procvičit v SPSS
0. kontrola absolutních četností v jednotlivých polích
→ transformace (sloučení)
1. správně orientovaná procenta
2. chíkvadrát test nezávislosti (tabulky jako celku)
3. adjustovaná residua a znaménkové schéma k
detekování významných odchylek
Úkol:
• Pohlaví a volil v 2006
• Náboženské vyznání x Volil 2006
• Náboženské vyznání x Velikost bydliště
• Náboženské vyznání x Velikost bydliště x Volil
2006
Úkol
•
•
•
•
Procvičit v SPSS
2 x 2 tabulky
Pohlaví a volil v 2006
Pohlaví a Vzdělání
nxn
• Velikost bydliště x Vzdělání
→ sloučení nebo vybraná pole tabulky
S tříděním druhého stupně
bychom se neměli spokojit.
→ Třídění třetího stupně a
elaborace vztahů
viz prezentace:
Kontingenční tabulka: vztahy mezi
kategorizovanými znaky (AKD2_kontg_tab.ppt)
a
Standardizace v kontingenční tabulce – kontrola
vlivu 3 faktoru (AKD2_kontg_tab_standardizace.ppt)
Vyloučení (posouzení) vlivu třetí proměnné
→ Třídění 3 stupně
• Kontingenční tabulka A x B x C
– Příklad pro tři proměnné:
Volil (závislá) x VŠ (nezávislá-vysvětlující) x Pohlaví (nezávislá kontrolní)
→ Sledujeme vztah mezi A a B odděleně v
kategoriích C, nejjednodušeji pomocí
koeficientů asociace/korelace (kontingenční koef.,
Cramérovo V, Phi,… pořadové korelace Spermanovo Rho, TauB),
detailněji pak klasicky % rozdíly mezi
kategoriemi nebo adjustovaná residua.
• Parciální korelace – pro spojité proměnné
• Multivariační metody (např. regresní analýza,
vícerozm. analýzu rozptylu ANOVA)
3. Chíkvadrát test pro četnosti
kategorií v rámci jedné proměnné
(One-dimensional "goodness of fit" test)
aneb, když máme teoretickéočekávané hodnoty odjinud než z
očekávaných hodnot z distribuce v
našich datech
One-dimensional "goodness of fit" test
• Cílem je ověřit hypotézu o shodnosti
četností kategorií u jedné proměnné od
jiného určitého očekávaného-teoretického
rozložení,
• které je dáno informací mimo naše data,
kupříkladu teorií nebo předchozími
výsledky z jiného výzkumu (časově /
mezinárodně).
One-dimensional "goodness of fit" test
• Situace je stejná jako u prvního příkladu s testem
rovnoměrného zastoupení kategorií jednoho
znaku
• Ale místo očekávané četnosti dané rovnoměrným
zastoupením kategorií vstupujeme s teoretickými
četnostmi, např. z předchozího výzkumu.
• V SPSS je situace pomocí NPAR TEST složitější:
vstoupit s tabelárními daty je obtížné (viz finta DATA
ENTRY s pomocí vážení vyjadřujícím podíly v syntaxu)
• Existují ale nástroje pro analýzu tabelárních dat (tj.
pro agregované výsledky)
http://vassarstats.net/csfit.html
Chí-kvadrát test: změna v čase
Teoretickou četností zde není poměrové rozložení
ale hodnota z předchozí etapy (výzkumu).
Je podle vašeho názoru nabídka kulturních žánrů v našem městě dostatečná?
Ano
Neví
Ne
Epirická četnost (2010)
65
28
6,7
Teoretická četnost (2007)
60
34
6
Chí-kvadr
tabulková hodnota (pro 5 %)
1,53
5,99
Vypočítaná hodnota Chisq je menší než tabulková-kritická hodnota.
Platí H0 o "nerozdílu„ (rozdíl v četnostech je způsoben náhodnými
faktory).
Ukázka v SPSS: porovnání v čase pomocí Chíkvadrátu
Porovnání proměny vzdělanostní struktury mezi kohortami 5064 a 65-79 letých. → kohorta 65-79 představuje teoretickéočekávané hodnoty
(info o očekávané četnosti zde máme z jednoho výzkumu, ale pro různé podskupiny věku)
V tomto příkladu máme mikrodata
(jednotlivé případy=respondenty v
datech) pro věkovou kategorii 50-64 let a
jejich vzdělanostní zastoupení testujeme
proti teoretickým hodnotám pro věkovou
kategorii 65-79, které máme také z
těchto dat, ale už jako agregovaný
výstup (tabulka třídění 1.stupně)
50 - 64 let
1 ZŠ
65 - 79 let
48
52
2 VYUČ
165
135
3 SŠ
125
72
4 VŠ
17
17
355
276
NPAR TESTS /CHISQUARE =vzd4
/EXPECTED= 52 135 72 17
/STATISTICS DESCRIPTIVES /MISSING ANALYSIS.
Pozor: Zadáváme absolutní četnosti a v tomto případě
musíme mít vypnuté vážení (WEIGHT OFF) a hodnoty
musíme mít převážené na stejnou velikost výběru.
One-dimensional "goodness of fit" test
• Jiné statistické balíky mají možnost vstupu s
tabelárními daty (kontingenční tabulka),
http://vassarstats.net/csfit.html
Očekávané četnosti (Expected
values) zde lze vkládat buď
jako absolutní četnosti nebo i
jako podíly, tj. procenta.
• v SPSS můžeme pouze složitě načíst tabulku
jako vážená data (pomocí váhy definujeme
frekvence polí v tabulce) viz
http://metodykv.wz.cz/syntaxy/data_input.sps
One-dimensional "goodness of fit" test.
Příklad 3. – Porovnání distribuce vzdělanostních
kategorií ve dvou věkových kohortách.
Vstupní data (absolutní četnosti): vzdělání v kohortě 1945-50 (=očekávanáteoretická četnost) a kohortě 1951-56 (=empirická „námi naměřená“ četnost)
Ověřujeme nulovou hypotézu H0: Vzdělanostní struktura se mezi
kohortami 45-50 a 51-56 neproměnila. Jinými slovy, distribuce četností
kategorií vzdělání je pro sledované kohorty stejná.
Poznámka: Zde máme (retrospektivní) informaci z jednoho výzkumu, nicméně pro dvě
podskupiny. Tím tak pouze simulujeme situaci, kdybychom porovnávali kohorty zkoumané v
odlišných dobách resp. výzkumech (což samozřejmě není zcela přesné).
Pozor: Suma očekávaných (Expected) četností
musí být shodná jako u pozorovaných četností
• Příkaz NPAR TESTS v SPSS bere i
pravděpodobnosti (%).
vzd3 Vzdělání (3k.)
Výstup z NPAR TESTS
Původní četnosti z Frequencies
Observed N
? narozeni 1945-50
1 ZŠ+VY
2 SŠ
3 VŠ
Total
56
27
7
90
upraveno na stejnou sumu
Expected N
Expected %
? narozeni 1951-56
66,2
0,736
18,6
0,207
5,2
0,058
90
Expected N Expected %
suma
64
18
5
87
0,736
0,207
0,057
1
One-dimensional "goodness of fit" test. Příklad 3.
Řešení v SPSS Chi-Square Test pomocí NPAR TESTS
Poznámka: zde provádíme výpočet pro kohortu 1951-56 na
původních individuálních datech a tu porovnáváme s
očekávanými četnostmi v kohortě 1945-50 (64 18 5), které
jsme si spočítali dříve pomocí Crosstabs (tím vlastně
simulujeme data z jiné doby - výzkumu).
*nejprve zapneme filtr pro kohortu 1951-56.
FILTER BY vek18_1951_56.
NPAR TESTS
/CHISQUARE = vzd3
/EXPECTED = 64 18 5
/STATISTICS DESCRIPTIVES
/MISSING ANALYSIS.
Dosažená p hodnota je hraniční,
tabulkový Chíkvadrát je χ2krit = 5,991
Proto raději hypotézu H0 (shoda s
teoretickými četnostmi) nezamítneme.
Dtto na tabulárních datech pomocí aplikace
http://vassarstats.net/csfit.html
Ale pozor: Suma očekávaných (Expected) četností
musí být shodná jako u pozorovaných četností
http://vassarstats.net/csfit.html
•
Příkaz NPAR v SPSS to přepočítá automaticky, zde musíme sami (např. v Excelu)
Neparametrické testy
(Non-parametric Tests)
• Parametrické metody předpokládají: náhodný výběr,
normální rozdělní (distribuce znaku), velké výběry z populace,
známé (shodné) rozptyly v sub/populacích, z nichž byl proveden
výběr
• Neparametrické metody:
- nezávislé na rozdělní
- méně citlivé na odchylky extrémních hodnot
- i pro výběry velmi malého rozsahu
- vhodné pro nominální i ordinální znaky
• Ale dochází častěji k chybnému nezamítnutí
nepravdivé H0.
•
Chí-kvadrát testy,
Webové nástroje pro analýzu
Index of On-line Stats Calculators
http://www.physics.csbsju.edu/stats/Index.html
• Exact r×c Contingency Table:
http://www.physics.csbsju.edu/stats/exact_NROW_NCOLUMN_form.html
• Statistical Calculations
•
http://statpages.org/
• R. Webster West applets
http://www.stat.tamu.edu/~west/
http://www.stat.tamu.edu/~west/ph/
Učebnice:
Interstat - hypertextová interaktivní učebnice statistiky pro ekonomy
http://www.stahroun.me.cz/interstat/
Statnotes: Topics in Multivariate Analysis, by G. David Garson
http://faculty.chass.ncsu.edu/garson/PA765/index.htm
StatSoft - Elektronická učebnice statistiky (anglicky)
http://www.statsoft.cz/page/index2.php?pg=navigace&nav=31
http://www.statsoft.com/textbook/