zde - Laboratoř sociálněvědních výzkumů

12.4.2010
Kvalita výběrových šetření
a standardy výzkumu
Jindřich Krejčí
1
2
Obsah
Literatura
• Koncepce kvality ve výběrových šetřeních
• Reprezentativita
• GROVES, Robert 1987. "Research on Survey Data Quality". The
Public Opinion Quarterly 51(2): S156 - S172. JSTOR Stable URL
– pokrytí populace
– metoda výběru a chyba výběru
– výpadky návratnosti
• KREJČÍ, J. 2008. “Koncept kvality výběrových šetření”. Pp. 19-41 in
Kvalita sociálněvědních výběrových šetření v České republice, J.
Krejčí . Praha: SLON.
• Chyby měření
• Standardy výzkumných šetření
• SOUKUP, P. & L. RABUŠIC. 2007. „Několik poznámek k jedné obsesi
českých sociálních věd - statistické významnosti.“ Sociologický
časopis/Czech Sociological Review 43 (2): 379-395.
» Jindřich Krejčí, Sociologický ústav AV ČR
Jilská 1, 110 00 Praha 1, [email protected]
3
4
1
12.4.2010
Současný výzkum - některé charakteristiky
• ANDERSON, R., J. KASPER, M. FRANKEL, and associates 1979. Total Survey Error. San
Francisco: Jossey-Bass.
• BIEMER, Paul P. 2004. Measurement Errors in Surveys. New York: John Wiley & Sons.
• BIEMER, Paul P. and Lars E. LYBERG 2003. Introduction to Survey Quality. HobokenJohn
•
•
•
•
•
•
• oddělení výzkumných fází, specializace (komunikační bariéry [Blalock Jr.])
• sdílení dat -> sekundární analýza dat
Wiley & Sons.
GROVES, R. 1989 (2004). Survey Errors and Survey Costs. Hoboken: John Wiley & Sons.
KAASE, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for
Survey Research. Denkschrift Memorandum. Berlin: Akad. Verlag.
KREJČÍ, Jindřich. 2008. Kvalita sociálněvědních výběrových šetření v České republice.
Praha: SLON.
KREIDL, Martin 2004. "Přehled základních přístupů k empirickému hodnocení kvality
měření v sociálních vědách". Pp. 87-96 in Kvalita výzkumů volebních preferencí, ed. by J.
Krejčí. Praha: Sociologický ústav AV ČR.
LESSLER, J. T. and W. D. KALSBEEK. 1992. Nonsampling Errors in Surveys. New York: John
Wiley & Sons.
LYBERG, L., P. BIEMER, M. COLLINS, E. de LEEUW, C. DIPPO, N. SCHWARZ, and D. TREWIN
(eds.) 1997. Survey Measurement and Process Quality. New York: John Wiley & Sons.
– data pořízena pro jiný výzkumný záměr; obrovská produkce dat,
dostupnost => rostoucí význam
– výhody
• rozsah zdrojů, nízké náklady, nižší organizační náročnost, nové
možnosti výzkumu
– limity
• dostupnost „vhodných dat“ dat? (úprava záměrů)
• srovnatelnost? kompatibilita?
• dokumentace? znalost původního konceptu? kontext výzkumu?
... kvalita dat?
• sofistikované metody analýzy na mizerných datech
5
6
Různá východiska kvality - různé cíle
Prameny metody - matematická statistika
• výběrová šetření v různých oborech
• přesnost (accuracy, precision)-> chyba
– výběrová chyba a nevýběrové chyby
(sociologie, demografie, ekonometrie, psychometrie, ...)
• dvě perspektivy - bias a rozptyl měření
• bodový odhad vs. vztah
– chyba je specifická pro jednotl. statistiky; celková chyba šetření = průměrná
kvadratická chyba (mean square error)
– bias = odchylka naměřené hodnoty od pravdivé hodnoty
– variable variance (variable error), rozptyl měření: rozdíly mezi více měřeními
téhož
– replikace - opakování měření:
• perspektiva výběrové chyby: opakování šetření stejným způsobem na různé
populaci,
• perspektiva chyby měření: opakování šetření různým způsobem (v různém
čase, různým nástrojem, s různou tazatelskou sítí...) na stejném vzorku
• bias=konstantní složka rozdílů od pravdivé hodnoty
• realizace šetření vs. analýza
(předcházení chybám vs. odhad chyb)
• statistické dokazování - matematika počtu pravděpodnosti
7
8
2
12.4.2010
Prameny metody - psychometrie
Přeceňování významu statistické chyby
• validita = schopnost měřit koncept, který chceme měřit (koncept)
• reliabilita = přesnost, konzistentnost měření (nástroj)
• převzaté principy matematické statistiky
– spočitatelná výběrová chyba
– nevýběrové chyby jako nevyjádřený zbytek
• reliabilita je jednou z podmínek validity
• indikátor (otázka); konstrukt ((latentní) faktor)
• ovšem data v sociologii jsou jiná, než v příkladech počtu
pravděpodobnosti
• viz Jeřábek, Disman, Kreidl...
– spočítat odhad celkové chyby (nejen výběrové) je nereálný cíl
– validita = korelace mezi měřením a pravdivou hodnotou atributu
sledovanou na skupině individuí (částečně komplent k BIAS)
– reliabilita = podobnost více měření (test-retest, částečně komplent k
VARIANCE)
• konstrukce otázek (validita, reliabilita)
• článek Soukupa a Rabušice: chybné používání principů m.-s.
• co ovšem nad tento rámec chybí?
9
10
Kvalita provedení šetření hraje zásadní roli
Komplexní přístup ke kvalitě
"kvalita šetření se nejlépe posoudí nikoliv podle velikosti
vzorku, tématického záběru nebo důležitosti, ale podle toho, jak
mnoho pozornosti je věnováno řešení všech mnoha důležitých
problémů (prevence, měření), které mohou nastat"
• východisko: „fit to use“
–
–
–
–
Motto definic nejlepší praxe ASA & AAPOR
přesnost je náročné a drahé měřit, v praxi se to moc nedělá
změření chyby po skončení šetření má omezené dopady
mechanický přístup ke kvalitě nevede ke zlepšování kvality
koncentrace na odhady přesnosti vede k neefektivitě
• vícedimenzionalita, přesnost jen jednou z dimenzí
• problémům je třeba předcházet
 statistické dokazování vs. realizace šetření
• kvalita produkce se dosahuje pomocí kvality procesu
 komplexní přístupy ke kvalitě
– celkový management kvality (TQM)
 vyvážená alokace zdrojů s ohledem na existenci
nevýběrových chyb
• efektivita: chyby vs. náklady
• vývoj přístupu: model U.S. Census Bureau (Hansen a kol., 50. léta);
institucionalizace: statistické úřady, normy a standardy, výzk. organizace
11
12
3
12.4.2010
Např. Eurostat
Přesnost - chyby měření vs. chyby reprezentativity
• Relevance: jak statistika splňuje aktuální a potenciální požadavky
• měření
•
•
•
•
•
uživatelů.
Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě.
Načasování a časová přesnost: časový rozdíl mezi událostí a informací o
ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba.
Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k
datům, a úroveň dokumentace a doplňujících informací včetně informací
o kvalitě a dostupnosti odborné asistence.
Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na
možnosti srovnání v čase, mezi geografickými oblastmi, mezi
významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami
reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích.
Koherence: adekvátnost a hodnověrnost různých kombinací statistik a
jejich využívání pro různé účely.
–
–
–
–
konstrukt
měření (otázka, pozorování)
odpověď
záznam, editace odpovědi
chyby měření
chyby zpracování
• reprezentativita
–
–
–
–
–
EFEKTIVITA !
chyby reprezentativity
cílová populace
chyby pokrytí populace
opora výběru
chyby výběru
výběr
respondent
chyby non-response
úpravy reprez. po sběru dat (imputace, vážení,...)
chyby úprav souboru
13
14
15
16
4
12.4.2010
Chyba pokrytí populace
• př. opory: seznam oblastí, seznam adres domácností, seznam členů
• cílová populace: populace, ke které vztahujeme dokazování
• populace šetření: populace, ke které se výzkum vztahuje reálně
• chyby pokrytí na všech úrovních, systematické chyby
domácnosti -> komplexní design výběru
(nezahrnuje některé skupiny; např. určíme, že nezkoumáme
institucionální populace, bezdomovce...)
opora výběru: seznam(-y) nebo sada materiálů a procedur (např.
mapa, kartotéka...) použitých k identifikaci jednotek cílové populace
populace opory:
populace skutečně Cílová
zachycená v opoře populace
Populace
nežádoucí jednotky
nezachycené jednotky,
opory
nežádoucí jednotky,
duplikace, klastry
populace zachycená
ve výzkumu
DOSTUPNOST
VHODNÉ OPORY !
•
•
•
•
(problém mladých, znevýhodněné skupiny...)
• nežádoucí jednotky
– identifikace až při pokusu o kontakt: problém s výběrem - odhad a
navýšení výběru?; snížení efektivity
• chyba pokrytí populace: rozdíl mezi hodnotou cílové populace a
populace opory
• obecná populace v ČR - domácnosti a jednotlivci
–
–
–
–
–
databáze adres plátců (INKASO)
databáze doručovacích adres
výběr oblastí - soupis domácností
databáze adres budov
náhodná procházka
nezahrnutá část populace
17
18
• prostý náhodný výběr
– pravděpodobnosti výběru všechny stejné
– (pokud je populace dost velká ve srovnání s výběrem)
std. chyba závisí na 1) velikosti výběru a 2) rozptylu hodnot
– obv. východisko pro statistické dokazování
Chyba výběrová
• Kish, L. 1965. Survey Sampling.
• výběrový design: podmínka statistického dokazování
• pravděpodobnostní výběr
• realita: minimum prostých náhodných výběrů
• efekt designu: poměr výběrového rozptylu statistiky získané určitým konkrétním
– známá nenulová šance pro každou jednotku v populaci opory
– pravděpodobnosti nemusí být stejné
– odhad charakteristik populace opory se známou velikostí standardní
chyby
výběrovým postupem a rozptylu, který bychom pro danou statistiku získali za použití
prostého náhodného výběru
• skupinový výběr (cluster sampling)
• různé realizace výběru, výběrový rozptyl, standardní chyba,
konfidenční interval
• design výběru - postup výběru
–
–
–
–
jak velký je výběr?
jaké jsou pravděpodobnosti výběru?
jsou jednotky vybírány navzájem nezávisle nebo ve skupinách?
je kontrolováno zastoupení některých skupin (stratifikace)?
19
– opora zákl. jednotek není k dispozici nebo redukce nákladů (cestovních)
– předpokl. větší homogenity uvnitř skupinek => větší std. chyba
– efekt skupinového výběru:
• čím větší heterogenita mezi skupinkami, tím větší homogenita uvnitř
• co se nového dozvíme, když přidáme do výběru další jednotku ze skupiny?
• průměrná vnitroskupinová korelace (intraclass correlation; tendence
hodnot proměnné korelovat uvnitř skupiny ve srovnání s ostatními
skupinami) -> poměr homogenity -> designový efekt
20
5
12.4.2010
• stratifikovaný výběr
– zajištění reprezentace zvolených podskupin (exkluzivita strat, znalost členství
jednotek a váhy strata)
– pravděpodobnosti v rámci strat - designové váhy
– různé velikosti strat, různý rozptyl v rámci strat, různé výsledné hodnoty
– designový efekt závisí na velikosti výběru v rámci strat, pokud jsou dost velká
zpravidla se designový efekt a std. chyba sníží
Chyba výpadků návratnosti (non-response error)
• jeden z hlavních zdrojů (a) odchylek a rozptylu a
(b) nespolehlivosti odhadů přesnosti
• nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu
Návratnost: ISSP 2007 Pracovní orientace
• systematický výběr
– jednodušší implementace stratifikace
– seřazená opora, náhodný počátek, interval
• efektivní velikost výběru
– cíl dosáhnout urč, přesnost - std. chyba nepřekročí určitou hodnotu
– designový efekt
– ef. vel. výb. = velikost prostého náhodného výběru s jakou by se dosáhlo
stejného výběrového rozptylu jako je u aktuálního designu
(neff = 200 / 3,13 = 64)
– jak má být za daného výběrového postupu velký výběr, abychom dosáhly
stejného výběrového rozptylu jako u prostého náhodného výběru
21
22
23
24
• unit nonresponse / item nonresponse
• dotazníky nezařazené do zpracování
–
–
–
–
nekontaktování
odmítnutí
neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...)
jiné důvody (organizace, administrace šetření)
• podíl participujících jednotek z platných jednotek ve výběru = podíl
dostatečně kompletních interview se zpravodajskými jednotkami
zařazených do zpracování a počtu platných zpravodajských jednotek
ve výběru
– platnost je vztažena ke členství jednotek v populaci opory výběru,
vyloučeny např. chybné adresy, jednot. mimo výběr (chyby opory)
• sledování - standardy (AAPOR)
http://www.aapor.org/AM/Template.cfm?Section=Standard_Definitions&Template=/CM/Conte
ntDisplay.cfm&ContentID=1819
6
12.4.2010
• imputace, vážení
• techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu,
Dopad návratnosti na chybu?
• Babbie: „Věřím, že návratnost 50 % je adekvátní pro analýzu
a interpretaci. Návratnost 60 % je dobrá, návratnost 70 %
velmi dobrá,“ => pro zvyšování návratnosti dělat vše
• vztah návratnosti k chybě nepřímý
– chyba neplyne z chybějících pozorování, ale z rozdílů mezi respondenty a
nerespondenty
– nižší návratnost nemusí vést k vyšší chybě (empiricky potvrzeno)
– metody zvýšení návratnosti mohou zvětšit chybu
– participace není stabilní vlastností nějaké skupiny jednotlivců
- náchylnost/pravděpodobnost odmítnutí
– více druhů výpadků - spojitost s různými proměnnými
– chyba není stabilní pro celé šetření
– existence závislostí mezi návratností a popul. charakteristikami
- obvykle výsledky nediskvalifikuje
– závislost na řadě faktorů
25
rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné
agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny
respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší
počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na
životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení
respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a
způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování
tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je
zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod
sběru dat, případně jejich kombinací atp.
• teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení...
• Leverage-salience theory (Groves, Singer, Corning)
– různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám
šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...)
– lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které
nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority
respondentů -> různý důraz na různé charakteristiky výzkumu
• komplexní strategie - snižování celkové chyby
26
non-response v ČR: akademická šetření 1991-2007
Trendy
27
28
7
12.4.2010
29
30
ESS II.
31
32
8
12.4.2010
• výběr metody
– dopad na různé druhy chyb - kompromis
– cena
Metody sběru dat
• face-to-face
• analýzy dopadů metody na chyby - marginální efekt metody
– CAPI - computer-assisted personal interviewing
– srovnání dvou možných metod - sada charakteristik - posouzení
vzájemného efektu
– face-to-face vs. telefon
• self-administration (SAQ)
– CASI - computer assisted self-interviewing
– (disk by mail, email, Web)
– ACASI - audio computer-assisted self-interviewing
•
•
•
•
•
•
•
•
•
• telefon
– CATI - computer-assisted telephone interview
– IVR (T-ACASI) - interactive voice responce (ACASI po telefonu)
• Web
» stupeň zapojení tazatele
» stupeň zajištění důvěrnosti
» komunikační kanály
» technologie
je stejná opora? pokud ne, jak se liší pokrytí?
stejní tazatelé? pokud ne, jak se liší zkušenost, výcvik, zatížení...?
supervize? zpětné kontroly?
výběr respondenta?
stejný dotazník? vizuální pomůcky?
předpokl. návratnost? dostupné metody zvyšování návratnosti?
dostupné technologie?
...
cena?
33
Chyba respondenta: otázky a odpovědi v šetření
• různé typy respondentů - různý vztah k formulaci odpovědí
– standardizované interview (různé typy šetření)... ...záznamy v databázích
(též je někdo pořídil, někdo musí umožnit přístup, poskytnout asistenci
při získávání dat...)
• kognitivní proces odpovídání na otázky
–
–
–
–
34
Problémy odpovědí
• problémy zakódování info v resp. paměti (uložená info neodp. realitě)
• dezinterpretace otázky
– čemu se v otázce vyhnout: gramatická nejednoznačnost, přílišná komplexnost,
chybné předpoklady, vágní koncepty, vágní kvantifikace, neobvyklé/neznámé
termíny, nesprávné vztahy
• zapomínání, problémy paměti
interpretace a pochopení otázky (Q: jednoduchost, jednoznačnost...)
vyhledání relevantní informace v paměti (Q: různá námaha; podněty)
posouzení a odhad - doplnění vyhledané i.
sdělení odpovědi (nastavení formátu odpovědi, přiřazení odpovědi)
– termíny otázky neodpovídají termínům info zakódované v paměti, postupné
zapomínání - postupné doplňování/reinterpretace události, neschopnost
vyhledat včas informaci, chybná rekonstrukce informace
• chybné soudy a odhady
– typy ohadů: recall-and-count (pamatuje si hlavní události a jejich počet,
doplňuje zbytek); rate-based (má představu o poměru v jakém se událost
pobvykle vyskytuje); impression-based (vágní představa je převedena do čísla)
• kognitivní proces nemusí být úplný, pořadí není fixní, různé motivace
– zkratky, tendence souhlasit/nesouhlasit, různé sebeprezentace
• kontext dotazníku
• kognitivní proces před interview - zakódování zkušenosti v paměti
• zkušenosti s odpovídáním otázek (i v různých jiných kontextech)
• problémy formátu odpovědi (otevřená/uspořádaná škála/kategorie; problém vyčíslení
odhadu - kategorizace, problém pozitivních odchylek, problém pořadí kategorií)
35
• záměrná zkreslení (senzitivita otázky...)
• neschopnost řídit se instrukcemi
36
9
12.4.2010
• sociální charakteristiky - složení tazatelské sítě
• zkušenost tazatele
Chyba tazatele
• různé role tazatele
– vyšší návratnost vs. rutina
– ovlivnění otázek - nejasné dopady
konstrukce opory (oblastní výběry...)
realizace výběrové procedury (kvóta...)
výběr respondenta (domácnosti...)
získávání spolupráce
interakce - definuje, co se od respondenta očekává - pomáhá mu
osvojit si roli
– management dotazovacího procesu
– záznam odpovědi / editace
–
–
–
–
–
• dopad odměňování tazatelů (návratnost vs. kvalita dotazování)
• rozptyl výkonů tazatelů (interviewer variance) - clusters
– měření - překryv vymezených oblastí tazatelských úkolů, náhodné
přiřazování
• zásady
• přítomnost tazatele zdrojem odchýlení
– omezené sociálně nežádoucí výpovědi díky přítomnosti tazatele (vs.
vyplnění dotazníku resp.)
– odlišnost odpovědí vzhledem k pozorovatelným charakteristikám
respondenta ve vztahu k tématu
– odlišnost odpovědí ve vztahu ke zkušenosti tazatele
37
–
–
–
–
–
–
–
profesionální jednání tazatele orientované na úkol, nikoliv osobní
přesné čtení otázek; bez dodané vlastní interpretace
vysvětlení výzkumu a procesu dotazování respondentovi
povzbuzování pouze nepřímé
záznam odpovědí bez interpretace, doplnění, změn...
promyšlená formulace otázek s ohledem na tazatele
minimalizace otázek, které vyžadují nestandardní chování tazatele
38
Standardy kvality
• etika výzkumu
• administrativní normy
– falzifikace, plagiátorství, vymyšlený výzkum, záměna výzkumu a ankety ...
• standardy výzkumné struktury
– ISO 9000/9001
– ISO 20252
– tazatelská síť, vybavení...
• standardy metodiky
• standardy profesních asociací
– minimální standard, dobrá/nejlepší praxe
–
–
–
–
–
• standardy vztahu výzkumník - klient
– na co má klient nárok
• standardy vztahu výzkumník - veřejnost
– push polls, prodej, fund raising, ...,
• standardy vztahu výzkumník - respondent
– informovaný souhlas, ochrana osobních údajů (statistical disclosure),
obtěžování, ...
SIMAR, www.simar.cz
ESOMAR, www.esomar.org
EFAMRO, www.efamro.org
WAPOR, www.wapor.org
AAPOR, www.aapor.org
• výzkumná komunita: metodologický výzkum, výzkum kvality
39
40
10
12.4.2010
Kodex ICC/ESOMAR, pravidlo 25: Výzkumník musí poskytnout klientovi všechny
odpovídající technické podrobnosti o každém výzkumném projektu realizovaném pro
klienta.
Administrativní normy
• ISO 20252:2006 pro výzkum trhu, veřejného mínění a sociální výzkum
– co je zadavatel výzkumu oprávněn žádat od realizátora;
– co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy,
realizace a prezentace výsledků výzkumu;
– co musí jednoznačně výzkum splnit;
– co musí zadavatel výzkumu poskytnout zpracovateli
– neřeší podrobnosti metodiky
• skupina ISO 9000: management kvality, resp. řízení jakosti (ČSN) v
obchodních vztazích (business-to-business)
– TQM
– atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních
mechanismů, kontinuální zdokonalování
– definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body, ...
• opora zákazníkům na trhu pro posouzení kvality
• opora pro reklamace
• samoregulace oboru
41
Výzkumy a média
– metodiky a jejich implementace: producenti
– interpretace a použití dat (procenta nejsou žádný výzkum - nezbytná
teorie - znalostní zázemí problematiky): producenti a sekundární
zpracovatelé (novináři)
Ideál zprávy vs. výzkumná informace:
• téma:
– události  dopady, předpovědi
– pořádání permanentních kvazivoleb
• Publikace v médiích - nejrozšířenější chyby jsou úplně banální
– Procenta nelze srovnávat jako absolutní četnosti.
Je důležité jaká skupina tvoří celek 100 %.
– Preference automaticky nepředstavují volební prognózu.
aktuálnost (jednoduchá metodika, rychlá analýza)
limitovaný rozsah, široká srozumitelnost - jednoduchost
objektivita zprávy: fakta (čísla)
dopady:
• Zpětný dopad na kvalitu výzkumu: kvalitu v tržních podmínkách
nelze trvale dosahovat, pokud na straně odběratelů chybí kompetence
kvalitu rozlišit => nevzniká tlak na dosahování kvality produkce
– tabulka s procenty a komentářem na přední straně
– záměny aktuálních preferencí za předpovědi
– analýza občas uvnitř listu
• žurnalistika dostihových závodů
Zdroj: ICC/ESOMAR [ESOMAR 1995, 2001].
42
• Dva zdroje chyb výsledků šetření:
• největší uplatnění VVM je v médiích
•
•
•
•
Poznámky k aplikaci:
Klient má nárok na následující informace:
1)Pozadí výzkumu: pro koho je výzkum organizován; účel výzkumu; jména smluvních
partnerů a konzultantů, kteří se výzkumu významně podíleli.
2)Výběr: popis pokrytí populace (zamýšlené a dosažené); velikost, povaha a
geografická distribuce vzorku (zamýšleného a dosaženého), informace pokud některá
data byla získána jen od časti vzorku; podrobnosti o metodách výběru a vážení; pokud
je to relevantní, údaje o návratnosti a diskuse mžných odchylek (bias).
3)Sběr dat: popis metody sběru dat; popis tazatelské sítě, popis metod školení a
kvalitativních kontrol při terénním sběru; metody rekrutace respondentů a charakter
pobídek pro zajištění jejich spolupráce; kdy byl sběr dat proveden; případné zdroje
informací mimo šetření a jejich předpokládaná reliabilita.
4)Prezentace výsledků: relevantní faktická zjištění; základy výpočtu procent (vážených i
nevážených); obecné indikace předpokládaných statistických chyb a úrovně statistické
významnosti u hlavních výsledků; dotazník a další relevantní použité materiály.
• ESOMAR, WAPOR: publikace VVM v médiích problém pro celý
obor sociálního výzkumu
43
44
11
12.4.2010
Co s tím?
Pravidla pro publikaci výsledků VVM (ESOMAR) - příklad
• soutěž na trhu a informovaní odběratelé informací
• standardy: ESOMAR - specifický standard pro VVM pro
producenty i novináře - odpovědný producent, ale i klient
• minimální standardy pro publikaci včetně publikace v médiích
ESOMAR/WAPOR guide to opinion polls
• VVM a demokracie
• FAQ (jak poznat (ne-)kvalitu a manipulaci ve výzkumu)
• Pravidla pro publikaci výsledků
• Praktické aspekty realizace předvolebních výzkumů a exit-pollů
45
46
Příklady dalších ustanovení pro publikaci VVM
Specifikace ustanovení
Příklad ustanovení pro realizaci předvolebních VVM
47
48
12