principu meta-evaluace - Institut sociologických studií UK FSV

Univerzita Karlova v Praze
F a k u l t a soc i á l ní c h vě d
Institut sociologických studií
Možnosti a limity využití
principu meta-evaluace
ve společenskovědním výzkumu
Mgr. Jiří Remr
Duben 2009
Kontaktní adresa:
Fakulta sociálních věd UK
Institut sociologických studií
Jiří Remr
U Kříže 8
155 00 Praha 5
e-mail: [email protected]
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
1
Obsah
Obsah................................................................................................................................................... 2
1. Nástin problému.............................................................................................................................. 2
2. Definice kvality dat......................................................................................................................... 3
3. Rozdílný kontext vnímání kvality dat v základním výzkumu a ve výzkumu evaluačním........... 5
4. Některé způsoby řešení v základním výzkumu ............................................................................. 9
5. Inspirativní způsob uplatňovaný v evaluačním výzkumu ........................................................... 13
6. Shrnutí ........................................................................................................................................... 15
7. Bibliografie.................................................................................................................................... 16
1. Nástin problému
Problematika vychýlených či nedostatečně spolehlivých dat není v oblasti společenskovědní
metodologie žádným novým či neznámým fenoménem; jak v oblasti základního výzkumu, tak
také v jednotlivých oblastech výzkumu aplikovaného se s ní bylo možné setkávat již před
mnoha desítkami let1. V posledním období však získává téma kvality výzkumných šetření a
kvality dat získávaných jejich prostřednictvím nové podněty, které rozšiřují tradiční úvahy.
Celý problém je navíc výrazně eskalován tzv. laicizací sběru dat a masivním rozšířením
počítačem podpořených metod sběru dat, zejm. Web-survey, ale ve značné míře také CATI a
CAPI, kdy mohou být činnosti tradičně vyhrazené výzkumným specialistům realizovány
prakticky kýmkoliv. Přestože se přístupy v jednotlivých aplikovaných oblastech k těmto
tendencím různí, zásadní problémy zůstávají stejné: (1) jednotlivá šetření se mezi sebou
kvalitativně výrazně liší, (2) rozdíly v kvalitě provedených výzkumů nejsou účinně ovlivňovány
žádnými standardy či pravidly a (3) kolísající kvalita realizovaných šetření není inherentně
spojena s žádnou konkrétní metodou sběru dat, ani s žádným konkrétním výzkumným
designem. Důsledkem toho je, že potřeba specifikovat „množství kvality“ se požaduje stále
hlasitěji (Biemer, Lyberg 2003).
Cílem předkládaného textu je poukázat na některé způsoby, jak může být kvalita výzkumných
šetření a kvalita dat definována. Práce dále přináší nástin jednotlivých způsobů, jak se
s kvalitou šetření vyrovnává jedna z oblastí aplikovaného výzkumu, a to výzkum evaluační.
V neposlední řadě se stať snaží obrátit pozornost k relevanci praxe evaluačního výzkumu pro
oblast základního společenskovědního výzkumu.
1
Viz např. Literary Digest vs. Gallup či LaPierův výzkum o akceptanci hostů čínského původu americkými
restauratéry a hoteliéry.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
2
2. Definice kvality dat
Juran a Gryna (1980) definují kvalitu dat jako jejich vhodnost k použití. Tuto jednoduchou
definici lze považovat za typického reprezentanta relativistického pojetí kvality, které
považuje důležitost kvality dat (a kvality výzkumného šetření jako takového) za proměnlivou
s ohledem na daný kontext. Juran a Gryna docházejí k závěru, že některá zjištění (či spíše
způsob jejich dosažení) mohou být některými považována za vysoce kvalitní, zatímco jiní
mohou kvalitu těch samých závěrů a způsobů jejich dosažení (tedy výzkumnou metodiku)
hodnotit jako nedostatečnou. Lze dovodit, že důvodem rozdílného hodnocení kvality je mj.
odlišný kontext posuzování. Juran-Grynova definice dále implikuje, že pro různé účely může
být vhodná různá míra přesnosti či kvality dat; obyčejně se v tomto ohledu připouští, že pro
některá méně závažná rozhodnutí či pro některé konkrétní situace je ospravedlnitelné a
adekvátní použít i data nižší kvality2. Proti tomuto relativistickému pojetí se však staví
představa, jež považuje kvalitu dat za hodnotu univerzální, za hodnotu, která je definována na
základě obecně sdílených parametrů (kritérií) nadaných vysokou legitimizační silou.
Universalistické pojetí spojuje kvalitu dat (tedy kvalitu výstupu) se způsobem dosažení
výsledků, s jednotlivými procesy.
Ukazuje se však, že efektivní řízení kvality výzkumného procesu a účinné dosahování vyšších
kvalitativních standardů vyžaduje universálně platné parametry definující jednak dimenze
(kritéria) kvality, a dále také způsob zjišťování míry, v níž jsou jednotlivá kritéria naplňována.
V této souvislosti je třeba připomenout, že samotnou kvalitu dat sice není možné ovlivňovat
přímo a aktivně (což dále souvisí s faktickou nemožností měřit kvalitu dat přímo pomocí
jednoduchých a nesporných znaků), na druhé straně je však patrné, že kvalitu dat lze účinně
ovlivňovat pomocí konkrétních stimulů korigujících žádoucím způsobem příslušné procesy
vyskytující se při výzkumné činnosti. V tomto ohledu lze tedy za jisté východisko považovat
takové činnosti, jakými jsou revize a monitoring již dokončených výzkumných šetření. Je
však třeba mít na paměti, že tento druh prověřování kvality dat (a potažmo také kvality
výzkumného šetření) vyžaduje jednak detailně vypracovaný koncept výzkumné kvality, a dále
specifický nástroj, který by umožnil kvalitu dat tímto způsobem ověřovat.
2
Nejde tedy o dosažení „highest possible quality“, ale o „reasonable quality“.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
3
Definice Jurana a Gryny tedy není vzhledem k uvedeným skutečnostem vhodná pro další
operacionalizaci kvality dat, mnohem lépe využitelný základ poskytuje v tomto ohledu
Eurostat (2003), neboť jeho definice kvality dat ve společenskovědních výzkumech
identifikuje konkrétní dimenze (hodnoty). Z jejich přehledu je přitom patrný jasný průnik
s Juran-Grynovou definicí v parametrech vypovídajících o interakci mezi daty a jejich uživateli
(viz dostupnost, včasnost), nicméně charakterizace kvality dat provedená Eurostatem je
mnohem podrobnější a (především) poskytuje skutečné parametry (hodnoty), jež mohou být
operacionalizovány a měřeny.
Tabulka č. 1 Dimenze kvality dat
Parametr
Popis parametru
relevance
do jaké míry jsou data využitelná
přesnost
do jaké míry jsou data bez chyb a věcné správná
včasnost
do jaké míry jsou data aktualizována a jsou dostupná dle potřeby zadavatele
dosažitelnost
do jaké míry lze data snadno získat
porovnatelnost
do jaké míry jsou data umožňují srovnání (mezi případy i v čase)
koherence
do jaké míry jsou data udržována v identickém formátu
úplnost
do jaké míry jsou data kompletní
Zdroj: Eurostat 2003; upraveno autorem
V návaznosti na takto vyjasněný obsah pojmu kvality dat bychom rádi obrátili pozornost ke
konceptům jejího měření a zjišťování. Jak již bylo uvedeno výše, cílem této práce není
představit nový nástroj pro ověřování kvality dat, ale spíše posoudit relevanci praktik, které
jsou používány v některých oblastech aplikovaného výzkumu. Zásadní inspiraci přitom
shledáváme v oblasti evaluačního výzkumu, neboť je zde možné identifikovat celou řadu
podobností se základním společenskovědním výzkumem v používaných metodách a v pojetí
reliability a validity. I přes tyto podobnosti a souznění v principiálních otázkách dotýkajících
se kvality šetření, je však nutné upozornit na existenci několika diferencí mezi evaluačním
výzkumem a výzkumem základním.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
4
3. Rozdílný kontext vnímání kvality dat v základním
výzkumu a ve výzkumu evaluačním
Evaluační činnost spočívá ve výstižné charakterizaci věcného základu (v řadě případů totiž
není zřejmé, zdali je věcný základ naplněn či nikoliv, popř. v jaké míře či v jakých
konkrétních ohledech zůstává nenaplněn) a ve zjištění hodnoty, kterou posuzovaný objekt
může přinášet svému okolí. Scriven (1991) ve svém vymezení evaluační činnosti zdůrazňuje
systematičnost a kontrolovanost evaluačního procesu, na jehož počátku stojí (1) identifikace
kritérií, tj. stanovení vlastností, jež mají být posuzovány a (2) definování standardů (tedy
určení, jaké intenzity (jakého stupně) mají vlastnosti hodnoceného objektu v daných kritériích
dosáhnout. Pokračuje (3) získáním relevantních informací, tedy aplikací příslušných metod
sběru dat, které umožní ověřit skutečný stav sledovaných kritérií a končí (4) integrací či
syntézou získaných výsledků, jež porovnává získané údaje s předem stanovenými standardy.
Jádro Scrivenovy definice přejala rovněž Joint Committee on Standards jako svou „oficiální“
definici evaluace; v jejich Program Evaluation Standards3 (cit. dle Sanders 1994) je totiž
evaluační činnost definována jako „systematické zkoumání věcného základu a hodnoty
daných objektů“. Přestože tento způsob vymezení evaluací je dále akceptován mnoha dalšími
autory (mj. Patton 2008; Clarke 1999; Alkin 2004; Gupta 2007; Mohr 1995), nezůstává
nehybným pomníkem pionýrských dob evaluačního oboru a je dále rozvíjen a precizován.
Příkladem je pojetí Fitzpatrickové, která v rámci své definice evaluační činnosti poukazuje na
vysoký význam takových procesů, jakými jsou identifikace, vyjasnění a aplikace
obhajitelných kritérií, s jejichž pomocí je stanoveno, zdali daný intervenční program dosahuje
vytyčených cílů či nikoliv (Fitzpatrick et al. 2004). Vlastní náplní evaluační činnosti je pak
charakteristika věcného základu a posuzování hodnoty z hlediska stanovených kritérií.
Hallová a Hall (2004) považují evaluační činnost za svébytný typ výzkumu, který se zaměřuje
na cíle tzv. intervenčních programů4 a zjišťuje, do jaké míry byly naplněny záměry realizátora
těchto intervenčních programů. Svým pojetím I. Hallová a D. Hall notně zužují oblast
evaluací na pouhou evaluaci výstupů (outcome evaluation), což však nevyčerpává celou šíři
úloh, jež jsou v současnosti před evaluátory kladeny. Ucelenější pohled na podstatu evaluační
činnosti lze zaznamenat v přístupu Guby a Lincolnové (1989), kteří definují evaluační činnost
3
Jde o soubor pravidel a doporučení, který upravuje způsob realizace evaluací.
Intervenční programy jsou svébytným předmětem evaluací. Obecně lze shrnout, že intervenční program je
souborem opatření, jehož cílem je změna či formování chování jednotlivců.
4
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
5
jako aktivitu využívající vědecké postupy za účelem získávání a analyzování informací o
obsahu, struktuře a výstupech zkoumaných programů, projektů a plánovaných intervencí.
Extenzivita jejich pohledu na evaluační činnost je patrná hned ve dvou směrech: jednak ve
funkčním vymezení, kdy se takto pojímaná evaluační činnost zaměřuje kromě výstupů také na
obsah a strukturu, čímž E. Guba s Y. Lincolnovou obracejí pozornost k procesům, jež působí
dokumentovatelné výsledky prováděných intervencí. Druhým směrem je obsahové rozšíření
povahy a typů subjektů prováděných evaluací: zatímco I. Hallová a D. Hall vztahují aplikaci
evaluací výlučně k intervenčním programům, E. Guba s Y. Lincolnovou považují za
potenciální předmět evaluací rovněž projekty a další entity neintervenujícího charakteru.
Patrně nejkomplexnější definice evaluační činnosti pochází od Fournierové (2005), která
definuje evaluační činnost jako aplikovaný proces zjišťování, sběru a syntézy důkazů, které
vedou k závěrům o věcném základu a o hodnotě; o významu či kvalitě posuzovaného
programu, produktu, osoby, politiky, návrhu nebo plánu. Evaluační činnost tedy zahrnuje jak
empirický aspekt, tak také aspekt normativní (úsudek o hodnotě), přičemž je to právě
hodnotový prvek, jenž odlišuje evaluaci od jiných typů šetření jako např. od základního výzkumu,
od klinické epidemiologie, od investigativní žurnalistiky či od výzkumu veřejného mínění.
Ze všech uvedených definic je jasně patrné chápání evaluační činnosti jako objektivního a
kontrolovaného procesu, jenž se ostře vymezuje proti laickému chápání evaluační činnosti coby
subjektivistickému vyjadřování individuálních postojů. Dále je patrné, že všechny uvedené
definice vytyčují oblast (cíl), kterou evaluační činnost anticipuje, ale žádná z nich přitom
neodkazuje ke konkrétním metodám či technikám; snad jen zmínka Guby a Lincolnové (1989)
o použití „vědeckých metod“ může být v tomto ohledu chápána jako jistá výjimka, byť ani
v tomto případě není patrný odkaz k žádnému konkrétnímu metodologickému rámci.
Další část textu poukazuje na klíčové charakteristiky základního výzkumu a snaží se
identifikovat specifika obou výzkumných oblastí, které se spolupodílejí na rozdílném chápání
kvality dat. Pro účely této práce může být tedy základní výzkum definován jako snaha
odvodit zobecnitelné nové poznatky kladením jasně definovaných otázek při použití
systematických a exaktních metod (Research Governance Framework 2005). S výstižnou a
komplexní definicí základního výzkumu rovněž přicházejí Kerlinger a Lee (2000), kteří ho
definují jako „systematické, kontrolované, empirické, hodnotově neutrální, veřejné a kritické
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
6
zkoumání přirozených jevů. Je veden teorií a hypotézami o předpokládaných vztazích mezi
těmito jevy“. V neposlední řadě také Singleton, Streits, Streits (1993) poukazují v souvislosti
s vědeckým poznáním na empirismus, objektivitu a ověřitelnost. Z uváděných definic je tedy
patrné, že empirismus, objektivita a kontrolovatelnost jsou klíčovými charakteristikami, jež
definují podstatu základního výzkumu. Již letmé srovnání definic evaluačního výzkumu a
výzkumu základního implikuje zvýšenou pozornost, kterou evaluační výzkum věnuje externí
validitě; naproti tomu základní výzkum klade svůj akcent na validitu interní.
Evaluační výzkum se od výzkumu základního dále odlišuje svým základním posláním a
účelem, pro který je prováděn. Cílem evaluací je „poskytovat zpětnou vazbu a umožnit
dosažení praktických a konkrétních cílů“ (Isaac, Michael 1997) a evaluační výzkum tak
odkazuje k takovým činnostem jako je např. analýza efektivity či hodnocení adekvátnosti
použitých prostředků vzhledem ke stanoveným cílům. Stufflebeam a Shinkfield (2007) v
souvislosti s porovnáním cílů evaluací a základního výzkumu zdůrazňují, že smyslem
evaluačního výzkumu není dokazovat (prove), ale zlepšovat (improve). Odkazují tím na
aplikovaný charakter evaluačního výzkumu, který neslouží k budování a ověřování teorie a
k provádění důkazů platnosti formulovaných hypotéz, ale má za cíl pomáhat při implementaci
a rozvoji intervenčních programů. Základní výzkum a evaluace tedy spějí k rozdílným
závěrům; zatímco hlavním cílem základního výzkumu je přinášet poznatky, hromadit vědění a
rozvíjet teorii, cílem evaluačního výzkumu je napomáhat v rozhodování. Ryze aplikovaný
charakter evaluací tedy vysvětluje absenci jakýchkoliv ambicí přispívat k budování teorie a
k jejímu rozvíjení.
Evaluační výzkum tedy poskytuje informace využitelné v dané rozhodovací situaci, v přesně
daném čase a konkrétně specifikovaným subjektům; bezprostřední využitelnost výsledků
v rámci daného evaluačního uspořádání je tedy klíčová, zatímco v případě základního
výzkumu není tento parametr nijak významný (Donaldson, Christie, Mark 2009). Evaluace
vždy bere v potaz konkrétní kontext, ve kterém je prováděna. Její výsledky jsou platné vždy a
pouze v daném kontextu; naproti tomu základní výzkum se snaží o formulaci takových
závěrů, které jsou na konkrétním kontextu nezávislé. Tato diference má zásadní dopady na
vnímání a posuzování kvality šetření a kvality dat. Weiss (1998) rozdíly mezi evaluacemi a
základním výzkumem vystihuje poukazem na způsob použití zjištěných výsledků. Zatímco
v případě základního výzkumu je ponecháno na přirozených a spontánních procesech, jak
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
7
budou či nebudou výsledky použity, evaluační výzkum je vždy iniciován s konkrétním cílem.
Rovněž tyto rozdíly základního a evaluačního výzkumu vedou k odlišnému vnímání významu
takových kvalitativních parametrů, jakými jsou „relevance“ a „úplnost“.
V základním výzkumu se hypotézy odvíjejí od teorie a od stavu poznání, formuluje je
obvykle samotný výzkumník a své výzkumné cíle a záměry koriguje na základě doporučení
svých kolegů (oponentů); samostatné uchopení zkoumaného problému je v základním
výzkumu běžné. Naproti tomu v případě evaluací se jejich cíl odvíjí od zadání a od faktické
situace, v níž se nacházejí jednotlivé zainteresované strany. Evaluátoři navrhují výzkumný
design, konstruují výzkumné instrumenty, analyzují data a připravují závěrečné výstupy,
nicméně každý z kroků vždy konzultují se zadavatelem a každé významné rozhodnutí podléhá
schválení ze strany zadavatele prováděné evaluace. Pokud by evaluátoři postupovali způsobem,
jaký je běžný v základním výzkumu (tedy samostatně), porušili by tím své etické normy.
Použitý výzkumný design je tak v případě evaluací spoludeterminován praktickými
okolnostmi (čas, rozpočet apod.) v podstatně větší míře než v základním výzkumu a díky
ingerenci zainteresovaných stran je výzkumný design častokrát také kompromisem
„politickým“, a to se všemi důsledky, kterými takto vymezené situace determinují kvalitu
získávaných dat.
Tabulka č. 2 Srovnání vybraných parametrů základního výzkumu a evaluací
Základní výzkum
Evaluace
Získávání nových poznatků; rozvoj teorie
Získávání údajů pro rozhodování zainteresovaných stran
Rozšiřování znalostí; zaplňování bílých míst
Pomoci při rozhodování; řešení praktických problémů
Snaží se dospět k obecně platným zákonitostem, tvrzením o
vztazích mezi jevy (proměnnými)
Snaží se ověřit vlastnosti předmětu evaluace
Monotetičnost
Idiografičnost
Klade důraz na zobecnitelnost závěrů na jiné populace
Klade důraz na užitečnost zjištění
Přináší zjištění, která mají dlouhodobý dopad
Přináší zjištění, která mají krátkodobý dopad
Klade důraz na metodu, méně na výsledek; vysoký důraz je
kladen na statistickou významnost
Klade důraz na použitelnost výsledků; akceptuje, že volba
metod je kompromisem vedeným snahou o získání prakticky
významných poznatků
Klade důraz na vnitřní validitu
Klade důraz na vnější validitu
Používá survey
Používá experiment
Typickým realizátorem je tým
Typickým realizátorem je tým nebo jednotlivec
Převládá použití jedné metody
Převládá simultánní použití více metod
Je financován prostřednictvím grantů
Je financován prostřednictvím kontraktu se zadavatelem
Zdroj: autor na základě pramenů citovaných v textu
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
8
Uvedené diference poukazují na různý kontext, v němž je v rámci obou srovnávaných oblastí
kvalita šetření analyzována. Platí přitom, že různost výchozích podmínek vede k rozdílnému
přístupu k řešení. Základní výzkum v tomto ohledu obrací značnou část své pozornosti
k respondentům coby původci chyb svého druhu, naproti tomu evaluační výzkum se zaměřuje
na hledání nedostatků ve výzkumných postupech a v mechanismech dospívání k jednotlivým
zjištěním.
4. Některé způsoby řešení v základním výzkumu
Nalézt efektivní obranu před problémy způsobené samotnými respondenty (např. lhaní či
předstírání) a způsobem jejich zapojení do výzkumných šetření není nikdy jednoduché;
nicméně v průběhu letitého vývoje výzkumných metod a technik již byla vyzkoušena a
testována celá řada konkrétních nástrojů a postupů, které umožňují některé z uvedených obtíží
buď zcela eliminovat nebo alespoň správně diagnostikovat a omezit tak jejich negativní vliv
na validitu získávaných údajů (Colton, Covert 2007). Z množství těchto postupů a technik
jsme vybrali ty, které představují základní přístupy; pozornost je tedy věnována úpravám
výzkumného instrumentu, revizi způsobů vedení interview a změně designu výzkumu.
Úprava výzkumného instrumentu
Nejjednodušší skupinu technik představují opatření, která nevyžadují žádné významné zásahy
do vlastního výzkumného uspořádání, a která se dotýkají pouze samotného výzkumného
instrumentu. Jedná se zejména o tzv. cross-checky, tedy o dotazy kladené opakovaně
v různých fázích interview častokrát koncipované jiným druhem otázky, než který byl využit
při prvotním zjištění sledovaného jevu. Prostřednictvím cross-checků sice lze ověřovat
integritu odpovědí respondenta, nicméně jejich role je pouze pasivní: s jejich využitím lze
diagnostikovat nedostatečnou konzistenci respondentských odpovědí, není však možné na
jejich základě provést vlastní verifikaci odpovědí a v řadě případů nelze ani provést odhad
platné odpovědi. Diagnostické možnosti cross-checků nestačí ani na odlišení ambivalentních
postojů od indiferentních. Jistou alternativou cross-checků je analýza logických vazeb mezi
jednotlivými odpověďmi dotazovaných využívaná při čištění dat.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
9
Mnohem účinnějším nástrojem pro ověření pravdivosti odpovědí jsou tzv. follow-ups, tedy ze
své podstaty otevřené otázky, jejichž hlavním smyslem není zjistit od respondenta příslušnou
meritorní informaci, nýbrž ověřit pravdivost a platnost předchozí respondentovy odpovědi. Na
užitečnost follow-ups poukazovali zejména Schuman (1966) či Belson (1967), kteří je
s úspěchem využívali při svých výzkumech, nicméně design dotazování založený na
jednoduché postojové otázce uzavřené formy následované zpřesňující otevřenou otázkou lze
najít už i u G. Gallupa. Přestože Gallupova motivace k položení otevřené otázky byla ryze
zjišťovací, konkrétní odpovědi respondentů uvedené v otevřené otázce nevyhnutelně
vypovídaly i o věrohodnosti či správnosti dříve vyjádřeného postoje.
Follow-ups jsou výjimečné tím, že při jejich adekvátním nasazení umožňují výzkumníkovi
učinit samostatné rozhodnutí o platnosti či neplatnosti ověřované odpovědi. Díky otevřené
formě ověřovacího dotazu totiž respondent snadno uvede přiznání, neboť nedokáže odhadnout
ani pravý smysl takovéto otázky, ani dopad své odpovědi. Při správném zaškolení může navíc
snahy respondentů o zkreslování odpovědí či o předstírání a stylizaci rozpoznat přímo tazatel
a přizpůsobit tomu aktuální strategii vedení rozhovoru již v momentě, kdy jsou data sbírána.
Zásadní omezení follow-ups je však dáno jejich typem – otevřené otázky se obecně potýkají
s vyšší non-response než otázky uzavřené a navíc značně komplikují zpracování dat. Jakkoliv
jsou nenahraditelné při verifikaci znalostních otázek, při ověřování postojů mohou vést
k nesprávné diagnostice, kdy nejčastější chybou bývá nesprávná interpretace chybějící
odpovědi v kombinaci s inkonsistencí v souvisejících uzavřených otázkách jako postojová
indiference, zatímco ve skutečnosti může jít o postojovou ambivalenci provázenou formulační
inkompetencí respondenta.
Jisté zjednodušení indikace míry zkreslování odpovědí ze strany respondenta přináší
využívání škál lživosti (L-scales), které využíval mj. Boruch (1972). Faktem je, že škály
lživosti založené na baterii stimulů (tedy série uzavřených otázek) významně usnadňují
zpracování dat a rozšiřují tak alespoň teoretické možnosti jejich využití. V současné aplikační
praxi však nebývají i přes tyto své výhody využívány tak často jako follow-ups. Důvodem je
zejména neúměrná zátěž pro respondenta daná větším počtem otázek. Další neméně
významnou bariérou je nepřesvědčivost výsledků testů lživosti zejména při opakovaných
šetřeních, které jsou při formativních evaluacích poměrně běžné. V neposlední řadě je třeba
zdůraznit, že ani škály lživosti nevedou k verifikaci získaných odpovědí, ale pouze
k diagnostice respondentských sklonů ke lhaní.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
10
Revize způsobů vedení interview
Jiný přístup reprezentuje sada opatření, kterou lze využít pouze v těch výzkumných šetřeních,
jež jsou založena na sběru dat metodou osobních interview. Rovněž je třeba předeslat, že tyto
techniky zasahují do vlastního výzkumného procesu podstatně větší měrou, než je pouhá
úprava výzkumného instrumentu, popř. pouhá revize strategie provedení analýzy dat. Postupy
zaměřené na ovlivňování interakce mezi tazatelem a dotazovaným totiž narozdíl od
předchozích opatření umožňují přímo ovlivňovat výsledek. Nástroje popsané v předchozí
části mají spíše diagnostický charakter, tzn. že dovolují pouze identifikovat problémové
případy, naproti tomu opatření revidující způsoby vedení interview disponují podstatně
větším potenciálem k formování samotného sběru dat, a tím k bezprostřední determinaci
získávaných informací. Tato opatření navíc nepůsobí cíleně při ověřování jedné konkrétní
otázky či přesně vymezené baterie otázek, ale ovlivňují celé interview. Navíc efekt těchto
opatření není ani měřitelný, a dokonce není ani dokumentovatelný.
Konkrétní opatření tohoto druhu spočívají v důkladné analýze postojů samotných tazatelů.
Jejich dosavadní zkušenosti a postoje ke zkoumané problematice se totiž mohou promítat do
způsobu, jakým prezentují jednotlivé otázky či varianty odpovědí respondentům, případně
jaký důraz tazatelé přikládají jednotlivým odpovědím uvedených respondenty. Na potřebu
zohledňovat při posuzování respondentských odpovědí také charakteristiky konkrétního
tazatele poukázal již ve dvacátých letech minulého století S. Rice, který v jednom ze svých
výzkumů zaznamenal u části respondentů netypicky vysoký podíl těch, kteří považovali za
důvod svých nezdarů v práci a příčinu své nízké spokojenosti s vlastním životem alkohol
(Rice 1929). S. Rice později při dotazování samotných tazatelů zjistil, že všichni tito
nespokojení respondenti byli dotazováni stejným tazatelem – asertivním prohibicionistou.
Dalším významným činitelem působícím v situaci, kdy respondent dekóduje informaci
požadovanou výzkumníkem a zvažuje svoji stylizaci, je způsob představení výzkumu
tazatelem a styl vedení interview ze strany tazatele vůbec. V této souvislosti se v celé řadě
konkrétních výzkumných projektů jednoznačně ukazuje, že klíčovou roli sehrává důkladné
proškolení tazatelů zahrnující mj. také nácvik modelových situací. Rozsah a intenzita školení
tazatelů se totiž přímo odráží v míře návratnosti, v detailu/rozsahu údajů získaných od
respondentů i v jejich přesnosti. Hyman (1954) v této souvislosti poukazuje na užitečnost
rozvoje tazatelských dovedností při školení tazatelů a na nezbytnost potlačování průmětu
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
11
tazatelových postojů a stereotypů do komunikace s respondentem. Podobně jako H. Hyman
také Shapiro a Eberhart (1947) a později i Rosenthal (1966) prokázali, že postojové
predispozice tazatelů významným způsobem ovlivňují respondenta při hledání svého vztahu
k předmětu zkoumání. V této souvislosti nelze nezmínit také Katze (1942), který poukazoval
na nutnost pečlivého výběru tazatelů zohledňujícího jejich sociální profil tak, aby se co
nejvíce podobal profilu dotazovaných zástupců cílové skupiny. D. Katz tak ve svých
výzkumech předvolebního chování předcházel mnohým nepochopením při interview a
dosahoval také snazšího navázání kontaktu mezi tazatelem a respondentem.
Skutečnost, v jaké míře může tazatel svým chováním a vystupováním ovlivnit získávané výsledky
vede některé evaluátory k preferenci samovyplňovacích dotazníků a k upřednostňování
takových metod sběru dat, které při získávání postojů eliminují práci tazatelů.
Změna designu výzkumu
Specifický způsob, jak přistupovat k problematice neochoty respondentů či jejich
neschopnosti poskytovat validní informace o svém chování, jednání či postojích, představuje
úprava samotného výzkumného designu. V konkrétní podobě jsou v rámci jednoho
výzkumného projektu aplikovány různé metody sběru dat, které bývají voleny vždy
s ohledem k povaze získaných informací (Bickman 2000). Obvyklou snahou v této souvislosti
je zvolit takovou kombinaci metod, která zohledňuje povahu získaných informací a vede tak
k eliminaci sebestylizačních sklonů zkoumaných jednotlivců (Greene 2007). V soudobé
metodologii se lze v této souvislosti stále častěji setkávat se snahou odhlédnout od antagonismu
kvantitativních přístupů a kvalitativně orientovaných metod a posílit souběžné využití obou
přístupů v rámci jednoho výzkumného projektu (Creswell, Clark 2007; Mark, Shotland 1987).
První systematicky projevované impulsy k využívání smíšeného designu (mixed-design) lze
zaznamenávat přibližně od 70. let minulého století5. V té době však šlo spíše o první a ojedinělé
pokusy kombinovat kvalitativní a kvantitativní postupy – se seriózními analýzami dopadu
kombinace různých metod sběru dat se setkáváme o cca 10 let později, kdy se rozproudila
paradigmatická diskuse nad dosavadními výzkumnými tradicemi a zásluhou Rossmana,
Wilsona a A. Brymana se smíšený design stal jedním z velkých metodologických témat.
5
„Přichází čas přestat se stavěním zdí mezi jednotlivými metodami a začít s budováním mostů mezi nimi.“
(Cook, Reicherdt 1979)
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
12
5. Inspirativní způsob uplatňovaný v evaluačním výzkumu
Jak již bylo uvedeno, evaluační výzkum se v přístupu ke kvalitě dat odlišuje od základního
výzkumu svým akcentem na procesní aspekty. Pochopitelně se i v evaluačním výzkumu
uplatňují postupy a řešení uvedená výše; existuje mnoho dalších sdílených technik, jako jsou
např. testy reliability (ať už provedených formou test-retest, split-half či pomocí koeficientu
alfa6), a dokonce i některé koncepty validity. Zásadní rozdíl mezi základním a evaluačním
výzkumem však nejlépe dokumentuje uskutečňování tzv. meta-evaluací.
Koncept meta-evaluací byl poprvé popsán Scrivenem (1991), který definoval tuto činnost
jako evaluaci provedené evaluace – či nepřímo také jako evaluaci evaluátorů. Meta-evaluace
tedy revidují provedené šetření, přičemž usilují o provedení evaluace samotných evaluátorů,
neboť i oni jsou zájmovou skupinou svého druhu (Guba, Lincoln 1989) a je tak přirozené, že
jsou podrobeni evaluaci stejně tak jako ostatní subjekty. Klíčovým motivem je v tomto ohledu
snaha eliminovat subjektivní prvek v primární evaluaci a dosáhnout tak vyšší kredibility
získaných závěrů.
Původní Scrivenovu představu o roli a významu meta-evaluací později rozšířil zejména D.
Stoufflebeam, který chápe meta-evaluaci jako soubor opatření, které slouží k tomu, aby
evaluace přinášely jasná zjištění a jednoznačné závěry (Stoufflebeam, Shinkfield 2007).
Z jeho pojetí je patrná snaha pojmout meta-evaluace jako praktickou pomůcku při provádění
vlastních evaluačních šetření, o tom koneckonců nejlépe svědčí jeho Key Evaluation
Checklist, jenž může být považován za jakési vodítko, jak meta-evaluace realizovat.
Meta-evaluace jsou prováděny dvěma základními způsoby. Jednak jako sumativní evaluace
uskutečněné po dokončení primární evaluační studie; sumativní forma meta-evaluací je
obvykle prováděna třetí stranou za účelem posílení legitimity výsledků meta-evaluací či
z důvodů snazší identifikace zdrojů chyb objevujících se v primárních evaluacích. Tento
přístup má jednoznačně pozitivní efekty pro budoucí evaluační projekty a je faktickým
spojením mezi individuálními evaluačními studiemi (viz případové studie). Pozitivního efektu
meta-evaluací však lze dosáhnout také pomocí druhého způsobu, a to využitím formativního
uspořádání, kdy evaluátor sám hodnotí svou vlastní evaluaci. V tomto případě meta-evaluace
6
Koeficient apfa byl představen L. Cronbachem, který se řadí mezi významné evaluátory zejména díky svému
modelu UTOS.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
13
umožňuje lepší pochopení, jak různá rozhodnutí v rámci výzkumného designu ovlivňují
kvalitu výsledků a jak vlastně dopadají na celý evaluační projekt. To dává evaluátorům
příležitost ke zlepšení vlastních závěrů, a to dokonce ještě předtím, než jsou výsledky
evaluační studie prezentovány zadavateli.
Výzvy a příležitosti
V posledním období lze zaznamenat úsilí mnohých evaluátorů o standardizaci metaevaluačních postupů, a potažmo také o standardizaci výstupů z prováděných meta-evaluací.
Zřejmou výhodou anticipované standardizace je především snadná dostupnost analýzy kvality
provedeného evaluačního šetření. V kontextu evaluací je takovýto doklad důležitý a užitečný,
neboť zainteresované strany, které jsou výsledky evaluace negativně dotčeny, častokrát
napadají (účelově) právě kvalitu provedení evaluace (Benson 2001). Existence
standardizovaných meta-evaluačních postupů by takováto zpochybňování významně
eliminovala. Standardizované meta-evaluace rovněž mohou internalizovat pozitivní
externality produkované „dobrými daty“ a zabránit tak parazitování „špatných dat“ na jejich
pověsti7.
Tabulka č. 3 Rozdílný obsah dimenzí kvality dat v základním a evaluačním výzkumu
Parametr
Základní výzkum
Evaluační výzkum
relevance
vědecká kritéria (RIV, citace atd.)
aplikační kritéria; praktický využitelnost
přesnost
chyba I. druhu
chyba I. a II. druhu
včasnost
-
-
dosažitelnost
je svázána metodologickými omezeními
případové studie (méně svázané výzkumnou metodologií)
porovnatelnost
pozornost je zaměřena na sběr dat
pozornost je zaměřena na celý projekt (meta-úroveň)
koherence
perfektní, replikovatelný, měřitelný
méně rigidní; zahrnuje prvek „posouzení“
úplnost
kvantitativní výzkum vytváří výseče reality;
kvalitativní výzkum trpí nízkou reliabilitou
triangulace; smíšený design
Zdroj: Eurostat 2003; upraveno autorem
Ohrožení a limity
Metodika meta-evaluací není doposud ustálená. Stále existuje řada fází procesu evaluací,
které nejsou podchyceny žádným indikátorem v kontrolních seznamech, jež se pro provedení
meta-evaluací aktuálně využívají a jsou publikovány v odborné literatuře.
7
Rozlišování „dobrých“ a „špatných“ dat je inspirováno Greshamovým zákonem o postupném vytlačování
„dobrých“ peněz „špatnými“.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
14
Je rovněž nutné, aby údajům meta-evaluací a i jejich samotnému konceptu rozuměli samotní
zadavatelé a vyžadovali jejich provedení (Ciarlo 1981). Optimálním řešením je dosažení
univerzálního a obecně akceptovaného standardu, podle něhož by byly meta-evaluace
prováděny. Rovněž je třeba dlouhodobě poukazovat na přidanou hodnotu pramenící
z informací poskytovaných meta-evaluacemi a poskytnout návod, jak přesně je používat
v každodenním rozhodování.
Specifickou bariéru rozvoje meta-evaluací mohou představovat samotní evaluátoři a
výzkumníci, neboť již nyní je patrné, že zdaleka ne všichni jsou ochotní otevřít černou
skříňku, kterou nyní výzkumné a evaluační procesy představují.
6. Shrnutí
Meta-evaluace jsou tedy inspirativní technikou, která může napomoci rozlišit data s nízkou
kvalitou od dat vysoce kvalitních. Meta-evaluace mohou empiricky shrnout relevantní
aspekty, které ovlivňují kvalitu výzkumu a mohou tak přinést nový typ informace ke každému
realizovanému výzkumu. Zkušenosti z oblasti evaluací jsou v tomto ohledu velmi
povzbudivé, neboť proces meta-evaluací zde přináší potřebnou zpětnou vazbu k samotným
evaluačním projektům a umožňuje tak lepší poznání o vhodnosti zvoleného postupu. Díky
jisté míře standardizace (prozatím jen v elementárních parametrech) dále meta-evaluace
umožňují vzájemné porovnání jednotlivých přístupů a jejich dlouhodobé sledování.
Rozdíly mezi základním a evaluačním výzkumem naznačují, že koncept meta-evaluací sice
nemůže být přenesen z evaluačního oboru do základního výzkumu ve své původní a
nezměněné podobě, přesto však jsou meta-evaluace kompatibilní se současnými postupy
základního výzkumu, rozšiřují současné způsoby zjišťování kvality šetření a jejich
mechanismus tak lze využít jak v rámci základního výzkumu, tak také v ostatních
aplikovaných oblastech společenskovědního výzkumu.
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
15
7. Bibliografie
Alkin M. C., 2004. Evaluation Roots. London, SAGE Publication
Belson W. A., 1967. Tape recording: its effect on accuracy of response in survey
interview. Journal of Marketing Research No. 4
Benson A. P., Hinn D. M., Lloyd C. (eds.), 2001. Visions of Quality: How Evaluators
define, understand and represent program quality. London, JAI
Bickman L. (ed.), 2000. Research Design. London, SAGE Publication
Biemer P. P., Lyberg L. E., 2003. Introduction to Survey Quality. New Jersey, Wiley
Boruch R. F., 1972. Ralations among Statistical Methods for Assuring Confidentiality of
Social Research Data. Social Science Research No 1
Ciarlo J. A., 1981. Utilizing Evaluation. Concepts and Measurement Techniques. London,
SAGE Publications
Clarke A., 1999. Evaluation Research. An Introduction to Principles, Methods and
Practice. London, SAGE Publications
Colton D., Covert R. W., 2007. Designing and Constructing Instruments for Social
Research and Evaluation. San Francisco, Jossey-Bass
Cook T. D., Reichardt C. S., 1979. Qualitative and quantitative methods in evaluation
research. London, SAGE Publications
Creswell J. W., Clark V. L., 2007. Designing and Conducting. Mixed Methods Research.
California, SAGE Publications
Donaldson S. I., Christie C. A., Mark M. M. (eds.), 2009. What Counts as Credible
Evidence in Applied Research and Evaluation Practice? London, SAGE Publishing
Fitzpatrick J. L., Sanders J. R., Worthen B. R., 2004. Program Evaluation. Boston, Pearson
Education
Fournier, 2005. Evaluation. In. Mathison S., 2005. Encyclopedia of Evaluation. London,
SAGE Publishing
Greene J. C., 2007. Mixed Methods in Social Inquiry. San Francisco, Jossey-Bass
Guba E. G., Lincoln Y. S., 1989. Fourth Generation Evaluation. London, SAGE Publishing
Gupta K., 2007. A Practical Guide to Needs Assessment. San Francisco, Pfeiffer
Hall D., Hall I., 2004. Evaluation and social research – introducing small-scale practice.
New York, Palgrave McMillan
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
16
Hyman H. H. et al., 1954. Interviewing in social research. Chicago, University of Chicago
Press
Isaac S., Michael W. B., 1997. Handbook in Research and Evaluation. California, Edits
Juran L. M., Gryna F. M., 1980. Quality Planning and Analysis. New York, McGraw-Hill
Katz D., 1942. Do interviewers bias poll results? Public Opinion Quarterly No. 6
Kerlinger F. N., Lee H. B, 2000. Foundations of Behavioral Research. California,
Wadsworth Inc.
Mark M. M., Shotland R. L., (eds.), 1987. Multiple Methods in Program Evaluation. San
Francisco, Jossey-Bass
Mohr L. B., 1995. Impact Analysis for Program Evaluation 2. London, SAGE Publishing
Patton M. Q., 2008. Utilization-Focused Evaluation. London, SAGE Publishing
Research Governance Framework, 2005. Dostupné z www.dh.goc.uk.
Rice S. A., 1929. Contagious Bias in the Interview. American Journal of Sociology No. 35
Rosenthal R., 1966. Experimenter Effects on Behavioral Research. New York, AppletonCentury-Crofts
Sanders R. J., 1994. The Program Evaluation Standards 2. London, SAGE Publishing
Schuman H., 1966. The random probe: a technique for evaluating the validity of closed
questions. American Sociological Review No. 31
Scriven M., 1967. The Methodology of Evaluation. In Stake R. E. (ed.) Curriculum
evaluation. American Educational Research Association Monograph Series on Evaluation No
1. Chicago, Rand McNally
Scriven M., 1991. Evaluation Thesaurus. London, SAGE Publishing
Shapiro S, Eberhardt J.C., 1947. Interview differences in an intensive interview survey.
International Journal of Opinion and Attitude Research No 1
Singleton, Jr. R. A., Straits B. C., Straits M. M., 1993. Approaches to Social Research.
Oxford, Oxford University Press
Stufflebeam D. L., Shinkfield A. J., 2007. Evaluation, Theory, Models & Applications. San
Francisco, Jossey-Bass
Weiss C. H, 1998. Evaluation. New Jersey, Prentice Hall
Remr J., 2009. Možnosti a limity využití principu meta-evaluací ve společenskovědním výzkumu
17