disertační práce - Institut sociologických studií UK FSV

Transkript

Univerzita Karlova v Praze
Fakulta sociálních věd
DISERTAČNÍ PRÁCE
Draft textu – malá obhajoba
Únor 2009
Remr J., 2009. Integrativní přístup k evaluacím
Mgr. Jiří Remr
1
Univerzita Karlova v Praze
F a k u l t a soc i á l ní c h vě d
Institut sociologických studií
Integrativní přístup k evaluacím
R e a l i s t i c k á
a l t e r n a t i v a
Vypracoval:
Školitel:
Mgr. Jiří Remr
Únor 2009
Doc. PhDr. Hynek Jeřábek, CSc.
2
Potvrzuji, že jsem disertační práci vypracoval samostatně, a to pouze s využitím uvedených
pramenů.
V Praze, 15.2. 2009
Jiří Remr
3
Autor děkuje školiteli Doc. PhDr. Hynku Jeřábkovi, CSc., za vedení práce a cenné náměty
a připomínky k prvním verzím textu. Autor současně děkuje všem recenzentům jednotlivých
textů, které předcházely vypracování této práce.
Kontaktní adresa:
Fakulta sociálních věd UK
Institut sociologických studií
Jiří Remr
U Kříže 8
155 00 Praha 5
e-mail: [email protected]
4
Obsah
Obsah......................................................................................................................................... 5
1. Úvod....................................................................................................................................... 8
1.1 Expozice problému........................................................................................................... 8
1.2 Cíle práce.......................................................................................................................... 9
2. Základní vymezení problematiky evaluací ...................................................................... 10
2.1 Evaluace jako činnost..................................................................................................... 10
2.2 Evaluace jako věda......................................................................................................... 15
2.3 Evaluace jako metoda..................................................................................................... 22
2.4 Evaluace jako obor ......................................................................................................... 27
2.4.1 Vnitřní strukturace oboru ........................................................................................ 27
2.4.2 Rozvoj evaluačního oboru....................................................................................... 30
2.5 Souhrn ............................................................................................................................ 32
3. Klíčové pojmy evaluace intervenčních programů........................................................... 34
3.1 Intervenční program ....................................................................................................... 34
3.2 Teoretické schéma (program theory) a sekvenční schéma (logic model) intervenčního
programu .............................................................................................................................. 40
3.3 Zainteresované strany (stakeholders) ............................................................................. 46
4. Vztah evaluací k jiným oblastem ...................................................................................... 53
4.1 Základní a aplikovaný výzkum ve společenských vědách............................................. 53
4.1.1 Základní výzkum..................................................................................................... 53
4.1.2 Aplikovaný výzkum ................................................................................................ 56
4.2 Individuální diagnostika (psychologický výzkum, sociální práce)................................ 57
4.3 Audit............................................................................................................................... 58
4.4 Monitoring...................................................................................................................... 60
4.5 Analýza politik ............................................................................................................... 62
4.6 Souhrn ............................................................................................................................ 63
5. Metodologická specifika evaluací ..................................................................................... 64
5.1 Zainteresované strany mají zájem na konkrétních výsledcích evaluace ........................ 65
5.2 Experimenty a experimentální design výzkumu ............................................................ 73
5.2.1 Význam chyby I. typu a chyby II. typu................................................................... 74
5.2.2 Aplikační možnosti a omezení experimentů ........................................................... 76
5.3 Způsob dosahování a řízení kvality dat.......................................................................... 79
6. Typy evaluačních studií ..................................................................................................... 84
6.1 Dle účelu provedení: formativní (formative evaluation) a sumativní evaluace
(summative evaluation) ........................................................................................................ 85
6.2 Dle typu realizátora: interní a externí evaluace.............................................................. 92
6.3 Rozlišení dle fáze rozvoje intervenčního programu: ex-ante, mid-term a ex-post
evaluace................................................................................................................................ 93
6.4 Dle předmětu evaluace: evaluace výstupu, evaluace procesu a výzkum potřeb ............ 96
6.4.1 Evaluace výsledku (outcome evaluation)................................................................ 96
6.4.2 Evaluace procesu (process evaluation) ................................................................... 97
6.4.3 Výzkum potřeb (needs assessment) ........................................................................ 99
5
7. Soudobé evaluační přístupy............................................................................................. 103
7.1 Cílené evaluace (Goal-based evaluation; Ralph Tyler) ................................................... 106
7.2 Explorační evaluace (Goal-free Evaluation; Michael Scriven)........................................ 110
7.3 Senzitivní evaluace (responsive evaluation; Robert Stake) ............................................. 113
7.4 Utilitární evaluace (utilization-focused evaluation; Michael Quinn Patton)..................... 116
7.5 Konstruktivistické evaluace (constructivist evaluation; Egon Guba, Yvonna Lincolnová) . 120
7.6 Účastnické evaluace (participatory evaluation)............................................................... 123
7.7 Teorií vedené evaluace (Theory-driven evaluation; Huey-Tsyh Chen, Peter Rossi) ........ 126
7.8 Realistické evaluace (realistic evaluation; Ray Pawson, Nick Tilley).............................. 129
7.9 Souhrn ........................................................................................................................... 132
8. Integrativní evaluační přístup......................................................................................... 136
8.1 Předpoklady vzniku integrativního přístupu ................................................................ 136
8.2 Východiska navrhovaného přístupu ............................................................................. 142
8.3 Popis konceptuálního schématu ................................................................................... 145
8.4 Podrobná definice jednotlivých elementů .................................................................... 147
8.4.1 Výchozí doména.................................................................................................... 147
8.4.2 Rozhraní výchozí a rozhodovací domény ............................................................. 150
8.4.3 Rozhodovací doména ............................................................................................ 152
8.4.4 Rozhraní rozhodovací a reaktivní domény............................................................ 153
8.4.5 Reaktivní doména.................................................................................................. 154
8.4.6 Rozhraní reaktivní a výsledkové domény ............................................................. 155
8.4.7 Výsledková doména .............................................................................................. 155
8.4.8 Rozhraní výsledkové a výchozí domény............................................................... 156
8.5 Obecná charakteristika integrativního přístupu k evaluacím ....................................... 157
8.6 Přednosti integrativního přístupu k evaluacím............................................................. 160
8.7 Limity použití integrativního přístupu k evaluacím..................................................... 162
Résumé .................................................................................................................................. 163
Seznam použité literatury.................................................................................................... 164
6
Seznam obrázků
Obrázek č. 1
Obrázek č. 2
Obrázek č. 3
Obrázek č. 4
Obrázek č. 5
Obrázek č. 6
Obrázek č. 7
Obrázek č. 8
Obrázek č. 9
Obrázek č. 10
Obrázek č. 11
Obrázek č. 12
Obrázek č. 13
Obrázek č. 14
Obrázek č. 15
Obrázek č. 16
Obrázek č. 17
Obrázek č. 18
Obrázek č. 19
Obrázek č. 20
Věcný základ a hodnota jako dvě složky evaluační činnosti ....................... 11
Spor o metodologický kontext ..................................................................... 23
Tři formy evaluační činnosti ........................................................................ 23
Struktura oboru............................................................................................. 28
Ukázka teoretického schématu..................................................................... 41
Ukázka sekvenčního schématu..................................................................... 43
Vztah evaluací k ostatním disciplínám......................................................... 63
Srovnání významu formativních a sumativních evaluací
během působení intervenčního programu .................................................... 88
Srovnání vzájemného vztahu mezi potřebami a osobními preferencemi... 100
Zasazení evaluačních přístupů mezi vertikální vrstvy ............................... 103
Princip cílených evaluací ........................................................................... 107
Princip realistických evaluací..................................................................... 131
Mapa jednotlivých evaluačních přístupů.................................................... 133
Návrh teoretického schématu ..................................................................... 139
Pozice integrativního přístupu mezi ostatními evaluačními přístupy ........ 143
Konceptuální schéma integrativního přístupu k evaluacím ....................... 145
Schéma horizontálních interakcí ................................................................ 158
Schéma vertikálních interakcí .................................................................... 158
Schéma temporálních interakcí .................................................................. 159
Schéma ekologických interakcí.................................................................. 159
Seznam tabulek
Tabulka č. 1
Tabulka č. 2
Tabulka č. 3
Tabulka č. 4
Tabulka č. 5
Tabulka č. 6
Tabulka č. 7
Tabulka č. 8
Tabulka č. 9
Tabulka č. 10
Tabulka č. 11
Tabulka č. 12
Tabulka č. 13
Tabulka č. 14
Tabulka č. 15
Tabulka č. 16
Matice zainteresovaných stran a jejich zájmů.............................................. 51
Srovnání vybraných parametrů základního výzkumu a evaluací................. 55
Srovnání vybraných parametrů aplikovaného výzkumu a evaluací............. 56
Srovnání vybraných parametrů individuální diagnostiky a evaluací ........... 57
Srovnání vybraných parametrů auditu a evaluací ........................................ 59
Srovnání vybraných parametrů monitoringu a evaluací............................... 61
Srovnání vybraných parametrů monitoringu a evaluací............................... 62
Srovnání přístupů vybraných disciplín k řešení vybraného problému ......... 63
Zájmy vybraných zainteresovaných stran I.................................................. 66
Zájmy vybraných zainteresovaných stran II. ............................................... 67
Zájmy vybraných zainteresovaných stran III. .............................................. 67
Dimenze kvality dat ..................................................................................... 80
Rozdíly mezi formativním a sumativním typem evaluací ........................... 89
Vztah mezi formou provedení evaluací a způsobem využití
jejich výsledků.............................................................................................. 90
Porovnání některých charakteristik jednotlivých evaluačních přístupů..... 135
Možnosti využití evaluačních metod v rámci integrativního přístupu....... 160
7
1. Úvod
1.1 Expozice problému
Evaluace (česky hodnocení) dlouhodobě prostupují celou řadou společenských věd, tradičně
vystupují jako objekt v mnoha teoriích, odnepaměti jsou součástí výzkumných šetření a
postupem času našly spojení s ohromujícím množstvím významů a souvislostí. Není divu,
vždyť hodnocení je přeci tak přirozené! I přes samozřejmou přítomnost procesů hodnocení,
jež dlouhodobě protínají jednotlivé vědní disciplíny i aplikační praxi, se v posledním
půlstoletí problematice evaluací věnuje mimořádně zvýšená pozornost. Konkrétní společenské
okolnosti totiž znenadání otevřely před společenskými vědami zcela nový prostor, který je
nyní překotně zaplňován. Jsou popsány postupy objektivních, systematických a
kontrolovaných evaluací, jež se pochopitelně důsledně oddělují od laického, subjektivního
hodnocení; rozvíjí se specifický obor, jehož hlavní náplní je vývoj metod pro provádění
evaluací a evaluační činnost se průběžně institucionalizuje.
Evaluace jsou dnes především pomocníkem při komplexních rozhodovacích procesech, které
zahrnují mnoho alternativ, mnoho účastníků (s rozličnými zájmy) a mnoho kritérií, podle
nichž je možné rozhodnutí provést. S evaluacemi se tak setkáváme ve vědě, školství, veřejné
správě a v mnoha dalších oblastech, kde evaluace naplňují některé ze svých typických funkcí.
Kromě již uvedené podpory rozhodování, evaluace především (1) rozšiřují odpovědnost
(accountability); (2) pomáhají identifikovat dobré praktiky a rozšiřují tak rozvojový potenciál
jednotlivých společností a v neslední řadě jsou (3) nástrojem soustavné reflexe jednotlivých
činností.
Předkládaná práce snad čtenáři poskytne dostatečné odpovědi, proč je vlastně užitečné
věnovat v současné době evaluacím pozornost. Badatelům, kteří připravují svou žádost o
grant, naznačí jakými mechanismy bude jejich návrh řešení posuzován a ukáže na jejich
možné alternativy. Pracovníkům veřejné správy pomůže při hledání cest, jak posuzovat
účinnost nových zákonů či vyhlášek, které jsou zamýšleny, aby formovaly chování obyvatel.
Recenzenti a oponenti v textu najdou vysvětlení hlubších a komplexnějších souvislostí,
k čemu jejich „evaluační“ činnost směřuje a jak je tato činnost chápána evaluačním oborem.
Studenty společenských věd seznámí s tímto mladým oborem, ve kterém mohou uplatňovat a
rozvíjet své znalosti a dovednosti.
8
1.2 Cíle práce
Předkládaná práce svým způsobem uvádí problematiku evaluační metodologie do českého
prostředí, a proto se v úvodní části v takové míře věnuje samotné definici evaluací a dále
přináší podrobný výklad vztahu evaluací k jiným oborům. Pokus o naplnění tohoto
nesnadného úkolu je rozprostřen do tří kapitol; první z nich (kapitola č. 2) vymezuje
problematiku evaluací nejprve jako činnost, dále jako vědu, poté jako specifickou metodologii
a v neposlední řadě je věnována pozornost evaluacím jako samostatnému oboru. Tato kapitola
kromě základní orientace v používané evaluační terminologii, přináší rovněž přehled a
taxonomii nejvýznamnějších evaluačních oblastí. Kapitola č. 3 je koncipována jako
„prohlídka zámku“; jejím cílem je čtenáře letmo provést evaluační problematikou, jež je
vymezena v předešlé kapitole, a podrobným výkladem u několika stěžejních „obrazů“
(pojmů) přiblížit současnou situaci a dění. A konečně kapitola č. 4 poukáže na hlavní
charakteristiky evaluací v konfrontaci s nejbližšími disciplínami.
Druhým cílem této práce je shrnout a uspořádat jednotlivé metody, které evaluátoři používají.
Vzhledem ke značné roztříštěnosti oboru jsou jednotlivé postupy častokrát rozptýlené
v mnoha samostatných pramenech a jejich uspořádání do jednotného systému je možné jen za
cenu některých kompromisů. Kapitola pátá je věnována vybraným otázkám metodologické
povahy, kdy je v rámci možností poukazováno na hlavní odlišnosti evaluátorského uchopení
jednotlivých metodologických otázek oproti způsobu, jak jsou pojímány ve výzkumu
společenskovědním. Následná kapitola č. 6 se již plně koncentruje na výlučně evaluační
metody. Zajímavým zpestřením evaluační metodologie jsou tzv. „přístupy“, které jsou
přiblíženy v kapitole sedmé. Jejich volba byla vedena snahou o pokrytí jednotlivých proudů,
s nimiž je možné se v evaluační metodologii setkat. Současně však uvedené přístupy vytvářejí
základ, na němž je založena závěrečná kapitola.
Třetí cíl, který tato práce naplňuje, je návrh nového, alternativního přístupu pro provádění
evaluací. Poslední, osmá, kapitola tedy plynule navazuje na již popsané, zdokumentované a
známé přístupy. Konkrétní příklad se snaží mezi známými evaluačními přístupy ukázat a
vymezit doposud nevyplněný prostor, jenž jsme si ve vší skromnosti a úctě k ostatním
přístupům dovolili zaplnit vlastní alternativou, kterou jsme nazvali integrativní evaluační
přístup (integrative evaluation).
9
2. Základní vymezení problematiky evaluací
Vzhledem k okolnostem, jež jsou ve větším detailu popsány níže, není možné problematiku
evaluací vymezit a popsat v jediném krátkém odstavci, a proto je definici evaluací věnována
v rámci předkládané práce celá samostatná kapitola. Máme za to, že nástin různých přístupů
dokumentujících pestrost pohledů na obsah a rozsah problematiky evaluací má pro naplnění
cílů této práce větší význam, než pokus o formulaci jedné všeobjímající (a nutně velmi
abstraktní) definice. Z tohoto důvodu jsou tedy představeny a analyzovány klíčové způsoby,
jak jsou evaluace a evaluační výzkum definovány, vymezovány a pojímány. Druhým
důvodem pro extenzivní pozornost věnovanou zarámování a ukotvení problematiky evaluací
je značná pojmová a konceptuální nejednotnost v originální literatuře o evaluacích a faktická
absence systematicky pojatých základů české terminologie. Problematika evaluací je tedy
v této kapitole pojednána ve čtyřech rovinách: nejprve jsou evaluace definovány jako činnost
či postup vyjádření hodnoty, kdy je pozornost věnována především mechanismu dospívání
k závěrům o hodnotě. Dále jsou evaluace představeny jako věda, kdy jsou diskutovány
epistemologické základy evaluací. Třetí rovina je metodologická; v tomto ohledu je v detailu
vysvětlen vztah mezi evaluacemi a evaluačním výzkumem. Představeny jsou rovněž další
metody používané při evaluacích. Závěr je věnován evaluacím jako institucionalizovanému
oboru, jeho historii a zakotvení.
2.1 Evaluace jako činnost
Jednou z nejčastěji uváděných definic je Scrivenova (1967) charakteristika z rané doby
rozvoje oboru, který se evaluacemi systematicky zabývá. Při provádění evaluace jde o
posouzení věcného základu (merit1), jenž je považován za parametr, který pregnantně
vystihuje a charakterizuje samotnou podstatu objektu evaluace, a hodnoty (worth), jež
odkazuje k vnímání věcného základu konkrétními subjekty. Věcným základem např.
rekvalifikačního kursu je umožnit jeho účastníkům osvojení nové pracovní kvalifikace,
věcným základem systému recyklace je opětovné využití odpadu. Hodnotu lze v prvním
případě vyjádřit např. jako změnu ve výši příjmů účastníků rekvalifikačního kursu danou
rozdílem průměrného příjmu v posledním zaměstnání a příjmem z nového zaměstnání, do
1
Některé jiné prameny používají jako synonymum také „quality“.
10
kterého účastníci nastoupili po absolvování takového kursu. Hodnota však může být
vyjádřena také cenou, kterou jsou potenciální účastníci ochotni za takový kurs zaplatit; může
být vyjádřena počtem přihlášených účastníků během jednoho roku či dobou hledání nového
zaměstnání po absolvování daného rekvalifikačního kursu. V případě recyklace může být
hodnota příslušného systému vyjádřena množstvím uspořených primárních surovin, může
však být dokumentována také percentuálním podílem využití odpadů či porovnáním množství
energie potřebné ke zpracování primární a sekundární suroviny.
Obrázek č. 1 Věcný základ a hodnota jako dvě složky evaluační činnosti
Věcný
základ
Zdroj: autor
Z tohoto přiblížení je patrné, že věcný základ je objektivní daností předmětu evaluace a je
nezávislý na vnějším kontextu, na způsobech použití i na dalších charakteristikách daného
objektu. Naproti tomu hodnota je parametrem relativním; její míra vždy záleží na percepci ze
strany okolí, na jejím srovnání s hodnotou ostatních objektů i na konkrétních situačních
okolnostech.
Evaluační činnost tedy spočívá ve výstižné charakterizaci věcného základu (v řadě případů
totiž není zřejmé, zdali je věcný základ naplněn či nikoliv, popř. v jaké míře či v jakých
konkrétních ohledech zůstává nenaplněn) a ve zjištění hodnoty, kterou posuzovaný objekt
může přinášet svému okolí. Scriven (1991) ve svém vymezení evaluační činnosti zdůrazňuje
systematičnost a kontrolovanost evaluačního procesu, na jehož počátku stojí (1) identifikace
kritérií, tj. stanovení vlastností, jež mají být posuzovány a (2) definování standardů (tedy
určení, jaké intenzity (jakého stupně) mají vlastnosti hodnoceného objektu v daných kritériích
dosáhnout. Pokračuje (3) získáním relevantních informací, tedy aplikací příslušných metod
sběru dat, které umožní ověřit skutečný stav sledovaných kritérií a končí (4) integrací či
syntézou získaných výsledků, jež porovnává získané údaje s předem stanovenými standardy.
11
Jádro Scrivenovy definice přejala rovněž Joint Committee on Standards jako svou „oficiální“
definici evaluace; v jejich Program Evaluation Standards2 (cit. dle Sanders 1994) je totiž
evaluační činnost definována jako „systematické zkoumání věcného základu a hodnoty
daných objektů“. Přestože tento způsob vymezení evaluací je dále akceptován mnoha dalšími
autory (mj. Patton 2008; Clarke 1999; Alkin 2004; Gupta 2007; Mohr 1995), nezůstává
nehybným pomníkem pionýrských dob evaluačního oboru a je dále rozvíjen a precizován.
Příkladem je Fitzpatrick et al. (2004), která v rámci své definice evaluační činnosti poukazuje
na vysoký význam takových procesů, jakými jsou identifikace, vyjasnění a aplikace
obhajitelných kritérií, s jejichž pomocí je stanoveno, zdali daný intervenční program dosahuje
vytyčených cílů či nikoliv. Vlastní náplní evaluační činnosti je pak charakteristika věcného
základu a posuzování hodnoty z hlediska stanovených kritérií.
Hallová a Hall (2004) považují evaluační činnost za svébytný typ výzkumu, který se zaměřuje
na cíle tzv. intervenčních programů3 a zjišťuje, do jaké míry byly naplněny záměry realizátora
těchto intervenčních programů. Svým pojetím I. Hallová a D. Hall notně zužují oblast
evaluací na pouhou evaluaci výstupů (outcome evaluation). Jak bude patrné později, takové
pojetí ani zdaleka nevyčerpává celou šíři úloh, jež jsou v současnosti před evaluátory kladeny.
Ucelenější pohled na podstatu evaluační činnosti lze zaznamenat v přístupu Guby a
Lincolnové (1989), kteří definují evaluační činnosti jako aktivitu využívající vědecké postupy
za účelem získávání a analyzování informací o obsahu, struktuře a výstupech zkoumaných
programů, projektů a plánovaných intervencí. Extenzivita jejich pohledu na evaluační činnost
je patrná hned ve dvou směrech: jednak ve funkčním vymezení, kdy se evaluační činnost
zaměřuje kromě výstupů také na obsah a strukturu, čímž E. Guba s Y. Lincolnovou obracejí
pozornost k procesům, jež působí dokumentovatelné výsledky prováděných intervencí.
Druhým směrem je obsahové rozšíření povahy a typů subjektů prováděných evaluací.
Zatímco I. Hallová a D. Hall vztahují aplikaci evaluací výlučně k intervenčním programům,
E. Guba s Y. Lincolnovou považují za potenciální předmět evaluací rovněž projekty a další
činnosti neintervenujícího charakteru.
Patton (2008) definuje evaluační činnost jako systematický sběr informací o působení, o
charakteristikách a o výsledcích intervenčních programů s cílem provést jejich posouzení,
zvýšit jejich kvalitu a efektivitu, poskytnout informace pro rozhodování o jejich další
2
3
Jde o soubor pravidel a doporučení, který upravuje způsob realizace evaluací.
K jejich definici viz třetí kapitolu této práce.
12
budoucnosti anebo zlepšit pochopení, jak tyto intervenční programy fungují. M. Patton sám
poukazuje, že svou definicí evaluační činnosti chtěl zdůraznit tři parametry, jež považuje za
klíčové. Jsou jimi (1) systematický sběr dat, (2) značná šíře spektra problémů a témat, jež lze
evaluační činnosti podrobit a (3) pestrost jak v samotných evaluačních závěrech (tj. ve
způsobech vyjádření věcného základu a hodnoty), tak také v možnostech a formách jejich
praktického použití. Tyto parametry by bylo možné vystihnout pojmy objektivita,
univerzálnost a využitelnost.
Patrně nejkomplexnější definice evaluační činnosti pochází od Fournierové (2005), která
definuje evaluační činnost jako aplikovaný proces zjišťování, sběru a syntézy důkazů, které
vedou k závěrům o věcném základu a o hodnotě; o významu či kvalitě posuzovaného
programu, produktu, osoby, politiky, návrhu nebo plánu. Evaluační činnost tedy zahrnuje jak
empirický aspekt, tak také aspekt normativní (úsudek o hodnotě), přičemž je to právě
hodnotový prvek, jenž odlišuje evaluaci od jiných typů šetření jako např. od základního výzkumu,
od klinické epidemiologie, od investigativní žurnalistiky či od výzkumu veřejného mínění.
Ze všech uvedených definic je jasně patrné chápání evaluační činnosti jako objektivního a
kontrolovaného procesu, jenž se ostře vymezuje proti laickému chápání evaluační činnosti
jako subjektivistickému a libovolnému vyjádření individuálního postoje. Dále je patrné, že
všechny uvedené definice vytyčují oblast (cíl), kterou evaluační činnost anticipuje, ale žádná
z nich přitom neodkazuje ke konkrétním metodám či technikám; snad jen zmínka Guby a
Lincolnové (1989) o použití vědeckých metod může být v tomto ohledu chápána jako jistá
výjimka, byť ani v tomto případě není patrný odkaz k žádnému konkrétnímu
metodologickému rámci.
Získání potřebného vhledu a pochopení významu evaluační činnosti komplikuje souběžnost
tzv. formalizované a neformalizované evaluační činnosti. S neformalizovanými evaluacemi se
lze setkávat v každodenním životě běžných lidí; jedná se o obvyklou činnost, kterou provádí
každý jednotlivec několikrát denně. Nad těmi, kteří postávají v knihkupectví u regálů a listují
knihami, jejichž nákup zvažují, visí dvě základní otázky: „Je ta kniha opravdu dobrá?“ a
„Stojí mi za tu cenu?“. Podobně také studenti při zápisu volitelných předmětů zvažují:
„Dozvíme se skutečně to, co název (sylabus) kursu slibuje?“ a „Co absolvováním kursu
získáme?“. Takovýto způsob „evaluace“ je však zjevně nesystematický, postrádá kontrolu
vnějších/intervenujících proměnných a spoléhá jen na intuici, což je v nastíněných situacích
13
pravděpodobně dostačující, nicméně takto vzniklé závěry by sotva mohly být považovány za
obhajitelné. Validita učiněných závěrů je velmi pravděpodobně nedostatečná a rovněž
přesnost (nevychýlenost) těchto závěrů může být neadekvátní v porovnání s významem
příslušného rozhodnutí a s jeho dopady. Jak poznamenává Stake (2004): „Každý člověk je
sice rodilým evaluátorem, nikoliv však dobrým evaluátorem.“
Kdykoliv v této práci budeme odkazovat k evaluační činnosti, vždy půjde o formalizovaný
způsob evaluací, který se vyznačuje systematičností, vyloučením subjektivismu při definici
věcného základu a při stanovení hodnoty daného objektu evaluace, a který naplňuje veškeré
znaky, jež dovolují považovat evaluační činnost za vědecký postup.
14
2.2 Evaluace jako věda
Ze samotného názvu i z obecného popisu evaluační činnosti je souvislost s hodnotami
jednoznačná. V tomto ohledu tedy vyvstává otázka, nakolik jsou evaluace vědou? Je vůbec
možné považovat za součást vědy takový obor, který zakládá své metody na posuzování
hodnoty?
Prvním zdrojem případných pochyb o vědeckosti evaluací je pochopitelně sepětí
systematické, kontrolované, objektivní a empiricky založené metodologie, kterou evaluace po
vzoru společenských věd anticipují a hodnot, jež jsou od dob Humea považovány za prvek,
jenž nemá oporu v premisách o faktech, a proto není pro hodnoty ve skutečné vědě místo.
Druhým zdrojem těchto pochyb o vědeckosti evaluací je spojení evaluační činnosti
s intervenčními programy, které nejenže zakládají na hodnotách a prosazovaných zájmech
svou existenci (a v mnoha případech dokonce na hodnotách sdílených jen některými aktéry či
zainteresovanými skupinami), intervenční programy jsou dokonce připravovány s cílem
aktivně ovlivňovat společenský řád, působit ve společnosti změny, formovat lidské jednání či
alespoň modifikovat rozhodovací pole (mapy) konkrétních společenských skupin. Intervenční
programy tedy svým způsobem vyplňují rámec politického rozhodování a stávají se nástrojem
uplatnění či prosazení hodnot, jejichž prosazení lze hodnotit jako užitečné (utilitarismus),
nutné (deontologie) nebo účelné (pragmatismus). Námitkou proti vědeckosti evaluační
činnosti tedy může být jistá (relativně vysoká) míra angažovanosti spojená s potenciálním
ohrožením nestrannosti (M. Weber i K. Popper).
Oběma nastíněným výtkám, tedy jak námitce subjektivity evaluační činnosti ve srovnání
s požadavky kladenými na objektivní přístup ve vědě, tak námitce vysokého stupně
angažovanosti, budeme věnovat detailnější pozornost. Obě z případných námitek jsou totiž
natolik zásadní, že je třeba každé z nich poskytnout větší prostor.
K námitce subjektivity
Replikovat na tomto místě staletí trvající spor o roli hodnot ve vědě není smysluplné. Namísto
toho bychom však rádi poukázali na způsob, jak je problematika vztahu vědy a hodnot
chápána samotnými zakladateli oboru evaluací a obhájci evaluační činnosti. Základem
evaluační metodologie je kritika či spíše oprava obvyklé interpretace Humeovy teze, že
15
z premisy o faktech nelze validně dovodit žádný hodnotící soud, a proto věda nemůže taková
(hodnotící) tvrzení akceptovat. Scriven (1993) a mnozí další (Stake 2004; House 1980;
Pawson, Tilley 1997) však v této souvislosti poukazují, že takový závěr z Humeovy teze o
metodě vědy nevyplývá. Věda obsahuje mnohem více než jen faktografická tvrzení, resp. řada
tvrzení o faktech přímo implikuje hodnotící soud. Obvykle uváděným příkladem je v této
souvislosti tvrzení, že „A dluží B“, kdy samotné konstatování existence dluhu (fakt) odkazuje
k hodnotící implikaci: „A by měl svůj dluh splatit.“4.
Základem evaluací je posun od faktických a definičních premis k hodnotícím závěrům
(Scriven 1991). Tento jev lze nastínit ve třech rovinách:
a) Makro-úroveň (paradigmatická)
Je přirozenou součástí vědecké práce ve všech oborech, kde jsou na základě faktických
podkladů formulovány závěry, které mají hodnotící charakter. Obor evaluací tyto procesy
používá nejen jako doprovodný proces, ale i jako principiální metodu své činnosti.
b) Mezo-úroveň (epistemologická)
Posuzování věcného základu poměřuje empiricky ověřitelné parametry s weberiánsky
pojímanými ideálními typy. Tyto charakteristiky přitom vyplývají z podstaty samotné
posuzované entity (rekvalifikační kursy musejí vést s získání nových poznatků; programy pro
posílení věrnosti zákazníků skutečně musejí vést k větší zákaznické loajalitě), jsou nezávislé
na preferencích uživatelů, nejsou dány žádnou dohodou zainteresovaných stran (mají tedy
absolutní povahu). Cílem evaluační činnosti je zjistit, do jaké míry se skutečná posuzovaná
entita odlišuje od svého ideálního stavu, případně jakých parametrů posuzovaná entita
dosahuje oproti jiným entitám stejného druhu (srovnání různých rekvalifikačních kursů či
různých věrnostních programů). Druhou částí evaluační činnosti je posouzení hodnoty. Mají
se rekvalifikační kursy posuzovat podle počtu výukových hodin? Je počet lékařů na sto
obyvatel adekvátním ukazatelem kvality zdravotní péče? To jsou pochopitelně jednoznačné
normativní soudy, jež je třeba v rámci evaluační činnosti provést a deklarovat (Sieber 1992).
Nicméně nejsou v ničem odlišné od formulace hypotéz v základním výzkumu či od volby
indikátorů (otázek), neboť také tyto činnosti mají zřetelně normativní původ.
4
Humeova doktrína navíc zamýšlela zabránit průniku politických a etických hodnot do vědy – nechtěla se však
bránit běžným, každodenním hodnotám. Podobný postoj je patrný také u Webera (1998).
16
c) Mikro-úroveň (instrumentální, metodologická)
Evaluace vycházejí z tzv. kriteriálních definic, namísto definic operacionálních, které jsou
běžné ve společenskovědním výzkumu. Tak jako operacionální definice stanovují způsob
měření daného jevu, kriteriální definice stanovují věcný základ jevu (jeho klíčovou vlastnost).
Realizátor společenskovědního výzkumu je konfrontován s požadavkem operacionalizovat
jednotlivé pojmy, se kterými ve svém výzkumu pracuje; při výzkumu důvěryhodnosti
vybraných institucí tak pro pojem „důvěryhodnosti“ hledá jednotlivé indikátory a případně
vytváří model vzájemných vztahů mezi nimi. Realizátor evaluace hledá jednotlivé ukazatele
či parametry, které vystihují věcný základ posuzovaného předmětu a jsou zdrojem jeho
funkcionality.
Jakkoli mohou být hodnoty a případný systém hodnot teoreticky separovány jako reálná entita
per se, přesto platí, že hodnoty jsou neseny jednotlivci a projevují se v jejich individuálních
postojích, v chování i v osobní prioritizaci (Fajkus 2005). Řada evaluačních přístupů, které se
role a významu hodnot přímo dotýkají, hranici mezi subjektivním a objektivním v procesu
zkoumání zcela cílevědomě překračuje nekompromisní kritikou obhájců hodnotové neutrality
či intaktnosti. Z jejich pohledu je totiž záměrné vytěsňování hodnot mimo rámec výzkumné
činnosti neakceptovatelným ignorantstvím (Scriven 1991), nesplněním očekávané role (Weiss
1972) či dokonce nesprávným postupem, který ponechává mnohé ze základních poznávacích
úkolů nedokončené (Guba, Lincoln 1989).
Zatímco v rámci ostatních vědních oborů lze ve vztahu k roli hodnot ve vědě identifikovat
řadu různých pohledů od odmítání (D. Hume, I. Newton, A. Comte) přes akceptaci jejich
přítomnosti (M. Weber) až k plné legitimizaci jejich reálného vlivu (R. Bhaskar, R. Harré), v
oblasti evaluačního výzkumu tato pestrost není patrná. Společným jmenovatelem evaluačního
pohledu je, že s hodnotami a jejich pronikáním do výzkumného procesu počítá a jejich
oddělení od „čisté vědy“ považuje za utopii. Scriven (1993) v otázkách hodnotového
zaměření evaluačního výzkumu a jeho angažovanosti tvrdí, že snahy oprostit evaluační
výzkum od prvku posuzování (jenž je navíc ne-evaluátory obvykle považován za subjektivní
prvek evaluačního procesu, což je další zásadní nedorozumění) jsou faktickým popíráním
základních evaluačních principů. V této souvislosti poukazuje, že nejde o subjektivní a
libovolné hodnocení, nýbrž evaluace znamená racionální, objektivní a kontrolovatelný postup
stanovení a měření hodnoty věcí. Rovněž Stake (2006) zakládá své pojetí na reflexi hodnot,
kdy evaluátor bere ohled na možnou (a pravděpodobnou) pluralitu hodnotových systémů
17
jednotlivých účastníků; není přitom samozřejmou součástí evaluací posuzovat hodnotové
systémy jednotlivých zainteresovaných stran5, dokonce není ani obvyklé pokoušet se
nastolovat mezi nimi konsenzus (některé evaluační přístupy však tuto shodu považují za
inherentní součást evaluačního procesu, viz zejména konstruktivistický přístup E. Guby a Y.
Lincolnové).
Pronikání subjektivních hodnot do procesu vědeckého zkoumání i do evaluační činnosti má
dvojí podobu, a to na jedné straně zjevnou, transparentní, a na straně druhé skrytou, latentní.
Transparentní forma vlivu subjektivních hodnot na tyto činnosti je naplňována především
primární motivací k jejich provádění – zkrátka volbou zkoumaných problémů a ignorancí
jiných. M. Weber v této souvislosti poznamenává: „Jsou to … hodnotové zájmy, které ukazují
směr empirické práci.“ (Weber 1998). Svoboda volby předmětu zkoumání vycházející
z vědecko-poznávací motivace (Laudan 1984), sbližuje přitom veškeré vědy, neboť tato
svoboda stojí na individuálních hodnotách (hodnotových systémech) samotných badatelů a
vychází z jejich hodnotových preferencí6. Klíčovou roli zde kromě individuálních
hodnotových systémů sehrává také minulá zkušenost jednotlivých badatelů a společenský
kontext (Nowak 1975).
Ovšem ani skryté pronikání subjektivních hodnot do samotného předmětu bádání není ve
společenských vědách jednoznačně odmítáno. Warwick a Kelman (1973) v této souvislosti
poukazují na skutečnost, že hodnoty nevyhnutelně vstupují do výzkumného procesu počínaje
definováním závažnosti sociálních jevů jako problémů vyžadujících řešení (intervenci) a
konče návrhem účinných opatření. Hodnoty jsou však do procesu poznávání vnášeny nejen
prostřednictvím volby témat či způsobem jejich uchopení, ale také průmětem těchto
individuálních hodnot do získávaných závěrů (viz zejména selektivní percepce zjištěných
skutečností při interpretaci) a směšováním subjektivně založených interpretací s objektivními
fakty. Koneckonců empirická evidence v tomto ohledu snímá z tradiční představy vědce
kladoucí důraz na jeho objektivitu, odtažitost a zdrženlivost při posuzování pozorovaných
skutečností (Roe 1961) závoj hodnotové neutrality (Krasner, Houts 1984). Ostatně provedené
obsahové analýzy závěrečných výzkumných zpráv toto hodnotové posunutí jasně
dokumentují (ibid.) a nakonec ani v této souvislosti častokrát citovaná Weberova idea
5
Toto skutečně není obvyklým předmětem samotných evaluací, nicméně evaluátoři jsou vedeni svými standardy
(GP, kodexem) ke zvážení „morální adekvátnosti“ cílů intervenčních programů.
6
Srov. Lazarsfeldův výzkum „Academic Mind“
18
nehodnotící vědy neznamená faktickou eliminaci hodnotícího činitele, nýbrž jen jasné a
důsledné oddělení hodnotících prvků od samotného vědeckého poznání (od faktů).
Ve společenských vědách je v souvislosti se způsobem uplatnění hodnot v procesu vědeckého
poznání významným činitelem konceptualizace a operacionalizace, jež jsou zde chápány jako
způsoby transformace vnějšího, poznávaného světa a sociálních problémů na konkrétní
výzkumné uspořádání a výzkumné problémy (Kerlinger, Lee 2000). Zatímco volba předmětu
zkoumání je zjevně subjektivním faktorem, který je společný všem oborům vědy, prvek
výzkumníkovy abstrakce v počátečních fázích vlastního poznávání je skrytým subjektivním
elementem specificky společenských věd, jež tvoří součást jejich poznávacího procesu
(Shrader-Frechette 1994). Přírodní vědy mají v oblasti svého základního výzkumu i v
praktických aplikacích pregnantně popsané postupy diagnostiky, měření i vyhodnocení
získaných poznatků kodifikované v oborových normách, nicméně ve společenských vědách
tyto zcela chybějí. A tak absence obecného konsenzu na obsahu základních metodologických
pravidel a pojmů spolu s faktickou neexistencí praktických (třeba i jen kazuistických)
doporučení pro provádění elementárních zjištění či důkazů vtahuje do poznávacího procesu
individuální hodnoty jednotlivých výzkumníků (Kimmel 1988, 2007).
Nejde však jen o vztah faktů a hodnot, jde i o samotnou definici hodnot a proces hodnocení;
v rámci oboru evaluací nejsou hodnotící soudy vyjádřením subjektivních pocitů, vlastních
dojmů či individuálních postojů, nýbrž celý proces hodnocení (evaluace) zde má zřetelný
racionální základ a není ničím jiným než systematickým úsilím, které má objektivní charakter.
Shadish, Cook, Leviton (1991) odkazují v tomto ohledu na Scrivena, který je patrně jediným
evaluátorem, který věnoval systematickou pozornost těmto obecně-teoretickým základům
evaluací a replikují Scrivenovu (1973) tezi, že „účelem evaluací je konstruovat tvrzení o
hodnotách, přičemž tato tvrzení se vždy opírají o fakta, nikoliv o názory“. Rossi et al. (2004)
zdůrazňuje, že evaluace se musí snažit o to, aby poskytovala takové závěry, k nimž by došel
evaluátor sám znovu, pokud by svou evaluaci opakoval, popř. aby ke stejným závěrům došli
za stejných podmínek také jiní evaluátoři. Rossi tímto způsobem charakterizuje objektivitu
evaluací, nicméně L. Cronbach, E. Babbie a mnozí jiní by na tomto místě patrně psali o
reliabilitě. V nastíněném kontextu však tato pojmová distinkce nemá faktický dopad na
obvyklou misinterpretaci evaluačního procesu. Zkrátka „dobré je dobré a špatné je špatné a je
rolí evaluátora, aby rozhodl co je co“ (Scriven 1986).
19
Pochopitelnou obtíží je samotná definice hodnoty. Existuje totiž značné množství způsobů,
jak pojem hodnoty definičně vymezit (viz např. Thomas, Znaniecki 1918; Rokeach 1972 a
mnozí další). Roli a význam hodnot je možné v kontextu evaluací zdůraznit poukazem na
kontrast dvou pojetí odkazujících k principiálně odlišným referenčním rámcům. První z obou
pojetí chápe hodnoty jako ryze subjektivní prvek, jenž je reprezentován postoji,
přesvědčeními, preferencemi či zájmy. Kluckhohn (1951) v této souvislosti uvádí, že hodnoty
jsou kulturně vážené preference věcí, idejí, lidí, institucí a chování. Takto pojímané hodnoty
tedy vyjadřují preferenci jistého typu počínání a predispozici jednotlivce chovat se určitým
způsobem. Lze tedy dovodit, že v kontextu tohoto chápání hodnot je proces hodnocení
umisťováním na kontinuum dobré-špatné nebo správné-nesprávné či žádoucí-nežádoucí; je to
proces dospívání k daným hodnotám podobně jako jedinec dosahuje, dospívá k stanovené
metě (House 1980). Askripce hodnoty v tomto významu znamená „postavení na piedestal“,
jenž vyvěrá ze subjektivní volby mezi postoji a jednáním. Hovoří-li se tak např. o
„demokratických hodnotách“, pak hodnocení znamená stupeň, míru jejich osvojení a
schopnost jedince jednat v souladu s těmito hodnotami. Podobně také „rodinná tradice“ je
příkladem hodnot tohoto typu; hodnocení v tomto případě deklaruje míru respektu jednotlivce
vůči rodinné tradici coby morální maximě. V tomto ohledu jsou hodnoty zajímavým
předmětem výzkumu, nemohou však být použity jako nástroj vědeckého zkoumání, alespoň
ne v rámci Humeovské tradice chápání vědy a metody vědy.
Pojem hodnoty však lze chápat také jako vlastnost jednotlivých věcí (res), jako způsob
vyjádření jejich podstaty, jako tvrzení o jejich povaze, jako jejich charakteristiku či
charakterizaci. Každá věc tak má svou (sobě vlastní) hodnotu, jež vyjadřuje schopnost dané
věci plnit účel, který naplňuje její existenci. Takto definovaná hodnota je mimo vší
pochybnost objektivní charakteristikou dané věci a lze ji empiricky zkoumat, vyčíslit a měřit.
Proces hodnocení zde znamená prozkoumávání a osvědčování, zda posuzovaná věc skutečně
má ty vlastnosti, které ji bytostně definují; hodnocení je tedy zjišťováním míry, v níž
jednotlivé charakteristiky naplňují primární poslání posuzované věci. Toto druhé pojetí je, jak
vidno, zřetelným odmítnutím všech případných náznaků subjektivismu, a v tomto ohledu
splňuje evaluační činnost (tj. proces určení hodnoty) kritéria vědy vyjádřená D. Humem i
podmínky vědeckého výzkumu, jež shrnují např. Kerlinger a Lee (2000), tedy systematičnost,
kontrolovatelnost, empiričnost, mravní neutralitu, průhlednost a kritičnost. „Určení validity
pro tvrzení o hodnotách je podobné jako určení validity pro jakýkoliv jiný konstrukt ve vědě.“
(Scriven 1986). Rovněž Stake (2004), pravděpodobně veden obavami z námitky
20
subjektivismu, navrhuje raději hodnoty pouze popisovat a neformulovat přitom samotná
tvrzení o hodnotě. Analogickou opatrnost lze zaznamenat také v Cronbachově přístupu, když
zdůrazňuje, že „úlohou evaluátora je poskytnout čtenáři (zadavateli) dostatek informací, které
může vzít v potaz při formování svého úsudku; je však úlohou čtenáře (zadavatele), aby si
takovéto hodnocení učinil samostatně“ (Cronbach 1980).
K námitce angažovanosti
Ve společenských vědách nelze v souvislosti s hodnotami pominout aspekt angažovanosti. Ta
může být v tomto ohledu chápána jako (1) výzkumná činnost motivovaná praktickospolečenskými ambicemi (což je patrné zejména v případě analyticky zaměřené chicagské
školy, která zaměřovala svou pozornost na poznávání reálně existujících společenských
problémů); zvláštního zřetele je rovněž hodna (2) motivace aktivního formování hodnotového
systému i života/činnosti zkoumaných jedinců či celé společnosti (sociotechnika).
Angažovanost může být rovněž pojímána jako (3) provádění eticky správných rozhodnutí
v procesu výzkumu či evaluační činnosti (resp. inkorporace etické dimenze do individuální
rozhodovací mapy) či jako (4) přímé zapojení hodnot do výzkumného či evaluačního procesu
(Israel, Hay 2006).
V oblasti evaluací nelze přehlédnout snahu po angažovanosti u Weissové (1972, 1998), která
dlouhodobě usiluje o zlepšování politického rozhodování o jednotlivých intervenčních
programech a jejich nastavení, podobný zájem je patrné také u Campbella (1999), který svým
přístupem „experimentující společnosti“ deklaruje zájem na řešení jednotlivých sociálních
problémů. Na druhé straně však Scriven (2001) v tomto ohledu důrazně varuje, že „evaluace,
dokonce i evaluace intervenčních programů, by nikdy neměla být chápána jako činnost, která
je jakkoliv spojována se sociálním inženýrstvím. … Cílem evaluace je pouhé stanovení míry
(např. stupně počítačové gramotnosti), a proto žádná přímá vazba k řešení sociálních
problémů by nikdy neměla být definována jako její základ“. Tilley (2000) v tomto ohledu
odkazuje na K. Poppera a jeho pojetí sociálního inženýrství jako alternativy vůči holistické
sociální transformaci. Představa K. Poppera obhajující intervence malých rozměrů, které by
odstraňovaly jednotlivé zdroje škod a jednotlivé vady je pro evaluátory lákavě vymezeným
rámcem. Rovněž tak jeho vize společenského vědce, jehož role spočívá v realizaci šetření
zaměřených na testování jednotlivých teorií založených na cílených reformách malého
rozsahu přesně vystihuje funkci, kterou se mnozí evaluátoři nezdráhají převzít.
21
2.3 Evaluace jako metoda
Současná aplikační praxe i evaluátorská teorie častokrát zaměňuje pojmy evaluace a evaluační
výzkum, přesto lze z uvedeného výkladu obou klíčových pojmů shrnout, že pojem evaluací je
podstatně širší, neboť zahrnuje i takové postupy, které nemají výzkumný charakter.
Evaluační výzkum jako pojem se objevuje na konci 60. let a na počátku diferenciace mezi
evaluačním výzkumem a evaluacemi stojí Suchman (1967), který poukazuje na možnosti a
limity použití společenskovědních výzkumných metod a technik při provádění evaluací. E.
Suchman považoval ve svém pojetí evaluační výzkum za jednu z oblastí společenskovědního
výzkumu, která je definována svým cílem (předmětem zájmu), nikoliv však metodami. Ve
svém díle také důsledně používá pojem evaluativní výzkum (evaluative research), nikoliv
výzkum evaluační (evaluation research). Následný vývoj oboru však směřoval k jinému
vymezení vztahů mezi oběma disciplínami, což zanechalo pochopitelnou stopu na metodách a
technikách používaných při evaluační činnosti. Patrně nejvýznamnějším důsledkem je
rozšíření spektra technik, které evaluátoři používají. Ty nejsou omezeny na výzkumné a
analytické postupy používané v základním společenskovědním výzkumu, ale zahrnují také
další postupy jako např. cost-benefit či cost-effectiveness analýzy, metody používané při
výzkumu organizačního chování, vyšetřovací metody a mnohé další.
Stecher a Davis (1987) v této souvislosti připomínají, že první evaluace byly v podstatě
výzkumné studie, ve kterých byly aplikovány principy základního výzkumu na analýzu
sociálních programů. A přestože tyto aktivity poskytly decizní sféře mnohé důležité
informace, nebyly častokrát jejich zadavatelům srozumitelné, nebyly přizpůsobené jejich
specifickým požadavkům a potřebám, a v důsledku toho byl jejich přínos v mnoha případech
zpochybňován (Caracelli, Preskill 2000). Lze se tedy domnívat, že neadekvátnost výstupů
prvních evaluací (provedených formou aplikace společenskovědního výzkumu) a následné
rozladění na straně významných zadavatelů vedla mnohé evaluátory k hledání jiného
vymezení svého metodologického rámce. V tomto ohledu nelze opomenout již zmíněnou
Weissovou (1972), která představila evaluační výzkum jako jednu z forem evaluačních
činností vedle expertního posuzování (peer review) a sebehodnocení (self-evaluation),
přičemž evaluační výzkum definuje jako aplikaci metod společenskovědního výzkumu, která
zahrnuje formulaci jasné výzkumné otázky, systematický sběr dat a jejich vyhodnocení.
22
Obrázek č. 2 Spor o metodologický kontext
E. Suchman
C. Weiss
Evaluač
Evaluační výzkum
Evaluač
Evaluační výzkum
Společ
Společenskově
enskovědní
dní výzkum
Evaluace
Zdroj: autor
C. Weissová tím tedy vytrhla evaluační výzkum z lůna společenskovědního výzkumu a
usadila ho mezi specifické postupy realizace evaluační činnosti, učinila z něj jeden z pilířů, o
nějž se nyní oblast evaluací opírá. Evaluační metodologie tak není redukována na pouhou
aplikaci metod společenskovědního výzkumu, ale disponuje mnohem širším portfoliem metod
a technik. Dříve než bude věnována pozornost implikacím historicky prosazeného
metodologického přístupu, považujeme za nutné zmínit alespoň některé z charakteristik
zbývajících dvou pilířů evaluační metodologie, tedy expertního posuzování a sebehodnocení.
Obrázek č. 3 Tři formy evaluační činnosti
EVALUACE
SebeExpertní
Evaluač
SebeExpertní
Evaluační
hodnocení
á
n
í
výzkum posuzová
hodnocení
posuzov
Zdroj: autor
Expertní posuzování je typem evaluační činnosti, jež je založena na důkladné analýze a
podrobném zhodnocení předmětu evaluace. Toto expertní posuzování je obvykle prováděno
poučenými posuzovateli, kteří vyjadřují svůj názor podle strukturovaných požadavků.
Základní otázka v souvislosti s expertním posuzováním může znít: „Jaké jsou nedostatky ve
věcném základu posuzovaného objektu?“, „Jaká kritéria věcného základu jsou u daného
objektu rozpoznatelná?“ apod. Expertní posuzování je nástrojem z oblasti kvalitativních
technik, dokonce lze konstatovat, že jde o jednu z nejčastěji používaných technik evaluace
23
(což platí zejména v oblasti vládních a grantových institucí). Používání expertního posuzování
coby evaluační metody s sebou nese nutnost vypořádat se s nejméně třemi okolnostmi:
a) Je nezbytné zajistit neutralitu jednotlivých posuzovatelů; toho je běžně dosahováno
anonymizací posuzovaného objektu (např. projekt či žádost o grant) i samotného
posuzovatele, nicméně v řadě aplikačních situací je takovéto opatření neúčinné. Navzdory
skutečnosti, že identita posuzovaného objektu není odhalena přímo, lze ji v některých
případech aproximovat na základě dostupných indicií.
b) Je třeba se vypořádat s různě vysokými prahy citlivosti jednotlivých posuzovatelů vůči
jednotlivým charakteristikám posuzovaného objektu a s faktem, že posuzovatelé mohou
hodnotit daný objekt prizmatem vlastního oboru či svého paradigma. Rovněž je třeba mít na
paměti, že míra znalostí a zkušeností s předmětem posouzení může být mezi jednotlivými
posuzovateli velmi rozdílná. Důsledkem těchto diferencí může být nízká reliabilita získaných
posudků. Ačkoliv dosažení vysoké reliability není primárním cílem při expertním posuzování
(jde zejména o získání obhajitelných stanovisek), přesto je reliabilita v rámci možností
posilována vyšším počtem jednotlivých posouzení (tj. zapojením většího počtu posuzovatelů).
c) Je užitečné poskytnout posuzovatelům školení, jakým způsobem posuzování provádět.
Posuzovatelé se přitom mezi sebou liší nejen svým vztahem k předmětu posouzení, ale také
svými předchozími zkušenostmi s vypracováním hodnotících posudků. Celý proces
expertního posuzování tak může selhávat na přílišném zaměření na nepodstatné aspekty
daného objektu a nedostatečnou pozorností, kterou posuzovatelé věnují věcnému základu;
může se projevit rovněž nedostatečnou argumentací hodnotících sentencí či nedostatečným
zapojením vlastní odbornosti při samotném posuzování. Efektivní obranu před takovými
problémy představuje důkladná osnova evaluace (expertního posouzení), přesná specifikace
cílů evaluace a metodický návod, jak při posuzování postupovat. V některých případech se od
posuzovatelů dokonce vyžaduje absolvování speciálního školení.
Výstupem evaluace prováděné formou expertního posouzení je akceptace posuzovaného
objektu ze strany profesionálů či jinak definovaných „expertů“. Z pohledu Scrivenovy
definice evaluací, je expertní posouzení evaluací imperfektní, neboť se tato forma evaluační
24
činnosti koncentruje jen na posuzování věcného základu, nikoliv však hodnoty. Provedená
evaluace je tedy jen částečná a nenaplňuje všechny znaky, které by evaluace měla mít7.
Sebehodnocení je typ evaluační činnosti, který spoléhá na schopnost hodnocených subjektů
provést reflexi sebe sama. Metoda sebehodnocení se využívá v situacích, kdy je dosažení
definovaných cílů či ověření jiných cílů dané evaluace snadno identifikovatelné (a potenciálně
lehce přezkoumatelné) a kdy není třeba používat komplexní mapu sofistikovaných indikátorů
pro posouzení věcného základu a hodnoty. Obvykle se sebehodnocení používá při evaluaci
pracovníků (personnel evaluation), kdy lze poznatky získané sebehodnocením zasadit do
kontextu ostatních dat a dalších údajů získávaných jinými postupy. Důvody pro použití
sebehodnocení však mohou být i praktického rázu (potřeba vysokého počtu posouzení,
prostorová rozptýlenost posuzovaných objektů, relativně vysoká četnost opakovaných
evaluací apod.). Sebehodnocení je v ČR povinně realizováno v oblasti školství, kdy vyhláška
MŠMT č. 15/2005 Sb. stanovuje náležitosti vlastního hodnocení školy, které se zaměřuje na
(1) cíle, které si škola stanovila, (2) na posouzení, jakým způsobem škola vytyčené cíle plní,
na (3) přesnou identifikaci oblastí, ve kterých je třeba zlepšit úroveň vzdělávání spolu
s návrhem příslušných opatření a (4) vyhodnocení účinnosti těchto opatření v následujícím
období. Citovaná vyhláška rovněž stanovuje jednotlivé oblasti, kterých se vlastní hodnocení
musí dotýkat; jsou jimi podmínky ke vzdělávání, jeho průběh, podpora školy žákům a
spolupráce s rodiči, výsledky vzdělávání, kvalita řízení školy a úroveň výsledků práce školy.
Provádění evaluací formou sebehodnocení vyžaduje náležité proškolení jednotlivých
pracovníků, kteří sebehodnotící zprávy připravují; pro účely vlastní evaluace škol je
připravena řada metodických pokynů, příruček a manuálů, které pomáhají adekvátním
způsobem naplňovat vyhláškou definované požadavky. Pravidelně jsou organizována také
speciální školení, jejichž cílem je jednak poskytnout jednotlivým pracovníkům škol již nabyté
zkušenosti se způsobem provádění vlastního hodnocení, a dále ukázat způsoby, jak lze
sebehodnocení využívat při rozvoji školy. Sebehodnocení je užitečnou technikou, která vede
dotčené subjekty k tomu, aby věnovaly pozornost konkrétním aspektům své činnosti, nicméně
sebehodnocení nelze považovat za validní zdroj informací o věcném základu a hodnotě
posuzovaných subjektů.
7
V tomto ohledu by tedy bylo možné konstatovat, že expertní posouzení nenaplňuje věcný základ evaluační
činnosti.
25
Důsledky sporu o metodologický kontext poznamenaly významným způsobem celý další
rozvoj evaluací a metod, které jsou při evaluační činnosti používány. Vzhledem ke
skutečnosti, že z metodologického hlediska jsou metody společenskovědního výzkumu
považovány v rámci evaluací jen za jeden z několika možných přístupů, není věnována
detailní pozornost samotnému měření a jeho validitě; naopak je kladen vysoký důraz na
validitu výzkumu a roli designu. Pochopitelně existují i evaluační prameny, které se měřením
a jeho validitou zabývají (např. Langbein, Flebinger 2006), nicméně v kontextu ostatních
pramenů, jde spíše o jednotlivé výjimky. Druhým důsledkem současné podoby
metodologického základu evaluací je významné rozšíření výzkumných možností, jimiž
evaluace disponují. V důsledku toho lze na poli evaluací zkoumat širší spektrum témat, lze se
zaměřovat na takové fenomény, na které společenskovědní výzkum svými metodami, jež jsou
vědeckou komunitou akceptovány, nedosahuje (Smith, Brandon 2008). Třetím důsledkem je,
že celý obor evaluací není svázán s metodologií žádného konkrétního oboru; naopak zde
vedle sebe koexistují metody a techniky sociologického výzkumu, výzkumu pedagogického,
psychologického, ekonomického atd. (Spaulding 2008). Platí tedy, že celá oblast je tematicky
relativně sevřená (vždy jde nakonec jen o evaluaci), nicméně metodologicky ji lze považovat
za velmi otevřenou. Suchmanovo pojetí by patrně vedlo k přesnému opaku. Čtvrtý důsledek
velmi úzce souvisí s předchozím, ukazuje se totiž, že nastíněné metodologické multiplum
ochránilo evaluace před eskalací paradigmatických válek, které jsou patrné v jiných
společenskovědních oborech.
Někteří evaluátoři (Scriven 1967) dokonce poukazují na analogii mezi evaluačním výzkumem
a fyzikálním výzkumem, tedy s novými objevy; pojmem evaluační výzkum se tedy označuje
úsilí, které přesahuje rámec rutinní aplikace platných principů a metod v daném vědním
oboru. Toto pojetí evaluačního výzkumu je však poněkud extrémní a běžně není evaluační
výzkum takto chápán.
Ještě jiné hledisko vnášejí do diskusí o vztahu evaluací a evaluačního výzkumu Guba a
Lincolnová (1989), když navrhují, aby rozdíl mezi evaluacemi a evaluačním výzkumem
neodkazoval k metodě (či k používané metodologii), ale k odlišení procesu stanovení hodnoty
(bez ohledu, zdali se tak děje využitím metod a technik společenskovědního výzkumu nebo
jiných metod) od procesu řešení problému (opět bez zohlednění využívaného metodologického
aparátu). E. Guba a Y. Lincolnová chápou evaluaci jako interpretaci faktů podle jasných
postupů a odlišují ji od tzv. assessment, jenž považují za sběr faktografických dat.
26
2.4 Evaluace jako obor
V současnosti oblast evaluací disponuje vlastními institucemi – evaluačními společnostmi,
přičemž nové asociace a evaluační společnosti stále vznikají po celém světě (viz např. Polská
evaluační společnost, Nigerijská síť monitoringu a evaluací, Evaluační společnost Malajsie a
mnohé další). V rámci oboru je organizována řada konferencí a seminářů, v rámci mnohých
institucí existují evaluační oddělení či centra pro evaluaci. Např. v České republice lze
evaluační odbor najít na Ministerstvu pro místní rozvoj či na Ministerstvu školství, mládeže a
tělovýchovy; ve Spojených státech je mj. zřízen při Kongresu specializovaný úřad General
Accounting Office; s podobnými institucemi se lze setkat také v mnohých dalších zemích;
rovněž v mezinárodních organizacích jako např. OECD působí skupiny evaluátorů). Na poli
evaluací vychází řada odborných a vědeckých časopisů (např. Evaluation , New Directions for
Evaluations, Evaluation Review, Evaluation and Program Planning a mnohé další), mohutní
rovněž produkce knižní literatury (např. nakladatelství Sage vydává ročně řádově desítky
titulů zaměřených na oblast evaluací; specializované publikace o evaluacích jsou vydávány
také dalšími nakladatelstvími – Guilford, Jossey-Bass a mnoha dalšími). Obor dále disponuje
souborem základních norem, a to jak tzv. Guiding Principles, tak také dalšími standardy.
V neposlední řadě stojí za zmínku, že evaluace se v současné době přednášejí na mnoha
světových i evropských univerzitách, a to jak jako samostatný předmět v rámci relevantních
studijních oborů (sociologie, sociální práce, kriminologie, sociální politika), tak také jako
obor per se (v některých případech dokonce i na doktorské úrovni8).
2.4.1 Vnitřní strukturace oboru
Je třeba poukázat na skutečnost, že obor evaluací je složen z několika více či méně
samostatných oblastí, z nichž každá má svou vlastní dynamiku9, své specifické instituce,
školy a časopisy, častokrát také svou vlastní terminologii a metodologické akcenty. Rozvoj
evaluací je tedy třeba chápat nejen jako produkt rozvoje v rámci jedné uvažované evaluační
oblasti, ale především jako výsledný vektor, jehož velikost, směr a smysl je dán sumou dílčích
pokroků v každé jednotlivé evaluační oblasti.
8
Viz např. Western Michigan University; Harvard University; University „La Sapienza“ Rome a mnoho dalších
Např. v oblasti vzdělávání je nositelem této dynamiky způsob financování jednotlivých škol či vysoká role
vzdělání v soudobých společnostech; v oblasti managementu je to rozvoj projektového řízení; v oblasti veřejné
správy je zdrojem dynamiky, která katalyzuje rozvoj evaluací „new public administration“ a na evropském
kontinentě pak také administrativa EU; v oblasti ekonomiky se jedná o globalizaci.
9
27
Obrázek č. 4 Struktura oboru
Evaluace
politik
Evaluace
intervenč
intervenčních
programů
programů
Produktové
Produktové
testy
Evaluace
nabí
nabídek
Evaluace
výkonu
Evaluace
pracovní
pracovníků
Zdroj: autor
Celá oblast evaluací se obvykle rozděluje do šesti relativně samostatných sub-kategorií podle
předmětu, který je evaluaci podrobován. Rozlišuje se tedy:
a) Evaluace intervenčních programů (program evaluation)
Jde pravděpodobně o nejrozsáhlejší a nejvýznamnější ze všech evaluačních oblastí. Je typem
evaluace, která se zaměřuje na hodnocení efektivity tzv. intervenčních programů, jež jsou
detailně rozebrány v dalších kapitolách této práce.
b) Produktové testy (product evaluation)
Jedná se o oblast evaluací, která upíná svou pozornost k testování a srovnávání výrobků či
služeb. Tato oblast evaluací poskytuje srovnávací zprávy o míře naplnění věcného základu
definované skupiny výrobků či služeb. Obyčejně se používají metodiky analýzy fyzikálních,
chemických či senzorických vlastností, nicméně prostor pro uplatnění metod společenskovědního
výzkumu je zde relativně malý. Příkladem produktových testů jsou v USA velmi populární
Consumer Reports, v ČR je příkladem TEST DNES.
c) Evaluace pracovníků (personnel evaluation)
Tato oblast rozšířila evaluační portfolio poměrně nedávno, neboť starší evaluační literatura
(z osmdesátých a z počátku devadesátých let) se touto oblastí nijak nezabývá a nevěnuje jí
žádnou pozornost (Fields 2002). Předmětem hodnocení pracovníků jsou jejich dovednosti a
předpoklady zaměstnanců či uchazečů o zaměstnání vykonávat dané činnosti. Tato oblast
28
evaluací ve značné míře spoléhá na pozorování, metody měření pracovního výkonu (viz dále)
a testy či interview, které osvědčují znalosti a postojové orientace jednotlivých subjektů
v problematice, jež souvisí s vykonáváním dané pracovní činnosti.
d) Evaluace výkonu (performance evaluation)
Tato oblast patří mezi nejdynamičtěji se rozvíjející oblasti evaluací. Zaměřuje se na poměrně
specifickou a úzce vymezenou oblast metod měření a (dlouhodobého) sledování výkonu
(Birkenhoff, Dressler 1990). Některými autory bývá hodnocení výkonu zaměňováno
s hodnocením pracovníků, nicméně z dostupných pramenů je zřejmé, že oblast hodnocení
výkonu je širší a není s oblastí hodnocení pracovníků totožná. Lze konstatovat, že hodnocení
výkonu se v obecné rovině zaměřuje především na ověřování, zdali bylo dosaženo vytyčených
cílů či nikoliv (Combs, Falletta 2000), přičemž své uplatnění nachází jednak v ostatních
evaluačních oblastech (kterým napomáhá lépe stanovit míru dosažení definovaných
výsledků), a dále jako samostatná součást realizovaných programů a projektů, které jsou
vyhodnocovány pomocí tzv. KPI (key performance indicators).
e) Evaluace nabídek (proposal evaluation)
Tato evaluační oblast rozvíjí postupy pro posuzování věcného základu a hodnoty projektů či
nabídek, které jsou předkládány v rámci poptávkových či výběrových řízení. Hodnocení
nabídek patří mezi „ne-výzkumné“ oblasti evaluací – pozornost evaluátorů se v tomto ohledu
koncentruje na optimalizaci kritérií umožňujících adekvátní posouzení navrhovaných řešení.
Tento typ evaluace je přísně formalizovaný, dokonce i samotné posouzení věcného základu a
hodnoty je obyčejně separováno do dvou samostatných částí/fází.
f) Evaluace politik (policy evaluation)
Oblast hodnocení politik se zaměřuje na posuzování vybrané oblasti politiky na základě
předem definovaných kritérií. Svým zaměřením i mnohými metodami jde o oblast, která je
velmi blízká hodnocení intervenčních programů, nicméně vzhledem k vyšší obecnosti a
abstraktnosti politiky oproti intervenčnímu programu jsou zřejmé i mnohé diference.
Hodnocení politik bývá zaměňováno s analýzou politik (policy analysis), což je třeba
důsledně rozlišovat, neboť analýza politik zahrnuje kromě samotné analýzy také doporučení a
návrh opatření. Evaluace se však poskytování jakýchkoliv doporučení důsledně vyhýbají
s poukazem na jejich roli při podporování (nikoliv ovlivňování) subjektů zúčastněných
v příslušných rozhodovacích procesech.
29
2.4.2 Rozvoj evaluačního oboru
Dříve než přistoupíme k jejich detailnímu rozboru, je užitečné zmínit, že evaluační výzkum
má svůj původ v USA10, kde se také během posledních desetiletí rozvinul nejvíce.
Různé oblasti evaluačního oboru odkazují k jiným počátkům a historickým kořenům.
Evaluátoři, kteří jsou úzce svázáni s oblastí pedagogického výzkumu, považují za počátek
rozvoje evaluací období přelomu 19. a 20. století, kdy J. Rice provedl první evaluaci
vzdělávacího programu. Faktem zůstává, že evaluátoři, kteří se zaměřují na oblast evaluace
intervenčních programů Riceův počin považují spíše za jakési pre-historické období (Boruch
2005). Za počátek evaluací považují období 30. let 20. století, kdy R. Tyler provedl svou
evaluaci (tehdy) nově zaváděných osmiletých osnov.
a) Obor evaluací ve světě
Zásadní rozkvět přinesl evaluačnímu oboru až Sputnik, který byl vypuštěn na oběžnou dráhu
v roce 1957 (Stufflebeam, Shinkfield 2007). Tento akt zvedl v americké veřejnosti vlnu
pochyb o kvalitě vlastního vzdělávacího systému a účelnosti vynakládaných (veřejných)
prostředků, a tak bylo zákonem o vzdělávání v oblasti národní bezpečnosti přijatém hned
v následujícím roce zavedeno několik nových vzdělávacích programů a současně byla
nařízena povinnost pro jednotlivé školy financované z veřejných rozpočtů podrobovat se
evaluaci. Druhý impuls k rozvoji evaluací přišel nedlouho poté – v 60. letech vyhlásil
prezident L. Johnson plán „Great Society“, který přinesl značné množství intervenčních
programů, zejména v oblasti vzdělávání, sociální péče a zdravotnictví (Pawson 2006).
Ačkoliv pozdější (Reaganova) administrativa od řady intervenčních programů upustila a ani
v dalším období nebyly intervenční programy implementovány v takovém měřítku, přesto si
obor evaluací získal (až na některé peripetie) svůj respekt. Také v současnosti je patrný zájem
veřejné správy s evaluacemi počítat a i v dnešní době přijímaná legislativa s jejich
využíváním explicitně počítá. Svědčí o tom mj. Government Performance Recording Act
(1993), který váže výkony vládních úřadů (agentur) přímo ke zdrojům jejich budoucího
financování, čímž je generována poptávka po prokazování výsledků činnosti jednotlivých
úřadů a institucí (formou tzv. outcome evaluation – detailněji viz dále).
10
Kromě USA jsou tradičními evaluačními centry také Kanada, Austrálie a Nový Zéland.
30
Spojené státy však nejsou jediným teritoriem, ve kterém jsou evaluace rozvíjeny. V této
souvislosti je třeba zmínit zejména kanadský Treassury Board Secretariat, při kterém v roce
2001 vzniklo tzv. Centre for Excellence for Evaluation, mezi jehož hlavní cíle patří zejména
působit jako přirozená autorita při naplňování evaluačních funkcí na úrovni federálně
poskytovaných veřejných služeb, dále zavádět příslušné iniciativy (tj. podporovat aktivitu
vlastní i ostatních dotčených subjektů) a přispívat k budování kapacity, zdokonalování praktik
a posilování evaluační komunity. V Kanadě rovněž působí jedna z nejstarších evaluačních
společností spolu s evaluačními společnostmi v Austrálii a na Novém Zélandu, které patří
mezi klíčová centra rozvoje evaluací současné doby.
b) Obor evaluací v Evropě
V posledních letech lze však pozorovat rostoucí význam evaluačních přístupů také v Evropě,
což je dáno především rostoucím vlivem a významem rozvojových projektů
administrovaných Evropskou unií, zejména pak její strukturální politikou, ale i některými
dalšími programy (Phare, EQUAL atd.). Soustavný tlak na zvyšování efektivity veřejného
sektoru, decentralizace veřejných agentur a obecně „new public management“, který je
v posledních letech anticipován mnohými reformními kroky v oblasti veřejné správy, přímo
volá po zavedení mechanismů, které umožňují kontrolu efektivity vykonávané správy, a které
vyžadují a adresují odpovědnost.
c) Obor evaluací v ČR
V českém prostředí doposud existuje jen velmi malý počet pramenů, které se problematikou
evaluací speciálně zabývají; jde buď o jednotlivé kapitoly v rozsáhlejších monografiích (např.
Hendl 2005; Rektořík, Šelešovský 2003; Veselý, Nekola 2007) nebo o učební texty (Winkler
2002) či o parciálně pojaté stati (např. Kostelecký, Patočková 2006). Některé resorty (např.
Ministerstvo pro místní rozvoj, Ministerstvo školství, mládeže a tělovýchovy) dále připravily
(resp. přeložily) metodické příručky, nicméně publikace tohoto druhu nelze považovat za
základnu, na níž by se mohl obor evaluací etablovat a rozvíjet.
31
2.5 Souhrn
Přesné vymezení obsahu a rozsahu je klíčovou úlohou každé vědy a každé disciplíny,
evaluace nevyjímaje. Naléhavost detailní analýzy a precizace jednotlivých pojmů je pro oblast
evaluací klíčová už jen proto, že se v kontextu této problematiky objevuje řada pojmů, jejichž
význam je na první pohled intuitivní, nicméně pokud jsou používány jako terminus technicus,
jsou spojeny se specifickým významem, mají svou historii a souvislosti s jinými konstrukty.
Příkladem jednoho z mnoha významových posunů je samotný pojem „evaluace“, který bývá
laicky používán i v situacích, jež jsou vymezeny a spočívají v subjektivním posuzování,
ačkoliv k principiálním zásadám evaluační činnosti, na nichž se celý evaluační obor
jednoznačně shoduje, je přísná objektivita vlastního evaluačního procesu i jeho výsledků.
Jiným příkladem je záměna evaluace s výzkumy spokojenosti (satisfakční výzkumy) a jinými
postojově zaměřenými výzkumnými šetřeními, v nichž se sami jednotliví zástupci cílové
skupiny přímo vyjadřují k využívaným službám, k zakoupeným výrobkům či
k navštěvovaným kursům (viz zejména hodnocení výuky). Tyto typy šetření jsou sice
legitimní formou společenskovědního výzkumu, nicméně nelze je považovat za evaluaci ve
smyslu, jak je definována samotným evaluačním oborem. Tato šetření sice zkoumají hodnotu,
ale vůbec nevěnují (a ani vlastně nemohou) pozornost věcnému základu posuzovaného
objektu. House (1983) dokonce důrazně varuje před tímto typem šetření, v němž respondenti
posuzují programy přímo a ve kterých se vyžaduje okamžité zhodnocení. Poukazuje přitom na
potenciální vychýlení jejich závěrů a jejich nízkou spolehlivost. Skutečností je, že při
evaluacích (tak, jak jsou chápány samotnými evaluátory a jak jsou také definovány v rámci
této práce) je to vždy samotný evaluátor, kdo hodnotí (posuzuje a oceňuje) jednotlivé fakty a
dospívá k evaluačním závěrům, nikdy však tuto činnost neprovádějí samotné subjekty (tj.
např. žáci)11.
Snahy o terminologickou čistotu jsou však komplikovány ještě několika dalšími okolnostmi.
Předně platí, že absence univerzální shody mezi evaluátory o obsahu evaluací a jejich
metodách vede k situaci, kdy není ustálena definice toho, co vlastně evaluace jsou.
Neexistence jasného rámce vymezujícího a definujícího daný obor (resp. existence několika
11
Analogicky nepřípustnou situací z oblasti společenskovědního výzkumu by v tomto ohledu bylo položení
výzkumné otázky přímo respondentovi v naději, že na ni dokáže odpovědět.
32
různých alternativ) pochopitelně rozostřuje hranici oddělující činnosti a jevy, které do oblasti
evaluací patří, a které nikoliv, což je dvojnásob problematické vzhledem ke skutečnosti, že
oblast evaluací je založena na odborných základech několika vědních oborů a disciplín
(sociologie, pedagogika, psychologie, ekonomie a další). I jen letmé seznámení se základními
evaluačními přístupy ukazuje, jak časté je střetávání různých významů základních pojmů,
konstruktů, metod a dokonce i celých paradigmat (Christie 2003). Z řady důvodů, mezi které
patří bezesporu také fakt relativně krátkého vývoje evaluační oblasti, nedošlo doposud
k terminologickému a konceptuálnímu sjednocení, a tak celá oblast působí poněkud eklekticky.
33
3. Klíčové pojmy evaluace intervenčních programů
Doposud byla pozornost věnována vymezení evaluací a jejich základním definicím. Další
pozornost je zaměřena na stanovení předmětu (obsahu) evaluací – v tomto ohledu je nutné
zmínit ještě několik dalších pojmů, jež se v této souvislosti běžně užívají. Pozornost je
věnována pojmům intervenční program (intervention program), teoretické schéma (program
theory) a sekvenční schéma (logic model) a zainteresované strany (stakeholders).
Ponecháváme přitom stranou takové triviální pojmy jako např. evaluátor, evaluand apod., jež
nepotřebují podrobný komentář, neboť jsou autoexplikační a lze na ně snadno usoudit
z kontextu.
3.1 Intervenční program
V evaluačních pramenech se lze setkat s řadou různých pojmů, jimiž jsou intervenční
programy popisovány a s jejichž pomocí jsou definovány, např. C. Weissová píše o
„sociálních programech“ (social programs); Y. Unrauová, H. Chen a někteří další se vyjadřují
o „programech“ (programs), lze se setkat i s pojmem „intervence“ (interventions). Tato
variance je dána jednak dobou vzniku, kdy prameny, jež vznikly v 60. letech častěji odkazují
k „sociálním programům“, a dále také konkrétní evaluační oblastí. Lze vypozorovat, že autoři
píšící o evaluaci v oblasti sociální práce se kloní k pojmu „sociální program“ (social
program) či „program sociální intervence“ (social intervention program), zatímco např.
oblast evaluace výkonu používá častokrát pojem „opatření“ (measure). Pro používání pojmu
intervenční program hovoří především jeho universalita, neboť navržený pojem neodkazuje
k žádné dílčí oblasti evaluací. Současně platí, že zvolený pojem jmenovitě zdůrazňuje
intervenční charakter příslušných opatření, odkazuje tedy k zásahům vyvolávajících změnu, a
současně klade důraz na programovost takových kroků, z níž je patrné, že nejde o ad-hoc
zásahy ani o krátkodobou formu regulace. V neposlední řadě je třeba uvést, že pojem
„intervenční program“ je srozumitelný jak napříč jednotlivými evaluačními oblastmi, tak také
mimo vlastní evaluační obor. Je však třeba čtenáře na tomto místě zdvořile požádat, aby
pojem „intervence“ přijal jako neutrální pojmenování, které v kontextu evaluací nemá žádné
pejorativní konotace.
34
Vymezení pojmu intervenční program je zásadní pro analýzu evaluační činnosti i evaluačního
procesu. Ačkoliv ne každá evaluace je zaměřena na hodnocení intervenčních programů (viz
předchozí kapitola vymezující jednotlivé oblasti evaluací), přesto lze konstatovat, že evaluace
intervenčních programů představují nejvýznamnější sub-kategorii, a to jak z teoretického
hlediska (množství pramenů věnovaných evaluaci intervenčních programů oproti jiným
oblastem), tak také z hlediska praktického (neboť evaluace intervenčních programů jsou
nejčastěji zadávaným typem evaluací). Joint Committee on Standards definuje intervenční
program jako „aktivitu, která je poskytována na dlouhodobé bázi“ (cit. dle Sanders 1994).
Důraz na dlouhodobost je v tomto ohledu zásadní, neboť odlišuje intervenční programy od
projektů, které vždy mají jednorázový charakter, a to i navzdory skutečnosti, že mnohé
z projektů mohou vyvolávat dopady, které se projevují až v dlouhodobém časovém horizontu.
Tato oficiální definice je sice užitečným pomocníkem pro získání základní představy o tom,
co mají evaluátoři obecně na mysli, když hovoří o intervenčních programech, nicméně její
využitelnost pro bližší operacionalizaci intervenčního programu či pro další analýzu je
z důvodu vysoké míry její abstraktnosti velmi omezená.
Jednotliví evaluátoři přistupují k definici intervenčního programu rozdílně a jejich pojetí je
třeba vždy chápat na pozadí obecnějšího přístupu k realizaci evaluací, jenž tito autoři
používají. Intervenční program tak lze chápat jako soubor plánovaných aktivit zamýšlených
k tomu, aby způsobily změnu ve vymezené cílové skupině (Smith 1989 cit. dle Owena 2006).
Toto pojetí zdůrazňuje nutnost existence jasného a podrobného plánu coby základního
dokumentu odkazujícího jednak k intencionalitě působit prostřednictvím intervenčního
programu konkrétní změny, a dále k přesvědčení, že se naplněním plánovaných kroků,
činností a aktivit stanou zamýšlené a požadované změny skutečnými. Jak je patrné, Smithova
charakteristika intervenčního programu je vázána na proces; v jeho pojetí ustupují jednotliví
aktéři do pozadí a hlavní pozornost se upíná na jednotlivé podněty vyvolávající změnu a na
schematické vyjádření postupu takovéto změny. Nastíněný přístup není nijak ojedinělý,
naopak – v evaluační literatuře zaujímá toto chápání poměrně významnou pozici. S jiným
pojetím analýzy intervenčního programu vnímaného jako proces přišli např. McDavid a
Hawthorn (2006), kteří chápou intervenční program jako „soubor aktivit, jež jsou vzájemně
propojeny tak, aby směřovaly k dosahování vytyčených cílů“ (ibid.). Pokud Smith věnuje
aktérům intervenčního programu jen okrajovou pozornost a odkazuje na ně jen jako na obecně
a vágně definovanou „cílovou skupinu“, v pojetí J. McDavida a L. Hawthornové se o aktérech
v podstatě neuvažuje vůbec. Jejich zapojení do sítě procesních vazeb, jež definuje intervenční
35
program, je přesto patrná v části, kdy J. McDavid a L. Hawthornová usuzují na smysl, účel a
poslání intervenčních programů. Na pomyslnou otázku Qui bono? odpovídají poukazem na
iniciátora daného intervenčního programu, který prostřednictvím jeho zavedení hodlá
dosáhnout svých cílů, jež si vytyčil (popř. mu byly stanoveny). V tomto ohledu se významně
odlišují od Smithova chápání smyslu intervenčních programů, který ho spatřoval v proměně
podmínek cílové skupiny. Obecně lze dovodit, že intervenční programy lze v zásadě definovat
jednak jejich cíli (intervenční programy jsou vždy připraveny plnit definované cíle), vztahem
mezi vytyčenými cíli a zvolenými prostředky k jejich dosažení, a také průběhem
implementace (tedy účinností zvolených prostředků vyvolávat příslušné změny a směřovat
k vymezeným cílům).
Také Weissová (1989) zdůrazňuje na prvním místě jasný záměr, který intervenční programy
sledují12, nicméně kromě toho C. Weissová rovněž poukazuje na reprodukovatelnost
intervenčních programů předpokládající pečlivou a detailní dokumentaci všech jednotlivých
prvků, popis klíčových procesů a rozbor jednotlivých funkcí. Charakteristickým rysem
intervenčních programů je pevný mechanismus jejich fungování, realisté by řekli
„pravidelnost“, která svými důsledky vede k identickým výstupům. Z analytického hlediska je
v tomto ohledu významné, že působení intervenčního programu je kontrolovatelné a
ověřitelné, a to jak z hlediska procesního (výzkumu totiž může být podrobeno skutečné
vykonávání jednotlivých činností), tak také z hlediska výsledků či dopadů, jež daný
intervenční program vyvolává (rovněž jejich existenci lze pomocí náležitě navrženého
výzkumu ověřit).
Se zcela jiným vymezením intervenčního programu přicházejí Fitzpatrick, Sanders a Worthen
(2004), kteří na rozdíl od M. Smithe, J. McDavida a L. Hawthornové i C. Weissové definují
intervenční program jako komplex lidí, organizací, systému řízení a dostupných zdrojů;
všechny tyto elementy přitom ve své spojitosti vyvíjejí podle autorů soustavný tlak a
systematické úsilí k dosažení konkrétních výsledků (outcomes). Tato definice na rozdíl od
všech předchozích s jednotlivými aktéry skutečně počítá, explicitně je pojmenovává a
nezapomíná přitom ani na C. Weissovou zdůrazňované procesy. J. Fitzpatricková tak svou
definicí vytváří rámec, v němž jsou umístěni jednotliví aktéři spolu s jejich jednáním (úsilím
vyvíjeným s cílem dosáhnout vytyčených výsledků). Její definice je vizí vycházející jednak
12
Mimochodem je na místě poukázat na skutečnost, že tato intencionalita je ve větší či menší míře zřetelným
prvkem všech definic intervenčních programů.
36
z předpokládané informovanosti všech aktérů o dosahovaných cílech, a dále založenou na
shodě všech aktérů, pokud jde o legitimitu dosahovaných cílů, jejich povahu i pokud jde o
způsob a formu jejich dosažení. Takovéto pojetí však nachází svůj empirický korelát jen
obtížně, neboť různost zájmů jednotlivých aktérů prakticky vylučuje obecnou shodu.
Citovaná představa J. Fitzpatrickové dále vyvolává představu, že intervenční program je
společnou iniciativou zúčastněných aktérů. Nicméně nelze opomenout fakt, že intervenční
programy jsou častokrát připraveny a prosazeny jednou skupinou lidí a organizací proti přání
jiné skupiny lidí a organizací, o čemž svědčí celá řada kogentních právních norem, jež
zakládají existenci příslušných intervencí (např. zákon č. 226/2006 Sb., o silniční dopravě).
Dále není možné opomenout skutečnost, že cíle jednotlivých aktérů jsou v reálných
podmínkách přirozeně odlišné (kupř. uživatelé sociálních služeb pochopitelně sledují jiné cíle
než poskytovatelé těchto služeb), že v některých případech mohou být někteří aktéři zapojeni
do intervenčního programu, o jehož cílech nejsou informováni buď vůbec (např. pouliční
kamerový systém) nebo mylně (např. Tuskegee experiment)13. Je nesporným přínosem, že J.
Fitzpatricková ve svém pojetí intervenčních programů obrací pozornost k aktérům, nicméně
její vize intervenčního programu může nalézt uplatnění jen v rámci některých evaluačních
přístupů (blíže o nich viz sedmou kapitolu), rozhodně však nelze její pojetí považovat za
univerzálně použitelné.
Shadish, Cook a Leviton (1991) poukazují při definici intervenčního programu na tři prvky,
jež považují za klíčové. Prvním z nich je vnitřní struktura intervenčního programu, díky níž
jsou dostupné zdroje využívány takovým způsobem, který vede ke konkrétním výsledkům.
Tento prvek v zásadě odpovídá procesům, na něž upozornil již výše citovaný M. Smith.
Nicméně způsob, jak intervenční program pojímají W. Shadish, T. Cook a L. Levitonová je
mnohem komplexnější, neboť kromě těchto interních procesů je rozlišován další samostatný
prvek, a to vnější vlivy, které program (spolu)utvářejí. Na jiném místě této práce je roli
kontextu a vnějších podmínek věnována samostatná a detailní pozornost, a proto se na tomto
místě omezíme jen na poznámku, že zohlednění vnějších podmínek významným způsobem
přispívá k realističtějším výsledkům evaluací intervenčních programů. Kontext totiž vždy
zásadním způsobem ovlivňuje původní cíle a funkce samotného intervenčního programu
13
Na tomto místě ponecháváme stranou, zdali k těmto nedokonalostem v komunikaci dochází záměrně
zkreslenými informacemi poskytovanými realizátorem dané intervence (např. kdy z metodologických důvodů
není vhodné poukazovat na experimentální charakter intervenčního programu a jeho výzkumu) či nepochopením na
straně příjemce daného sdělení. Rovněž zde ponecháváme stranou etický rozměr takového způsobu provedení
evaluace intervenčního programu.
37
(Pawson, Tilley 1997). Třetím prvkem intervenčních programů je mechanismus, pomocí
kterého daný intervenční program dosahuje svých cílů. Tuto znalost považují autoři za
nezbytnou při optimalizaci programu samotného, neboť bez znalosti mechanismu jeho
fungování není možné daný intervenční program zlepšovat.
Společný všem uvedeným pojetím je důraz na soustavnost působení (intervenční programy
jsou dlouhodobé) a na zaměření na cíl, kdy intervenční programy mají svou konkrétní funkci
(neinformovanost či neschopnost některých aktérů uvědomovat si tuto funkci, neschopnost ji
popsat či kvantifikovat, na tom nic nemění). Vyšší důraz na roli jednotlivých aktérů při
provádění konkrétních procesů a při dosahování vytyčených cílů v definici J. Fitzpatrickové je
z metodologického hlediska zásadní pro další analýzu, neboť upozorňuje na fakt, že jednotliví
aktéři sehrávají roli samostatných entit a později bude ukázáno, jak významná role v průběhu
intervenčního programu a jeho analýzy jim přísluší. V případě některých intervenčních
programů, jako např. podpora regionálního rozvoje vyžaduje identifikaci a přesný a správný
popis intervenčního programu častokrát větší úsilí, než samotné posouzení jeho výstupů a
dopadů.
Obecně lze tedy shrnout, že intervenční program je souborem opatření, jehož cílem je změna
či formování chování jednotlivců. Přestože se lze s různými formami intervencí setkávat snad
v každé oblasti společenského života, koneckonců většinu právních norem lze považovat za
způsob intervence, o intervenčních programech se obvykle hovoří v kontextu vzdělávání,
sociální politiky, sociální práce, zdravotní politiky, kriminologie. Typickými příklady
intervenčních programů jsou Medicare a Medicaid; za jistou formu intervenčního programu
jsou považována i taková opatření jako např. záporná daň z příjmu, rekvalifikační programy
pro nezaměstnané, regulační poplatky ve zdravotnictví. V krajním případě by za intervenční
program byly považovány i takové nástroje a instituty jako např. minimální mzda, státem
podporované stavební spoření, novomanželské půjčky či bodový systém pro řidiče.
38
Souhrn
Z nastíněných definicí je patrné, že stávající pohledy na intervenční program zaujímají jednak
hledisko funkční analýzy, kdy je pozornost věnována samotnému popisu procesů určitého
intervenčního programu (např. M. Smith), dále hledisko strukturálního popisu (J.
Fitzpatricková, J. Sanders a B. Worthen) zaměřeného na aktéry a jejich jednání a v neposlední
řadě lze vysledovat také hledisko realistického popisu (W. Shadish, T. Cook a L. Levitonová)
obracejícího pozornost evaluátorů k interakci mechanismu (tj. pravidelně vykonávaných
procesů) v podmínkách přesně definovaného kontextu.
Chybí však popis právně-institucionální. Vzhledem ke skutečnosti, že intervenční programy
jsou ve značné míře zaváděny zejména v oblasti veřejného práva, musí mít vždy oporu
v zákoně či alespoň v normativním právním aktu nižší právní síly (např. vyhláška či obecní
vyhláška). Intervenční programy jsou tedy ve velké většině případů zavedeny konkrétním
normativním aktem nebo jsou vytvářeny v zákonem definovaném rámci (např. prováděcí
vyhláškou). Rovněž institucionální analýza intervenčního programu je významná, neboť
každý intervenční program má svého institucionálního nositele, konkrétní organizaci, úřad či
subjekt neziskového sektoru, který daný intervenční program provozuje. Analýza
institucionálního základu intervenčního programu je zásadní při evaluaci možností a mezí
daného intervenčního programu při dosahování jeho cílů. Institucionální platforma je
významná také při analýze přijetí intervenčního programu samotnými příjemci či cílovou
skupinou.
39
3.2 Teoretické schéma (program theory) a sekvenční schéma (logic
model) intervenčního programu
Rozmach používání teoretických a sekvenčních schémat v oblasti evaluací souvisí se změnou
důrazu, kdy se zájem evaluátorů přesunul od vnějších projevů sledovaných intervenčních
programů, tedy od zjišťování a ověřování, zdali posuzované intervenční programy skutečně
dosahují vytyčených cílů (tj. jsou efektivní), k vnitřním mechanismům, na jejichž základě
intervenční programy působí. Primární snahou je tedy zjistit, jak jsou v rámci daného
intervenčního programu vstupy transformovány na výstupy (Bouyssou, Marchant, Pilot,
Perny, Tsoukiás, Vincke 1990). Tyto pokusy o otevření černé skříňky (black-box), za kterou
byly intervenční programy zprvu považovány, s sebou přinesly také nové evaluační přístupy a
spolu s nimi i nové metody, techniky a nástroje, zejména pak koncept teoretických schémat
(program theory), a později také schémat sekvenčních (logic model). V některých pramenech
(např. Davidson 2005 nebo Bickman 1987) jsou sice sekvenční schémata směšována se
schématy teoretickými, nicméně i přes jejich zdánlivou podobnost v účelu, smyslu a do jisté
míry i ve způsobu provedení, lze mezi teoretickými a sekvenčními schématy nalézt několik
zásadních rozdílů, kvůli kterým v naší práci oba pojmy/konstrukty důsledně oddělujeme.
Teoretické schéma
V souvislosti s rozvojem evaluačních přístupů se na přelomu 60. a 70. let začaly objevovat
požadavky na detailnější analýzu jednotlivých činností probíhajících v rámci hodnocených
intervenčních programů, na zachycení jejich posloupnosti a vzájemné provázanosti. Někteří
evaluátoři poukazovali v této souvislosti na možnosti použití „pěšinkových“ diagramů
zobrazujících následnost jednotlivých kroků identifikovaných mezi samotnou intervencí
(začátkem fungování intervenčního programu) a jejími výsledky (Weiss 1972); Suchman
dokonce o několik let dříve doporučoval používání hierarchických zobrazení zdrojů (vstupů) a
cílů (výstupů); jím navrhované diagramy měly názorně dokumentovat vzájemné vztahy mezi
příčinami a následky (Suchman 1967). V témže roce rovněž Stake (1967) publikoval svůj
model potřeb, transakcí a výsledků intervenčních programů. I přes tyto pionýrské, a v té době
poněkud ojedinělé, pokusy však nelze hovořit o skutečném rozmachu v používání
teoretických schémat až do přibližně 90. let 20. století, kdy nastal jejich opravdový rozkvět
daný již nastíněným přesunem zájmu od evaluací zaměřených na cíle intervenčních programů
a posouzení jejich dosažení k evaluacím snažících se o pochopení, jak jednotlivé intervenční
programy vlastně skutečně fungují.
40
Prvotním pokusům o využití teoretických schémat při evaluační činnosti je společná značná
jednoduchost, kdy prvořadým a hlavním cílem, který byl od teoretických schémat očekáván,
bylo pouhé naznačení spojnic mezi vstupy a výstupy (Rogers, Hacsi, Patrosino, Huebner
2000). Vliv v té době převládajícího způsobu evaluací zaměřeného na cíle intervenčních
programů a prováděného formou experimentu je v tomto ohledu více než zřejmý; tehdejší
teoretická schémata byla vlastně jen jakýmisi variacemi na téma vstup-výstup, stimul-reakce.
Nicméně jejich pozdější využití již touto „zátěží“ netrpí, což je patrné např. z Bickmanovy
(1987) definice, jež charakterizuje teoretická schémata jako pravděpodobné a vnímavé
modely toho, jak budou intervenční programy fungovat. Podobně také klíčový představitel
teorií vedeného přístupu k evaluacím, Chen (2005), popisuje teoretická schémata jako
„specifikaci činností nutných k dosažení vytyčených cílů, dopadů, které mohou být dále
anticipovány a způsobů, jak lze těchto cílů a dopadů dosáhnout“. Přesun zájmu od
strukturálního popisu intervenčního programu k jeho funkční explikaci je patrný na první
pohled. Rovněž je zřejmý posun od deskriptivního použití teoretických schémat, které bylo
typické v rané fázi jejich využívání, k pozdější prospektivní formě využití, která
s teoretickými schématy pracuje nejen jako s pomůckou pro vyjádření (zachycení) daného
stavu, ale snaží se modelováním (elaborací) vzájemných vztahů o zobecnění, predikci a
simulaci. Příkladem teoretického schématu je popis programu pro poskytování zdravotní péče
bezdomovcům.
Obrázek č. 5 Ukázka teoretického schématu
Lokalizovat populaci bezdomovců
Rekrutovat studenty a rezidenty
Provést výzkum potřeb bezdomovců ve vztahu ke zdravotní péči
Vyškolit studenty
medicíny a zdravotních
škol pro poskytování
péče bezdomovcům
Naplnit naléhavé
zdravotní potřeby
Poskytnout
sociální pomoc
Poskytnout studentům příležitost pozorovat průběh léčby
Pomoci při zapojování do
systému zdravotní péče,
seznámit s dalšími
možnostmi pomoci
(stravování, přístřeší)
Poskytnout studentům a rezidentům potřebné
dovednosti a naučit je poskytovat zdravotní péči
bezdomovcům
Poskytnout
preventivní péči
- Poskytnutí všeobecné i specializované
zdravotní péče
- Sjednání termínu návštěv zdravotníků
a lékařů
- Zajistit finanční zdroje na nákup léků
Umožnit rezidentům
získat vlastní zkušenost
s poskytováním péče
bezdomovcům
Lepší přístup bezdomovců ke zdravotní péči
Studenti a rezidenti se dozví o zdravotním stavu
bezdomovců a naučí se poskytovat zdravotní péči
Lepší zdravotní stav bezdomovců
Zdravotničtí pracovníci budou vyškoleni
pro poskytování zdravotní péče bezdomovcům
Zdroj: Daponte 2008; upraveno autorem
41
Teoretická schémata, zejména ve své prospektivní formě, mohou zjednodušovat realitu a
ovlivnit tak způsob provedení evaluace (mohou být zavádějící).
Sekvenční schéma
Sekvenční schémata se objevují v souvislosti s rozvojem jedné sub-kategorie evaluační
oblasti, a to evaluace výkonu (performance evaluation). Rozvoj této oblasti je produktem
sílícího zájmu některých evaluátorů hodnotit a měřit výkon jednotlivých účastníků
zapojených v intervenčním programu a umožnit tak efektivnější fungování a řízení těchto
programů (Wyatt, Philips 2009). V kontextu tohoto přístupu je obvyklé definovat jednotlivé
etapy působení intervenčního programu, tzv. milníky (jde vlastně o jakési rozhraní mezi
dvěma klíčovými po sobě následujícími etapami) a indikátory poukazující na splnění cílů
v rámci každé jednotlivé etapy. Sekvenční schémata obyčejně definují čtyři základní etapy, a
to vstupy (inputs), které zahrnují soubor všech zdrojů nutných k fungování intervenčního
programu. Etapa získávání a shromažďování vstupů je zakončena milníkem, který
dokumentuje jejich dostupnost. Druhou etapou jsou činnosti (activities), které je nutné
vykonat, aby z dostupných zdrojů bylo možné dosáhnout požadovaných cílů. Odpovídajícím
milníkem činností završujícím tuto etapu je ověření jejich vykonání (tedy např. průběžný
monitoring). Třetí etapou jsou výstupy (outputs), tedy přímé výsledky fungování
posuzovaného intervenčního programu, které jsou očekávány nebo jsou dosaženy. Příslušným
milníkem může v tomto ohledu být např. výzkum zaměřený na skutečnou existenci výskytu
těchto výstupů. Obecně platí, že daný milník osvědčuje, že sledovaný intervenční program
skutečně vede k daným výstupům. Konečně čtvrtou etapu představují dopady (impacts), které
daný intervenční program vyvolává. V této souvislosti je třeba poukázat na skutečnost, že
dopady mohou být jak očekávané výstupy, které se projevují až v dlouhodobějším časovém
horizontu, tak také nezamýšlené důsledky daného intervenčního programu14.
14
Někdy se namísto o dopadech (impacts) hovoří o dlouhodobých výsledcích (long-term outcomes), a pak se
v rámci třetí etapy hovoří o krátkodobých výsledcích (short-term outcomes).
42
Obrázek č. 6 Ukázka sekvenčního schématu
Cílová
Cíle
Předpoklady
Vstupy
populace
Poskytnout
bezdomovcům
přístup ke
zdravotní péči
Existence
početné
populace
bezdomovců
Bezdomovci
v daném městě
(čtvrti)
Obecná
nedostupnost
zdravotní péče
pro mnohé
bezdomovce
Lepší přístup ke
zdravotní péči
přispěje
k lepšímu
zdravotnímu
stavu
bezdomovců
Pracovníci (lékaři,
zdravotní sestry,
studenti,
dobrovolníci a
další osoby
zajišťující
poskytování
zdravotních
služeb v terénu
Finanční zdroje
(např. granty,
dotace, veřejné
rozpočty, výnosy
ze soukromých
sbírek apod.)
Činnosti
Výstupy
Počet
bezdomovců,
kterým je
poskytnuta péče
Provést zdravotní prostřednictvím
prohlídky
daného
bezdomovců
programu
Lokalizovat
populaci
bezdomovců
Poskytnout
preventivní péči
Poskytnout
okamžitou
zdravotní péči
Výsledky
Zlepšení
zdravotního stavu
bezdomovců
Počet
zdravotních
prohlídek
bezdomovců
uskutečněných
v rámci daného
programu
Poskytnout
informace o
možnostech
získání
bezplatných léků
Nábor rezidentů Počet studentů,
Zdravotnické
Studenti
Vyškolit
Zdravotní
kteří jsou
školy poskytující a studentů
medicíny;
zdravotnický
pracovníci se
proškoleni
zázemí pro
personál pro
chtějí zapojit do studentky
realizaci školení a Poskytnout
středních
poskytování péče programu pro
rezidentům
zdravotních škol poskytující
bezdomovcům
poskytování
zkušenost
studentskou
zdravotní péče
s poskytováním
Dobrovolníci se pracovní sílu
bezdomovcům
zdravotní péče
zájmem o
Je třeba proškolit poskytování péče Odměny pro
Poskytnout
poskytovatele
bezdomovcům
poskytovatele
studentům
zdravotní péče
možnost
Materiálové
v tématech, která Ostatní
seznámit se
příspěvky
s bezdomovec- poskytovatelé
s obsahem
sociálních služeb; (zdravotnický
tvím souvisejí
školení
terénní pracovníci materiál)
Zvýšený počet
zdravotnických
pracovníků
vyškolených
k poskytování
péče
bezdomovcům
Počet
absolventů, kteří
využívají
poznatky získané
v rámci programu
při své pracovní
činnosti
Zdroj: Daponte 2008; upraveno autorem
Užitečnost sekvenčních schémat je dána tím, že definují předmět evaluace a vyjasňují klíčové
prvky daného intervenčního programu, čímž napomáhají lépe zaměřit získávání informací a
ve svém důsledku tak posilují užitečnost výsledků (Wholey, Hatry, Newcomer 2004).
Sekvenční schémata tak umožňují strukturovaný popis jednotlivých prvků intervenčního
programu vyskytujících se a působících v rámci dané evaluace. Sekvenční schémata rovněž
vyjasňují jednotlivé vstupy, činnosti a výstupy (spolu s výsledky a dopady) a vytvářejí tak
jakýsi rámec pro provedení evaluace. Na základě sekvenčních schémat lze snáze identifikovat
předpoklady, které nemusí být na první pohled zjevné (např. zamlčené předpoklady fungování
intervenčního programu, skryté vstupy, latentní konflikt mezi jednotlivými vstupy apod.).
V neposlední řadě pak sekvenční schémata umožňují a usnadňují chápání klíčových prvků
43
intervenčního programu jednotlivými aktéry či zainteresovanými stranami. Každá ze
zainteresovaných stran má totiž k dispozici pouze dílčí informace týkající se daného intervenčního
programu, a to i v těch případech, kdy takováto informační fragmentace není žádoucí15.
Sekvenční schémata však v této podobě neformulují žádnou hypotézu změny, ani neposkytují
vhled do mechanismu fungování hodnocených intervenčních programů; nevypovídají nic o
skutečném využití zdrojů způsobem vedoucím k dosažení výstupů. Sekvenční schémata jsou
statická, zachycují jen status quo. Vnější prostředí i mechanismy intervenčního programu
samotného však mohou podléhat změnám (Frechtling 2007). Obecně lze tedy shrnout, že
sekvenční schémata pomáhají identifikovat nerealistické kombinace zdrojů a výstupů,
umožňují rozkrývat kritická místa jednotlivých intervenčních programů a významným
způsobem připívají k vyšší využitelnosti prováděných evaluací a tím vedou ke zdokonalování
samotného intervenčního programu.
Porovnání teoretických schémat a sekvenčních schémat
Klíčový rozdíl mezi teoretickými a sekvenčními schématy je shledáván v účelu, pro který jsou
připravovány. Zatímco teoretická schémata se snaží postihnout, jak intervenční program
funguje (popř. jaké jsou předpoklady o jeho fungování), sekvenční schémata jsou jakýmsi
„dvourozměrným kontrolním seznamem“ při koncipování evaluačního projektu. Zatímco
teoretické schéma zachycuje mechanismus změny, sekvenční schéma je dekompozicí
intervenčního programu na jeho měřitelné elementy.
Za jisté omezení při používání sekvenčních schémat považujeme jejich zužující zaměření na
vnitřní procesy, které se v rámci daného intervenčního programu vyskytují, kdy úloha
vnějšího prostředí, v němž intervenční program působí, je vlastně považována jen za jeden ze
vstupů. Hranice mezi posuzovaným intervenčním programem a jeho vnějším prostředím je
vždy dána více či méně arbitrárně, neboť nemá oporu v sociální realitě, přesto je však důležité
tuto hranici stanovit a spolu s ní je užitečné dále popsat, jak vnější prostředí ovlivňuje
fungování posuzovaného intervenčního programu16. Takovou diferenciaci však sekvenční
schémata znemožňují, neboť chápou vnější prostředí jako jednu ze svých součástí.
15
Záměrně ponecháváme stranou případy, kdy je v zájmu intervenčního programu, aby jednotlivé
zainteresované strany nebyly v detailu informovány o všech atributech daného intervenčního programu a všech
aspektech jeho evaluace.
16
Ponecháváme stranou fakt, že stanovení hranice mezi samotným intervenčním programem a jeho vnějším
prostředím není vždy snadným úkolem, neboť různé zainteresované strany mohou tuto hranici definovat každá jinak.
44
Závěrem je třeba uvést, že některé evaluační přístupy sekvenční schémata i teoretická
schémata zcela ignorují, neboť nejsou v rámci jejich přístupu nijak využitelná. V tomto
ohledu by např. R. Tyler zcela jistě žádné takové schéma nevyužil, protože jeho evaluační
přístup nevyžadoval znalost konkrétních mechanismů a způsobů, jak nové osnovy vedou
k lepším výsledkům testovaných žáků. Jeho pozornost byla soustředěna na co nejpřesnější a
co nejvíce validní ověření toho, zdali nové školní osnovy dosáhly definovaných cílů a
přinesly žádoucí změnu v systému výuky či nikoliv. Podobně také evaluace založené na
experimentálním designu nevěnují tolik pozornosti způsobům, jak je výsledků dosahováno ve
srovnání s mírou pozornosti, která je věnována samotné randomizaci, volbě konkrétního
výzkumného uspořádání a osvědčení platnosti získaných výsledků.
Souhrn
Teoretická schémata se doporučují pro strategický popis či analýzu intervenčních programů,
neboť dosahují vyšší míry abstrakce a vyšší míry obecnosti. Teoretická schémata jsou sice jen
náznakem uspořádání vzájemných vztahů mezi jednotlivými prvky intervenčního programu,
ale právě díky tomu umožňují nejen snazší pochopení jeho fungování, ale i jednodušší
provedení případné funkční analýzy. To je významné zejména v deskriptivní fázi, která
předchází operacionalizaci vztahů mezi jednotlivými elementy intervenčního programu. Zde
mají teoretická schémata nenahraditelný význam. Sekvenční schémata jsou naproti tomu
vhodná spíše pro operativní úroveň analýzy intervenčního programu; umožňují
operacionalizovat jednotlivé prvky, neboť přímo vybízejí k definici indikátorů klíčových
výsledků.
Někteří evaluátoři si sami nepřejí žádné takovéto hranice definovat a záměrně hranici mezi intervenčním programem a
jeho vnějším prostředím stírají – viz např. zastánci konstruktivistického přístupu k evaluacím (např. E. Guba).
45
3.3 Zainteresované strany (stakeholders)
Aplikovaný charakter evaluací podtrhuje jejich zakotvení v síti jednotlivců, skupin či
organizací, kterých se dotýkají a jejichž zájmy mohou buď podpořit nebo omezit či dokonce
ohrozit. Jako stakeholders dnes již nejsou označovány nestranné, vážené osoby držící kůl se
sázkami (stake) při soubojích středověkých rytířů (Patton 2008), ale v kontextu evaluací jsou
jako stakeholders (zainteresované strany) označováni ti, kteří jsou angažováni v dané
evaluační situaci, neboť mohou být danou evaluací či jejími závěry přímo či nepřímo dotčeni
(Fitzpatrick, Sanders a Worthen 2004)17. Podobně Rossi, Lipsey a Freeman (2004) definují
zainteresované strany jako „jednotlivce, skupiny či organizace, které mají významný zájem na
tom, jak dobře intervenční program funguje, např. ti, kteří mají rozhodovací kompetence ve
vztahu k programu, sponzoři a donátoři, administrátoři či pracovníci a klienti či zamýšlení
beneficienti“. Jak shrnuje House (1993): „Pojem stakeholders se stal pro evaluátory běžným
pojmem a zahrnování zájmů těchto jednotlivců či skupin do procesu evaluace se stalo obecně
akceptovanou praxí.“ V tomto ohledu se tedy zdá, že pojem „zainteresované strany18“ je v
kontextu evaluací patrně nejvýstižnějším překladem.
Vzhledem ke skutečnosti, že některé typy zainteresovaných stran se vyskytují napříč mnoha
(všemi) evaluacemi a vzhledem k tomu, že v dalším textu budeme na jednotlivé
zainteresované strany nadále odkazovat, uvádíme základní charakteristiku jejich hlavních
typů:
a) Iniciátoři
Iniciátoři jsou takovou zainteresovanou stranou, která se významným způsobem zasazuje o
vznik daného intervenčního programu. V aplikační praxi se může jednat o subjekty, které jsou
k navrhování příslušných intervenčních programů přímo ustanoveny a jde tedy o běžnou
činnost daného subjektu (příkladem jsou zejména ministerstva, která navrhují mnohé
intervenční programy na základě svých odborných agend či politických tlaků). Iniciátorem
intervenčního programu však mohou být i mnohé další subjekty, např. lobbyistické skupiny
usilující o prosazení nějaké konkrétní formy intervence), aktivisté, odborná a profesní
17
Jejich definice je víceméně totožná se způsobem, jak novodobě pojem definoval R. E. Freeman (1984) ve své
publikaci Strategic Management. A Stakeholders Approach.
18
Plurál je zvolen záměrně. Jednak to odpovídá originálním pramenům v angličtině, a dále je tím neustále
připomínáno, že zainteresovaných stran je při každé evaluaci více.
46
sdružení apod. Platí, že iniciátorem daného intervenčního programu je vždy jen jeden subjekt,
nicméně o prosazení „své“ intervence však může soutěžit různý počet subjektů. Obecně lze
konstatovat, že primární zájem iniciátorů spočívá v tom, aby navržený intervenční program
skutečně dosahoval vytyčených (zamýšlených) cílů, tj. aby byl účinný. Tedy jinými slovy,
zájem iniciátorů je svázán s výsledky či dopady dané intervence, nikoliv však přímo s daným
intervenčním programem. Ten je z pohledu iniciátorů pouhým prostředkem k dosažení
stanovených cílů.
b) Sponzoři
Role této zainteresované strany spočívá v poskytování zdrojů a zázemí, které je nutné pro
zahájení činnosti daného intervenčního programu a pro udržování jeho každodenního chodu.
Sponzorem ústavů sociální péče je kraj, sponzorem programu posilujícího věrnost zákazníků je
vlastník značky, obvyklým sponzorem veřejných intervenčních programů jsou ministerstva či
strukturální fondy EU. Na rozdíl od iniciátorů může být sponzorů jednoho intervenčního
programu více, což lze vidět zejména u rozsáhlejších intervenčních programů. V aplikační praxi
se lze dále setkat s případy, kdy role sponzora (či některý ze sponzorů) splývá s jinými rolemi;
v mnoha případech je patrné ztotožnění sponzora a iniciátora – zmíněné splynutí nastává např.
tehdy, když ministerstvo iniciuje vznik intervenčního programu, který je následně financován
z rozpočtu daného ministerstva. V řadě situací role sponzora a realizátora splývá, což bývá
obvykle u některých intervencí podporovaných v rámci programu Phare (viz ko-financování,
finanční spoluúčast na provádění intervenčního programu, dílčí příspěvek sponzora na
financování dané intervence apod.). Sponzoři nemají přímý zájem na výsledcích a dopadech
intervenčního programu a obyčejně nejsou výsledky nijak dotčeni. Jejich obecným zájmem je,
aby byly cíle anticipované daným intervenčním programem dosahovány efektivně.
c) Manažeři intervenčního programu
Jde o subjekty, jež jsou zodpovědné za chod intervenčního programu a za hledání a
uskutečňování dílčích kroků, které směřují k naplnění cílů daného intervenčního programu.
Manažeři, coby rozhodovací složka, mají vliv na každodenní fungování daného intervenčního
programu a zodpovídají tedy za splnění vytyčených cílů, popř. za splnění všech požadavků,
které jsou na ně ostatními zainteresovanými stranami kladeny (Robson 2000). Jejich
primárním zájmem je tedy naplnit stanovená očekávání, jež jsou obvykle definována
sponzory (v některých případech však mohou být manažeři odpovědní i iniciátorům).
Manažeři jsou nositeli odpovědnosti vůči sponzorům (jednají v jejich zájmu) a ve
47
specifických případech také vůči beneficientům (v tomto ohledu jde o odpovědnost za
případné negativní externality vyvolané působením intervenčního programu). Manažeři jsou
v interakci nejen se sponzory, ale také s pracovníky intervenčního programu; je třeba dále
upozornit, že manažeři intervenčního programu nemusí být (a v praxi je to poměrně běžné)
totožní s manažery instituce, která daný intervenční program provádí. Zájmem manažerů je
plně uspokojit očekávání sponzorů, tj. zajistit efektivní dosahování cílů, které jsou danému
intervenčnímu programu vytyčeny; zájmy manažerů však nemusí nijak souviset se samotnými
cíli daného intervenčního programu, nejsou jimi nijak dotčeni.
d) Pracovníci intervenčního programu
Pracovníci intervenčního programu reprezentují skupinu, která se soustavně podílí na jeho
každodenní činnosti; je to výkonná složka, jejíž aktivita směřuje k naplňování cílů daného
intervenčního programu (Bloom, Cordray, Light 1988). Pracovníci mají přímou odpovědnost
vůči manažerům; některé prameny poukazují rovněž na nepřímou odpovědnost vůči
sponzorům, nicméně v tomto ohledu je patrný nesoulad. Specifickou podskupinou pracovníků
jsou ti, kteří v rámci svých pracovních povinností přicházejí do každodenního kontaktu
s klienty daného intervenčního paragramu. Může se jednat o přepážkové pracovníky obecních
úřadů, terénní pracovníky poskytující sociální služby apod. Jejich obvyklým zájmem je
minimalizace dodatečných pracovních povinností.
e) Klienti
Klienti intervenčního programu patří mezi subjekty, které jsou jeho fungováním přímo
dotčeny; mnohé intervenční programy jsou iniciovány a realizovány s cílem ovlivnit situaci a
chování právě této zainteresované skupiny; v její prospěch je vlastně daná intervence
uskutečňována. Výstupy (outputs) a výsledky (outcomes) intervenčních programů jsou tedy
často dokumentovány změnou chování klientů či jejich změněnou situací. Významnou
skutečností je v tomto ohledu jejich aktivní účast na daném intervenčním programu (tj. např.
účast v rekvalifikačním kursu, objednání konkrétní sociální služby). Je obvyklé, že klienti se
intervenčního programu účastní buď z vlastního rozhodnutí (zapojení do věrnostního
programu) či z rozhodnutí iniciátora (řidiči v bodovém systému; klienti nemají odpovědnost
vůči žádné jiné zainteresované straně; v jejich zájmu je uspokojení osobních preferencí
(wants). Přeceňují či záměrně podceňují účinek hodnoceného intervenčního programu.
48
f) Beneficienti
Tyto subjekty nejsou přímými klienty daného intervenčního programu, ale přesto jsou tímto
intervenčním programem nějakým způsobem dotčeny. Beneficienty je tak možné chápat jako
cílovou skupinu nezamýšlených důsledků dané intervence. Platí tedy, že se na tuto skupinu
vztahují dopady dané intervence, nikoliv však výstupy ani výsledky. Zvážit povahu
beneficientů je významné zejména při počátečním koncipování dané intervence; je třeba mít
na paměti, že dopady, kterým jsou beneficienti vystaveni, mohou být pozitivní, ale také
negativní. Velikost této skupiny a její různorodost, rozsah dopadu, kterému jsou beneficienti
vystaveni úzce souvisí s externalitami, které daný intervenční program vytváří. Pokud
bychom si intervenční program představili jako rekvalifikační kurs, pak jeho klienty jsou
nezaměstnaní, kteří se kursu účastní a beneficienty budou v tom případě rodinní příslušníci
nezaměstnaného účastníka kursu; beneficientem v případě evaluace bodového systému pro
řidiče může být spolujezdec.
Kromě doposud uvedených zainteresovaných stran považujeme za nutné zmínit ještě další dva
typy, které však nejsou nevymezeny vztahem k samotnému intervenčnímu programu, nýbrž
k prováděné evaluaci. Jde o zadavatele evaluací a o realizátora evaluací.
g) Zadavatelé evaluací
V některých evaluačních situacích sice může zadavatel evaluace (někdy označovaný také jako
sponzor evaluace) splývat se sponzorem intervenčního programu, ale není to však pravidlem.
V tomto ohledu platí, že zadavatelé evaluací mohou fakticky splývat se sponzory
intervenčních programů nebo mohou být totožní s jejich manažery a v některých případech
mohou jako zadavatelé evaluací vystupovat dokonce také klienti či beneficienti. Zájmy
zadavatelů evaluací bývají častokrát svázány s jejich primární rolí vztaženou k samotnému
intervenčnímu programu (Mohan, Bernstein, Whitsett 2002). Zájmem sponzorů, kteří
vystupují jako zadavatelé evaluací je zjistit, zdali je program efektivní, jestli využívá dostupné
(resp. sponzory poskytnuté) zdroje adekvátním způsobem. Od zadávané evaluace tedy
očekávají, že posoudí efektivitu vynaložených prostředků a využitých zdrojů. Jeden
z možných zájmů manažerů intervenčních programů, kteří jsou zadavateli evaluací, je
posoudit, zdali jejich způsob řízení skutečně vede daný intervenční program k dosažení
stanovených cílů, popř. najít hlavní bariéry, které potlačují snahu manažerů o naplnění
vymezených cílů. Jejich zájem (a očekávání od zadávané evaluace) však může spočívat
v prokázání, že jimi uplatňovaný styl řízení je efektivní (a naplňuje tak zájmy těch, vůči nimž
49
jsou manažeři odpovědní – tedy zájmy sponzorů). Na základě těchto ilustračních příkladů je
jasně patrné, jak významné je uvažovat o zadavatelích evaluací jako o samostatné skupině
zainteresovaných stran či jako o specifické roli, v níž tyto zainteresované strany vystupují.
h) Realizátor evaluace, evaluátor
Realizátor evaluace je samozřejmým účastníkem každé evaluační situace; bylo by přitom
nesprávné předpokládat, že není na dané situaci nijak zainteresován, že nesleduje provedením
evaluace své zájmy. V dalším textu je uvedeno, že se v některých případech evaluace provádí
interní formou – tedy zapojením vlastních pracovníků do určitého intervenčního programu.
V takovém případě je zájmový náboj jasně patrný. Nicméně i externí evaluátoři mohou
sledovat své zájmy; někteří se mohou snažit „zavděčit“ svým zadavatelům tím, že koncipují
evaluaci takovým způsobem, aby provedená evaluace potvrdila status quo. Takový projev
vlastních zájmů je pochopitelně přinejmenším neetický, nicméně řada případových studií na
výskyt podobných případů upozorňuje (Shadish, Newman, Schreier, Wye 1995; Dinero 1999;
Fitzpatrick, Morris 1999); nejde tedy jen o hypotetickou eventualitu. Vlastní zájem evaluátora
však do procesu evaluace vstupuje i respektováním etických norem a standardů evaluační
činnosti (Russ-eft, Bober, Teja, Foxon, Koszalka 2007); snaha realizátora evaluace nezpůsobit
škodu, chránit soukromí respondentů či poskytovat užitečné závěry – to vše lze chápat jako
specifické zájmy, které evaluátoři berou v úvahu.
Souhrn
Každý evaluační výzkum je připravován a realizován v konkrétním uspořádání a výsledky
jednotlivých evaluačních výzkumů jsou tak platné jen v rámci daného situačního kontextu.
Z tohoto pohledu je identifikace zúčastěných stran nezbytným předpokladem každé evaluace.
Nejde přitom jen o normativní aspekt prováděných evaluací (např. zabezpečení rovného
zacházení)19, ale jde také o jejich epistemologický základ, neboť bez znalosti všech
zainteresovaných stran a bez důkladné analýzy jejich vztahu k předmětu evaluace, by nikdy
nemohl být získaný výsledek adekvátní a validní. Opodstatněná je v tomto ohledu otázka,
kterou si klade E. Guba a Y. Lincolnová, zdali je evaluace skutečně objektivní a nezávislá
nebo zdali je souhrnem subjektivit jednotlivých zainteresovaných stran (Guba, Lincoln 1989).
Ukazuje se, že mnohost zájmů jednotlivých zainteresovaných stran a případné tenze mezi
nimi nemusejí být nutně negativním prvkem při realizaci evaluací, neboť umožňuje analýzu
19
Identifikace jednotlivých zainteresovaných stran a specifikace jejich zájmů ve vztahu k posuzovanému
intervenčnímu programu je jedním ze základních pravidel definovaných Joint Committee on Standards.
50
daného intervenčního programu z různých hledisek, což významně posiluje využitelnost
získaných poznatků. Z těchto důvodů je identifikace jednotlivých zainteresovaných stran
přirozenou součástí každé evaluace, což tuto oblast odlišuje od jiných, ať už jde o základní
výzkum20 či jednotlivé oblasti aplikovaného výzkumu21.
Kromě samotné identifikace jednotlivých zainteresovaných stran je třeba mít na paměti, že
různé skupiny zainteresovaných stran disponují vlastními soubory nástrojů a strategií, jak své
zájmy týkající se dalšího směřování posuzovaného intervenčního programu uplatňovat.
Sponzoři a manažeři (resp. zadavatelé evaluací) mohou své zájmy uplatňovat volbou či
prosazením specifických témat vyjádřených v cílích, jež by daná evaluace měla naplňovat
(Fitz-Gibbon, Morris 1987); tyto zainteresované strany tak mohou pre-determinovat výsledek
evaluace výběrem a nastavením kritérií a standardů požadovaných pro posouzení věcného
základu a hodnoty daného programu. Patton (2008) v této souvislosti rozlišuje tzv. silné a
slabé zainteresované strany; odděluje tedy zainteresované strany, které mají k dispozici moc a
nástroje, jak ovlivňovat daný intervenční program a jeho evaluaci (silné zainteresované
strany) od ostatních (slabých) zainteresovaných stran, které tyto možnosti nemají. Dále
rozlišuje zájmy obou skupin zainteresovaných stran na silné, na nichž subjektům velmi záleží,
a slabé. V tabulce jsou shrnuty základní implikace pro evaluátora.
Tabulka č. 1 Matice zainteresovaných stran a jejich zájmů
Slabé zainteresované strany
Silné zainteresované strany
Silný zájem
Design evaluace by měl podporovat a
usilovat o jejich zahrnutí, zejména
pokud jsou tyto zainteresované strany
dotčeny výsledky evaluace (např.
účastníci programu).
Jejich zahrnutím dojde ke zvýšení
heterogenity prováděné evaluace.
Tyto zainteresované strany mají
vysoký potenciál jako primární skupina.
Jsou to klíčové subjekty, které aktivně
ovlivňují způsob použití evaluace, a to
jak pro sebe sama, tak také pro jiné
zainteresované strany.
Slabý zájem
Design evaluace by měl na tyto
zainteresované strany pamatovat při
komunikaci výsledků. Kontroverzní
výsledky mohou tento „dav“ snadno
přeměnit v početnou a aktivní
zájmovou skupinu.
Evaluační design by měl kultivovat
zájem těchto zainteresovaných stran a
upozorňovat je na případy, kdy je jejich
nezájem bariérou.
Zdroj: Patton 2008
20
Řada zainteresovaných stran není v případě základního výzkumu vůbec známa a zájmy zainteresovaných
strany, které známy jsou, nebývají obyčejně nijak zohledňovány.
21
V rámci aplikovaného výzkumu bývají obyčejně zainteresované strany identifikovány, ale jen v některých
případech jsou jejich zájmy fakticky zohledňovány při návrhu výzkumného designu.
51
Intervenční program a jeho implementace, stejně tak jako samotná evaluace vytvářejí
interakční prostor, v němž se jednotlivé zainteresované strany střetávají. Berk a Rossi (1999)
dokonce uvádějí, že pro téměř všechny problémy spojené s evaluací intervenčních programů
platí, že jednotlivé zainteresované strany jsou ve vzájemném konfliktu, kdy některým
intervenční program vyhovuje, zatímco ostatním nikoliv. Taková situace vyvíjí na evaluátora
tlak, neboť musí rozhodnout, které zájmy a v jaké míře při provedení evaluace zohlednit,
popř. jak skloubit protichůdné zájmy jednotlivých zainteresovaných stran.
52
4. Vztah evaluací k jiným oblastem
Evaluace se rozvíjejí v úzkém vztahu s blízkými obory (pedagogika, sociologie, psychologie,
management a další), nicméně na žádném z těchto oborů není přímo závislá. Účinným
způsobem, jak nastínit specifika a klíčové vlastnosti evaluačního výzkumu je poukázat na
jeho odlišnosti oproti vybraným blízkým oborům.
4.1 Základní a aplikovaný výzkum ve společenských vědách
4.1.1 Základní výzkum
Evaluace se od základního výzkumu ve společenských vědách odlišují svým základním
posláním a účelem, pro který jsou prováděny.
Pro účely této práce může být základní výzkum definován jako snaha odvodit zobecnitelné
nové poznatky kladením jasně definovaných otázek při použití systematických a exaktních
metod (Research Governance Framework 2005). S výstižnou a komplexní definicí základního
výzkumu rovněž přicházejí Kerlinger a Lee (2000), kteří ho definují jako „systematické,
kontrolované, empirické, hodnotově neutrální, veřejné a kritické zkoumání přirozených jevů.
Je veden teorií a hypotézami o předpokládaných vztazích mezi těmito jevy“. V neposlední
řadě také Singleton, Streits, Streits (1993) poukazují v souvislosti s vědeckým poznáním na
empirismus, objektivitu a ověřitelnost. Z uváděných definic je tedy patrné, že empirismus,
objektivita a kontrolovatelnost jsou klíčovými charakteristikami, jež definují podstatu
základního výzkumu.
Cílem evaluací je „poskytovat zpětnou vazbu a umožnit dosažení praktických a konkrétních
cílů“ (Isaac, Michael 1997). Pojem evaluací odkazuje k takovým činnostem jako je např.
analýza efektivity či hodnocení adekvátnosti použitých prostředků vzhledem ke stanoveným
cílům. Stufflebeam a Shinkfield (2007) v souvislosti s cíli evaluací oproti základnímu
výzkumu zdůrazňují, že smyslem evaluací není dokazovat (prove), ale zlepšovat (improve).
Odkazují tím na aplikovaný charakter evaluací, které neslouží k budování a ověřování teorie a
k provádění důkazů platnosti formulovaných hypotéz, ale mají za cíl pomáhat při
implementaci a rozvoji intervenčních programů.
53
Základní výzkum a evaluace tedy spějí k rozdílným závěrům; zatímco hlavním cílem
základního výzkumu je přinášet poznatky, hromadit vědění a rozvíjet teorii, cílem
evaluačního výzkumu je napomáhat v rozhodování. Ryze aplikovaný charakter evaluací tedy
vysvětluje absenci jakýchkoliv ambicí přispívat k budování teorie a k jejímu rozvíjení.
Primárním cílem evaluačního výzkumu je poskytovat informace využitelné v dané
rozhodovací situaci, v přesně daném čase a konkrétně specifikovaným subjektům;
bezprostřední využitelnost výsledků v rámci daného evaluačního uspořádání je tedy klíčová,
zatímco v případě základního výzkumu není tento parametr nijak významný (Donaldson,
Christie, Mark 2009). Evaluace vždy bere v potaz konkrétní kontext, ve kterém je prováděna.
Podobně také výsledky evaluace jsou platné vždy a pouze v daném kontextu; naproti tomu
základní výzkum se snaží o formulaci takových závěrů, které jsou na konkrétním kontextu
nezávislé. Weiss (1998) rozdíly mezi evaluacemi a základním výzkumem vystihuje poukazem
na způsob použití zjištěných výsledků. Zatímco v případě základního výzkumu je ponecháno
na přirozených a spontánních procesech, jak budou či nebudou výsledky použity, evaluační
výzkum je vždy iniciován s konkrétním cílem.
V základním výzkumu se hypotézy odvíjejí od teorie a od stavu poznání, formuluje je obvykle
samotný výzkumník a své výzkumné cíle a záměry koriguje na základě doporučení svých
kolegů (oponentů); samostatné uchopení zkoumaného problému je v základním výzkumu
běžné. Naproti tomu v případě evaluací se jejich cíl odvíjí od zadání a od faktické situace,
v níž se nacházejí jednotlivé zainteresované strany. Evaluátoři navrhují výzkumný design,
konstruují výzkumné instrumenty, analyzují data a připravují závěrečné výstupy, nicméně
každý z kroků musí vždy konzultovat se zadavatelem a každé významné rozhodnutí podléhá
schválení ze strany zadavatele prováděné evaluace. Pokud by evaluátoři postupovali
způsobem, jaký je běžný v základním výzkumu (tedy samostatně), porušili by tím své etické
normy.
Evaluační výzkum se od základního výzkumu odlišuje nejen svými cíli, ale také cílovou
skupinou; Berk a Rossi (1999) poznamenávají, že zatímco typickým auditoriem jsou v oblasti
evaluačního výzkumu rozhodovatelé, v případě základního výzkumu jsou to ostatní
výzkumníci a vědecká komunita.
54
Obvykle uváděná symbióza teorie a empirie (E. Babbie; F. Kerlinger, H. Lee) vedoucí
k vzájemnému obohacování, kdy v jednom směru je základní výzkum odvozen z teorie a
v druhém, opačném, směru přispívá k její verifikaci a obohacení, je v kontextu evaluačního
výzkumu naplňována jen jednosměrně. Evaluační výzkum velmi často (ačkoliv ani to není
v praxi vždy pravidlem) vychází z teorie, není však jeho prvoplánovým cílem přispívat
k jejímu budování, obohacení či k její verifikaci. Znalost teorie pochopitelně umožňuje lépe
chápat vztahy mezi sledovanými jevy, dovoluje přesněji operacionálně definovat klíčové
pojmy a snáze formulovat hypotézy; konstruovat modely a hledat příčiny.
Davidson (2005) v této souvislosti poukazuje na tři metodologické úlohy, které odlišují
evaluace od základního výzkumu. Jde o zvážení důležitosti, určení kvality (merit) a syntézu
získaných poznatků.
Použitý výzkumný design je v případě evaluací spoludeterminován praktickými okolnostmi
(čas, rozpočet apod.) v podstatně větší míře než v základním výzkumu a díky ingerenci
zainteresovaných stran je výzkumný design častokrát také kompromisem „politickým“.
Tabulka č. 2 Srovnání vybraných parametrů základního výzkumu a evaluací
Základní výzkum
Evaluace
Získávání nových poznatků; rozvoj teorie
Získávání údajů pro rozhodování zainteresovaných stran
Rozšiřování znalostí; zaplňování bílých míst
Pomoci při rozhodování; řešení praktických problémů
Prove
Improve
Snaží se dospět k obecně platným zákonitostem, tvrzením o
vztazích mezi jevy (proměnnými)
Snaží se ověřit vlastnosti předmětu evaluace
Monotetičnost
Idiografičnost
Klade důraz na zobecnitelnost závěrů na jiné populace
Klade důraz na užitečnost zjištění
Používá definice operacionální (stanovuje kroky, jak daný
jev měřit)
Používá definice kriteriální (specifikuje vlastnosti určující
podstatu objektu)
Přináší zjištění, která mají dlouhodobý dopad
Přináší zjištění, která mají krátkodobý dopad
Klade důraz na metodu, méně na výsledek; vysoký důraz je
kladen na statistickou významnost
Klade důraz na použitelnost výsledků; akceptuje, že volba
metod je kompromisem vedeným snahou o získání prakticky
významných poznatků
Klade důraz na vnitřní validitu
Klade důraz na vnější validitu
Používá survey
Používá experiment
Vychází z jedné úrovně analýzy
Vychází z více-úrovňové analýzy
Je financován prostřednictvím grantů
Je financován prostřednictvím kontraktu se zadavatelem
Zdroj: autor na základě pramenů citovaných v textu
55
I přes uvedené rozdíly mezi základním výzkumem a evaluacemi lze však vypozorovat
společný zájem o metodologii. Jak základní výzkum, tak také evaluace totiž rozvíjejí metody
používané k ověření definovaných cílů. V tomto ohledu platí, že využívané metody sběru dat,
techniky výběru i analytické postupy využívané při zpracování shromážděných dat nejsou
nijak odlišné, liší se jen způsobem využití.
4.1.2 Aplikovaný výzkum
V evaluačním výzkumu je poměrně běžný nesoulad v zájmech, v cílech jednotlivých
zainteresovaných stran. Existuje i poměrně běžná averze posuzovaných subjektů vůči
evaluátorům. To v aplikovaném výzkumu zcela chybí (Kliner, Morgan 2000).
Tabulka č. 3 Srovnání vybraných parametrů aplikovaného výzkumu a evaluací
Aplikovaný výzkum
Evaluace
Explorace
Vyjádření hodnoty
Vychází z jednoho vědního oboru
Má multidisciplinární (transdisciplinární) charakter
Velmi krátká doba provedení (řádově týdny)
Velmi dlouhá doba provedení (řádově měsíce)
Typickým realizátorem je tým
Typickým realizátorem je tým nebo jednotlivec
Převládá použití jedné metody
Převládá simultánní použití více metod
Spoléhá na nepřímé výpovědi
Spoléhá na přímé pozorování
Zdroj: sestaveno autorem na základě pramenů citovaných v textu
56
4.2 Individuální diagnostika (psychologický výzkum, sociální práce)
Evaluace častokrát využívají metody měření individuálních schopností, dovedností či výkonu.
Na rozdíl od psychologů, personalistů či sociálních pracovníků, kteří používají tyto nástroje
k diagnostice jednotlivců, a kteří na základě výsledků těchto testů formulují závěry týkající se
daného jedince (předpoklady pro výkon daného zaměstnání, studijní předpoklady, možnost
zařazení do programu), při evaluacích jsou tyto testy používány jako ukazatel úspěšnosti
příslušných programů (Mertens 2005). Diference tedy opět spočívá v účelu použití nikoliv
v odlišném postupu, metodách či konkrétně využívaných nástrojích.
Výzkumná šetření, která se zaměřují na jednotlivé subjekty (někdy, zejména v kontextu
experimentálního výzkumu, označovaná jako studie n=1) byla do oblasti evaluací vnesena
z oblasti psychologického výzkumu, kde se tento typ šetření používá pro analýzu chování a
změn v chování jednotlivců na základě specifických stimulů (Shoughnessy, Zeichmeister
1990) a je aplikován v těch případech, kdy lze očekávat jiný typ reakcí na individuální a
skupinové úrovni (Hersen, Balow 1976). Kazdin (1982) v tomto ohledu vyzdvihuje n=1
design, neboť tento typ výzkumu dokáže nejlépe zachytit reakce a změny v chování u přesně
vybraných jednotlivců. Současně poukazuje na skutečnost, že u tohoto typu studií nedochází
ke zprůměrňování pozorovaných efektů (či k jejich vyvažování), jak je to běžné při výzkumu
skupin, resp. při práci s agregovanými daty.
Zde jde o šetření konkrétního jednotlivce; výsledky jsou o něm samotném a jemu samotnému
nějak slouží (sebepoznání, poskytnutí služby). Naproti tomu evaluace pomáhají těmto lidem
obecně (nikoliv tedy jen jednomu konkrétnímu jednotlivci).
Tabulka č. 4 Srovnání vybraných parametrů individuální diagnostiky a evaluací
Individuální diagnostika
Evaluace
Usiluje o pomoc jednotlivci
Usiluje o získání nových poznatků
Zaměřuje se na zjištění vlastností subjektu
Zaměřuje se na dopad předmětu evaluace na vlastnosti
subjektů
Respondent je subjektem analýzy
Respondent je poskytovatelem informace (key informant)
Získaná data jsou poznatkem svého druhu
Získaná data jsou jen dokladem o účinnosti posuzované
intervence
Předmětem zájmu je jednotlivec
Předmětem zájmu je intervenční program
Validita je ověřována použitím více testů
Validita je ověřována použitím různých metod sběru dat
57
4.3 Audit
Audit lze definovat jako systematický proces objektivního získávání a posuzování důkazů
týkajících se ekonomických činností a událostí. Cílem tohoto procesu je nejprve zjistit stupeň
souladu mezi tvrzeními o činnostech či událostech a stanovenými kritérii, a poté sdělit výsledek
zainteresovaným stranám (American Accounting Association 1973).
Cílem auditu je ujištění se o tom, že prováděné činnosti jsou v pořádku; nehledá způsoby,
které fungují a které nikoliv, ale ověřuje, zdali se v daném případě postupuje správně, event.
podle nejlepších známých praktik (Dvořáček 2003). Evaluace se naproti tomu více
koncentrují na otázky, zdali jsou vykonávány správné činnosti (tj. ty, které vedou k cíli).
Chelimsky (1985) poznamenává, že cílem auditu není (oproti evaluacím) zjišťovat, kolik lidí
se účastní daného intervenčního programu, ani ověřovat, jakým způsobem se na činnosti
sledovaného intervenčního programu podílejí jednotlivé zainteresované strany či jaké přínosy
jim intervenční program přináší. Těmito deskriptivními funkcemi se evaluace odlišují od
auditu. E. Chelimsky dále upozorňuje, že to není jediná odlišnost mezi evaluacemi a auditem:
další z principiálních rozdílů vyplývá z cílů evaluací spočívajících v zjišťování, které
z pozorovaných změn jsou důsledkem působení intervenčního programu, a které nikoliv
(evaluace si tedy klade otázky ve vztahu příčin a následků). Naproti tomu obdobné kauzální
hypotézy nejsou v případě auditu nikdy patrné.
V čem však lze spatřovat vysokou podobnost, to jsou otázky normativní povahy. V tomto
ohledu mají evaluace a audit mnoho společného: předmětem normativních otázek je, zdali
intervenční program funguje tak, jak bylo zamýšleno (Schwandt, Halpern 1988). Přestože
evaluace i audit k zodpovězení používají jiné metody, v tomto ohledu spějí ke stejnému cíli.
Audit se obyčejně zaměřuje na velmi úzký výsek činnosti posuzovaných programů, a to na
jejich finanční stránku. Naproti tomu předmětem zájmu evaluací jsou výstupy a dopady
sledovaných programů, což sice mnohdy zahrnuje i finanční aspekt jejich působení, nicméně
ne v takovém detailu jako jsou tyto skutečnosti předmětem zájmu auditorů.
Audit se však může zaměřovat i na jiné než finanční aspekty. V takovém případě se hovoří o
„věcném“ auditu či specifičtěji o performance assessment (hodnocení výkonu). Příkladem
takto pojatého auditu je audit operací, který je formální a systematickou revizí vykonávanou
58
proto, aby bylo možné určit, do jaké míry jsou naplňovány stanovené cíle a proto, aby bylo
možné zjistit, které konkrétní podmínky mají být zlepšeny.
Audit tedy vnáší systematický a exaktní přístup k poznávání a zlepšování efektivity při řízení
rizik a procesu řízení. Finanční audit se zaměřuje na analýzu souladu s pravidly a
ustanoveními, zatímco audit výkonu (performance) se soustředí na zkoumání relevance,
hospodárnosti, efektivity a účinnosti.
V konkrétní rovině sdílí evaluace s auditem celou řadu principů a postupů. Předně je to
systematický a empirický proces, ale není zde žádná ambice k zobecnění; nejde o sběr
primárních dat. Dalším společným prvkem je důraz na objektivitu a nezávislost provádění
obou činností a v neposlední řadě také samotný způsob vyhodnocení, kdy se audit i evaluace
zaměřují na zjištění stupně souladu mezi skutečným stavem a stanovenými kritérii.
V některých konkrétních případech je audit jednou z metod použitých při evaluaci
intervenčního programu. Zejména při evaluaci zdravotnických zařízení a poskytování
zdravotní péče je audit poměrně běžnou součástí prováděných evaluací.
Tabulka č. 5 Srovnání vybraných parametrů auditu a evaluací
Audit
Evaluace
Základními hodnotami jsou finanční atest, soulad
s předepsanými pravidly a jistota
Základními hodnotami jsou účinnost, věcný základ a
hodnota
Zaměřuje se na otázky normativní povahy
Zaměřuje se na otázky deskriptivní povahy (vztah příčiny a
následku)
Nezkoumá fungování intervenčního programu
Vytváří představu, jak intervenční program funguje
Konfrontuje skutečný stav s předepsanou normou
Využívá kombinace mnoha pohledů na činnost a výsledky
intervenčního programu
Je retrospektivní
Predikuje budoucí vývoj intervenčního programu
Iniciace auditu je dána zákonem
Iniciace evaluace je dána požadavkem sponzora
Výsledkem auditu je výrok a (popis) finanční situace, tj.
kvalifikovaný názor
Výsledkem evaluace je analýza stávající praxe
Stupeň standardizace je velmi vysoký
Stupeň standardizace je relativně nízký
Samostatnost auditora v rozhodování není vůbec možná
Samostatnost evaluátora v rozhodování je poměrně vysoká
Pojem audit není neznámý ani v aplikovaném výzkumu, kde existuje několik výzkumných
projektů, které nesou toto označení (např. Brand-audit, Audit firemní kultury a mnohé další).
59
4.4 Monitoring
Monitoring je systematický sběr dat dokumentující pokrok daného intervenčního programu či
postup jednotlivých fází projektu. Monitoring tedy sleduje průběžný vývoj (rozvoj)
intervenčního programu s indikacemi o dosahování cílů, plnění plánu, čerpání rozpočtu,
dodržování termínů. Jeho cílem je průběžné zjišťování pokroku a realizace intervenčního
programu a srovnání aktuálních informací s výchozím, předpokládaným plánem. Monitoring
je primárně určen sponzorům a managementu, ale využití výsledků monitoringu je obvykle
mnohem rozsáhlejší. Monitoring je kontinuální nebo periodicky opakovaný; v praxi se může
vyskytovat i kombinace obou přístupů.
Monitoring nemůže sám o sobě přinést informace či zmapovat kvalitu realizovaného
intervenčního programu (či projektu), nemůže ani přivést vysvětlení, proč daný intervenční
program funguje či proč ve svém fungování selhává. Tyto otázky jsou vyčleněny evaluacím,
které však využívají základní poznatky monitoringu. Monitoring tedy primárně slouží
k identifikaci vznikajících problémů, které vyžadují jednak nápravu a pravděpodobně (při
opakovaném výskytu či při neúčinnosti zvolených korekcí) také hloubkovou analýzu. V tomto
ohledu můžeme tedy považovat monitoring za doplňkovou, startovací činnost při provádění
komplexněji pojatých evaluací.
Zásadní rozdíl je třeba hledat v účelu, pro který je monitoring, resp. evaluace prováděna.
Monitoring je prováděn s cílem ujistit se, že vše probíhá tak, jak má (tj. včas, v rámci rozpočtu
atd.), zatímco evaluace má za cíl umožnit dosažení cíle, změnit stávající praktiky, pokud
nefungují nebo pokud jsou neefektivní a poskytovat podporu pro vedení intervenčního programu.
Monitoring bývá některými autory a institucemi (např. General Audit Office) považován za
součást evaluací; někteří dokonce monitoring charakterizují jako nejčastěji prováděný typ
evaluace; monitoring je rovněž popisován jako jedna z evaluačních technik a dokonce i Rossi,
Lipsey, Freeman (2004) používají pojmy evaluace procesu a monitoring programu jako
synonyma. S ohledem ke skutečnosti, že monitoring bývá v mnoha případech používán
samostatně, bez navazujících evaluačních činností, považujeme monitoring za samostatnou
oblast, jež evaluacím pomáhá, může být zahrnuta do jejich rámce (v některých případech),
přesto však zůstává samostatnou oblastí.
60
Tabulka č. 6 Srovnání vybraných parametrů monitoringu a evaluací
Monitoring
Evaluace
Neobsahuje hodnotovou složku
Obsahuje jak věcný základ, tak také hodnotu
Nebere v potaz velikost odchylky či význam (a možné
dopady) odchýleného parametru
Dopady odchylek na fungování programu a jeho schopnost
plnit a dosahovat svých cílů je předmětem posouzení
Je průběžný
Je jednorázová
KPI mohou podávat zkreslený obraz o skutečném výkonu či
činnosti
Aby měla relevanci KPI odhalit a (kromě toho, že na to
poukáže) podat přesnější obraz o fungování intervenčního
programu
Vnitřní odpovědnost
Vnější odpovědnost
Slouží manažerům intervenčního programu
Slouží různým (mnohým) zainteresovaným stranám
Je spojen se slabým zájmem (rutinní řízení, indikace
problémů)
Je spojen se silným zájmem
61
4.5 Analýza politik
Analýza politik (policy analysis) je specifickou disciplínou, oborem, který sdílí s oborem
evaluací řadu pojmů, nástrojů a přístupů. Jak je uvedeno výše v rámci oboru evaluací dokonce
existuje specifická sub-kategorie, které se zaměřuje na evaluaci politik. I přesto mnohé
podobnosti však není možné obě oblasti ztotožňovat. Principiální rozdíly mezi analýzou
politik a evaluacemi vycházejí především z jejich zaměření. Lze konstatovat, že analýza
politik říká, co by se mělo učinit a poskytuje v tomto ohledu konkrétní doporučení, což se při
realizaci evaluací nečiní buď vůbec nebo v podstatně menší míře. Evaluace se snaží
poskytovat podporu pro rozhodování, ale samy do vlastního rozhodovacího procesu nijak
nezasahují a ani ho nijak neovlivňují. V tomto ohledu je tedy patrné, že analýza politik klade
významně vyšší důraz na normativní přístupy než evaluace (Kushner, Norris 2007).
Další z diferencí, jíž se analýza politik odlišuje od oboru evaluací je její motivace ke
zkoumání způsobů a forem, jak aktuální politika pokrývá běžné problémy. C. Weiss (1998),
která se evaluací politik dlouhodobě zabývá, v tomto ohledu uvádí, že analýza politik není ke
své činnosti vedena snahou o jejich vylepšování, neboť žádný ze způsobů nepovažuje za ideál
či referenční základ vůči kterému by konkrétní praktiky a politiky srovnávala. V neposlední
řadě lze konstatovat, že se analýza politik se od evaluací odlišuje tématikám zaměřením, kdy
soustřeďuje svou pozornost na způsoby, v nichž politika může modifikovat sebe samu, včetně
parciálních selhání (Scriven 1991).
Tabulka č. 7 Srovnání vybraných parametrů monitoringu a evaluací
Analýza politik
Evaluace
Obsahově je relativně úzce zaměřená na oblasti politik
Zaměřuje se na relativně široké spektrum posuzovaných
oblastí; není svázána s žádnou konkrétní oblastí
Je normativní; poskytuje doporučení
Analyzuje a posuzuje daný stav; neusiluje o poskytování
doporučení
Zaměřuje se na rozhodovatele
Kromě rozhodovatelů se orientuje i další zainteresované
strany (sponzory, beneficienty)
Pracuje především se sekundárními daty; nemá vlastní
metodologii (použité metody a techniky jsou přejaté z jiných
disciplín)
Pracuje se sekundárními i s primárními dat
62
4.6 Souhrn
Cílem uvedené analýzy vztahu evaluačního výzkumu a ostatních činností není tyto oblasti
uměle oddělovat, ale poukázat na specifické rysy evaluací v těsné interakci s nejpodobnějšími
oblastmi, s nimiž mohou být zaměňovány. Skutečný efekt tohoto rozboru je nakonec přesně
opačný – ukazuje totiž, jak se evaluace s dalšími jednotlivými činnostmi překrývají anebo
doplňují (veřejná politika, sociální politika, sociální práce).
Obrázek č. 7 Vztah evaluací k ostatním disciplínám
Audit
Policy
analysis
Základní
kladní
výzkum
Evaluace
Aplikovaný
výzkum
Monitoring
Individuá
Individuální
lní
diagnostika
Zdroj: autor
Evaluace nezacházejí do detailu ostatních blízkých oborů – zůstávají na úrovni designu. Interakce
s ostatními obory a disciplínami je víceméně jednosměrná, kdy evaluace čerpají poznatky z jiných
oblastí, ale zpětně neobohacují obohacují výchozí obory jen ve velmi omezené míře.
Následující tabulka nastiňuje hlavní rozdíly v přístupu k řešení identického problému: hodnocení
účinnosti osvětové kampaně.
Tabulka č. 8 Srovnání přístupů vybraných disciplín k řešení vybraného problému
Disciplína
Přístup k řešení daného problému
Základní výzkum
Obecný princip, jak osvětové kampaně ovlivňují chování lidí
Aplikovaný výzkum
Post-test účinnosti konkrétní osvětové kampaně
Individuální diagnostika
Popis řetězce událostí a procesů u jednotlivce; jeho reakce na kampaň
Audit
Nakládání s rozpočtem vyčleněným na osvětovou kampaň
Monitoring
Dodržování termínů (výskyt komunikačních nástrojů dané kampaně v médiích)
Evaluace
Experimentálně uspořádaný test působení osvětové kampaně na chování
Zdroj: autor
63
5. Metodologická specifika evaluací
V této části bychom rádi navázali na již nastíněné odlišnosti mezi základním výzkumem,
jednotlivými oblastmi aplikovaného výzkumu a evaluacemi. Rovněž bychom se rádi zaměřili
na klíčová metodologická specifika, která odlišují provádění evaluací od realizace
společenskovědních výzkumů. Je třeba předeslat, že spíše než o faktické zásadní odlišnosti či
přítomnost nových a jedinečných jevů absentujících v jedné či druhé z porovnávaných oblastí,
jde o odlišnou míru pozornosti a zájmu věnovanou jednotlivým tématům, což nachází svůj
odraz ve svébytném profilu porovnávaných výzkumných oblastí.
Již výše bylo uvedeno, že evaluace jsou aplikovaným oborem, který ve větší či menší míře
používá společenskovědních výzkumných metod. Tím je dána vysoká míra shody ve způsobu
využívání jednotlivých metod a technik, nicméně i přes tuto shodu lze identifikovat několik
oblastí, kde se evaluační metody odlišují od metod používaných v ostatních aplikovaných
oblastech. Tyto diference přitom spočívají jak v odlišné taxonomii (např. metody sběru dat),
tak také v odlišném důrazu na jednotlivá témata, kdy je v oblasti evaluací věnována jen
okrajová pozornost výběrovým technikám; naopak je zde patrný prvořadý zájem o otázky
spojené s validitou. S přihlédnutím k cílům této práce považujeme za významné poukázat na
tři sféry, které oblast evaluací jasně odlišují od ostatních výzkumných oblastí. Jsou jimi
existence zájmu, role a význam experimentů a způsoby řízení a ověřování kvality
provedeného šetření.
64
5.1 Zainteresované strany mají zájem na konkrétních výsledcích
evaluace
Kontext evaluací přináší mezi účastníky evaluační situace (tj. zadavatele, realizátora,
respondenty a další) specifický prvek, který v základním výzkumu není přítomný, a to
„zájem“. Je třeba mít na paměti, že evaluační šetření jsou, jak zdůrazňují mnozí evaluátoři,
nadána velmi silným vlivovým potenciálem, častokrát silnějším, než jakým disponují ostatní
typy šetření (Morris, Fitz-Gibbon, Herman 1987). Tento vysoký význam evaluačních šetření a
jejich závěrů pro vybrané zainteresované strany přitom vyplývá ze samotného primárního
účelu, pro který jsou evaluace prováděny, tedy zejména zjištění účinnosti, odhad dopadů či
ověření, zdali bylo dosaženo vytyčených cílů. Dále platí, že v aplikační praxi se od výsledků
evaluací obvykle odvíjí celá řada klíčových rozhodnutí s tak vážnými důsledky, jako je např.
budoucí podoba a uspořádání vzdělávacích kursů; rozdělení pracovních týmů na ty, které
vyhovují stanoveným parametrům (a zaslouží si tak vyšší ohodnocení) a které nikoliv;
pokračování či zastavení hodnoceného intervenčního programu atd. Tento vlivový potenciál a
případné důsledky vyplývající ze závěrů evaluace tedy staví evaluátory do velmi odlišné
situace ve srovnání s jinými výzkumníky.
Podle Househo (1980) reprezentuje zájem zobecněné prostředky k cílům, které jednotlivci či
skupiny sledují. Předmět zájmu tedy zvyšuje či zlepšuje příležitosti k dosažení stanovených
cílů. Jednotlivé zainteresované strany se pak zapojují do intervenčního programu spolu se
svými zájmy a v souladu se svými možnostmi tyto zájmy prosazují. V některých případech se
přitom dopouštějí omylů, kdy prosazují taková opatření, která směřují proti jejich zájmům
nebo volí takové varianty, které nejsou efektivní při dosahování daných cílů.
Zájmy je možné rozlišovat na explicitní (deklarované, zjevné, vyjádřené, sdělované) a
implicitní (neuvědomělé subjektu samotnému, neznámé pro okolí – skryté či zastřené,
zamlčené). Při hodnocení intervenčních programů lze posoudit věcný základ (merit), který je
nezávislý na cílové skupině a je rovněž nezávislý na zájmech jednotlivých zainteresovaných
stran, nicméně hodnotu (worth) nelze bez znalosti zájmů adekvátně a spolehlivě posoudit.
Např. v případě věrnostního programu spočívá jeho věcný základ ve schopnosti změnit
určitým způsobem nákupní chování zákazníků. Tyto parametry či charakteristiky lze
pochopitelně posuzovat několika způsoby, které s větší či menší přesností vypovídají o
účinnosti dané intervence, stále však budou hodnotit samotný věcný základ dané intervence a
65
jeho schopnost plnit své elementární funkce. K posouzení hodnoty je však nutné vědět, jaká
očekávání jednotlivé zainteresované strany při implementaci takového intervenčního
programu měly, jaké zájmy byly jeho zavedením sledovány. Proto obecně platí, že zájmy
jednotlivých zainteresovaných stran by měly být zahrnuty do evaluace nikoliv proto, aby byly
samy předmětem posouzení, ale proto, aby umožňovaly adekvátní posouzení (zejm. analýzu
zájmové shody a neshody, posouzení hodnoty, design evaluace, který zůstane imunní vůči
skrytým zájmům atd.).
Evaluátoři nejenže usilují o takový návrh výzkumného uspořádání, který nediskriminuje
jednotlivé zainteresované strany přímo, ale současně zvažují zájmy jednotlivých subjektů,
které se dané evaluační situace účastní (House, Howe 1999). Své zájmy totiž mají sponzoři
(kteří se chtějí ujistit o efektivitě jimi financovaného intervenčního programu), manažeři
intervenčního programu (kteří chtějí prokázat, že intervenční program dosahuje pod jejich
vedením potřebné efektivity), pracovníci intervenčního programu (kteří prostřednictvím
evaluace chtějí obhájit užitečnost a smysluplnost své pracovní pozice a ospravedlnit svůj
vlastní výkon) i beneficienti (kteří si např. nepřejí zrušení daného intervenčního programu).
Při provádění evaluací je tedy nutné přijmout taková opatření, která v první fázi povedou
k sumarizaci deklarovaných zájmů (a k odhalení či alespoň k odhadu zájmů skrytých). Ve fázi
druhé je třeba tato opatření završit vypracováním takové evaluační strategie (výzkumného
designu), která zajistí v maximální možné míře resistenci klíčových poznatků a závěrů vůči
případným vychýlením způsobených různou intenzitou prosazování zájmů jednotlivých
zainteresovanými stranami. Připojená tabulka ukazuje na některé konkrétní zájmy v případě
vybraných evaluací:
Tabulka č. 9 Zájmy vybraných zainteresovaných stran I.
Příklad z oblasti zaměstnávání starších osob
Zainteresovaná strana
zaměstnavatelé
zaměstnanci starší 50 let
Organizátoři rekvalifikačních kursů
Zájem
- stabilní pracovní tým; věkově vyvážený; výkonný
- minimalizace počtu absencí
- vysoká flexibilita pracovní síly (dostupnost dle aktuální potřeby)
- nízké mzdové náklady
- jistota pracovního místa do doby odchodu do důchodu
- flexibilní pracovní doba (tj. možnost přijít do práce později)
- nízká zátěž (fyzická i stresová)
- vysoký důraz na vzdělávání starších pracovníků
- existence grantů podporujících mobilitu starších pracovních sil
- započítávání doby rekvalifikace do nároku na důchod
- bonifikace účastníků při případném rozhodování o nároku na dávky
Zdroj: autor
66
Tabulka č. 10 Zájmy vybraných zainteresovaných stran II.
Příklad z oblasti věrnostního programu
organizátor
zákazník
prodejci
Zájem
- dosáhnout vyšších tržeb
- získat nové zákazníky
- stimulovat vyšší průměrnou útratu stávajících zákazníků
- zlepšit vnímání vlastní značky
- snížit cenu programu (levné dárky, barter, sdílení nákladů s partnery
programu)
- získat vysokou slevu (maximalizace výhody)
- jednoduché podmínky účasti v programu (minimalizace vstupních
překážek)
- zabezpečení anonymity (žádná osobní data)
- jednoduchost administrace (aby program nezdržoval)
- snadná pravidla
- vyšší tržby (a z toho plynoucí vyšší osobní ohodnocení)
Zdroj: autor
Tabulka č. 11 Zájmy vybraných zainteresovaných stran III.
Příklad z oblasti bodového systému
Ministerstvo dopravy ČR
Policie ČR
obecní úřady
„slušní řidiči“
ostatní řidiči
Zájem
- snížit počet usmrcených účastníků silničního provozu
- snížit celkovou nehodovost
- získat vyšší pravomoci
- zavádět automatizované kontrolní systémy (kamerový dohled)
- vysoký výběr z pokut (jsou-li obecním příjem)
- jednoduchost administrace
- dosažení rentability pořízeného majetku (stacionární radary)
- minimalizace šikany
- omezené množství obecně zaváděných opatření (zpomalovací prahy)
- snadná možnost obejít stanovené povinnosti
- snadná dostupnost případných proti-opatření (anti-radary)
Zdroj: autor
Konkrétní opatření, jak uvedených cílů dosáhnout, leží ve dvou rovinách, a to (1) v rovině
výzkumného designu, kdy jde především o získání adekvátního přístupu k zainteresovaným
stranám; o volbu triangulačního designu, který umožňuje dosáhnout vyšší validity a snáze lze
s jeho pomocí identifikovat případné rozpory v získávaných údajích. Dále jde (2) o nástroje
používané v rovině měření (kdy jednotlivé instrumenty obsahují takové prvky, které umožňují
efektivní obranu před lhaním ze strany respondentů a předstíráním stavů, jež nekorespondují
se skutečností). Podrobnější pozornost je v dalším textu věnována opatřením na úrovni
měření, tedy druhé z představených rovin.
67
Přístup používaný ve většině ostatních společenskovědních výzkumů, který vychází z nepřímé
formy usuzování založené na sadě indikátorů, není v případě evaluačních šetření vždy
adekvátním východiskem, neboť zvolená konceptualizace sledovaných jevů a konkrétní
způsob jejich operacionalizace významným způsobem determinuje povahu získávaných
výsledků a jejich validitu. Objektivně tak dochází k variantnosti22 v definici způsobu měření
jednotlivých jevů, což v případě evaluačního výzkumu vyvolává konflikt mezi aktéry těchto
šetření a posiluje interpretační spornost zjištěných výsledků (Bingham, Felbinger 2002)23.
Lhaní, předstírání
Skutečnost, že v řadě dotazovacích situací má respondent důvod záměrně zkreslovat své
výpovědi o vlastních postojích, preferencích, názorech a pocitech je (bohužel) poměrně
běžným jevem v každém výzkumu a o evaluačních šetřeních to z důvodů, na něž jsme již
poukázali, platí dvojnásob. Snad každý seriózně pojatý výzkumný design proto používá
nějaký způsob ověření respondentských odpovědí umožňující odlišit informace, jejichž
pravdivost je vysoce pravděpodobná od údajů, které jsou naopak velmi pravděpodobně
nepravdivé (Alvarez, Brehm 2002). Na konkrétní problémy při záměrném zkreslování
odpovědi poukázali v minulosti kromě mnoha jiných metodologů také R. Myers či H. Parry
spolu s H. Crossleyovou. Myers (1954) v této souvislosti vypozoroval při svých šetřeních, že
ženy významně častěji než muži uvádějí méně přesné údaje o svém věku. Rovněž G. Palmer
uvádí, že při opakování svého výzkumu se po cca dvou týdnech lišily údaje o věku u jedné
desetiny respondentů a H. Parry s H. Crossleyovou pozorovali, že se v jimi prováděných
předvolebních výzkumech projevuje tendence značné části dotazovaných potvrdit svou účast
ve volbách s ohledem na skutečnost, že účast ve volbách byla v amerických
středostavovských rodinách v poválečném období považována za společensky žádoucí (Parry,
Crossley 1950)24. Tato šetření sice nastínila problematiku nepravdivosti odpovědí uváděných
respondenty a poodhalila jednotlivé důvody, které respondenty pohánějí k takovému jednání,
nicméně mnohem konkrétnější představu o tom, jak zkreslený obraz reality mohou odpovědi
dotazovaných přinášet, poskytuje už LaPierova zkušenost z výzkumu poskytovatelů
restauračních a ubytovacích služeb zákazníkům čínské národnosti v USA ve 30. letech.
22
V aplikační praxi navíc může být sada indikátorů předmětem úvodního zadání garanta hodnoceného programu,
a nikoliv předmětem teoreticko-empirické analýzy. Volba hodnocených parametrů a způsob jejich indikace tak
může být účelová.
23
Snaha o dosažení nespornosti sledovaných jevů je patrná zejména v případě sumativního typu evaluací, které
posuzují účinek zkoumaného programu.
24
Jejich zjištění však dokumentují mnohem širší spektrum problémů spojených s výpovědí o faktografických
údajích.
68
Ponechme však stranou motivy, které dotazované vedou k zastírání skutečnosti. Důležité na
těchto příkladech z minulosti je, že opakovaně poukazují na velmi vysokou míru výskytu
zkreslování odpovědí samotnými respondenty, a to i v případě zjišťování relativně banálních jevů.
Nalézt efektivní obranu před uvedenými problémy není nikdy jednoduché; nicméně v průběhu
letitého vývoje výzkumných metod a technik již byla vyzkoušena a otestována celá řada
konkrétních nástrojů a postupů, které umožňují některé z uvedených obtíží buď zcela
eliminovat nebo alespoň správně diagnostikovat a omezit tak jejich negativní vliv na validitu
získávaných údajů (Colton, Covert 2007). Z množství těchto postupů a technik jsme vybrali
ty, které představují základní přístupy, tedy úpravy výzkumného instrumentu, revizi způsobů
vedení interview a změnu designu výzkumu.
Úprava výzkumného instrumentu
Nejjednodušší skupinu technik představují opatření, která nevyžadují žádné významné zásahy
do vlastního výzkumného uspořádání, a která se dotýkají pouze samotného výzkumného
instrumentu. Jedná se zejména o tzv. cross-checky, tedy o dotazy kladené opakovaně
v různých fázích interview častokrát koncipované jiným druhem otázky, než který byl využit
při prvotním zjištění sledovaného jevu. Prostřednictvím cross-checků sice lze ověřovat
integritu odpovědí respondenta, nicméně jejich role je pouze pasivní: s jejich využitím lze
diagnostikovat nedostatečnou konzistenci respondentských odpovědí, není však možné na
jejich základě provést vlastní verifikaci odpovědí a v řadě případů nelze ani provést odhad
platné odpovědi. Diagnostické možnosti cross-checků nestačí ani na odlišení ambivalentních
postojů od indiferentních. Jistou alternativou cross-checků je analýza logických vazeb mezi
jednotlivými odpověďmi dotazovaných využívaná při čištění dat.
Mnohem účinnějším nástrojem pro ověření pravdivosti odpovědí jsou tzv. follow-ups, tedy ze
své podstaty otevřené otázky, jejichž hlavním smyslem není zjistit od respondenta příslušnou
meritorní informaci, nýbrž ověřit pravdivost a platnost předchozí respondentovy odpovědi. Na
užitečnost follow-ups poukazovali zejména Schuman (1966) či Belson (1967), kteří je
s úspěchem využívali při svých výzkumech, nicméně design dotazování založený na
jednoduché postojové otázce uzavřené formy následované zpřesňující otevřenou otázkou lze
najít už i u G. Gallupa. Přestože Gallupova motivace k položení otevřené otázky byla ryze
zjišťovací, konkrétní odpovědi respondentů uvedené v otevřené otázce nevyhnutelně
vypovídaly i o věrohodnosti či správnosti dříve vyjádřeného postoje.
69
Follow-ups jsou výjimečné tím, že při jejich adekvátním nasazení umožňují výzkumníkovi
učinit samostatné rozhodnutí o platnosti či neplatnosti ověřované odpovědi. Díky otevřené
formě ověřovacího dotazu totiž respondent snadno uvede přiznání, neboť nedokáže odhadnout
ani pravý smysl takovéto otázky, ani dopad své odpovědi. Při správném zaškolení může navíc
snahy respondentů o zkreslování odpovědí či o předstírání a stylizaci rozpoznat přímo tazatel
a přizpůsobit tomu aktuální strategii vedení rozhovoru již v momentě, kdy jsou data sbírána.
Zásadní omezení follow-ups je však dáno jejich typem – otevřené otázky se obecně potýkají
s vyšší non-response než otázky uzavřené a navíc značně komplikují zpracování dat. Jakkoliv
jsou nenahraditelné při verifikaci znalostních otázek, při ověřování postojů mohou vést
k nesprávné diagnostice, kdy nejčastější chybou bývá nesprávná interpretace chybějící
odpovědi v kombinaci s inkonsistencí v souvisejících uzavřených otázkách jako postojová
indiference, zatímco ve skutečnosti může jít o postojovou ambivalenci provázenou formulační
inkompetencí respondenta.
Jisté zjednodušení indikace míry zkreslování odpovědí ze strany respondenta přináší
využívání škál lživosti (L-scales), které využíval mj. Boruch (1972). Faktem je, že škály
lživosti založené na baterii stimulů (tedy série uzavřených otázek) významně usnadňují
zpracování dat a rozšiřují tak alespoň teoretické možnosti jejich využití. V současné aplikační
praxi však nebývají i přes tyto své výhody využívány tak často jako follow-ups. Důvodem je
zejména neúměrná zátěž pro respondenta daná větším počtem otázek. Další neméně
významnou bariérou je nepřesvědčivost výsledků testů lživosti zejména při opakovaných
šetřeních, které jsou při formativních evaluacích poměrně běžné. V neposlední řadě je třeba
zdůraznit, že ani škály lživosti nevedou k verifikaci získaných odpovědí, ale pouze
k diagnostice respondentských sklonů ke lhaní.
Revize způsobů vedení interview
Jiný přístup reprezentuje sada opatření, kterou lze využít pouze v těch výzkumných šetřeních,
jež jsou založena na sběru dat metodou osobních interview. Rovněž je třeba předeslat, že tyto
techniky zasahují do vlastního výzkumného procesu podstatně větší měrou, než je pouhá
úprava výzkumného instrumentu, popř. pouhá revize strategie provedení analýzy dat. Postupy
zaměřené na ovlivňování interakce mezi tazatelem a dotazovaným totiž narozdíl od
předchozích opatření umožňují přímo ovlivňovat výsledek. Nástroje popsané v předchozí
části mají spíše diagnostický charakter, tzn. že dovolují pouze identifikovat problémové
případy, naproti tomu opatření revidující způsoby vedení interview disponují podstatně větším
70
potenciálem k formování samotného sběru dat, a tím k bezprostřední determinaci získávaných
informací. Tato opatření navíc nepůsobí cíleně při ověřování jedné konkrétní otázky či přesně
vymezené baterie otázek, ale ovlivňují celé interview. Navíc efekt těchto opatření není ani
měřitelný, a dokonce není ani dokumentovatelný.
Konkrétní opatření tohoto druhu spočívají v důkladné analýze postojů samotných tazatelů.
Jejich dosavadní zkušenosti a postoje ke zkoumané problematice se totiž mohou promítat do
způsobu, jakým prezentují jednotlivé otázky či varianty odpovědí respondentům, případně
jaký důraz tazatelé přikládají jednotlivým odpovědím uvedených respondenty. Na potřebu
zohledňovat při posuzování respondentských odpovědí také charakteristiky konkrétního
tazatele poukázal již ve dvacátých letech minulého století S. Rice, který v jednom ze svých
výzkumů zaznamenal u části respondentů netypicky vysoký podíl těch, kteří považovali za
důvod svých nezdarů v práci a příčinu své nízké spokojenosti s vlastním životem alkohol
(Rice 1929). S. Rice později při dotazování samotných tazatelů zjistil, že všichni tito
nespokojení respondenti byli dotazováni stejným tazatelem – asertivním prohibicionistou.
Dalším významným činitelem působícím v situaci, kdy respondent dekóduje informaci
požadovanou výzkumníkem a zvažuje svoji stylizaci, je způsob představení výzkumu
tazatelem a styl vedení interview ze strany tazatele vůbec. V této souvislosti se v celé řadě
konkrétních výzkumných projektů jednoznačně ukazuje, že klíčovou roli sehrává důkladné
proškolení tazatelů zahrnující mj. také nácvik modelových situací. Rozsah a intenzita školení
tazatelů se totiž přímo odráží v míře návratnosti, v detailu/rozsahu údajů získaných od
respondentů i v jejich přesnosti. Hyman (1954) v této souvislosti poukazuje na užitečnost
rozvoje tazatelských dovedností při školení tazatelů a na nezbytnost potlačování průmětu
tazatelových postojů a stereotypů do komunikace s respondentem. Podobně jako H. Hyman
také Shapiro a Eberhart (1947) a později i Rosenthal (1966) prokázali, že postojové
predispozice tazatelů významným způsobem ovlivňují respondenta při hledání svého vztahu
k předmětu zkoumání. V této souvislosti nelze nezmínit také Katze (1942), který poukazoval
na nutnost pečlivého výběru tazatelů zohledňujícího jejich sociální profil tak, aby se co
nejvíce podobal profilu dotazovaných zástupců cílové skupiny. D. Katz tak ve svých
výzkumech předvolebního chování předcházel mnohým nepochopením při interview a
dosahoval také snazšího navázání kontaktu mezi tazatelem a respondentem.
71
Skutečnost, v jaké míře může tazatel svým chováním a vystupováním ovlivnit získávané výsledky
vede některé evaluátory k preferenci samovyplňovacích dotazníků a k upřednostňování
takových metod sběru dat, které při získávání postojů eliminují práci tazatelů.
Změna designu výzkumu
Specifický způsob, jak přistupovat k problematice neochoty respondentů či jejich
neschopnosti poskytovat validní informace o svém chování, jednání či postojích, představuje
úprava samotného výzkumného designu. V konkrétní podobě jsou v rámci jednoho
výzkumného projektu aplikovány různé metody sběru dat, které bývají voleny vždy s ohledem
k povaze získaných informací (Bickman 2000). Obvyklou snahou v této souvislosti je zvolit
takovou kombinaci metod, která zohledňuje povahu získaných informací a vede tak
k eliminaci sebestylizačních sklonů zkoumaných jednotlivců (Greene 2007). V soudobé
metodologii se lze v této souvislosti stále častěji setkávat se snahou odhlédnout od
antagonismu kvantitativních přístupů a kvalitativně orientovaných metod a posílit souběžné
využití obou přístupů v rámci jednoho výzkumného projektu (Creswell, Clark 2007; Mark,
Shotland 1987).
První systematicky projevované impulsy k využívání smíšeného designu (mixed-design) lze
zaznamenávat přibližně od 70. let minulého století25. V té době však šlo spíše o první a
ojedinělé pokusy kombinovat kvalitativní a kvantitativní postupy – se seriózními analýzami
dopadu kombinace různých metod sběru dat se setkáváme o cca 10 let později, kdy se
rozproudila paradigmatická diskuse nad dosavadními výzkumnými tradicemi a zásluhou
Rossmana, Wilsona a A. Brymana se smíšený design stal jedním z velkých metodologických
témat.
25
„Přichází čas přestat se stavěním zdí mezi jednotlivými metodami a začít s budováním mostů mezi nimi.“
(Cook, Reicherdt 1979)
72
5.2 Experimenty a experimentální design výzkumu
Je pochopitelné, že tak zásadní charakteristika výzkumných šetření, jakou je jejich výzkumné
uspořádání (research design) ovlivňuje veškeré dimenze výzkumu, a tím i charakter
získávaných dat. Evaluační výzkum se od výzkumu společenskovědního zřetelně odlišuje
značným důrazem, který je přikládán experimentům (Brown, Melamed 1990). I přesto však
platí, že na poli evaluací je vhodnost, relevance a adekvátnost používání experimentů
předmětem mnoha sporů a polemik (Fox, Tracy 1986). Tak jako se lze ve společenskovědním
výzkumu setkat s častokrát velmi vyhraněným vnímáním kvalitativní a kvantitativní
metodologie, tak v případě evaluací lze identifikovat podobně vyhraněné přijímání či
odmítání experimentů.
Důvodů rozšíření experimentů na poli evaluací je mnoho, nicméně tři z nich považujeme za
zásadní:
a) Již bylo uvedeno, že rané fáze rozvoje evaluací byly ovlivňovány zejména pedagogickým
výzkumem a výzkumem psychologickým. Jak v oblasti pedagogického výzkumu, tak také ve
výzkumu psychologickém jsou přitom experimenty poměrně běžné. Nejde však jen o vliv
disciplín jako obecných kategorií, ale i v rovině konkrétních představitelů je průnik
jednotlivých badatelů jasně patrný – viz např. D. Campbell, T. Cook, R. Tyler a mnozí další.
b) Zájem evaluátorů poskytnout zásadní a vysoce spolehlivé závěry je vedl k tomu, že v rámci
společenskovědních disciplín sáhli po „nejbytelnějším“ typu výzkumu.
c) K používání experimentů přispěli významnou měrou také zadavatelé, jejichž potřeby velmi
často směřovaly k dosahování a prokazování vysoké validity. Vzhledem ke skutečnosti, že
první evaluační projekty měly do značné míry sumativní charakter, kdy zadavatelé naléhali na
stanovení odpovědnosti a vyžadovali jednoznačné závěry o efektivitě jednotlivých
intervenčních programů, významným způsobem tak předurčili metodu zpracování
evaluačních projektů. Tento vliv přetrvává dodnes: např. Rada ES ve svém nařízení
1260/1999 v případě hodnocení v polovině období (mid-term evaluation) požaduje zkoumání
míry, v jaké byly dosaženy konkrétní cíle, přičemž toto hodnocení se provádí na základě
předem stanovených kritérií.
73
Důvodem pro tak časté využívání experimentálního designu v rámci evaluačních projektů je
tedy povaha definovaných cílů evaluačních šetření. Oproti základnímu výzkumu a oproti
většině ostatních oblastí aplikovaného výzkumu jsou evaluace méně exploratorní (Lipsey
1990). Namísto deskripce (i když i ta je v evaluacích přítomná) se evaluace zabývají
v mnohem větší míře explanacemi a zejména pak kauzalitou (prokazováním, že testovaný
intervenční program skutečně dosahuje vytyčených cílů, a že výskyt požadovaných výstupů je
skutečným efektem/důsledkem testovaného intervenčního programu).
Nepovažujeme za smysluplné reprodukovat na tomto místě každý jednotlivý typ experimentu
a poukazovat na možnosti a limity jeho využití v evaluačním výzkumu; čtenář nechť nahlédne
do samostatných pramenů, např. Stufflebeam (2001); Orr (1999); Shadish, Cook, Campbell
(2002); Cochran, Cox (1957). Hlavní pozornost bychom však rádi věnovali dvěma
implikacím, a to (1) percepci chyby I. typu a chyby II. typu mezi evaluátory, a dále také (2)
samotnému diskursu, který se týká použití experimentů v evaluační praxi.
5.2.1 Význam chyby I. typu a chyby II. typu
Zvláštností evaluačního výzkumu je důležitost a význam chyby II. typu. V případě
společenskovědního výzkumu bývá totiž význam chyby II. typu poněkud zastíněn významem
chyby I. typu (tedy akceptace hypotézy v případě, že neplatí). Ve společenskovědním
výzkumu je větší pozornost věnována chybě I. typu, protože odráží exploratorní charakter
většiny analytických úloh zaměřených na identifikaci rozdílů mezi testovanými podsoubory,
popř. na prokázání statisticky významného vztahu mezi sledovanými proměnnými či jevy
(Rossi, Freeman, Lipsey 2004). Stojí za připomenutí, že chyba I. typu nemá zcela
jednoznačnou interpretaci: obvykle je totiž interpretována jako pravděpodobnost, že výsledky
získané v experimentu by mohly být získány z populace, v níž je nulová hypotéza pravdivá
(Cohen 1994). Nicméně existují i jiná pojetí, kdy např. Tukey (1991) chybu I. typu
interpretuje jako hladinu pravděpodobnosti, jež vypovídá o míře jistoty při rozhodování o
tom, zdali jsou známky efektu pozitivní (A je lepší než B) nebo negativní nebo nejisté. Přijetí
nulové hypotézy tedy (v případě obou shora uvedených interpretací hodnoty p) znamená, že
případné odlišnosti zjištěné mezi dvěma podsoubory jsou považovány za dílo náhody, nikoliv
však za odraz reálných diferencí. Takovýto závěr učiněný v kontextu základního
společenskovědního výzkumu, popř. ve většině aplikovaných oblastí, obyčejně obrací
74
pozornost k jiným proměnným, jež souvislost vykazují26. Tato situace je v kontextu
základního výzkumu vlastně pochopitelná, neboť chyba II. typu vlastně nikomu neublíží
(Posavac a Carey 2003).
V evaluačních šetřeních je však přístup k interpretaci hodnoty p diametrálně odlišný; při
uskutečňovaných experimentech jde vlastně o testování nulové hypotézy, kde H0 znamená, že
intervenční program nefunguje (tj. před zavedením intervenčního programu a po něm se
neliší, popř. testovací a kontrolní skupina vykazuje diference, které nejsou statisticky
významné).
Jinými slovy, nulová hypotéza předpokládá, že dopady intervenčního programu na testovací
skupinu nejsou statisticky odlišné od hodnot zjištěných v kontrolní skupině, která nebyla
žádnému intervenčnímu programu podrobena. Chyba I. typu by při této aplikaci znamenala
míru pravděpodobnosti, s níž je zamítnuta nulová hypotéza, přestože platí. Jinak řečeno,
chyba prvního typu vyjadřuje evaluátorovo riziko, že doporučí k dalšímu rozvoji intervenční
program, který však fakticky není nijak účinný. Evaluátor však, na rozdíl od jiných
aplikovaných oblastí i na rozdíl od základního výzkumu, nemůže přejít vysokou hodnotu p
tím, že bude hledat jiné souvislosti – evaluátor je tak okolnostmi nucen i v případě přijetí
nulové hypotézy akceptovat chybu II. typu. Tedy akceptovat riziko odmítnutí intervenčního
programu, který je ve skutečnosti účinný. V tomto ohledu není obvykle volená proporce mezi
chybou I. typu a II. typu vhodná; evaluátor totiž nese čtyřnásobně vyšší riziko chyby II. typu
(20%) než I. typu (5%). Tvrzení o funkčnosti či dysfunkci posuzovaného programu však
nutně nese oba typy chyb se stejnou důležitostí a se stejným rizikem (Parker, Hudey 2006).
Z tohoto důvodu je nutné v rámci evaluačního výzkumu přistupovat k riziku chybného závěru
o účinnosti intervenčního programu, ačkoliv je tento fakticky neúčinný (tj. zamítnutí nulové
hypotézy a přijetí hypotézy alternativní – chyba I. typu) se stejnou váhou jako k chybnému
doporučení zastavit fakticky účinný intervenční program (tj. k přijetí nulové hypotézy – chyba
II. typu). Dopady prvního rozhodnutí nejsou bezvýznamné: implementace neúčinného
programu znamená neefektivní využití finančních prostředků a dalších zdrojů (časových i
lidských), nemožnost účinně formovat chování, ztráta kredibility poskytovatele intervenčního
programu v očích beneficientů, promarněná příležitost k zavedení účinných opatření. Rovněž
však dopady druhého rozhodnutí (tj. chyba II. typu) mohou být dalekosáhlé, neboť zrušení
26
Někdy se tato analytická strategie popisuje jako „vytahování upečených brambor“.
75
funkčního intervenčního programu může znamenat ztrátu pracovních příležitostí, zmaření
možnosti zlepšení situace jednotlivců, kteří by mohli z programu skutečně profitovat,
zbytečné hledání jiných, alternativních intervenčních programů, jejichž efektivita bude vždy
nutně pouze suboptimální.
Uvedený výčet důsledků chybného závěru uskutečněného na základě testu nulové hypotézy
pochopitelně vyvolává pochyby, zdali je ospravedlnitelné zakládat tak významná rozhodnutí
na výsledcích jediného testu. Řada pramenů (např. Cooke 2001; Colton, Covert 2007;
Langbein, Felbinger 2006; Levin 1999; Phillops, Aaron 2008; Robson 2000) proto
nedoporučuje držet se striktně výsledků statistických testů a posuzovat výzkumné závěry
nejen z hlediska statistické významnosti, ale také z hlediska významnosti věcné.
5.2.2 Aplikační možnosti a omezení experimentů
Obhájci experimentů poukazují zejména na vyšší jistotu výsledků, které experimenty přinášejí
a vyšší vnitřní validitu, jež s problematikou kauzality přímo souvisí. Kauzalita je v kontextu
evaluačního výzkumu považována za abstraktní pojem a je tedy jako taková neměřitelná a
nelze ji ani přímo pozorovat (Saxe, Fine 1981). Chyby může způsobit vychýlený výběr
případů, respondentů – buď jejich samovýběr (biased non-response) nebo záměrná distorze
(oslovení nejvíce viditelných případů) a vlivy okolí (působení jiných intervenčních programů)
(Cook, Campbell 1979). Zlatým standardem, jak posílit vnitřní validitu je realizovat takové
evaluační výzkumy, které jsou založeny na experimentálním designu (Boruch 1997)
s randomizovaným rozřazením jednotek do experimentální a do kontrolní skupiny.
Campbell a Stanley (1963) na adresu experimentů uvádějí: „experimentální výsledky teorii
ani nepotvrzují, ani nedokazují; úspěšná teorie je testována a není zavržena. Experimenty tedy
prověřují teorii (probe), ale nijak ji nedokazují (prove)“. Campbell (1999) sám uvádí situace,
kdy není na místě provádět evaluace formou experimentu:
a) pokud komponenty testované entity nejsou převoditelné
b) pokud je intervenční program stále ještě implementován a může tak mít produkční chyby
c) pokud evaluace zahrnuje hodnocení oficiálních představitelů
d) pokud intervenční program slouží jen jako alibi a jeho implementace není vedena
skutečným zájmem vyvolat deklarované efekty
76
Kritika experimentů poukazuje na fakt, že se intervenční programy zaměřují na lidské bytosti,
které nejsou strnulým příjemcem podnětů přicházejících z vnějšího okolí, na tyto podněty
aktivně reagují. K jejich dynamice navíc dále přispívají psychické procesy (jako např. učení
nebo zrání), což možnosti zobecnění výsledků experimentálních studií na skutečné situace
ještě dále omezuje.
Dále je třeba poukázat na to, že experimentální metody častokrát nedokáží zachytit výsledek
či postihnout změnu v intervenčním programu. Dopady některých intervenčních programů se
totiž projevují v řádu několika let; není proto možné očekávat, že by je experimentem bylo
možné zaznamenat. Weiss (1987) dokonce uvádí konkrétní příklady, kdy se efekt
posuzovaných intervenčních programů projevil až po mnoha letech.
Další výtka na adresu experimentů se týká srovnání mezi testovací a kontrolní skupinou, jež
nemusí být vždy adekvátní, neboť i v rámci testovací skupiny může existovat intervenční
program (či jeho reziduum), který nemusí být zjevný (Yin 2003). Rovněž historická zkušenost
jednotlivých účastníků se může lišit, což komplikuje provádění nejen experimentů, ale
dokonce také kvazi-experimentů.
Pressman, Wildawsky (1984) poukazují na to, že „evaluace jsou s to říci mnoho o tom, co se
stalo – jaké cíle a čí cíle byly dosaženy; ale dovedou říci jen velmi málo o tom, proč, o
kauzálních vazbách“. Platí tedy, že intervenční program může kromě měřených výstupů
vyvolávat i řadu nezamýšlených důsledků, které není možné pomocí experimentu
systematicky zaznamenat.
Obecně lze kritiku použití experimentů v evaluačním výzkumu vystihnout důrazem, který
kritici přikládají externí validitě. Otázky vnější validity jsou spojovány se zobecnitelností,
tedy s relevancí poznatků získaných v rámci dané evaluace na jiné, podobné případy, jiný
časový a prostorový kontext na případně jiné intervenční programy. Externí validita tedy
vypovídá o stupni, v jakém jsou zobecněná tvrzení opodstatněná a obhajitelná (Berk a Rossi
1999).
77
Souhrn
Experimenty lze využít pro sledování neuvědomělých reakcí, spontánních odpovědí, pro
testování přímé vazby mezi podnětem a reakcí, jde-li však o zkoumání percepce, hodnot,
postojů, je využití experimentů sporné.
Využití experimentů je dáno především konkrétními cíli určité evaluace. V případě
formativních evaluací je využití experimentů zcela nemístné v naprosté většině aplikačních
situací, na druhé straně v případě sumativních evaluací je aplikace experimentálního designu
využívající principu randomizace a komparace výsledků ve dvou skupinách jistě užitečná. Je
třeba však věnovat pozornost postojovému kontextu, neboť např. účast na rekvalifikačním
programu může být dána skutečným zájmem účastníka něco se naučit a získat nové pracovní
místo nebo může být ryze formální – v tomto případě se účastník nic nenaučí, protože žádné
pracovní místo ve skutečnosti získat nechce. Experiment by tak mohl dojít k chybnému
závěru o neefektivitě rekvalifikačního kursu.
V případě výzkumu potřeb je využití experimentů rovněž obtížně myslitelné, naproti tomu
hodnocení výstupů vytváří pro využití experimentů optimální podmínky. Za problematické
však považujeme využití experimentů při evaluaci dopadů, neboť ty mohou být od výstupů a
výsledků časově i meritorně vzdálené a potřebná kontrola vnějších podmínek by tak nebyla
možná (jejich eliminace je dokonce nežádoucí, neboť dopady intervenčního programu jsou
vlastně reakcí výstupů s vnějším prostředím).
78
5.3 Způsob dosahování a řízení kvality dat
Způsob využívání poznatků plynoucích z evaluací a povaha rozhodnutí, které jsou na základě
těchto poznatků uskutečňovány, stojí v pozadí tak vysokého zájmu nejen o validitu evaluací a
evaluačních výzkumů, ale obecně o kvalitu dat, které jsou v rámci evaluační činnosti
získávány a zpracovávány. Problematika vychýlených či nedostatečně spolehlivých dat
přitom není žádným novým či neznámým fenoménem; i v oblasti základního výzkumu a
dalších oblastí aplikovaného výzkumu se s ní lze běžně setkávat (viz např. Literary Digest vs.
Gallup či LaPierův výzkum o akceptanci hostů čínského původu americkými restauratéry a
hoteliéry). V posledním období je však zejména v souvislosti s laicizací sběru dat, s rozšířením
počítačem podpořených metod sběru dat (zejm. CATI a Web-survey), které nacházejí v jisté
míře uplatnění i v oblasti evaluací, tento problém výrazně eskalován. Přestože se přístupy
v jednotlivých aplikovaných oblastech k těmto tendencím různí, zásadní problém zůstává stále
stejný: (1) jednotlivá šetření se kvalitativně výrazně liší, (2) rozdíly v kvalitě nejsou účinně
ovlivněny žádnými standardy a pravidly a (3) kolísající kvalita není spojena s žádnou konkrétní
metodou sběru dat, ani s některým konkrétním výzkumným designem. Důsledkem toho je, že
potřeba specifikovat „množství kvality“ se požaduje stále hlasitěji (Biemer, Lyberg 2003).
Juran a Gryna (1980) definují kvalitu dat jako vhodnost k použití. Tato jednoduchá definice
může být považována mj. za posílení relativního významu, které je problematice kvality dat
přikládáno. Tento relativistický pohled považuje důležitost kvality dat (a kvality výzkumného
šetření jako takového) za proměnlivou s ohledem na daný kontext; Juran a Gryna docházejí
k závěru, že některá zjištění mohou být některými považována za vysoce kvalitní, zatímco jiní
je budou hodnotit jako nedostatečné. Rovněž platí, že pro různé účely může být vhodná různá
přesnost/kvalita dat (připouští se, že pro některé typy rozhodnutí či pro některé situace je
ospravedlnitelné používat i data nižší kvality). Naproti relativistickému pojetí lze však kvalitu
považovat i za hodnotu univerzální, za hodnotu, která je definována na základě obecně
sdílených parametrů (kritérií) nadaných vysokou legitimizační silou.
Máme za to, že kvalita dat musí být definována deterministicky na základě daných parametrů,
jimiž není možné manipulovat přímo, které však mohou být ovlivňovány konkrétními
stimuly, jež korigují výzkumné procesy žádoucím způsobem. Není možné kvalitu dat
ovlivňovat přímo (tak jako např. E. Mayo reguloval intenzitu osvětlení při svém výzkumu),
povaha kvality dat však umožňuje revizi a monitoring již dokončených šetření. Tento druh
79
výzkumu vyžaduje jednak vypracovaný koncept výzkumné kvality a dále specifický nástroj,
který by umožnil kvalitu dat ověřovat.
Zatímco definice Jurana a Gryny není pro další operacionalizaci kvality dat příliš vhodná,
Eurostat (2003) poskytuje mnohem lépe využitelný základ. Jejich definice kvality dat ve
společenskovědních výzkumech identifikuje celkem sedm hlavních dimenzí (hodnot):
Tabulka č. 12 Dimenze kvality dat
Parametr
Popis parametru
relevance
do jaké míry jsou data využitelná
přesnost
do jaké míry jsou data bez chyb a věcné správná
včasnost
do jaké míry jsou data aktualizována a jsou dostupná dle potřeby zadavatele
dosažitelnost
do jaké míry lze data snadno získat
porovnatelnost
do jaké míry jsou data umožňují srovnání (mezi případy i v čase)
koherence
do jaké míry jsou data udržována v identickém formátu
úplnost
do jaké míry jsou data kompletní
Zdroj: Eurostat 2003; upraveno autorem
Z přehledu je patrný průnik s Juran-Grynovou definicí v dimenzích, které vypovídají o
interakci mezi daty a jejich uživateli (dostupnost, včasnost). Jaké jsou tedy nástroje pro
ověření těchto parametrů?
Specifika evaluačního výzkumu nespočívají pouze v odlišném důrazu na vybrané otázky
metodologické povahy a v rozdílném pojetí konkrétních aspektů realizace výzkumných
šetření, ale také v nástrojích, ověřování kvality provedených šetření (Batini, Scannepieco
2006). Pochopitelně i v této oblasti jsou patrné mnohé průniky, zejména na úrovni měřících
nástrojů při ověřování jejich reliability. Jedna odlišnost je však zásadní – v oblasti evaluací je
totiž běžně využíván postup tzv. meta-evaluací, který lze spolu s jeho autorem charakterizovat
jako evaluaci provedené evaluace (Scriven 1991).
Výzvy a příležitosti
Jak již bylo uvedeno, meta-evaluace nemusí být nutně koncipovány jako sumativní evaluace
uskutečněné po dokončení primární evaluační studie. Sumativní forma meta-evaluací je
obvykle prováděna třetí stranou za účelem posílení legitimity výsledků meta-evaluací či
z důvodů snazší identifikace zdrojů chyb objevujících se v primárních evaluacích. Tento
přístup má jednoznačně pozitivní efekty pro budoucí evaluační projekty a je faktickým
80
spojením mezi individuálními evaluačními studiemi (viz případové studie). Pozitivní efekt
meta-evaluací je rovněž dosahován formativním uspořádáním, kdy evaluátor sám hodnotí
svou vlastní evaluaci. V tomto případě meta-evaluace umožňuje lepší pochopení, jak různá
rozhodnutí v rámci výzkumného designu ovlivňují kvalitu výsledků a jak vlastně dopadají na
celý evaluační projekt. To dává evaluátorům příležitost ke zlepšení vlastních závěrů, a to
dokonce ještě předtím, než jsou výsledky evaluační studie prezentovány zadavateli.
Standardizace meta-evaluačních postupů může vést ke standardizaci výstupů z meta-evaluace.
V takovém případě by zadavatelé evaluací mohli spolu se závěrečnou zprávou získávat i
dodatečnou analýzu kvality provedeného evaluačního projektu. V kontextu evaluací je toto
velmi důležité a užitečné, neboť zainteresované strany, které jsou výsledky evaluace
negativně dotčeny, častokrát napadají právě kvalitu provedení evaluace (Benson 2001).
Existence meta-evaluací taková zpochybňování významně eliminuje. Meta-evaluace rovněž
mohou internalizovat pozitivní externality produkované „dobrými daty“ a zabránit tak
parazitování „špatných dat“ na jejich pověsti.
Ohrožení a limity
Metodika meta-evaluací není doposud ustálená. Stále existuje řada fází procesu evaluací,
které nejsou dotčeny žádným indikátorem v kontrolních seznamech, jež se pro provedení
meta-evaluací aktuálně využívají a jsou publikovány v odborné literatuře.
Je nutné, aby údajům meta-evaluací a i jejich samotnému konceptu rozuměli samotní
zadavatelé a vyžadovali jejich provedení (Ciarlo 1981). Optimálním řešením je tzv. onecurrency meta-evaluace, tedy univerzální a obecně akceptovaný standard, podle něhož by
byly meta-evaluace prováděny. Rovněž je třeba dlouhodobě poukazovat na přidanou hodnotu
pramenící z informací poskytovaných meta-evaluacemi a poskytnout návod, jak přesně je
používat v každodenním rozhodování.
Poslední bariérou rozvoje meta-evaluací jsou evaluátoři a výzkumníci samotní; ne všichni
jsou totiž ochotní otevřít černou skříňku, kterou nyní výzkumné a evaluační procesy
představují.
81
Typy údajů v evaluačním výzkumu
Pro zpřesnění představy o zvláštnostech evaluačního výzkumu a jeho metodik dále pomůže
přehled typů informací, s nimiž sociální i evaluační výzkum pracují. V rámci evaluačních
studií se lze běžně setkávat, podobně jako ve všech sociálních výzkumech, s popisnými
charakteristikami získávanými přímo od respondentů27, které se využívají ke klasifikaci a
profilaci respondentů (doba účasti v programu, pohlaví, věk, socioekonomický status) či
s údaji získávanými z externích pramenů využívaných k základní charakteristice hodnoceného
programu (celkový počet účastníků, doba činnosti, objem vynaložených finančních
prostředků). Druhým typem informací jsou behaviorální znaky zachycující, jak výpovědi
respondentů o vlastní činnosti (např. participace na programu) zjišťované během interview či
z respondentem vyplněných dotazníků, tak také záznamy skutečného jednání (např. soulad
s definovanými požadavky jednání) ověřované pozorováním. Třetí typ informací představují
znalostní ukazatele (např. povědomí zaměstnanců o vnitrofiremních předpisech, míra
zapamatování klíčových sdělení uvedených v rámci školení pracovníků) a konečně čtvrtým
typem jsou znaky postojové (např. spokojenost s přínosem daného programu či percepce
poskytovatelů jednotlivých služeb).
Základní popisné charakteristiky a velká část behaviorálních znaků je obecně považována za
ukazatele tzv. nesporné, neboť indikují výskyt zjištěných sociálních jevů znaky zjišťovanými
buď jednoduchým dotazem (věk, rodinný stav apod.) nebo přímým pozorováním (např.
pohlaví respondenta), přičemž způsob jejich měření nevyvolává spor, konflikt, mezi
jednotlivými zainteresovanými stranami zapojenými do daného evaluačního procesu28.
V případě měření znalostí a postojů je tomu však jinak. Přímé pozorování je zcela vyloučeno
a ověřování jednoduchým dotazem v rámci dotazovacích technik (čili jedním znakem) není
rovněž v naprosté většině případů myslitelné s ohledem na přílišnou simplifikaci a značné
riziko nepřenosného měření (Campbell, Russo 2001).
Při evaluacích využívajících survey, nejde jen o způsob operacionalizace základních jevů a
potažmo tedy o možnosti, jak může zadavatel vedený svým vlastním zájmem predeterminovat výsledky evaluačního výzkumu. Významný je rovněž vliv samotných
respondentů, neboť ti (vedeni svým vlastním zájmem) mohou stejně významným způsobem
27
V této souvislosti je lhostejné, zdali jsou tyto údaje získávány formou osobních interview či formou
samovyplňovacích dotazníků.
28
Typickým konfliktem je v tomto případě nesoulad mezi postojem sponzora, hodnocených subjektů a
realizátora programu.
82
ovlivňovat charakter29 a potažmo i validitu jednotlivých údajů (Byrn 2002). V případě
evaluačního výzkumu totiž neplatí obligátní ujištění o tom, že „nejsou žádné správné a špatné
odpovědi“. Naopak, z kontextu realizace evaluačního šetření (jenž si v řadě případů samotní
respondenti velmi dobře uvědomují) lze velmi přesně rozlišit, jaké odpovědi na kladené
otázky jsou z jejich pohledu „správné“ a jaké jsou „chybné“. Tato skutečnost vede
metodology k neustálému obracení pozornosti k problematice sebestylizace účastníků
evaluačních studií (Clarke 1999) a k hledání cest, jak tento fenomén redukovat či alespoň
udržovat pod kontrolou.
29
Viz kapitolu 5.1 této práce.
83
6. Typy evaluačních studií
Již výše jsme poukazovali na obvyklé používání metod a technik společenskovědního
výzkumu v oblasti evaluací. Současně je z dosavadní charakteristiky jednotlivých typů
evaluačních projektů patrná i jistá míra podobnosti mezi evaluacemi a společenskovědním
výzkumem v používaném výzkumném uspořádání (research design). Nastínili jsme například
využívání případových studií (case-study) či realizaci experimentů; při evaluaci efektů
jednotlivých intervenčních programů je rovněž používána panelová analýza a takto by bylo
možné zmínit naprostou většinou typů uspořádání výzkumu, jak je definuje např. Hedrick,
Bickman, Rog (1993) nebo Spector (1981). Na druhé straně by bylo chybou předpokládat, že
evaluace nemají své vlastní typy uspořádání jednotlivých projektů, svůj vlastní design.
Naopak platí, že během přibližně půlstoletí trvajícího rozvoje evaluací se vyprofilovalo
několik typů, jež lze diferencovat jednak podle účelu provedení a podle předmětu evaluace, a
dále také podle fáze zralosti posuzovaného intervenčního programu. S ohledem na aplikovaný
charakter evaluací se rozvinuly rovněž typy diferencované podle subjektu, který danou
evaluaci provádí.
V úvodu zmíněná analogie s typy výzkumného uspořádání známými ve společenskovědním
výzkumu není skutečným odrazem způsobu, jak tuto oblast traktují samotní evaluátoři. V
evaluační literatuře se totiž většinou píše o „typech evaluací“, a tak je třeba tuto analogii
chápat jen jako pouhý pokus o přiblížení smyslu, významu a účelu definice jednotlivých
„evaluačních designů“.
84
6.1 Dle účelu provedení: formativní (formative evaluation)
a sumativní evaluace (summative evaluation)
Autorem, který popsal a rozvinul rozdělení evaluačních studií na formativní a sumativní je M.
Scriven, který tuto dichotomii rozvinul na základě dlouhé a intenzivní disputace s L.
Cronbachem vedené nad prací R. Tylera o smyslu, účelu a poslání evaluační činnosti jako
takové.
Formativní typ evaluací je spojován se snahou o zlepšování a rozvíjení hodnocených
skutečností (tedy např. programů či služeb)30. Výsledky takto pojatých evaluací tedy
představují průběžnou zpětnou vazbu, která je využívána pro návrh nových opatření a pro
korigování běžících programů. Výsledky formativních evaluací tedy poskytují informace
směřující k vylepšení stávajícího intervenčního programu, přičemž otázka jeho samotné
budoucí existence je automaticky předpokládána a v kontextu formativních evaluací není
nijak zpochybňována (DePoy, Gilson 2003). Je tedy patrné, že formativní evaluace provázejí
běžnou činnost či působení, každodenní provoz sledovaného intervenčního programu a
s ohledem ke své podstatě jsou obvykle prováděny periodicky či v mnoha konkrétních
aplikacích dokonce kontinuálně.
Výsledky formativních evaluací slouží primárně takovým zainteresovaným stranám, jakými
jsou zejména manažeři daného intervenčního programu a jeho řadoví pracovníci, přičemž
jinými zainteresovanými stranami (například sponzory či klienty) jsou výsledky formativních
evaluací využívány naopak jen velmi zřídka (Fitz-Gibbon, Morris 1987). Formativní evaluace
tedy mají obvykle (neplatí to však vždy) interní povahu. V případě tohoto typu evaluací je pro
evaluátora nutné v rámci všech zúčastněných zainteresovaných stran zajistit akceptaci zásady,
že žádný výsledek takové evaluace nebude posuzován ani jako dobrý, ani jako špatný. V této
souvislosti je třeba připomenout primární funkci formativních evaluací, kterou je
zprostředkování zpětné vazby, jež by byla užitečná při rozvoji daného programu. Za těchto
podmínek nelze považovat existenci značného množství případných námětů na zlepšení
posuzovaného intervenčního programu za ukazatel jeho nízké kvality; formativní evaluace
rovněž nijak neposuzují užitečnost či smysluplnost jeho pokračování, neboť jsou tyto
principiální otázky vyčleněny sumativním evaluacím.
30
Scriven spojoval formativní evaluace primárně s analýzou způsobu implementace intervenčního programu.
85
Formativní evaluace nelze ztotožňovat ani s brainstormingem, ani s explorací nápadů, jak
daný intervenční program vylepšit; rovněž platí, že odkaz k potřebám, které zůstávají i po
provedení dané intervence stále neuspokojeny, není dostatečným naplněním funkcí,
formativních evaluací. Výsadní role formativních evaluací spočívá v tomto ohledu ve
zohlednění primárních cílů posuzovaného intervenčního programu a v získávání takových
údajů, které jsou přímo využitelné při jeho strategickém řízení. V neposlední řadě je třeba
poukázat na významné rozdíly mezi formativními evaluacemi a monitoringem (se kterým
bývají v některých pramenech nesprávně zaměňovány); klíčové rozdíly je v tomto ohledu
třeba spatřovat ve vztahu obou činností k takovým, relativně komplexním, tématům, jakými
jsou (1) ověření správnosti definice cílové skupiny, (2) účinnost nástrojů stimulujících
chování jednotlivců a (3) sledování výskytu nežádoucích efektů (Hong, Boden 2003).
Zatímco monitoring je buď zcela pomíjí nebo nedisponuje dostatečnými nástroji k jejich
zachycení a analýze, formativní evaluace jsou k jejich posouzení speciálně vytvořeny.
Davidson (2005)31 navazuje na M. Scrivena a přichází s návrhem dvou typů formativních
evaluací založených na předmětu prováděné formativní evaluace. Rozlišuje tak formativní
evaluace prováděné v rámci přípravy nového programu (či jiného subjektu, jenž je předmětem
evaluačního výzkumu) od postupů zlepšování již etablovaných a dlouhodobě existujících
programů. Role formativních evaluací je totiž v případě hodnocení nových intervenčních
programů zásadní a přináší všem zapojeným zainteresovaným stranám významné výhody a
značnou přidanou hodnotu, neboť včasné odhalení případných nedostatků umožňuje jejich
včasnou nápravu a minimalizaci negativních dopadů. Dále platí, že podrobná analýza nedostatků
právě implementovaných intervenčních programů umožňuje hlubší a přesnější pochopení
mechanismu jejich fungování v reálných podmínkách. Naproti tomu význam formativní evaluace
již zavedených programů spočívá v tom, že umožňují zodpovědným manažerům posuzovaných
intervenčních programů včasnou a relativně snadnou adaptaci na vnější (a v mnoha případech
permanentně se proměňující) prostředí. Předpokládá se, že již zavedené a běžící intervenční
programy jsou zbaveny post-implementačních obtíží, a tak se pozornost při jejich hodnocení
upíná k interakci daného intervenčního programu s jeho bezprostředním okolím a zaměřuje se na
získávání takových podkladů, které umožňují adjustaci daného intervenčního programu
v závislosti na změnách vnějších podmínek. Primárním cílem aplikace takto pojatých
formativních evaluací tedy není vylepšování hodnocených intervenčních programů ve smyslu
zlepšování jejich věcného základu (merit), ale spíše posilování jejich hodnoty (worth).
31
J. Davidson studovala problematiku evaluací pod vedením M. Scrivena.
86
V neposlední řadě stojí za zmínku některé specifické typy formativních evaluací, z nichž
bychom rádi poukázali zejména na tzv. pre-formativní evaluace (pre-formative evaluation) a
na předběžné sumativní evaluace (early-warning summative). V rámci pre-formativních
evaluací je posuzován nejen samotný průběh intervenčního programu, ale zásadní pozornost
je věnována zejména jeho iniciačnímu stimulu, tedy např. zadání či objednávce. V celé řadě
situací jsou právě okolnosti vzniku dané intervence a původní motivace iniciátorů k zavedení
daného intervenčního programu významným činitelem, který determinuje jeho základní
parametry a má tak podstatný vliv na jeho samotné fungování i efektivitu. Rovněž je
z aplikační praxe zřejmé, že v mnoha případech dochází k podcenění nesouladu mezi
původními (ideálními) cíli, jež byly sledovány iniciátory dané intervence s cíli, které se při
přípravě intervenčního programu ukázaly jako cíle dosažitelné (reálné)32.
Předběžná sumativní evaluace může být chápána jako „závěrečný test nanečisto“. Jejím
základním principem je simulace sumativních podmínek, jež by měly v maximálně možné
míře korespondovat s podmínkami v budoucnu prováděné sumativní evaluace. V praxi se této
podobnosti dosahuje především aplikací identického uspořádání sběru vstupních dat, volbou
shodných či analogických ukazatelů či použitím mechanismu zpracování a vyhodnocení
údajů, jaký bude použit při sumativní evaluaci. Jinými slovy tedy platí, že předběžná
sumativní evaluace je prováděna podle standardů sumativní evaluace, nicméně s jejími
výsledky se důsledně zachází jako s výsledky evaluace formativní, tzn. že z jejich výsledků
není dovozována odpovědnost hodnocených subjektů a slouží výlučně jako nástroj rozvoje a
zlepšení.
Sumativní evaluace jsou používány v situacích, kdy je třeba posoudit dosažené výsledky a
rozhodnout o dalším pokračování či zastavení hodnoceného intervenčního programu. Cílem
evaluací není v tomto případě hledat návrhy na zlepšení, nýbrž konstatovat, osvědčit, dosažení
či nedosažení vytyčených cílů, popř. doporučit na základě příslušných zjištění další
pokračování či zastavení posuzovaného intervenčního programu. Sumativní evaluace jsou
prováděny buď po skončení daného intervenčního programu nebo po přesně definované etapě
(např. na konci zkušebního provozu, po roce působení apod.). Sumativní evaluace mají svou
povahou velmi blízko k auditu, neboť se obě činnosti ohlížejí zpět do minulosti – jsou
založeny na retrospektivní analýze fungování intervenčního programu ve vymezeném období
(naproti tomu formativní evaluace mají jasně prospektivní charakter, neboť přinášejí podněty
32
Blíže o této problematice pojednává kapitola 8, ve které je prezentován integrativní přístup k evaluacím.
87
pro budoucí rozvoj posuzovaného intervenčního programu). Sumativní evaluace i audit volají
dotčené zainteresované skupiny k odpovědnosti, což formativní evaluace nikdy nečiní.
V neposlední řadě sumativní evaluace i audit jsou založeny na exaktních technikách sběru
informací a metodách jejich analýzy. Sumativní evaluace jsou určeny (a častokrát také
iniciovány) externími subjekty, které stojí mimo samotný intervenční program (obvykle jde o
sponzory daného programu); s ohledem ke způsobu využití jsou sumativní evaluace
prováděny obvykle externími evaluátory.
V neposlední řadě by mělo být zmíněno, že někteří evaluátoři poukazují na relativně
okrajovou roli sumativních evaluací oproti formativním, kdy např. Stake (1975, 1982) uvádí,
že „není zcela obvyklé, aby evaluátor volil mezi červenou a modrou, aby činil závěry či aby
poskytoval jeden jednotlivý ukazatel hodnoty (worth)“. Podobně také Cronbach (1980)
argumentuje vyšším důrazem na formativní (zlepšovací) smysl, který evaluace mají.
Obrázek č. 8 Srovnání významu formativních a sumativních evaluací během působení
Význam
v rámci
intervenčního
programu
sumativní
sumativní evaluace
formativní
formativní evaluace
Běh intervenčního programu
Zdroj: Fitzpatrick et al. 2004
Základní představení obou typů evaluací diferencovaných účelem provedení nastínilo nejen
klíčové rozdíly v jejich účelu (což je koneckonců kritériem jejich diferenciace), ale současně
nastínilo některé zásadní rozdíly ve způsobu, jak jsou oba typy evaluací prováděny. V této
souvislosti bychom rádi poukázali na několik dalších charakteristik, ve kterých se formativní
a sumativní evaluace odlišují, a které nejsou na první pohled patrné. Především platí, že
formativní evaluace jsou opakovaným, kontinuálním procesem, zatímco sumativní evaluace
jsou většinou jednorázové; jejich opakování je sice principiálně možné, nicméně může být za
daných situačních podmínek považováno za podezřelé. Další ze zásadních diferencí mezi
formativními a sumativními evaluacemi je účel jejich provedení a záměr, který je jejich
88
zadavatelem sledován: v případě formativních evaluací je to vylepšení stávajícího
intervenčního programu, zatímco v případě evaluací sumativních je to podpora při
rozhodování o jeho další existenci, event. pro stanovení odpovědnosti. Diference v záměrech
obou typů evaluací se promítají do dalších okolností spojených s jejich prováděním v daných
aplikačních podmínkách: zatímco formativní evaluace jsou zapojenými zainteresovanými
stranami zodpovědnými za chod intervenčního programu většinou přijímány přátelsky a
s ochotou participovat (McDavid, Hawthorn 2006), v případě sumativních evaluací jednají
dotčené zainteresované strany přesně opačně. Dalším rozdílům není sice nutné věnovat na
tomto místě detailní pozornost, nicméně uvádíme je pro úplnost alespoň v přehledové tabulce.
Tabulka č. 13 Rozdíly mezi formativním a sumativním typem evaluací
Formativní
Sumativní
Cíl použití
Zlepšit daný intervenční program
Podpořit rozhodnutí o budoucnosti programu
Smysl provedení
Poskytnout zpětnou vazbu, aby mohl
být intervenční program vylepšen
Poskytnout informace, na jejichž základě lze
rozhodnout o pokračování či zastavení
Tematické vymezení
evaluací
Vyjasnění cílů intervence, ověření
povahy implementace; identifikace
výstupů
Výstupní parametry; problémy při
implementaci
Typické otázky
Co funguje?
Co je třeba zlepšit?
Jak lze dosáhnout zlepšení?
Jaké jsou výsledky?
Za jakých podmínek bylo výsledků
dosaženo? Při jakých nákladech?
Kritéria pro volbu
designu
Jaké informace jsou zapotřebí? Kdy?
Jaké důkazy jsou nutné pro jednotlivá
rozhodnutí?
Intenzita zájmu
hodnocených subjektů
na výsledku evaluací
Nízká/středně vysoká
Velmi vysoká
Metodologie
Kvalitativní i kvantitativní
Výlučně kvantitativní
Frekvence sběru dat
Vysoká
Nízká (častokrát jen jednorázové)
Typický realizátor
evaluací
Interní subjekt
Externí subjekt
Role evaluátora
Interaktivní; je v těsném kontaktu
s posuzovanými subjekty, zapojuje se
do diskusí nad výsledky evaluace
Nezávislá; evaluátor si zachovává odstup od
hodnocených subjektů; výsledky tlumočí
přímo zástupcům nadřízené úrovně
Příjemci výsledků
evaluací
Manažeři, pracovníci daného
Sponzoři, rozhodovatelé
Forma sdělení výsledků
evaluací
Neformální
Formální
Zdroj: Fitzpatrick et al. 2004; Herman et al. 1987, upraveno a doplněno autorem
S alternativním přístupem k rozlišování typů evaluací podle účelu jejich provedení přišla E.
Chelimsky (1997). Navrhuje rozlišovat (1) evaluace pro rozvoj (které v podstatě odpovídají
89
formativním evaluacím), jejichž využití spočívá v hledání cest pro zlepšení výkonu
intervenčního programu či organizace a (2) evaluace pro odpovědnost, jež jsou zaměřeny na
měření výsledků či účinnosti daného intervenčního programu a slouží zadavatelům evaluací
jako podpora pro jejich rozhodovací činnost (také v tomto případě je korespondence
se sumativními evaluacemi zcela zřejmá). K uvedeným dvěma základním typům však E.
Chelimsky přidává ještě třetí typ evaluací, a to (3) evaluace pro znalost, tedy evaluace
prováděné s cílem lépe porozumět jednotlivým problémům, jež se vyskytují v souvislosti
s každodenním chodem intervenčního programu a jeho působením. Význam takovéto
evaluace je zejména dokumentační a popisný.
Souhrn
Rozlišování formativních a sumativních typů evaluací je specifickou evaluátorskou
dichotomií, která nemá žádný ekvivalent ani v základním výzkumu, ani v žádné oblasti
výzkumu aplikovaného. Proto se nabízí otázka, zdali by podobná diferenciace nebyla
relevantní i pro společenskovědní výzkum. Každodenní evaluační praxe totiž poskytuje více
než dostatek konkrétních podnětů dokumentujících, jak nebezpečné a eticky problematické
může být, pokud jsou oba uvedené cíle zaměňovány či spíše pokud dojde k proměně těchto
cílů v průběhu realizace daného (evaluačního) projektu.
Tabulka č. 14 Vztah mezi formou provedení evaluací a způsobem využití jejich výsledků
Využití
Provedení
Formativní
Sumativní
Formativní
Sumativní
9
Pole č. 1
Pole č. 2
9
Zdroj: autor
Pole č. 1 odráží situaci, kdy je evaluace provedena jako evaluace formativní, nicméně s jejími
výsledky je nakládáno, jakoby se jednalo o evaluaci sumativní. Nikdy nelze předem vyloučit,
že taková situace během realizace evaluačního projektu a bezprostředně po jeho dokončení
nenastane. Zdokumentované situace, kdy k podobnému „zneužití“ výsledků formativních
evaluací došlo, naznačují, že se obyčejně jedná o „názorový posun“ na straně zadavatele dané
evaluace, kdy jsou získané závěry svévolně použity v rozporu s jejich původním posláním.
V této souvislosti je třeba důrazně poukázat na neobhajitelnost tohoto počínání, a to jak
z hlediska metodologického, tak také z hlediska etického. Inkompatibilita formativní
90
metodologie a sumativního resultátu spočívá zejména v nedostatečnosti vnitřní validity
výzkumných technik prováděných při formativních evaluacích pro účely, jež vyplývají ze
sumativního určení. Koneckonců, rovněž externí validita spojovaná s formativními
evaluacemi je z pohledu využití získaných závěrů pro sumativní účely (tj. pro vyvození
odpovědnosti) insuficietní, neboť v čase, kdy jsou obvykle prováděny formativní evaluace (tj.
v průběhu či dokonce v raných fázích existence intervenčního programu), nelze očekávat, že
se mohou naplno projevit výstupy a výsledky daného intervenčního programu. Etická
problematičnost popisovaného nakládání s výsledky formativních evaluací se zakládá na
porušení několika ustanovení Evaluačních standardů a etických pravidel přijatých
evaluačními společnostmi mnohých zemí; jak však již bylo uvedeno, ke zneužití tohoto typu
dochází v naprosté většině případů ze strany zadavatelů evaluací, kteří nejsou žádným
takovým kodexem vázáni.
Pole č. 2 odráží situaci, kdy jsou výsledky sumativních evaluací používány, jakoby se jednalo
o výsledky evaluací formativních. V tomto případě se neadekvátně zvolená metodika
evaluace projeví především nedostatečným rozsahem a detailem informací, které sumativní
evaluace poskytují. Jak již bylo uvedeno výše, sumativní přístupy kladou důraz na exaktnost,
což se však odráží jednak v nízké otevřenosti při získávání informací (primární a jediný zájem
je přeci ověřit předem definované parametry), a dále se projevuje nepoměrně vyšším
formalismem, ať už při sběru dat či ve fázi prezentace výstupů. V kontextu sumativních
evaluací skutečně nelze očekávat takovou otevřenost zúčastněných subjektů, jaká panuje při
formativních evaluacích. Z tohoto pohledu lze výsledky sumativních evaluací považovat za
vychýlené, neboť dotazované subjekty čelí situaci nejistoty, zdali by jim jakákoliv dodatečná
informace poskytnutá nad rámec stanovené „povinnosti“, nemohla uškodit. V neposlední řadě
je třeba poukázat rovněž na časový rámec sumativních evaluací, který je v naprosté většině
aplikačních situací nekompatibilní s požadavky kladenými na formativní evaluace. Výsledky
sumativních evaluací by zkrátka byly k dispozici příliš pozdě na to, aby mohly být reálně
využity.
91
6.2 Dle typu realizátora: interní a externí evaluace
Diferenciace na základě vztahu realizátora k předmětu evaluace rozlišující interní a externí
formu, vychází z analogické dichotomie, jež je patrná ve velké části ostatních oblastí
aplikovaného výzkumu. V kontextu evaluací je východiskem tohoto rozlišení fakt, že některé
instituce (zejména ve veřejné správě) využívají k provádění evaluací vlastní, interní pracovníky.
Důvodů, proč mnohé organizace využívají vlastních evaluátorů namísto toho, aby realizovaly
jednotlivé evaluační projekty na smluvním základě s externími evaluačními subjekty, je hned
několik. V prvé řadě platí, že proces evaluací je v mnohých organizacích považován za
součást vlastního řízení, a tak vzniká potřeba po průběžné evaluaci jednotlivých činností
(Russ-eft, Preskill 2001). Navíc je proces provádění evaluací jen těžko oddělitelný od
ostatních procesů. Dále je patrné, že některé organizace provozují dokonce hned několik
různých intervenčních programů, což opět vytváří předpoklady pro angažování interních
evaluátorů. House (1993) doplňuje, že některé veřejné organizace založily vlastní oddělení,
která se evaluacemi systematicky zabývají. Ve všech uvedených případech se interní forma
evaluace přímo nabízí, neboť umožňuje dané organizaci redukovat náklady na realizaci
vysokého množství, relativně standardizovaných evaluačních projektů. Hlavní výhody interní
formy realizací evaluací shrnuje Love (1991), který poukazuje především na přesnou a
detailní znalost prostředí, cílů a záměrů – interní evaluátor je zkrátka součástí dané
organizační struktury a kultury, a tak případné riziko plynoucí z nepochopení cílů
zkoumaného evaluačního projektu je relativně nízké. Tato výhoda se dále promítá do volby
adekvátnějších postupů a efektivnější komunikace získaných výsledků, neboť interní
evaluátor je schopen lépe než externista určit, jaké informace, komu a v jakém čase
poskytnout. Opomenout nelze ani dlouhodobější zájem interního evaluátora v porovnání s adhoc kontrahovaným externím subjektem.
Naproti tomu výhodou externích evaluátorů je potenciálně vyšší profesionalita, případně
specializace na některé konkrétní typy evaluací. Pokud je tedy požadován specifický či méně
standardní typ evaluace, je pravděpodobnější, že externí evaluátor bude v tomto ohledu
dosahovat vyšší excelence než evaluátor interní (Preskill, Torres 1999). Pochopitelným
důvodem spolupráce s externími evaluátory je realizace sumativních evaluací; v tomto
případě je účast interního evaluátora s ohledem na možný konflikt zájmů přinejmenším
nevhodná a nežádoucí.
92
6.3 Rozlišení dle fáze rozvoje intervenčního programu: ex-ante,
mid-term a ex-post evaluace
Jednotlivé typy evaluací lze kategorizovat buď na základě věcných rozdílů v konkrétních
parametrech, nebo pomocí arbitrárně definovaných kritérií. Příkladem prvního typu
kategorizace je již výše uvedené rozlišení formativních a sumativních evaluací; přirozeným
klasifikačním kritériem je v tomto ohledu účel použití výsledků evaluace. Podobně také
rozlišování na základě povahy realizátora na interní a externí subjekty je příkladem
kategorizace, jež se odvíjí od přirozených diferencí mezi jednotlivými typy. Naproti tomu
kategorizace provedená arbitrárně nemá faktickou oporu v reálných diferencích mezi
jednotlivými typy a její legitimita je dána buď tradicí nebo se odvíjí od autority
zainteresované strany, která tuto kategorizaci prosazuje. Příkladem takovéto arbitrárně dané
kategorizace je rozlišování typů evaluací podle fáze rozvoje intervenčního programu. V tomto
konkrétním případě jsou jednotlivé typy zakotveny v nařízení Evropské unie a v dalších
dokumentech její strukturální politiky. V daném případě jde o způsob kategorizace provedený
(potenciálním) zadavatelem, který v nařízení Rady ES č. 1260/1999, v článcích 40 – 43
definuje, jaké typy evaluací jsou vyžadovány. Citovaný dokument rozlišuje tři typy evaluací,
a to ex-ante, mid-term a ex-post. Je třeba upozornit, že toto vymezení nevychází de facto ani
ze samotné podstaty evaluační činnosti v rámci dané situace (jako je tomu v například při
rozlišení formativních a sumativních evaluací) a není dokonce ani teoreticko-abstraktní
konstrukcí samotných evaluátorů vycházející z povahy evaluační činnosti (jakým je např.
rozlišování evaluací a evaluačního výzkumu). Definice typu evaluací podle fáze rozvoje
intervenčního programu je tak výlučně administrativním požadavkem, který navíc ani blíže
nespecifikuje metodický základ daných evaluací.
Ex-ante evaluace jsou zaměřeny na stanovení potenciálu sledovaného intervenčního programu
v jeho konkrétním kontextu a spočívají v analýze jejich silných a slabých stránek,
rozvojového potenciálu a identifikaci možných rizik či ohrožení. Evaluace prováděné ještě
před samotnou implementací intervenčního programu mohou zahrnovat dokonce i costbenefit analýzu; v některých případech jsou ex-ante evaluace realizovány s cílem
zdokumentovat situaci panující před implementací daného programu a zjistit tzv. výchozí
parametry vůči kterým budou porovnávána zjištění z později prováděných evaluací či
monitoringu. Oficiální překlad Nařízení Rady ES popisuje ex-ante evaluace jako „předběžné
93
hodnocení“33 a vyzdvihuje jejich hlavní účel, který spočívá v získávání podkladů pro
vypracování plánu rozvoje a pro přípravu budoucího programu. Pokud bychom chtěli ex-ante
evaluace charakterizovat také pomocí některé z přirozených kategorizací, pak by tyto
evaluace mohly mít formativní charakter a mohly by být rovněž zařazeny mezi techniky
používanými pro výzkum potřeb (needs assessment)34. Prizmatem klasifikace, kterou
navrhovala Chelimsky (1997) bychom na ex-ante evaluace pohlíželi jako na třetí typ, tj. na
evaluace pro znalost.
Mid-term (in-itinere, interim) evaluace se provádějí v průběhu realizace intervenčního
programu a mají formativní charakter (jejich cílem je korigovat dosavadní postupy). Název
evokuje provedení evaluace v (přibližně) polovině období, ve kterém je daný intervenční
program realizován, což je v některých konkrétních případech poněkud nepřesné, neboť volba
konkrétního data provedení bývá obyčejně předem stanovena s ohledem na průběh a
plánovaný postup v implementaci jednotlivých etap daného intervenčního programu. Obvykle
jsou realizovány v době, kdy je posuzovaný intervenční program již usazen a kdy jsou, podle
očekávání, překonány počáteční problémy; zároveň jde o období, které poskytuje dostatečný
prostor pro provedení nápravy k tomu, aby vytyčené cíle mohly být skutečně dosaženy.
Doporučuje se, aby při provádění mid-term evaluací byly využívány monitorovací zprávy,
nicméně tento požadavek není vždy možné naplnit35. Pokud jde o mid-term evaluace
definované Radou ES, pak se striktně vyžaduje, aby tento typ evaluací provedl nezávislý
posuzovatel, a aby tyto evaluace zkoumaly počáteční výsledky daného intervenčního
programu, míru, v jaké byly dosaženy konkrétní cíle a způsob využívání a dosavadního
čerpání finančních prostředků. V obecné rovině však platí, že mid-term evaluace mohou mít i
podobu self-evaluací, kdy reflexi dosavadního průběhu intervenčního programu uskutečňují
samotné zainteresované strany. S tímto pojetím je možné se setkat např. v průběhu čerpání
grantů, kdy výroční zprávy připravují samotní příjemci. Mid-term evaluace však mohou být
prováděny také externím evaluátorem a mohou mít intrusivní charakter (nejčastěji formou
návštěvy externího evaluátora in situ).
33
V tomto textu s uvedeným překladem záměrně nepracujeme, neboť oficiální překlad evokuje, že ex-ante
evaluace mají jakoby provizorní charakter, jsou nedokončené či neúplné, což bohužel nevystihuje jejich
podstatu. Vzhledem k tomu odkazujeme na originální pojmenování (tj. ex-ante), alternativně navrhujeme
překládat tento termín jako „výchozí evaluace“ či „výchozí hodnocení“.
34
Podrobněji je needs assessment popsáno níže.
35
Obvyklou bariérou je v tomto ohledu nedostatečná kvalita monitorovacích dat (nevhodný zdroj dat), jejich
neúplnost (řada ukazatelů není k dispozici) a nejednotný formát (změny v průběhu implementace).
94
Ex-post evaluace se zaměřují na analýzu výstupů, výsledků a dopadů daného intervenčního
programu. Obyčejně se provádějí až s časovým odstupem, aby bylo možné zachytit nejen
výstupy a výsledky, ale i dopady sledovaného intervenčního programu. Ex-post evaluace mají
jasně sumativní charakter; v řadě případů (jednorázové intervenční programy) sice neposuzují
užitečnost dalšího pokračování programu, ale zpětně sledují a posuzují jeho efektivitu a míru
naplnění vytyčených cílů. Nařízení ES36 explicitně požaduje, aby ex-post evaluace byly
zaměřeny na hodnocení využití prostředků, účinnosti a efektivity, a dále vyžaduje, aby byla
pozornost věnována faktorům, jež přispívají k úspěchu či selhání realizace, dosaženým cílům
a výsledkům spolu s posouzením jejich udržitelnosti.
36
Ex-post evaluace jsou v českém překladu nazývány „dodatečným hodnocením“, což opět považujeme za
neadekvátní a nesprávný překlad.
95
6.4 Dle předmětu evaluace: evaluace výstupu, evaluace procesu
a výzkum potřeb
Klasifikace evaluačních studií založená na předmětu evaluace vychází, podobně jako
klasifikace předchozí, z postupu intervenčního programu a z jednotlivých fází jeho rozvoje.
Na rozdíl od předešlé klasifikace však tento způsob přirozeně navazuje na klíčové etapy
rozvoje intervenčních programů. V této práci jsou jednotlivé typy uváděny jakoby pozpátku,
od konečných fází zaváděných intervenčních programů směrem k ranějším etapám. Důvodem
tohoto převrácení je význam, který je daným typům evaluací přikládán. Největší důležitosti se
tedy těší evaluace výstupu (či přesněji výstupu, výsledku a dopadu, což je podrobněji
vysvětleno dále), následuje evaluace procesu a relativně nejmenší váha je v oboru evaluací
přikládána výzkumu potřeb. Pokud bychom však následovali chronologickou stopu, pak by
tyto tři typy evaluací byly prezentovány v opačném pořadí.
6.4.1 Evaluace výsledku (outcome evaluation)
Evaluace výsledku jsou typem evaluací, jež lze považovat za tradiční; vůbec první evaluace
prováděné R. Tylerem se totiž zaměřovaly právě na hodnocení výsledků nově zaváděných
osmiletých osnov. Tento typ evaluačních studií se tedy zaměřuje především na popis,
exploraci a stanovení změn, které nastaly ve skupině beneficientů či jiných dotčených
subjektů v důsledku působení daného intervenčního programu (Fitzpatrick, Sanders, Worthen
2004). Za hlavní účel evaluací výsledku někteří další autoři, např. Unrau, Gabor, Grinnell
(2007), považují analýzu změny v chování cílové skupiny poté, co její zástupci byli podrobeni
působení příslušného intervenčního programu.
Evaluace dopadu (impact evaluation) zahrnují jednak měření pozitivních a negativních změn,
které posuzovaný intervenční program přinesl dotčeným subjektům, a dále také stanovují,
zdali tyto změny byly skutečně způsobeny daným intervenčním programem (Datta, Grasso
1998). Evaluace dopadu mají de facto stejný cíl jako evaluace výsledku, odlišují se tím, že se
zaměřují na dopady intervenčního programu, tedy na dlouhodobě udržitelné efekty vyvolané
daným intervenčním programem (Kirkpatrick, Clive 2007).
Přestože evaluace výsledků přímo vybízejí k provedení sumativních evaluací, jejichž cílem by
bylo ověření, zdali daný intervenční program dosahuje vytyčených cílů či nikoliv, lze
evaluace výsledků provádět také formativním způsobem (Schalock 2001). Takováto podoba
96
evaluace výsledků se soustřeďuje nikoliv na identifikaci subjektů zodpovědných za případné
nedosažení cílů a nehledá ani „viníka“ neuspokojivých závěrů, ale pokouší se identifikovat
hlavní bariéry dosažení daných cílů a hledat způsoby jejich překonání. Použití formativního
způsobu evaluace výsledků předpokládá takovou povahu intervenčních programů, která
dovoluje jejich opakování (např. etapové projekty). Za určitých okolností lze za formativní
evaluace výsledků považovat rovněž mid-term evaluace.
6.4.2 Evaluace procesu (process evaluation)
Tento typ evaluací se zaměřuje na zachycení mechanismů působení sledovaných
intervenčních programů. V rigidní podobě se procesní evaluace soustřeďují na soulad
každodenních činností vykonávaných v rámci sledovaných intervenčních programů s předem
definovanými postupy a pravidly (Baumgartl, Lorenzo, Mizikaci 2005). V méně rigidní
podobě se procesní evaluace dále zaměřují také na odhalení možných příčin vyskytnuvších se
problémů, úspěchů a změn plynoucích z běžného provozu daného intervenčního programu.
Předmětem zájmu evaluací procesu tedy není intervenční program samotný a už vůbec ne
jeho výsledky, nýbrž způsob, jak je výsledků dosahováno. Klíčovou otázkou evaluace procesu
je: “Co se děje?“, „Jak se to děje?“, „Jak se zainteresované strany zapojují do intervenčního
programu?“.
V některých případech se hovoří o tzv. procesní komponentě při evaluaci, čímž se posiluje
přesvědčení, že komplexní evaluace intervenčních programů zahrnuje kromě analýzy
výsledků také část, jež se zaměřuje na popis a detailní rozbor procesů. Nicméně je třeba
dodat, že evaluace procesu bývají velmi často realizovány jako samostatné studie.
Podle některých evaluátorů zaměřených na evaluaci výsledků (jako např. Scriven) je třeba
přistupovat k evaluaci procesu velmi uvážlivě, neboť tento typ evaluací nevede ze své
podstaty k symetrickým výsledkům – tato metoda totiž v mnoha konkrétních situacích
zvýrazňuje negativní jevy v průběhu realizace intervenčního programu, zatímco velké většině
„standardně“ vykonávaných procesů není věnována téměř žádná pozornost. Je proto
smysluplné zaměřit se především na funkční komponenty sledovaných procesů, tedy na
komunikaci (a to vnitřní i vnější) a interface (vůči klientům i dalším zainteresovaným
stranám).
97
Y. Unrauová poukazuje na dva procesy, které si zasluhují specifickou pozornost; jsou jimi
proces poskytování služeb klientům (tj. na jedné straně činnost pracovníků daného programu
a na straně druhé profil klientů a jejich spokojenost) a proces administrativní podpory, který
pomáhá udržovat poskytování služeb zákazníkům37 (Unrau et al. 2007).
Evaluace procesu bývají nejčastěji prováděny ve dvou podobách, jednak jako evaluace
kontextu (context evaluation), a dále jako evaluace samotného zavádění (implementation
evaluation). Evaluace kontextu se zaměřuje na rozbor dopadů na průběh samotného
intervenčního programu vyvolaných kontextem a bezprostředním okolím. Naproti tomu
evaluace samotného zavádění se zaměřuje na posouzení průběhu provádění daného
intervenčního programu či jednotlivého opatření (Bradley 2007). Evaluace samotného
zavádění se velmi podobají monitoringu, neboť sledují takové okolnosti, jakými jsou
dodržování harmonogramu či rozpočtová kázeň. Přesto však není s monitoringem totožný,
protože tato forma evaluace procesu postrádá sumativní ráz, který je monitoringu vlastní.
Evaluace samotného zavádění mají naopak ve velké většině formativní ráz, kdy prováděné
evaluace přicházejí s konkrétními náměty na zavedení účinných opatření, která by umožnila
efektivnější implementaci bez toho, aby poháněla jednotlivé zainteresované strany
k odpovědnosti.
Evaluace procesu lze tedy považovat za jakousi extenzí monitoringu; evaluace procesu totiž
analyzují, sumarizují a rozvíjejí údaje poskytované monitoringem. Od evaluace procesu je
třeba odlišovat formativní evaluace. Evaluace procesu totiž může být prováděna nejen jako
formativní studie, ale v rámci evaluace procesu lze anticipovat také sumativní typ evaluace.
V případě formativních evaluací procesu jde o identifikaci nejslabších článků v celém procesu
a v hledání způsobů, jak činnosti v tomto úseku vylepšit (školení pro pracovníky
intervenčního programu, zvýšení počtu pracovníků intervenčního programu, jiné rozdělení
pracovních úkolů mezi pracovníky intervenčního programu atd.). Na druhé straně sumativní
evaluace procesu jsou kontrolou dodržování postupů. V rámci takto pojatých evaluací mohou
být jednotliví pracovníci voláni k zodpovědnosti za jednání odchylující se od stanovených
postupů či naopak mohou být odměňováni za jejich dodržování.
37
Její oblastí zájmu jsou především programy ve sféře sociální práce, nicméně platnost významu obou procesů je
podle našeho přesvědčení univerzální.
98
6.4.3 Výzkum potřeb (needs assessment)
Výzkum potřeb identifikuje a měří míru nenaplněných potřeb (požadavků) v rámci sledované
cílové skupiny (Gaber 2000); B. Witkinová a J. Altschuld píší v tomto ohledu o rozdílech
mezi tím, co je a tím, co by mělo být (Witkin, Altschuld 1995), přičemž bezprostřední kontakt
evaluátora se zainteresovanými stranami umožňuje odhadnout užitečnost a inakceptanci
konkrétních aspektů intervenčního programu (Posavac, Carey 2003). Reviere et al. (1996)
definují výzkum potřeb jako způsob zjištění rozdílu mezi reálným a ideálním stavem
reflektovaným pomocí konkrétních hodnot, jež jsou danými zainteresovanými stranami
sdíleny. Reviere, ale i mnozí další, v této souvislosti zdůrazňují potenciální proměnlivost
předmětu potřeby a dále poukazují na mnohost variant, mezi nimiž lze volit při hledání
způsobu uspokojení té které potřeby. V pozadí každého takového rozhodovacího procesu
založeného a podporovaného výzkumem potřeb je jednak existence samotné potřeby a
současně také alespoň teoretická dostupnost způsobu uspokojení dané potřeby. Výzkum
potřeb je tedy posouzením stupně důležitosti a míry relevance jednotlivých problémů
vnímaných konkrétními zainteresovanými stranami a hodnocením potenciálních dopadů,
nákladů a proveditelnosti konkrétních činností, které mohou vzniklou potřebu uspokojit.
McKillip (1987) definuje výzkum potřeb velmi přímočaře jako nástroj pro podporu
rozhodování (např. o nabídce kursů celoživotního vzdělávání či o způsobu financování ústavu
pro bezmocné adolescenty).
Klíčem k adekvátně provedenému výzkumu potřeb je jasné rozlišení mezi potřebami (needs)
a osobními preferencemi (wants). V celé řadě případů totiž nemusí být skutečná potřeba tím,
co příslušné zainteresované strany (v tomto případě beneficienti) sami chtějí. Častokrát může
mít způsob uspokojení potřeby takovou formu, kterousi dotčené zainteresovaní strany
opravdu nepřejí. Proto je třeba uvažovat vždy o zásadních diferencích mezi potřebami a
osobními preferencemi; v tomto ohledu platí, že při absenci potřeby dochází k malfunkcím
(např. intervenční program nemůže dosáhnout svých cílů), zatímco výsledkem chybějících
osobních preferencí je „pouze“ nespokojenost některých beneficientů. Dále platí, že nízká
míra saturace konkrétní potřeby nemusí být nutně vnímána samotnými beneficienty jako
újma; v tomto ohledu je jasně patrné sepětí potřeb s hodnotami, kdy lidé s různými hodnotami
rozlišují různé potřeby.
99
Obrázek č. 9 Srovnání vzájemného vztahu mezi potřebami a osobními preferencemi
Potř
Potřeby
Osobní
Osobní preference
1
2
3
1 = preferované
preferované, nikoliv vš
však nezbytně
nezbytně nutné
nutné
2 = pož
požadované
adované (preferované
(preferované) nezbytnosti (skuteč
(skutečné potř
potřeby)
3 = neuvě
neuvědomě
domělé nebo nechtě
nechtěné potř
potřeby
Zdroj: autor
Nutnost pečlivého rozlišování mezi potřebami a osobními preferencemi je velmi dobře patrná
v celé řadě konkrétních aplikačních situací; např. při výzkumech hodnocení výuky. Žáci
obvykle dokáží velmi dobře definovat své osobní preference (wants) a v realizovaných
výzkumech pak snadno deklarují svou míru spokojenosti s jejich naplněním. Na druhé straně
však sami nemohou definovat kompletní portfolio svých potřeb spojených se vzděláváním a
už vůbec nemohou identifikovat konkrétní řešení a posoudit jejich adekvátnost.
Při podrobnější analýze jednotlivých typů potřeb lze podle Altschulda a Witkinové (2005)
rozlišovat tři základní dimenze potřeb:
a) vědomé a nevědomé potřeby (conscious needs × unconscious needs)
Nevědomost je třeba vztahovat pouze k nositeli potřeby (potřebu si neuvědomuje subjekt,
který je hodnocen, nicméně dané potřeby si jsou vědomy ostatní zainteresované strany). Při
identifikaci nevědomých potřeb je nutné zahrnout cíle samostatných cílových skupin (např.
nejen jednotlivce dotčené daným programem, ale také experty atd.).
b) naplněné a nenaplněné potřeby (met needs × unmet needs)
Naprostá většina výzkumů potřeb (zejména těch, které se týkají nově zaváděných
intervenčních programů) se zaměřuje na nenaplněné potřeby. Prostřednictvím řady technik a
nástrojů se snaží takové potřeby identifikovat a zejména pak poukázat na jejich naléhavost.
Nicméně i potřeby, které jsou aktuálně naplněné, vyžadují stejnou míru pozornosti. Jejich
identifikace a popis totiž může pomoci při hledání případných variant jejich uspokojení
(častokrát je v případě zavedených intervenčních programů kladena přílišná pozornost na
způsob uspokojení dané potřeby, ovšem potřeba samotná ustupuje do pozadí). V mnoha
případech se změnou vnějšího kontextu může stát, že původní potřeba zanikne, přesto však
intervenční programy koncipované pro její uspokojení přetrvávají. Z podobných důvodů
mohou být nelezeny nové a efektivnější způsoby, jak stávající potřeby uspokojovat.
100
c) instrumentální a cílové potřeby (treatment needs × outcomes needs)
Rozlišení mezi instrumentálními (treatment needs) a cílovými potřebami (outcomes needs)
má zásadní význam pro samotnou metodiku zkoumání potřeb. Instrumentální potřeby jsou
totiž vždy spojeny se způsobem uspokojení dané potřeby a s konkrétními nástroji pro
dosažení, naplnění či uspokojení dané potřeby. Instrumentální potřeby se tak přímo váží ke
způsobu řešení vzniklých problémů. Naproti tomu v případě cílové potřeby jde o problém
samotný; cílovou potřebou tak může být např. nízká míra nezaměstnanosti v daném kraji či
regionu; instrumentální potřebou je pak v tomto případě může být zavedení rekvalifikačních
kursů pro nezaměstnané.
Davidson (2005) poukazuje na hlavní diference v účelu provedení výzkumu potřeb mezi
novými programy a stávajícími/zavedenými. Výzkum potřeb se v případě zavedených
programů využívá pro identifikaci sledovaných výsledků či dopadů a jejich relativního
významu. Výzkum potřeb tak říká, na co se zaměřit, až budou posuzovány dopady programu.
Provázání výzkumu potřeb a evaluace výsledku zakládá samotnou podstatu evaluace
intervenčních programů, neboť ty jsou (nebo by měly být) koncipovány tak, aby uspokojovaly
konkrétní potřebu či skupinu potřeb. Ověření, do jaké míry tak skutečně činí, což je náplní
evaluace výsledku, tak uzavírá logickou smyčku poznání funkčnosti daného intervenčního
programu.
V případě nově zaváděných programů je identifikace potřeby složitější o to, že řadu potřeb si
lidé neuvědomují a nedovedou posoudit ani způsoby jejich saturace. Potřeby jsou totiž vždy
závislé na daném kontextu a odvíjejí se od něj.
S konceptem „potřeby“ přišel Scriven, který jimi v kontextu svého tzv. exploračního přístupu
k evaluacím (viz níže) suploval apriorně definované cíle manažerů intervenčních programů.
Potřeby tak ve Scrivenově přístupu poskytují evaluátorům objektivní základnu pro posouzení,
zda bylo dosaženo výsledku či nikoliv (House 1980).
Výzkum potřeb je oproti ostatním evaluacím specifickým typem šetření, neboť se nesoustředí
ani na minulost (tak, jak je v kontextu evaluací obvyklé), ale ani na přítomnost. Je totiž
zaměřen na budoucí stavy a situace.
101
Výzkum potřeb může mít jak formativní, tak také sumativní povahu (Soriano 1995).
V případě formativního pojetí výzkumu potřeb je smyslem takovéhoto šetření nalézt s pomocí
evaluačních technik způsob, jak daný intervenční program nastavit a jak ho zavést, aby co
nejlépe uspokojoval příslušné potřeby. Pokud má výzkumu potřeb sumativní charakter, je
většinou koncipován tak, aby odhalil existenci potřeby, případně jasně doložil, že daná
potřeba neexistuje. Sumativní výzkum potřeb rovněž poskytuje údaje pro rozhodnutí, zdali má
daný intervenční program vůbec začít.
Výzkum potřeb je od roku 2002 vyžadován u všech federálních intervenčních programů,
neboť je součástí posouzení jejich efektivnosti. V tomto ohledu se striktně požaduje odkaz ke
konkrétní potřebě (která v daný okamžik prokazatelně existuje) či k přesně vymezenému
problému nebo zájmu, který plánovaný intervenční program bude naplňovat38.
38
Viz Office of Management and Budget, 2002, str. 6
102
7. Soudobé evaluační přístupy
Existence tzv. přístupů k evaluaci či evaluačních přístupů (approaches) je jednou
z charakteristik, jež odlišují oblast evaluací od základního společenskovědního výzkumu i od
ostatních oblastí aplikovaného výzkumu; ani v základním, ani v aplikovaném výzkumu totiž
evaluační přístupy nemají obdobu. Jejich definice a vymezení je navíc poněkud obtížné, neboť
jednotliví autoři doposud nenašli v této konkrétní oblasti shodu na jednotné a konsistentní
terminologii. V důsledku toho se v literatuře o evaluacích lze kromě pojmu „přístup
(approach)“, setkat také s pojmem „model“. V této práci je však pojem přístup důsledně
používán a chápán jako subparadigmatická vrstva v hierarchii, již nastiňuje obrázek č. 10.
Obrázek č. 10 Zasazení evaluačních přístupů mezi vertikální vrstvy
Paradigmata
Přístupy
Design
Modely
Metody
sbě
sběru dat
Zdroj: autor
Je tedy patrné, že evaluační přístupy nedosahují takové úrovně obecnosti a komplexity jako
paradigma; z navržené pozice evaluačních přístupů dále plyne, že v rámci jednoho paradigma
může koexistovat více přístupů, které nejsou disjunktní (a lze je tedy při aplikaci
kombinovat). Současně platí, že evaluační přístup je obecnější kategorie než design evaluace,
který je svázán s daným aplikačním kontextem a s konkrétní evaluační situací; taková míra
konkrétnosti není v případě evaluačních přístupů patrná. Dále platí, že každý evaluační
přístup může subsumovat několik různých designů (a potažmo modelů a metod sběru dat), ty
přitom mohou být aplikovány samostatně dle dané konkrétní situace nebo ve vzájemných
kombinacích.
Ještě konkrétnější rovinu představuje rovina jednotlivých evaluačních modelů, které
představují standardizovaný způsob provedení evaluace v rámci dané situace. Tyto modely
103
obecně specifikují soubor ukazatelů, jež mohou být v dané evaluační situaci využity; velmi
často tyto modely vzniky induktivně na základě mnohaletých zkušeností jednotlivých
evaluátorů. Těmto modelům odpovídají např. některé proprietární techniky z oblasti
marketingového výzkumu typu BrandDynamics, ATM, TRI:M, BPTO apod. Definice a obsah
poslední úrovně je zřejmý a nevyžaduje tak žádný bližší komentář.
Hledání příčin existence evaluačních přístupů (a potažmo tak jejich absence v jiných
oblastech) sice významně přesahuje rámec této práce, přesto bychom však rádi formulovali
dvě hypotézy týkající se vzniku a role přístupů. První hypotéza vychází z předpokladu, že
existence přístupů je úzce svázána s obecným designem evaluací, který je v naprosté většině
případů komplexnější než je design společenskovědních výzkumů. To vytváří prostor pro
různé kombinace a formy uspořádání jednotlivých prvků, z nichž je daná evaluační case-study
komponována. Přístupy v základním výzkumu vlastně ani nikdy neměly příležitost vzniknout,
neboť základní výzkum si od konkrétní aplikační oblasti udržuje odstup při aplikovaném
výzkumu jsou jen výjimečně realizovány projekty, které mají charakter případových studií
kombinujících více výzkumných šetření v rámci jednoho projektu. V souvislosti se stále
častějším využíváním mixed-design projektů se však situace zvolna mění, a tak mohou u
těchto šetření vznikat zárodky pro vznik „přístupů“ i na poli aplikovaného či základního
výzkumu. Prozatím však chybí dostatečná kazuistika, aby mohly být nějaké přístupy vůbec
definovány, popsány a prakticky využívány. Pokud tedy dojde v pozdějším období
k etablování a rozvoji přístupů i v ostatních aplikovaných oblastech společenskovědního
výzkumu, získá tato hypotéza na své validitě.
Druhá hypotéza vychází z opačného předpokladu a pohlíží na „přístupy“ jako na symptom
před-paradigmatické fáze rozvoje evaluací. Nelze se totiž ubránit analogii s etapou velkých
teorií při vývoji sociologie, kdy jednotliví autoři definovali obsah vědy, formulovali její
program a navrhovali jednotlivé metody. Jejich „přístupy“ byly rovněž personifikované a
dodnes jsou tato pojetí asociována s jejich zakladateli. Rovněž jejich existence byla umožněna
absencí jasně zakotvených a obecně sdílených metod. K verifikaci této hypotézy může přispět
další vývoj evaluačního oboru.
Ještě předtím, než bude věnována pozornost jednotlivým evaluačním přístupům, rádi bychom
alespoň výčtem poukázali na některé charakteristické znaky, jež jsou všem přístupům
společné (Alkin, Christie 2005). Platí, že přístupy (1) vypovídají o pojetí externí validity, (2)
104
odrážejí vztah šetření (údajů) a reality (konkrétní hodnocené situace), (3) vyjadřují/nastiňují
základní metodologickou orientaci a v neposlední řadě také (d) definují ústřední zájem či
hodnotu, která určuje celkovou metodologickou orientaci.
105
7.1 Cílené evaluace (Goal-based evaluation; Ralph Tyler)
Tylerův přístup byl v daném historickém kontextu nevídaný; podle historického exkursu
Guby a Lincolnové (1989) zachycujícího vývoj evaluací, převládal v meziválečném období
takový způsob evaluací, kdy byly využívány sumarizované výsledky standardizovaných
znalostních, kognitivních či výkonnostních testů jako jsou např. SRTA (Stone Reasoning Test
in Arithmetic, jenž je používán od roku 1908) či SAB (Stanford Achievement Battery
vytvořený v roce 1922)39. Tyto a mnohé z dalších podobných testů byly v té době poměrně
běžně používány pro svůj primární účel spočívající v individuální diagnostice žáků. Kromě
toho však výsledky těchto testů nacházely sekundární využití, a to v sumarizované
(agregované) podobě, kdy na jejich základě byly porovnávány jednotlivé třídy v rámci školy
či dokonce celé školy v rámci dané oblasti či státu. R. Tyler však využití standardizovaných
testů odmítl, a namísto toho vypracoval vlastní evaluační přístup. Jeho záměrem totiž bylo
hodnotit nové osmileté osnovy a obával se, že diagnostické testy, primárně vytvořené pro
měření konkrétních schopností jednotlivých žáků, nepřinesou potřebná data o jejich účinnosti.
Tyler v této souvislosti poukazoval především na rozdílný předmět analýzy (schopnosti
jednotlivých žáků zachycené testy oproti konkrétně specifikovaným výsledkům používaných
osnov), kdy schopnosti používaných diagnostických testů vypovídat o výsledcích (efektivitě)
nových osnov by nebyly podle R. Tylera obhajitelné.
Přestože Tylerův odkaz podstatně přesahuje rámec jednoho samotného evaluačního přístupu,
jeho hlavní doménou je takový způsob testování, kdy k předem definovaným cílům (tj.
očekávaným výstupům) jsou během evaluace přiřazovány skutečně dosažené a empiricky ověřené
výsledky a oba typy informací jsou porovnány. Z tohoto důvodu je Tylerův přístup některými
nazýván jako objectives-oriented (Alkin 2004), jiní o tomto přístupu píší jako o goal-based
evaluation (Stufflebeam, Shinkfield 2007). Obě pojmenování však stejně dobře vystihují
základní podstatu Tylerova přístupu a lze je používat jako synonyma.
Cíle intervenčního programu jsou tedy v rámci tohoto přístupu základním a jediným zdrojem
standardů a kritérií. Proto, aby bylo možné s cíli v rámci cíleného přístupu k evaluacím
pracovat, měly by mít měřitelnou podobu – R. Tyler v tomto ohledu prosazoval takové cíle,
39
V tomto období byl rozvoj evaluací svázán téměř výlučně s oblastí školství a vzdělávání; ostatní typy evaluací,
jako např. evaluace intervenčních programů, se objevily až v 60. letech.
106
které mají odraz v chování jednotlivců (srov. behaviorismus)40. Základní otázka cíleného
přístupu k evaluacím tedy zní: „Lze pozorovat dané prvky chování u účastníků intervenčního
programu či nikoliv?“
Obrázek č. 11 Princip cílených evaluací
Cíl intervence (ideá
(ideál)
Kam se chceme dostat?
Výchozí
Výchozí stav
Porovná
Porovnání
Před intervencí
intervencí
Skuteč
Skutečný výsledek intervence
Kde jsme skonč
skončili?
Zdroj: Patton 2008; upraveno autorem
Tylerův přístup k evaluacím je založen na plném chápání komplexity evaluačního procesu,
jehož cílem je dospět k závěru deklarujícímu míru, ve které posuzovaný program naplňuje své
předem stanovené cíle. R. Tyler sám svou evaluační činnost prováděnou v polovině 30. let při
hodnocení nově zaváděných osmiletých osnov popsal jako posloupnost sedmi základních
kroků takto (cit. dle Alkina 2004):
1) definování obecných cílů
2) kvantifikace cílů a jejich klasifikace (uspořádání cílů do menšího počtu základních skupinek)
3) nalezení specifických behaviorálních vzorců pro každou skupinku cílů
4) identifikace situací, ve kterých je možné zachytit (pozorovat) výskyt požadovaných
behaviorálních vzorců; situací, nalezení okolností, za nichž lze míru dosažení stanovených
cílů jasně dokumentovat
5) výběr adekvátních metod získání potřebných údajů pro každou skupinku cílů; výběr či
vývoj techniky měření stupně dosažení cílů
6) sběr dat včetně provedení předvýzkumu a volba optimální metody sběru dat
7) srovnání získaných údajů s předem definovanými cíli; stanovení způsobu využití získaných
výsledků a nástin možností a omezení při jejich interpretaci
Tylerův přístup byl novátorský ještě v jednom ohledu: do té doby používané testování
neposkytovalo žádnou zpětnou vazbu, která by mohla pomoci dosažené výsledky zlepšovat.
Absence obecného standardu a akceptačních kritérií (vodítka, která by pomohla určit, jaké
40
V pedagogickém výzkumu mají takový charakter tzv. achievement testy.
107
výsledky jsou „dobré“ a jaké nikoliv) neumožňovala naplnit bazální princip evaluační
činnosti, tedy stanovit věcný základ (merit) a hodnotu (worth). Kdybychom i přes tyto
výhrady připustili, že prováděné testování neslo jisté stopy evaluací, označili bychom je
zpětně z dnešního pohledu jako evaluace sumativní. Posuzované hodnoty totiž vytvářely
pořadí jednotlivých tříd či škol a ukazovaly na úspěch či neúspěch jednotlivých subjektů.
Naproti tomu evaluace prováděné R. Tylerem přinášely zcela jiný typ údajů,
zprostředkovávaly totiž data, která poskytovala detailně strukturované výsledky o
diskrepancích mezi skutečnými a očekávanými či požadovanými cíli. Tím de facto poskytly
návod, které z výsledků (tedy přesněji, které z behaviorálních vzorců dokumentujících určitou
třídu cílů) je vhodné v příštím období zlepšovat. R. Tyler svým pojetím tedy umožnil, aby
osmileté osnovy byly nejen porovnány oproti dosavadnímu kurikulu z hlediska rozvoje
schopností a dovedností podrobivších se žáků, ale současně aby se osmileté osnovy
s intenzivní pomocí jím prováděných evaluací dále rozvíjely.
Tylerův odkaz je dodnes živým způsobem provádění evaluací. Jednak tím, že inspiroval
mnohé pokračovatele k dalšímu rozvíjení cíleného přístupu, mezi všemi jmenujme např.
Blouma et al. (1956) či Magera (1962), a dále tím, že umožnil jiným, aby vůči cílenému
přístupu k evaluacím vymezili své vlastní přístupy (viz např. M. Scriven či E. Guba, o kterých
je pojednáno ve větším detailu níže). Koneckonců současná podoba evaluací tak, jak je
požadována EU i Federální vládou USA je do značné míry založena právě na Tylerových
cílených evaluacích41. V obecnějších souvislostech lze hovořit o tzv. objectives-oriented
tradition, která se objevuje i v jiných oborech: přestože nebyl doposud prokázán přímý vliv,
nelze si nepovšimnout shody základních principů např. s dnes velmi rozšířeným proudem
MBO (Management by Objectives) v manažerských studiích.
Nespornou výhodou Tylerova cíleného přístupu je jeho relativní jednoduchost a možnost
snadného provedení, třeba i jen formou interně vykonávané evaluace, bez pomoci speciálně
školených evaluátorů. Rovněž fakt, že tento evaluační přístup vede zúčastněné zainteresované
strany (zejména pak manažery posuzovaných intervenčních programů) v prvním plánu
k zamyšlení nad svými záměry a skutečně dosaženými cíli a druhoplánově pak k jejich
precizaci a sdílení s ostatními zainteresovanými stranami lze považovat za jeho silnou stránku.
41
R. Tyler se sám stal v 60. letech vedoucím NAEP (National Assessment of Educational Progress), což byl
federální program pro sběr dat o výkonech žáků amerických škol.
108
Někteří ze současných evaluátorů při hodnocení Tylerova odkazu poukazují na skutečnost, že
jeho přístup vlastně ještě žádnou skutečnou evaluací není, neboť jde o pouhou deskripci
postrádající samotné hodnocení. Nejen R. Tylerovi, ale obecně celému cílenému přístupu je
dále vytýkáno, že zcela odhlíží od kontextu, v němž jsou evaluace realizovány, a že nebere v
potaz nezamýšlené dopady, ke kterým mohou posuzované programy vést. Cílenému přístupu
k provádění evaluací lze rovněž vytknout relativně vysoký sklon k managerialismu (House
1993; Scriven 1993; Guba, Lincoln 1989), a sklon k obecně zaměřenému posuzování
sledovaných intervenčních programů. Nedostatkem, jenž je výrazně akcentován zastánci tzv.
senzitivního přístupu k evaluacím, je, že cílený přístup jako formativní způsob evaluace vůbec
nepočítá s individuálními hodnotami a hodnotovými systémy samotných klientů (v Tylerově
případě žáků) a nebere v rámci posuzované situace ohled na jejich svobodné rozhodování a
jednání (viz např. odlišné aspirace žáků škol v městských aglomeracích oproti aspiracím žáků
na venkově).
Při hodnocení Tylerova přínosu nebyl doposud doceněn ještě jeden přínos. Tyler totiž svým
přístupem přivedl do evaluací primární data a otevřel tak prostor pro pronikání
společenskovědní metodologie (zaměřené na sběr a analýzu primárních dat) do oblasti
evaluací. Přístup testování používaný do té doby se totiž zakládal výhradně na sekundární
práci s jednotlivými testy (jejich vyplňování nebylo prováděno za účelem evaluací, ale byly
evaluátory takto využívány).
109
7.2 Explorační evaluace (Goal-free Evaluation; Michael Scriven)
Jak již bylo uvedeno, od dob R. Tylera byla významná část evaluací založena na porovnávání
cílů vytyčených před implementací programu příslušnými zainteresovanými stranami se
skutečně dosaženými výsledky. Tento způsob provádění evaluací, který Guba a Lincolnová
(1989) nazývají „popisem“ a považují ho za tzv. druhou generaci evaluační metodologie, je
využíván v řadě situací z rozličných důvodů dodnes42 a rozhodně ho nelze považovat ani za
překonaný, ani za aplikačně omezený či nevhodný. Je však pochopitelnou snahou navrhovat
nové přístupy překonávající své ascendenty v těch charakteristikách, jež vyvolávají největší
kontroverze a jejichž výsledky zůstávají v mnohých ohledech za původním očekáváním.
V tomto ohledu je explorační evaluace tedy třeba chápat jako Scrivenovu odpověď na cílený
přístup k evaluacím, jako odpověď, jež přinesla nový pohled na způsob provádění evaluací.
Podstatou rozdílu mezi cíleným a exploračním přístupem je stupeň pozornosti věnovaný
skutečným výstupům, výsledkům a dopadům posuzovaných programů. M. Scriven reagoval
na obvyklý nedostatek cílených evaluací, které sice dokázaly přesně odpovědět na otázku,
zdali bylo dosaženo vytyčených cílů a v jaké míře, nicméně vůbec nebraly v potaz
vyskytnuvší se nezamýšlené důsledky jejich působení43. Explorační evaluace tedy staví cíle
samotné do pozice hodnocených prvků daného intervenčního programu a odmítá jejich
apriorní danost. Scriven (1973) zdůrazňoval, že evaluátor by dokonce neměl znát cíle
posuzovaného intervenčního programu, aby jimi nebyl ovlivněn: „Goals bias the evaluator“44.
Toto je v kontextu Scrivenovy evaluační epistemologie tzv. kvalitativní význam objektivity;
za objektivní je v tomto ohledu považován takový výsledek, který může prokázat, že není
vychýlený45. Evaluátor by tedy v souladu se základním smyslem tohoto přístupu měl věnovat
pozornost všem výstupům, k nimž daný intervenční program směřuje, a to k výstupům
zamýšleným i nezamýšleným. Díky tomu mají explorační evaluace mnohem lepší
předpoklady zachytit i vedlejší a neočekávané důsledky posuzovaných intervenčních
42
Kromě toho, že jde o častý způsob v USA (zejména při hodnocení škol a vzdělávacích institucí
podporovaných z veřejných rozpočtů), je Tylerovský evaluační přístup velmi intenzivně využíván také při
evaluaci jednotlivých programů Evropské unie.
43
Podoba evaluací byla v 60. letech ovlivněna zákonnými pravidly, které přesně specifikovaly podobu
evaluačních výzkumů. Specifikace evaluačních výzkumů vycházely, s ohledem k účelu využití (např. rozhodnutí
o pokračování či zastavení finanční podpory konkrétních škol z veřejných zdrojů), z Tylerovy metodiky.
44
M. Scriven v této souvislosti někdy píše o tzv. „bias-free evaluation“.
45
Kromě této kvalitativní objektivity se rozlišuje také objektivita kvantitativní, která ztotožňuje objektivitu
s kvantifikací a spoléhá na shodu intersubjektivit (House 1980). Kvantitativní pojetí objektivity však M. Scriven
zásadně odmítá.
110
programů. Konkrétní evaluační praxe ukazuje, že explorační evaluace dosahují velmi dobrých
výsledků zejména při identifikaci krátkodobých a střednědobých efektů (tj. výstupů a
výsledků). Základní otázka exploračního přístupu k evaluacím tedy zní: „Jaké jsou veškeré
efekty dané intervence?“
M. Scriven ve svém exploračním přístupu poukazuje na potřebu vymanit se z rámce, který
soustřeďuje evaluační pozornost na dílčí oblasti a doporučuje provádět evaluace takovým
způsobem, při kterém by samotné hodnocení nebylo nijak svázáno s původními
programovými cíli. Tento evaluační přístup má navíc oporu také v normativní rovině
evaluační činnosti jako takové. Apriorní definice cílů, jejichž dosažení má daná evaluace
potvrdit či vyvrátit může totiž vést k jednostrannému zohlednění zájmů některých konkrétních
zainteresovaných stran (např. iniciátorů intervenčního programu nebo jeho manažerů), což by
bylo v rozporu s požadavky definovanými Joint Committee on Standards (cit. dle Sanders
1994) i s obecnými evaluačními principy. M. Scriven sám zdůrazňoval, že explorační
evaluace jsou z tohoto důvodu spravedlivějším přístupem (Scriven 1993).
Explorační evaluace předpokládají konsenzus mezi všemi zainteresovanými stranami na
jednotlivých kritériích posuzování a na relevanci zjištěných důsledků, a to jak zamýšlených a
očekávaných, tak také i těch nezamýšlených.
Z předchozího je patrné, že v podmínkách realizace exploračního přístupu evaluací je žádoucí
minimální interakce evaluátora s ostatními zainteresovanými stranami (tedy zejména s
manažery daného intervenčního programu a s jeho pracovníky).
Explorační evaluace při své aplikaci nevylučují simultánní využití cílených přístupů; z řady
konkrétních případových studií je skutečně patrná snadná možnost oba přístupy kombinovat.
Výhodou takovéto kombinace je maximalizace užitku z prováděné evaluace.
Explorační evaluace se však potýkají s kritikou poukazující na jejich insuficienci při
identifikaci pramenů pro stanovení kritérií daného hodnocení. Jak nalézt tato kritéria? Jak
provést operacionalizaci, když nejsou zadané (resp. evaluátorovi nejsou známé) cíle
posuzovaného intervenčního programu?
111
Bylo ukázáno, že uvedení exploračního přístupu k evaluacím není ve vývoji evaluační
metodologie ničím nahodilým; rozvinutí tohoto přístupu jasně vychází z diskursu 60. a 70. let,
jenž byl veden na téma účelu a poslání evaluační činnosti jako takové. Explorační přístup
k evaluacím je koncipován jako imanentní součást intervenčních programů, jako průvodce
zainteresovaných stran napomáhající v jejich rozhodovací činnosti v celém průběhu rozvoje a
v celé šíři implementace posuzovaných intervenčních programů. M. Scriven svým přístupem
jasně deklaroval za celý evaluační obor ambici zapojit evaluace do procesu přípravy a
implementace intervenčních programů v celé jeho šíři, čímž se pokusil marginalizovat
tehdejší uzance notně podporované cíleným přístupem volající po provedení evaluací až
v závěrečných fázích existence posuzovaného intervenčního programu, tj. až ve fázi, kdy je
intervenční program zaveden a kdy již působí.
112
7.3 Senzitivní evaluace (responsive evaluation; Robert Stake)
Také R. Stake ve svém přístupu senzitivních evaluací vyšel z původního Tylerova cíleného
přístupu, nicméně původní koncept rozšířil o analýzu dalších okolností, které dosažení
vytyčených cílů v kontextu daného intervenčního programu provázejí. R. Stake v tomto
ohledu upozorňuje, že kromě výsledků samotných je třeba přihlížet také k obecnějším
podmínkám a okolnostem, za nichž je daný intervenční program připravován. Je třeba dále
věnovat pozornost klíčovým procesům, které zajišťují, že intervenční program směřuje
k naplnění svých cílů, a v neposlední řadě je nutné obracet pozornost ke standardům, podle
nichž je intervenční program (resp. jeho cíle) posuzován. Stake (1980) v tomto ohledu
rozlišuje předem nařízený (pre-ordinate) a senzitivní (responsive) přístup, kdy poukazuje na
fakt, že řada do té doby provedených evaluací zdůrazňovala tvrzení o cílích, použití
objektivních testů, poukazovala na standardy (ne)dodržované pracovníky daného
intervenčního programu. Naproti tomu senzitivní evaluace mají obracet pozornost ke
komplexitě a k obtížně standardizované deskripci intervenčního programu. Zatímco
Scrivenova odpověď R. Tylerovi v podobě exploračního přístupu je ve své podstatě „ametodická“, neboť neodkazuje k žádnému konkrétnímu postupu, ani k žádným konkrétním
metodám či technikám, jimiž by evaluátoři měli explorační přístup naplňovat, senzitivní
evaluace zřetelně odkazují ke kvalitativní metodologii, „řeč čísel je příliš zjednodušující na to,
aby dokázala zachytit celkový dojem“ (Stake 2004).
Senzitivita Stakeova přístupu se naplňuje ve dvou základních směrech. Jednak platí, že
evaluátor je vnímavý vůči subjektům zapojených do procesu evaluace, což ve Stakeově pojetí
znamená důraz položený především na ty zainteresované strany, které jsou posuzovaným
intervenčním programem dotčeny. Senzitivní evaluátor tak věnuje významnou pozornost
zejména pracovníkům intervenčního programu, jeho klientům a beneficientům. V tomto
ohledu se evaluátor uplatňující senzitivní přístup snaží naladit na vlnu těchto
zainteresovaných stran a jakoby si nechává „vnutit“ jejich pohled, jejich vnímání a jejich
argumenty (Greene, Abama 2001). Současně však senzitivita tohoto přístupu znamená
vnímavost vůči požadavkům, otázkám a očekáváním, které od prováděných evaluací mají
jejich zadavatelé. Zatímco první aspekt Stakeova senzitivního přístupu k evaluacím odkazuje
k později se rozvinuvším konstruktivistickým evaluacím (per parenthesim, E. Guba coby
113
nositel konstruktivismu v evaluacích na R. Stakea přímo odkazuje a činí ze senzitivních
evaluací jeden ze dvou zásadních pilířů svého přístupu), druhý aspekt směřuje k utilitární
evaluaci M. Pattona.
Senzitivní přístup odvíjí legitimitu svých závěrů z faktu, že jsou akceptovány důležitými
zainteresovanými stranami. R. Stake se v tomto případě opírá o již zmíněnou kvantitativní
objektivitu, čímž staví senzitivní evaluace do kontrapozice jak vůči cílenému přístupu (což
není žádným překvapením, neboť oba přístupy vycházejí z diametrálně odlišných
předpokladů a směřují k zásadně odlišnému pojetí smyslu a účelu evaluační činnosti), tak také
vůči přístupu exploračnímu (což není na první pohled patrné, neboť oba přístupy sdílejí ideu
„otevřenosti“ při posuzování věcného základu a hodnoty).
Evaluace, které jsou prováděny v duchu senzitivního přístupu, nemají žádný pevný design; ten
se totiž vytváří postupně v průběhu realizace dané evaluace vždy na základě poznatků a závěrů
předchozí fáze. Evaluátor se tedy snaží senzitivně reagovat na postupně se rýsující kontury
zájmů jednotlivých zainteresovaných stran. Senzitivní evaluace tak přesouvají těžiště
evaluátorovy pozornosti od cílů intervenčních programů a jejich naplnění či nenaplnění
k důkladnému a detailnímu popisu (některých) zainteresovaných stran. Senzitivní evaluace
tak nespějí k jednoznačným odpovědím, které nabízí cílený přístup, zato však mapují
předpoklady pro jejich dosažení či bariéry, kvůli kterým nemohou být očekávané cíle naplněny.
V tomto ohledu není žádným překvapením, že senzitivní evaluace se metodologicky opírají
zejména o případové studie. Hodnocení každého jednotlivého intervenčního programu je
samostatnou studií, jež poskytuje evaluátorovi dostatečný prostor pro rozhodování o využití
konkrétních šetření. R. Stake sám poukazuje na vysokou roli kontextu, ve kterém je daná
evaluace prováděna a ve kterém daný intervenční program působí. Kontextem se přitom
v případě senzitivních evaluací rozumí především jednotlivé zainteresované strany, jejich
pozice, role a zájmy. Není proto žádným překvapením, že jsou to právě senzitivní evaluace,
které kladou takový důraz na výzkum forem vnímání posuzovaného intervenčního programu
ze strany jeho beneficientů a dalších zainteresovaných stran.
Senzitivní evaluace tedy nebývají obyčejně završeny nějakým ultimativním závěrem, který by
dával jednoznačnou odpověď, zdali posuzovaný program přináší očekávané efekty či nikoliv.
Namísto toho jsou dosažené výsledky vztahovány k očekáváním a k hodnotám jednotlivých
114
zainteresovaných stran, a tím poskytují podpůrné informace pro rozhodování o dalším
směřování sledovaného intervenčního programu46. V senzitivním přístupu k evaluacím platí,
že evaluátor je jakýmsi mediátorem zájmů jednotlivých zainteresovaných stran, nicméně není
(díky svému posuzování) specifickou zainteresovanou stranou, senzitivní evaluace tedy není
završena subjektivistickým závěrem samotného evaluátora.
V kontextu senzitivního přístupu je hodnotící soud evaluátora vsazen do kontextu vyjádřené
hodnoty intervenčního programu tak, jak ji vnímají ostatní zainteresované strany. V tomto
ohledu je senzitivní přístup velmi blízký konstruktivistickému evaluačnímu přístupu, který
považuje evaluátory za zainteresovanou stranu sui generis47.
Pohledem výzkumné metodologie je tak Stakeův přístup de facto apelem na využívání
smíšené metodologie, jak sám uvádí, „oba způsoby myšlení mohou stát vedle sebe“ (Stake
2004). Stake sice v tomto případě nepíše kvalitativní, resp. kvantitativní metodologii, nýbrž
odkazuje k senzitivnímu resp. cílenému přístupu k provádění evaluací, nicméně kvalitativněkvantitativní diskurs je v pozadí přesto jasně patrný. Stake ve svém senzitivním přístupu sice
volá po takových evaluačních postupech, které by dokázaly reflektovat komplexitu
posuzovaných intervenčních programů, současně však zdůrazňuje, že koncept měření
jednotlivých jevů nelze opustit. Senzitivní evaluace tak obyčejně vedou k méně objektivním
závěrům než cílený přístup, na druhé straně jsou však lépe přizpůsobeny naturelu samotného
intervenčního programu.
Ve Stakeově senzitivním přístupu k evaluacím je zřetelná inspirace M. Scrivenem a jeho
apelem na uskutečňování hodnotících soudů48. R. Stake však ve svém přístupu usiluje o
zjemnění Scrivenova ultimativního imperativu tím, že varuje před kontraproduktivní eskalací
vztahů mezi evaluátorem a hodnocenými subjekty, k níž důsledné následování Scrivenovy
výzvy nevyhnutelně vede. V neposlední řadě poukazuje na relativitu těchto soudů danou
mnohostí jednotlivých zainteresovaných stran, neboť co je nejlepší pro jednu stranu, nemusí
být nejlepší pro ostatní.
46
Ve Stakeově pojetí je myšlenka formativní funkce evaluací velmi zřetelná.
Konstruktivistický přístup je v detailu popsán níže. Konstruktivisté považují roli evaluátora za aktivní
(evaluátor je zúčastněný), což je v případě senzitivních evaluací naopak – evaluátor je „pasivním posluchačem“.
48
Scriven (1967) píše: „Evaluators must judge.“
47
115
7.4 Utilitární evaluace (utilization-focused evaluation; Michael Quinn
Patton)
Základní myšlenka tohoto přístupu není zcela originální, neboť již Suchman (1967) uvádí, že
„úspěch evaluačního projektu je závislý na jeho užitečnosti pro zadavatele, který se snaží
zlepšit poskytované služby“. E. Suchman dále shrnuje, že evaluátor musí mít neustále na
paměti potenciální užitečnost svých závěrů. Podobně také R. Stake věnoval polovinu
senzitivity svého přístupu využitelnosti provedené evaluace, když evaluátory nabádá, aby byli
vnímaví vůči požadavkům zainteresovaných stran, které budou výsledky provedené evaluace
využívat. Na druhé straně je třeba dodat, že Patton učinil z kritéria využitelnosti provedených
evaluací jádro svého přístupu, zasadil ho do náležitého kontextu a dovedl k uceleně
koncipovanému způsobu, jak k evaluacím a jejich realizaci přistupovat.
M. Patton rozvíjí své pojetí evaluací jako činnost, která je od svého počátku vedena v těsné
interakci evaluátora s klíčovými zainteresovanými stranami, a to zejména s těmi, které budou
pracovat s výsledky dokončené evaluace. V jeho snaze pochopitelně nejde pouze o
prvoplánové naplňování (jakýchkoliv) potřeb a požadavků konkrétních uživatelů evaluačních
zpráv, ale jde o rozsáhlou změnu jednotlivých postupů a procedur, díky níž by výsledky
evaluací mohly být nadány vysokým potenciálem použitelnosti v daných podmínkách a
potažmo také způsobilostí vyvolávat skutečné a praktické dopady. M. Patton si v tomto
ohledu uvědomuje, že smysluplnost provádění evaluací a využívání jejich poznatků při řízení
intervenčních programů je do značné míry závislá na tom, jak zadavatelé těchto evaluací a
další zainteresované strany (např. manažeři posuzovaných intervenčních programů) akceptují
poskytnuté výsledky. Svým přístupem se tedy M. Patton snaží předejít tomu, aby výsledky
provedených evaluací byly manažery intervenčních programů odloženy pro nepochopení či
pro jejich domnělou relevanci.
Nejde však jen o důraz na apriorní identifikaci uživatelů výsledků evaluací coby specifického
typu zainteresované strany; M. Patton současně zdůrazňuje roli aktuální situace a konkrétního
způsobu, jakým jsou výsledky provedené evaluace využívány. V tomto ohledu lze tedy
hovořit o jakési duální specifičnosti: na jedné straně je třeba uvažovat o specifičnosti
subjektu, tedy přesné identifikaci a vymezení subjektů, kterým jsou doručovány výsledky
provedených evaluací. Na druhé straně jde o specifičnost použití, tedy stanovení podmínek,
116
možností a omezení, za kterých budou výsledky evaluací využívány (obyčejně se specifikuje
povaha a typ rozhodnutí, které se od výsledků evaluace budou odvíjet, časový rámec daného
rozhodnutí, dopady rozhodnutí učiněného na základě výsledků provedené evaluace apod.).
Používané metody a techniky jsou pak zvoleny s ohledem k povaze zainteresovaných stran
používajících výsledky evaluací a způsobu jejich použití (Patton 1987).
Utilitární přístup k evaluacím tedy z celého spektra zainteresovaných stran obrací svou
pozornost k těm subjektům, které činí na základě evaluací další rozhodnutí, což významným
způsobem determinuje způsob provádění evaluací. V porovnání se Stakeovým senzitivním
přístupem, který jakoby balancuje mezi odpovědností vůči zadavatelům evaluace a zájmy
beneficientů či klientů posuzovaného intervenčního programu, M. Patton přenáší veškerý
důraz na zájmy zadavatelů. Vysoká pozornost věnovaná využitelnosti výsledků evaluací
nachází svůj odraz také v metodice takto prováděných evaluací, kdy je primární péče
věnována externí validitě. Vzhledem k tomu se u M. Pattona setkáme s větším odstupem od
experimentů a používání experimentálního designu, než např. u R. Tylera, jehož cílený
přístup je s experimentálním uspořádáním bytostně spjatý.
Důraz na zainteresované strany, který je kromě utilitárního přístupu k evaluacím také
charakteristický pro Stakeův senzitivní přístup, vede k individualizovanému či snad až
personifikovanému popisu evaluační situace.
Zatímco M. Scriven či R. Stake předkládají své přístupy jako obecný způsob provádění (těch
správných) evaluací, M. Patton od začátku koncipuje svůj přístup jako alternativu49. M.
Scriven pochopitelně připouští, že jeho explorační přístup lze kombinovat s přístupem
cíleným a dokonce k tomu sám nabádá, nicméně zároveň poukazuje na omezenou validitu
evaluačních studií založených výlučně na cíleném přístupu. Podobně také R. Stake naznačuje,
že jiné než senzitivní evaluace nemohou poskytnout tak bohatý popis posuzovaného prostředí,
jaký nabízí jeho přístup. M. Patton v tomto ohledu poukazuje, že každá evaluace je vlastně
svým způsobem (v jisté míře) utilitární; nakonec tuto vlastnost jasně vyžadují i standardy pro
provádění evaluací definované Joint Committee on Standards (cit. dle Sanders 1994). Pokud
však jde o celkový přístup k volbě uspořádání dané evaluace, je ponecháno na evaluátorovi
49
Např. výchozí definici utilitárních evaluací M. Patton formuluje jako doplněk k obecným definicím evaluací.
117
samotném, zdali podřídí zájmům zadavatele celý design či nikoliv, jestli zvolí utilitární
přístup či se rozhodne pro nějaký jiný.
Přirozenou konsekvencí utilitárního přístupu k evaluacím je normativní relativismus, kdy
prováděné evaluace mohou jednostranně zohledňovat normy a hodnoty spojené s jednou
jedinou zainteresovanou skupinou, se zadavatelem. V tomto ohledu je patrná další odchylka
od Scrivenova přístupu, neboť jeho explorační přístup spoléhá v první řadě na individuální
etiku evaluátora a v druhé řadě se otevírá všem ostatním zainteresovaným stranám stejnou
měrou. Utilitární přístup k evaluacím má tedy v tomto ohledu mnohem blíže ke Stakeově
senzitivním evaluacím, které jsou rovněž založeny na předpokládaném hodnotovém
relativismu vycházejícího z hodnot jednotlivých zainteresovaných stran, s výjimkou
evaluátora samotného.
Utilitární přístup k evaluacím není (tak jako řada jiných evaluačních přístupů) založen na
rozvinutí jiného konceptu či na jeho kritice. M. Patton svůj přístup opírá o své vlastní
zkušenosti s realizací evaluací a o praktické zkušenosti mnohých dalších evaluátorů, kteří se
při provádění evaluační činnosti potýkají s proměnlivým přijetím jejich úsilí vycházejícím
z individuální podstaty jednotlivých zainteresovaných stran. Např. Cronbach poukazoval na
skutečnost, že nic neovlivňuje využívání výsledků evaluací více, než osobní faktor – zájem
zadavatelů poučit se z provedené evaluace a snaha evaluátora zaujmout své auditorium
(Stufflebeam, Shinkfield 2007).
To, co je na jedné straně klíčovou výhodou utilitárního přístupu k evaluacím (tedy zapojení
zainteresovaných stran do samotného provedení dané evaluace), je současně také jeho největší
slabinou. Sebemenší změna ve struktuře zainteresovaných stran, byť by se jednalo o výměnu
jednoho jediného pracovníka, totiž může celý evaluační proces vrátit na samý začátek nebo ho
fakticky zastavit či významně zdržet. Spoléhání se na hodnoty, zájmy a očekávání
jednotlivých zainteresovaných stran sice přibližuje prováděné evaluace skutečným situacím (a
pravděpodobně tak posiluje jejich vnější validitu a zvyšuje pravděpodobnost jejich faktického
využití), nicméně staví tím evaluátory do středu manipulativních záměrů jednotlivých
zainteresovaných stran, které se mohou snažit prostřednictvím formulace svých vlastních
požadavků a záměrů dosahovat svých partikulárních (a častokrát vychýlených) cílů.
118
Jiná problematičnost utilitárního přístupu k evaluacím pramení ze samotného způsobu využití
výsledků. Zdaleka ne vždy lze totiž Pattonem požadovaný způsob použití předem stanovit či
odhadnout (některé jednorázové evaluační projekty jsou realizovány po dobu několika
měsíců, přičemž existují i průběžně realizované a pravidelně opakované evaluace, jež
probíhají třeba i několik let). Dále se v konkrétní aplikační praxi ukazuje, že způsoby využití
výsledků provedených evaluací mohou být mnohačetné, přičemž stanovení adekvátní váhy (a
potažmo tak i významu jednotlivých způsobů použití) by mohlo být v řadě případů náročnější,
než samotné provedení evaluace daného intervenčního programu. Utilitární přístup
k evaluacím tak vlastně vypovídá o snaze evaluátorů vyjít vstříc zadavatelům evaluací, kteří
nedovedou zasadit danou evaluaci do rámce probíhajících, resp. navazujících procesů.
119
7.5 Konstruktivistické evaluace (constructivist evaluation; Egon
Guba, Yvonna Lincolnová)
Konstruktivistický přístup k evaluacím (samotnými autory označovaný také jako evaluace
čtvrté generace či původně publikovaný pod názvem naturalistický přístup) je reakcí na
obecně převládající pozitivistický přistup k chápání reality jako objektivní danosti a
k možnostem jejího zkoumání a hodnocení. Čelní představitelé konstruktivistického přístupu,
E. Guba a Y. Lincolnová, se přibližně od 80. let snažili rozproudit vývoj evaluačního oboru
diskusí o hodnotovém pluralismu, kritikou přílišné koncentrace evaluátorů na výzkumnou
metodologii a poukazováním na nevhodně koncipované evaluace, které častokrát zúžily
posuzované situace natolik, že ztratily svou vnější validitu.
V rámci tohoto historického kontextu je třeba poukázat na skutečnost, že 80. léta znamenala
oproti předchozím dvěma desetiletím zásadní redukci počtu evaluačních projektů
požadovaných federální vládou od externích evaluátorů, což bylo způsobeno jednak
rozpočtovými škrty Reaganovy administrativy (bylo méně intervenčních programů), a dále
také významným posílením role interních evaluátorů působících v jednotlivých
ministerstvech, což je považováno jako důsledek rostoucího významu evaluací50. Evaluační
obor se tak více než dříve obracel k principiálním otázkám své podstaty, na rozdíl od
praktických aspektů, jež dominovaly v předchozím období.
E. Guba a Y. Lincolnová při formulaci svého přístupu vycházeli jednak ze Stakeova
senzitivního přístupu k evaluacím, ze kterého převzali tezi, že evaluací by se měl účastnit
nejen evaluátor a zadavatelé evaluací, ale také všechny další zainteresované strany, kterých se
prováděná evaluace dotýká. Konstruktivisté v tomto ohledu dokonce přiznávají všem
zainteresovaným stranám, které jsou zapojeny do prováděného evaluačního projektu plně
angažovanou účast zahrnující jak spolurozhodování v otázkách cílů evaluace, tak také právo
ovlivňovat jednotlivé činnosti směřující k závěrům dané evaluace. Druhým pilířem, o nějž se
konstruktivistické evaluace opírají, je konstruktivistická metodologie založená na
hermeneutické dialektice. Evaluace založené na konstruktivistickém přístupu tak nejprve
identifikují, sumarizují a analyzují jednotlivé mentální konstrukce, které jsou v druhém kroku
podrobeny vzájemnému srovnání a konfrontaci. V tomto ohledu E. Guba s Y. Lincolnovou
50
E. House (1993) v této souvislosti píše: „Evaluace začaly být až příliš důležitou činností na to, aby byly
ponechány jen v rukách akademiků“.
120
zpochybňují epistemologické možnosti nezávislého a nezúčastněného poznávání objektivní
reality a kladou je do protikladu vůči transakčnímu subjektivismu, o nějž se opírá jimi
zdůrazňovaný intersubjektivní (sdílený) charakter individuálních konstrukcí vnějšího světa.
Na rozdíl od některých jiných přístupů, např. utilitární evaluace či explorační evaluace, je
konstruktivistický přístup k evaluacím jasně spjat s konkrétními metodami a technikami. Rovněž
jeho paradigmatická vyhraněnost a jasné paradigmatické zakotvení z něj činí jistou výjimku mezi
ostatními přístupy k provádění evaluací. Jako jeden z mála (pokud ne jako jediný) přístupů odmítá
objektivistický pohled na proces evaluační činnosti a poukazuje na jeden ze svých základních
předpokladů o neexistenci objektivní pravdy či objektivní hodnoty. Žádná z konstrukcí
jednotlivých zainteresovaných stran není podle E. Guby a Y. Lincolnové o nic pravdivější a
opravdovější než jiná konstrukce některého z dalších účastníků prováděné evaluace.
Konstruktivistické evaluace jsou ze své podstaty zaměřené na jednotlivé zainteresované
strany. V tomto ohledu lze najít podobnost se Stakeovými senzitivními evaluacemi (což je
zřejmé s ohledem k výše uvedené inspiraci, kterou konstruktivistický přístup našel právě v
senzitivních evaluacích) i s Pattonovými evaluacemi utilitárními. Všechny tyto přístupy totiž
kladou do středu své pozornosti buď všechny nebo alespoň některé zainteresované strany a
věnují značnou pozornost jejich výzkumu, analýze jejich role v posuzovaném intervenčním
programu i sledování konkrétních zájmů, jimiž jsou tyto zainteresované strany vedeny.
Naproti tomu explorační (M. Scriven) a cílené (R. Tyler) přístupy obracejí svou pozornost
k cílům sledovaných intervenčních programů a metodám, jak co nejlépe ověřit jejich
dosažení. Zainteresované strany vystupují v takto pojatých evaluacích jako jeden z činitelů,
jako jakási částečka, v níž se zrcadlí hodnota posuzovaných intervenčních programů, nikoliv
však jejich věcný základ.
Mnoho evaluátorů poukazuje na značnou obtížnost provedení evaluací způsobem, který by
využíval konstruktivistický přístup, přesto se však lze s konkrétními příklady jejich
praktického využití setkat. Významnou bariéru aplikačního rozvoje konstruktivistických
evaluací je nutný souhlas zainteresovaných stran s principiálním cílem takto prováděných
evaluací, jímž je konvergence protichůdných zájmů, vizí, zkrátka subjektivních konstrukcí,
apriorní zájem na dosažení konsenzu. Pawson a Tilley (1997) proto zařazují
konstruktivistický přístup založený na negociaci mezi nositeli jednotlivých konstrukcí do
„útulného předměstského světa, v němž se odehrávají setkání mezi řediteli škol, učiteli a
121
rodiči žáků, při kterých marní čas diskusemi o charakteru domácích úkolů pro pátou třídu“.
Rovněž další z předpokladů, hermeneutický dialektický proces, činí z konstruktivisticky
prováděných evaluací dílo, které je v rámci obvykle požadovaných časových rámců (řádově
měsíce), v podstatě neuchopitelné a neproveditelné. Konstruktivistický přístup tak sice
nezměnil příliš evaluační praxi a vžité způsoby provádění evaluací, nicméně významným
způsobem ovlivnil evaluační teorii a „základy evaluátorského myšlení“. Je téměř nemožné
najít monografii či učebnici evaluací vydanou v posledních pětadvaceti letech, která by na
konstruktivistický přístup neodkazovala. Je třeba na tomto místě poukázat na skutečnost, že
samotný přístup se stal inspirací pro mnohé další (viz např. participativní přístup k evaluacím,
který je v detailu popsán dále) a má rovněž své přímé pokračovatele – např. Bhola (1998) či
Schwandt (1984).
V neposlední řadě je třeba vyzdvihnout přínos řady dílčích konceptů a námětů, které se
v evaluační praxi rychle rozšířily bez ohledu na uplatňovaný přístup. V tomto směru
především idea identifikace všech subjektů dotčených evaluací a jejich zahrnutí do
evaluačního procesu coby specifických zainteresovaných stran je dnes obecně akceptovaným
doporučením, které má dokonce svůj normativní rozměr, neboť je definována v Program
Evaluation Standards (cit. dle Sanders 1994) jako sine qua non každé korektně provedené
evaluace.
Konstruktivistický přístup jako celek je však mnohými evaluátory (např. Scriven 1991)
považován za „radikální přístup v současné epistemologii a výzkumné metodologii“, který na
vlně kritiky využitelnosti experimentů v evaluační praxi vylil s vaničkou i dítě (Pawson,
Tilley 1997). Konstruktivistickému přístupu nelze nevytknout neopodstatněný imperativ
parity zainteresovaných stran v kontextu zjevně disparitní reality, kterou navíc všechny
ostatní evaluační přístupy plně akceptují a reflektují. Další z odlišností konstruktivistického
přístupu, která omezuje jeho využitelnost se projevuje v nemožnosti posoudit adekvátnost
závěrů z hlediska zavedených pojmů, jako je validita a reliabilita. E. Guba s Y. Lincolnovou
sice v tomto ohledu nabízejí alternativní koncepty (např. zavádějí pojem kredibility coby
náhrady za vnitřní validitu či dependabilitu jako alternativu reliability), tím nicméně problém
jisté izolace konstruktivistického přístupu nevyřešili.
122
7.6 Účastnické evaluace (participatory evaluation)51
Účastnické evaluace a ostatní participativní přístupy lze považovat za jakousi druhou generaci
přístupů, které vznikly v souvislosti s příchodem konstruktivistického paradigmatu do oblasti
evaluací. Jedná se tedy o relativně nové koncepty, které se rozvinuly v posledních přibližně
dvaceti letech na základě přístupu E. Guby a Y. Lincolnové, nicméně jejich ideové zdroje jsou
rozsáhlejší a současní představitelé tohoto přístupu se odvolávají také na některé prvky
přístupu senzitivního a utilitárního.
Účastnické evaluace vycházejí ze dvou zdrojů: prvním je Stakeův senzitivní přístup, který
inspiroval účastnické evaluace svým zaměřením na jednotlivé zainteresované strany, a
druhým zdrojem je konstruktivistický přístup, na který účastnické evaluace navazují ideou
sdílené odpovědnosti všech zúčastněných zainteresovaných stran za výsledek provedené
evaluace. Faktem zůstává, že i přes otevřeně vyjádřenou inspiraci Stakeovým senzitivním
přístupem se od něj účastnické evaluace nejméně v jednom ohledu zásadně odlišují. Zatímco
R. Stake volal pro zohlednění situace dotčených zainteresovaných stran a usiloval o interakci
s nimi, účastnické evaluace tento rámec zapojení zainteresovaných stran překračují a
předpokládají plnohodnotné a aktivní zapojení zainteresovaných stran v celém evaluačním
procesu. Oproti senzitivnímu přístupu, který nepožaduje více, než aby evaluátoři zaměřili
svou pozornost na zainteresované strany, jichž se daný evaluační projekt dotýká (což v mnoha
případech znamená např. dotazování vzorku všech dotčených zainteresovaných stran),
účastnické evaluace činí ze zainteresovaných stran „kolegy-evaluátory“, kteří ovlivňují design
prováděné evaluace a jsou tak vtaženi do procesu rozhodování o postupu evaluační činnosti,
sběru dat i analýzy a vyhodnocení výsledků. Oproti senzitivnímu přístupu, vycházejí tedy
účastnické evaluace z představy plnohodnotného, přímého a aktivního zapojení
zainteresovaných stran, což činí z evaluačního procesu husté předivo interaktivních činností,
které nejsou jednoznačně adresovány ani evaluátorům (viz v ostatních přístupech např.
formulace otázek či příprava zprávy), ani zadavatelům (zejm. stanovení cílů, definice
51
V původních pramenech je pojem „participatory“ chápán dvojím způsobem. Jednak jako souhrnný název pro
několik specifických přístupů k provádění evaluací, jejichž společným jmenovatelem je zapojení všech známých
a dotčených zainteresovaných stran do procesu evaluace, a dále jako specifické označení jednoho konkrétního
přístupu, který se od ostatních evaluačních přístupů odlišuje způsobem zapojení jednotlivých zainteresovaných
stran do procesu evaluace a mírou sdílené odpovědnosti za její výsledek. Abychom v naší práci oba významy
oddělili, budeme v dalším textu důsledně rozlišovat mezi participativními přístupy, coby souhrnným názvem,
který odpovídá první z popsaných situací a účastnickou evaluací odpovídající singulárnímu přístupu výše
popsanému jako druhý z významů.
123
požadavků, konfirmace kritérií pro posuzování). Evaluátor při účastnických evaluacích
vystupuje jako partner jednotlivých zainteresovaných stran, jako konzultant či kouč, který
stimuluje, rozvíjí a vybízí jednotlivé zainteresované strany k aktivitě v rámci jednotlivých
etap evaluační činnosti.
Účastnické evaluace tak vedou nejen k samotné evaluaci, ale napomáhají jednotlivým
zainteresovaným stranám rozumět principům evaluační činnosti, pomáhají jim uvědomovat si
souvislosti jednotlivých činností a mohou tak zlepšit zapojení dotčených zainteresovaných
stran do procesů, jež jsou předmětem evaluace, tj. např. zvýšení pracovního výkonu, zlepšení
vztahů mezi zainteresovanými stranami, rozvoj organizační kultury atd. (Harrison 2005).
Účastnické evaluace jsou častokrát mylně spojovány s kvalitativními metodami, patrně proto,
že se v jejich případě očekává vyšší míra pochopení, vhledu a obecně větší prostor, jež má
zkoumaný subjekt k dispozici ke svému vlastnímu vyjádření. Nicméně platí, že účastnické
evaluace (a platí to i o participativních přístupech obecně) se k žádné konkrétní metodě
nepřimykají, navíc někteří představitelé tohoto přístupu (Wadsworth 1993; Cousins, Whitmor
2007) sami vyvracejí názor, že kvalitativní výzkumné techniky vedou nutně k vyšší míře
zapojení zainteresovaných stran, když poukazují na fakt, že participace spočívá v možnosti
ovlivnit design evaluace, což účastníci kvalitativních výzkumů nemohou, stejně tak jako
účastníci kvantitativních šetření.
Z řady příkladů konkrétní aplikační praxe se ukazuje, že participativní evaluace nejenže
zapojuje jednotlivé zainteresované strany do evaluačního procesu, ale dokonce může přispět i
k vyšší míře využívání dosažených výsledků (Rodríguez-Campos 2005). Tedy to, oč usiloval
M. Patton svým utilitárním přístupem, se jiným způsobem daří naplňovat účastnickým evaluacím.
V tomto ohledu se totiž ukazuje, že přímé zapojení jednotlivých zainteresovaných stran
posiluje důvěryhodnost získaných závěrů a to se pozitivně odráží ve vyšší míře jejich využití.
V souvislosti s účastnickými evaluacemi je třeba upozornit na potenciální ohrožení vnitřní
validity; tento evaluační přístup v důsledku své primární orientace na omezování bariér
zapojení co nejširšího spektra zainteresovaných stran a s ohledem k jasné orientaci tohoto
přístupu na výsledek procesu, který je spíše participativní než evaluační, zakládá své závěry
na evaluačních postupech, které by v rámci jiných přístupů (např. v cíleném) nebyly
akceptovatelné.
124
Aplikační potenciál účastnických evaluací je omezen zájmem zainteresovaných stran zapojit
se aktivně do evaluačního procesu. Tato na první pohled snadná a samozřejmá podmínka je
však v mnoha konkrétních situacích zásadní bariérou, kvůli které není možné účastnické
evaluace provést. Nelze považovat za samozřejmé, že se jednotlivé zainteresované strany
budou chtít zapojit do evaluace intervenčního programu, který je obrácen proti jejich zájmům,
není možné předpokládat, že všechny zainteresované strany budou mít zájem seznamovat se
s evaluační metodikou (Shnoes, Murény-Berman, Chambers 2000) a osvojovat si způsoby
provádění vlastního hodnocení (self-evaluation). Rovněž se v mnoha případech ukazuje, že
nedostatečná schopnost jednotlivých zainteresovaných stran spolu komunikovat neumožňuje
dosáhnout uspokojivého výsledku při využití účastnických evaluací.
Výhody účastnického přístupu vyplývají ze samotného faktu zapojení klíčových
zainteresovaných stran do daného evaluačního procesu. Tím jsou systémově vytvářeny lepší
předpoklady pro reálné a intenzivní využívání výsledků evaluace, což vede k odpovědnějšímu
přístupu jednotlivých zainteresovaných stran k jednotlivým činnostem, z nichž je evaluační
proces složen. Podstatnou výhodou tohoto přístupu je budování a rozšiřování evaluační kapacity.
Naopak mezi hlavní problémy tohoto evaluačního přístupu patří laicizace evaluačních technik
a výzkumných metod. Ukazuje se, že účastnické evaluace sice vedou k vyššímu sdílení
dosažených výsledků, ale častokrát formulované závěry nevyplývají z dat, interpretace jsou
zavádějící a metodika méně exaktní. Mezi praktická omezení patří nezájem některých
zainteresovaných stran angažovat se v projektu, který s jejich činností souvisí třeba jen
nepřímo (jiné pracovní priority). Účastnický přístup bývá v neposlední řadě také kritizován,
jako snaha evaluátorů zbavit se individuální odpovědnosti za úspěšné dokončení evaluace –
díky sdílené odpovědnosti jsou totiž za případný nezdar odpovědní všichni.
125
7.7 Teorií vedené evaluace (Theory-driven evaluation; Huey-Tsyh
Chen, Peter Rossi)
Přístup k evaluacím, který je veden teorií lze považovat za příspěvek k diskusi vedené v rámci
evaluačního oboru (ale i mimo něj) o možnostech a limitech uplatnění randomizovaných
experimentů. Představitelé tohoto přístupu nerozšiřují řady radikálních kritiků, kteří odmítají
jak samotné experimenty, tak také jakýkoliv jiný design empirické studie šité podle
pozitivistického střihu. Přístup k evaluacím, který je veden teorií se v tomto ohledu distancuje
od konstruktivistického přístupu E. Guby a Y. Lincolnové i od jejich descendentů v podobě
participativních evaluací a řady dalších přístupů (zejm. přístup kolaborativní /collaborative/ a
Fettermanův zplnomocňující přístup /empowerment/).
Na straně druhé nelze teorií vedený přístup k evaluacím přiřadit k obhájcům a šiřitelům
experimentálního designu, jakými byli např. D. Campbell či J. Stanley nebo T. Cook. Čelný
představitel tohoto přístupu, H. Chen, obrací pozornost evaluátorů k mechanismu fungování
intervenčních programů a vytváří tak nový metodologický rámec, v němž mohou být
prováděny jak (dílčí) experimenty, tak také jiné typy šetření. Významnou změnou oproti
ostatním přístupů představuje způsob využití takto získaných údajů, které jsou vztahovány
k teorií popsanému kontextu daného intervenčního programu a především pak slouží
k vysvětlení způsobu, jak intervenční program vlastně funguje. Rozvoj přístupu k evaluacím,
který je veden takovouto teorií (tj. obecně představou o mechanismech fungování
posuzovaného intervenčního programu) později vyústil v rozvinutí třetího, tzv. realistického
proudu..
Chenův přístup k evaluacím vychází z augmentace experimentálního designu směřující
k eliminaci interpretační nejistoty (zejména) v případě přijetí nulové hypotézy (tj. absence
diferencí mezi experimentální a kontrolní skupinou). H. Chen v této souvislosti poukazuje na
problém spočívající v nemožnosti ověřit, zdali jsou dosažené výsledky způsobené chybnou
konstrukcí kauzálních vazeb nebo nedostatkem výzkumného designu (zejména pak příliš
malým výběrovým souborem). Nabízí proto řešení, které spočívá v doplnění poznatků
pramenících z experimentálních (či kvazi-experimentálních) studií o znalost, či jak sám uvádí
o „teorii“, působení sledovaného intervenčního programu (Donaldson 2007).
126
Ústředním pojmem svého přístupu, teorií, tedy H. Chen rozumí pravděpodobný a obhajitelný
model očekávaného působení daného intervenčního programu (Chen, Rossi 1983); Chenova
teorie je tedy jakousi představou o mechanismech, kterými by daný intervenční program měl
působit, a které by měly vyvolávat pozorované výstupy. Kondicionál v poslední větě je zvolen
záměrně, neboť H. Chen sám nechápal svou definici takovéto teorie deskriptivním způsobem,
tedy jako konstatování faktického stavu, nýbrž preskriptivně, tedy jako vyjádření žádoucího,
lepšího či optimálního stavu (Chen 1990). Chenovu teorii by tedy bylo možné označit jako
soubor vzájemně provázaných hypotéz o vztazích mezi jednotlivými událostmi vyskytujícími
se v rámci prvků daného intervenčního programu. Vlastní evaluační proces je pak de facto
verifikací tohoto souboru hypotéz a modifikace výchozí představy na základě empiricky
získávaných údajů.
Evaluační přístup vedený teorií je založen na třech elementárních principech, a to (1) na svém
zaměření na změnu (action oriented), kdy přístup k evaluacím, který je vedený teorií zahrnuje
detailní popis jednotlivých mechanismů, pomocí nichž intervenční programy mohou
dosahovat svého zlepšení. V tomto ohledu tedy nejde ani tak o popis výchozí struktury a
jednotlivých prvků samotných intervenčních programů, jako při tvorbě teoretických schémat
(program theory) či sekvenčních schémat (logic model), ale jde spíše o zachycení dynamiky
intervenčního programu. Druhý princip Chenova přístupu je založen na (2) konceptualizaci
samotné intervence a detailní rozbor dané implementační strategie; v tomto ohledu se teorií
vedený přístup k evaluaci zaměřuje na analýzu konkrétně použitých nástrojů dané intervence
a na intenzitu jejich použití. Třetím z principů evaluačního přístupu, který je vedený teorií (3)
volba kritérií, na jejichž základě jsou posuzovány výsledky daného intervenčního programu.
V tomto ohledu H. Chen navazuje na jak na R. Tylera, tak také na M. Scrivena, kteří v rámci
svých přístupů věnovali volbě a adekvátnímu stanovení těchto kritérií značnou pozornost. H.
Chen však volí svůj specifický způsob volby a stanovení těchto kritérií – navrhuje totiž, aby si
různé zainteresované strany zvolily pro posouzení účinnosti realizovaného intervenčního
programu svá vlastní kritéria.
H. Chen v rámci svého přístupu definoval celkem šest oblastí52, jimž je třeba věnovat
pozornost při provádění evaluací, které jsou vedeny teorií. Jde v první řadě o (1) samotnou
povahu intervence (treatment), jejíž poznání a analýza je nezbytným východiskem pro
52
H. Chen je nazývá domény (domains).
127
zachycení změn vyvolaných daným intervenčním programem. Dále (2) implementační
prostředí, které jasně odkazuje ke kontextu, v němž se posuzovaná intervence odehrává. Třetí
z oblastí analýzy intervenčního programu jsou (3) výsledky, ke kterým daný intervenční
program dospěl. Druhé trojice oblastí zahrnuje jednak (4) dopady, jejichž detailní analýzu H.
Chen považuje za ústřední téma celé evaluace, a dále také (5) intervenující mechanismus, což
je v podstatě kauzální vztah spojující povahu intervence (treatment) a výsledek (outscome).
Poslední z oblastí se nazývá (6) zobecnění a H. Chen zde upozorňuje, že získané poznatky
mohou být využívány i s časovým odstupem, pro jiné populace či v jiných organizacích.
Chenovým cílem, který anticipuje v rámci svého přístupu k evaluacím, jenž je veden teorií, je
snaha o dosažení vyváženého poměru mezi vnitřní a vnější validitou. V tomto ohledu se jeho
přístup odlišuje od ostatních. Jiné přístupy, jak H. Chen sám poukazuje, totiž buď kladou
důraz jen na jednu z obou typů validity nebo si problém validity vůbec nepřipouštějí (Chen
1990). Chen v tomto ohledu odkazuje na vyhlášené spory W. Gosseta s R. Fischerem vedené
o povaze a vhodnosti znáhodněných experimentů, kdy Chen jednoznačně straní Gossetovi,
který namísto experimentálního designu preferoval takové uspořádání, které sice není tak
rigidní, zato však usiluje o snížení celkové chyby, a snaží se zvolit takové výzkumné
uspořádání, jehož výzkumné postupy se co nejvíce podobají reálným situacím zkoumaných
respondentů (Alkin 2004).
Nespornou výhodou Chenova evaluačního přístupu je, že konkrétní rozhodnutí, která jsou při
realizaci evaluačního šetření třeba učinit, jsou rámována programovou teorií. Znamená to
tedy, že charakter jednotlivých kauzálních vazeb, povaha sledovaných znaků (indikátorů) i
samotná interpretace získaných výsledků má jasný a dokumentovaný základ, který usnadňuje
implementaci dosažených výsledků.
Přístup k evaluacím vedený teorií je tedy obvykle využíván v takových případech (situacích),
kdy nelze přímo testovat vztahy mezi jednotlivými proměnnými; v těchto situacích dokáže
teorií vedený přístup zvýraznit výsledky sledovaných programů a zároveň také přesně
specifikovat jednotlivé faktory, které k celkovému výsledku přispívají. Daných závěrů je při
využití přístupu, který je vedený teorií dosaženo prostřednictvím deskripce mechanismu
působení daného intervenčního programu a prostřednictvím specifikace a monitorování
determinujících činitelů.
128
7.8 Realistické evaluace (realistic evaluation; Ray Pawson, Nick Tilley)
Realistický přístup k evaluacím je podle jeho autorů zlatým středem mezi dvěma proti sobě
stojícími paradigmaty, pozitivismem a relativismem. Z již uvedených evaluačních přístupů je
patrné, že oba z paradigmatických protipólů našly svůj odraz i v oblasti evaluací, kdy lze
identifikovat jak přístupy odvolávající se k pozitivismu (zejména cílený přístup), tak také
přístupy založené na relativistické tradici reprezentované konstruktivistickým přístupem a
jeho následovníky. Realistický přístup tedy jakoby obchází tradiční epistemologické póly a
zaměřuje svou pozornost na mechanismy vysvětlení sledovaných jevů, a zároveň poukazuje
na neadekvátnost obou z pólů.
Východiskem realistického přístupu R. Pawsona a N. Tilleyho je realistická tradice filosofie
vědy reprezentovaná zejména M. Hessem, I. Lakatosem, R. Bhaskarem a R. Harrém;
následování této tradice je užitečné chápat v obecnějším rámci jednoho z autorů (R.
Pawsona), který se o realistickou tradici opírá nejen v přístupu k evaluacím, ale rovněž ve
výzkumné metodologii (viz zejména Pawson 1989) a v dalších aplikacích (Pawson 2006).
Jádrem realistického přístupu je teze o neadekvátnosti experimentu jako metody zkoumání a
odhalování kauzality.
R. Pawson s N. Tilleyem v tomto ohledu poukazují na odlišné použití experimentů ve
společenských vědách oproti vědám přírodním a potažmo odlišné chápání vztahu mezi
kauzalitou a metodou experimentu. Dokumentují přitom, že experimenty v přírodních vědách
vycházejí z generativního chápání kauzality, kdy slouží k odhalování obecných mechanismů,
jež se vyskytují v rámci daných vnějších podmínek, v rámci konkrétního kontextu. Naproti
tomu společenské vědy žádné mechanismy pomocí experimentů neodhalují, kauzalitu
považují za vztah, který je vnějším činitelem ve vztahu k příčině a následku. Společenské
vědy tedy používají experimentální metody ke stanovení inkrementálních efektů, nicméně
takovéto, sukcesionistické, chápání kauzality nevypovídá nic o transformativním potenciálu
sledovaných jevů. Namísto toho se obracejí k realismem popsané generativní kauzaliě.
R. Pawson s N. Tilleyem dále popisují svůj přístup k evaluacím na základě tří klíčových slov,
která v sobě pojem „realistický“ obsahuje:
129
První pojem (real) odkazuje k předmětu evaluace. R. Pawson a N. Tilley v tomto ohledu jasně
deklarují, že všechny jevy a fenomény jsou v rámci realistického přístupu považovány za
skutečné, za reálně existující. Reální jsou tedy nejen aktéři jednotlivých intervenčních
programů, ale za skutečné jsou považovány i samotné intervence a pochopitelně také jejich
(dobré či nedostatečné) výsledky. Realistický přístup tedy odmítá zkoumat tyto jevy jako
„narativní významy, které si vytvářejí jednotliví hráči“ (Pawson, Tilley 1997). Realistický
přístup se přitom snaží o sociologické pochopení rovnováhy mezi zdroji a možnostmi, které
jednotlivé zainteresované strany mají. Jejich interakce a vzájemná závislost je pochopitelně
přítomná i ve skutečném světě, a je tak předmětem analýzy realistického přístupu (ibid.).
Druhé klíčové slovo (realist) se vztahuje k používané metodologii. Autoři realistického
přístupu poukazují na mnohé chyby a nedokonalosti, které v různých fázích vývoje evaluací
byly způsobeny přílišným zaměřením na metody samotné. Snaží se tak svým přístupem
vytvořit větší prostor pro „teorii53“ a zdůrazňují přitom, že podstata vědeckého vysvětlení
nemůže být svázána s žádnou jednotlivou metodou či způsobem měření. V minulosti se
takovýto přístup projevoval příliš mechanickou aplikací experimentů a vedl k neuspokojivým
výsledkům.
Třetím pojmovým prvkem (realistic) autoři apelují na samotný způsob provádění evaluací.
Upozorňují, že evaluace jsou formou aplikovaného výzkumu, jehož smyslem nejí formulovat
obecné zákonitosti, ale pomoci v konkrétní situaci tím, že evaluační šetření zprostředkuje
zainteresovaným stranám realistický obraz (tj. nezahalený výzkumnou terminologií)
posuzovaného intervenčního programu a realistické (tedy skutečnosti odpovídající) závěry.
Aplikační možnosti evaluačních šetření jsou dány schopností jednotlivých metod a technik
přinášet informace o potvrzení či vyvrácení principů působení intervenčních programů
pomocí generativní kauzality.
Je tedy zřejmé, že otázky „Co funguje?“ či „Funguje daný intervenční program?“ nejsou
v rámci realistického přístupu vůbec relevantní; adekvátní dotazy by měly být formulovány
např.: „Co funguje, pro koho a za jakých okolností?“ či „Jaké podmínky musí nastat, aby
intervenční program mohl dosáhnout daných výsledků?“.
53
Srov. smysl a význam pojmu s Chenovým přístupem k evaluacím, který je veden teorií; význam pojmu teorie
je v realistickém přístupu de facto stejný.
130
Jádrem realistického přístupu jsou pravidelně opakované jevy, postupy či procesy, které
vedou k daným výsledkům. Této pravidelnosti je dosaženo díky mechanismu, který působí
v daném kontextu. Mechanismus lze přitom chápat a popisovat jak na mikro-úrovni, která má
individualistický charakter (zohledňuje např. izolaci jednotlivce, jeho subjektivní důvody
apod.), tak také na makro-úrovni, jenž odkazuje ke společenským procesům a institucím
(např. koheze či solidarita).
Obrázek č. 12 Princip realistických evaluací
Kontext
Mechanismus
Pravidelnost
Zdroj: Pawson, Tilley 1997
Autoři při explikaci svého přístupu používají příklad Durkheimovy teorie sebevraždy:
pravidelné výkyvy či změny v míře sebevražednosti zřetelně odpovídají pravidelnosti, která je
naznačena v uvedeném modelu. Zjištěné míry sebevražednosti se liší v závislosti na daném
kontextu (katolické či protestantské vyznání) a jsou dány (vysvětleny) konkrétním
mechanismem – v daném případě anomií (Pawson, Tilley 1997). Podobně také evaluátoři,
kteří následují realistický přístup se snaží vysvětlit zjištěnou pravidelnost (tj. účinnost daného
intervenčního programu) pomocí konkrétního mechanismu, který působí v daném kontextu.
Jeho roli nelze přitom v realistickém přístupu opomenout, neboť kontext přímo podmiňuje
vztah mezi kauzálními jevy. Platí tedy, že jednání nemá smysl samo o sobě, ale pouze v
daném kontextu. Podobně také stejná opatření (stejné intervenční programy) mohou
produkovat různé závěry v závislosti na kontextu, ve kterém jsou aplikovány.
131
7.9 Souhrn
Jak je patrné z podrobné charakteristiky jednotlivých přístupů, klíčové zainteresované strany
(zejména pak zadavatelé evaluací ve veřejném sektoru) obyčejně požadují takový
metodologický přístup, který je založen na klasických experimentálních testech či alespoň
formou kvazi-experimentů. Konkrétní příklady takovéto preference je možné hledat jak mezi
tradičními zadavateli evaluací, tedy administrativou Spojených států (zde pak zejména
Ministerstvo školství), tak také mezi institucemi EU a dalšími orgány veřejné správy. Tvrzení
o takovéto preferenci podporují jednak publikované závěrečné zprávy z evaluací provedených
v posledních letech, které v naprosté většině odkazují k použitému experimentálnímu designu,
a dále také mnohé zveřejňované výzvy, jimiž tyto instituce zvou ke spolupráci externí
evaluátory a v nichž je uplatnění experimentálního designu jednou ze základních zadávacích
podmínek. Na druhé straně, nově se objevující evaluační přístupy (zejména pak účastnické či
kolaborativní evaluace) jsou založeny na jiné metodologii, vycházejí z konstruktivistické
tradice odvrhující původní metodologický důraz tyleriánské tradice kladený na aplikaci
exaktní metodiky směřující k maximalizaci vnitřní validity. Tyto nově vznikající
metodologické směry, nabízené samotnými evaluátory, se však setkávají se zájmem klíčových
zadavatelů evaluací jen zřídka a tak nacházejí uplatnění spíše v rámci malých evaluačních
projektů realizovaných např. neziskovými organizacemi (Ginsberg 2001). Pozitivním efektem
takto vznikajících tenzí je stimulace diskusí týkajících se smysluplnosti a adekvátnosti
používaných metod, precizace možností a rizik uplatnění jednotlivých evaluačních přístupů.
Vzniklé vakuum v neposlední řadě vytváří podmínky pro vznik nejen dílčích evaluačních
modelů, ale i nových přístupů.
Druhým zdrojem dynamiky evaluačního oboru je zvětšující se spektrum situací, v nichž jsou
metody evaluací používány. Zdaleka přitom nejde jen o vyšší počet realizovaných projektů
nebo o vyšší četnost opakování evaluačních projektů v analogických situacích, ale zásadním
faktorem je v této souvislosti zejména rozsáhlejší spektrum úloh, jež evaluace zastřešují
(Coryn, Scriven 2008). Bohatost současného portfolia metod a postupů je nesrovnatelná
s postupy a úlohami, jež vyplňovaly evaluační prostor v raných fázích.
Již zmíněné participativní směry, jež jsou odpovědí svého druhu na nastíněné změny, postupně
nacházejí své aplikační příležitosti jako součást komplexněji pojatých evaluačních projektů,
132
ať už jako samostatné sub-projekty (např. v rámci případových studií) nebo jako svébytné
fáze. Skutečností však je, že tyto přístupy odkazují k odlišnému paradigmatu, a přestože tento
rozpor není na poli evaluací vyhrocený tolik, jako v jiných oblastech společenskovědního
výzkumu, nelze tuto rozdílnost pominout. Konstruktivistický a účastnický přístup nelze
z praktických důvodů považovat za náhradu tradičně (pozitivisticky) pojímaných evaluací, ale
spíše jako jejich doplněk, který může rozvinout jeden z nedostatků, a to jejich výkladovou
nedostatečnost.
Obrázek č. 13 Mapa jednotlivých evaluačních přístupů
5. Konstruktivistický
(E. Guba)
2.
1.
Cílený
(R. Tyler)
3.
8.
Senzitivní
Senzitivní
(R. Stake)
Explorač
Explorační
(M. Scriven)
6.
Účastnický
4.
Utilitá
Utilitární
rní
(M. Patton)
Realisticický
(R. Pawson, N. Tilley)
Tilley)
7.
Přístup vedený teorií
teorií
(H. Chen)
Zdroj: autor
Třetím paradigmatickým pilířem spoluformujícím základy evaluačního myšlení v současné
době je realismus, jenž je základem přístupů k evaluacím, které jsou vedeny teorií (tj. zejména
přístup Chenův; Pawsona a Tilleyho). Přístupy vycházející z realistické tradice obracejí
pozornost zejména k poznávání vnitřních mechanismů jednotlivých intervenčních programů a
k formulaci závěrů o způsobech, jak intervenční programy dosahují svých cílů. Významnou
pozornost rovněž věnují roli kontextu působení intervenčního programu. Platí, že kontext je
základní a nepominutelnou součástí těchto evaluačních přístupů, nicméně se zdá, že jeho role
je v rámci příslušných přístupů pasivní – zkrátka není v nich místo pro skutečně dynamickou
interakci intervenčních programů s jejich vlastním prostředím. Kontext je chápán jako
invariantní danost, jíž je daný program determinován, a v jejímž rámci přeměňuje klíčový
133
mechanismus vstupy na výstupy (Henry, Julnes, Mark 1998). Efektivita sledovaného
intervenčního programu je tak kontextem podmíněna; při změně vnějších podmínek však
závěry provedené evaluace mohou přestat platit, měly by být ve změněném kontextu
aktualizovány a evaluace by měla být provedena znovu. V tomto ohledu je dobře patrný rozdíl
mezi realistickým přístupem a přístupem senzitivním, který lze považovat za skutečně
otevřený model, jenž neustává ve své aktualizaci a adaptaci na měnící se okolní prostředí,
proměnu zájmů ostatních zainteresovaných stran a změny v jejich potřebách.
Ze zkušeností a z dostupných podkladů se ukazuje, že žádný z existujících přístupů
neposkytuje recept na všechny situace, ve kterých jsou evaluace prováděny. Existence většího
počtu evaluačních přístupů, je tak odrazem mnohosti hodnocených situací; pro každou situaci
je vhodný jiný evaluační přístup. Současně to znamená, že v dané situaci lze využít několika
různých přístupů a zohlednit tak jednotlivé parametry konkrétní aplikační situace. Tato
variantnost v přístupech k realizaci evaluací na jedné straně představuje jistá rizika, neboť
volba konkrétního přístupu může být v dané aplikační situaci provedena laickým subjektem
(např. zadavatelem) bez adekvátní rozvahy nad implikacemi takovéto volby. Na druhé straně
platí, že zmiňovaná mnohočetnost přístupů, jakkoliv činí oblast evaluací nepřehlednou, je
smysluplná a v konečném důsledku užitečná.
134
Tabulka č. 15 Porovnání některých charakteristik jednotlivých evaluačních přístupů
Konstruktivistický
přístup
Účastnický přístup
(E. Guba, Y. Lincolnová)
Evaluační realita není
Zainteresované strany jsou
objektivně daná, ale je
aktivně zapojeny do
mentální konstrukcí
provádění evaluace
Cílený přístup
(R. Tyler)
Explorační přístup
(M. Scriven)
Senzitivní přístup
(R. Stake)
Utilitární přístup
(M. Patton)
Kongruence mezi chováním
a cíli
Srovnání výsledku
s potřebami (needs)
Popis a posouzení hodnoty
(merit)
Volba takového designu,
který vede k využitelným
poznatkům
Na co se zaměřuje
Cíle programu (jejich
dosažení)
Posouzení efektů
Záměry; zamýšlené cíle
Splnění požadavků
zadavatele
Dosažení konsenzu
Aktivní zapojení všech
zainteresovaných stran
Klíčová informace
Cíle a výstupy
indikátory
Cokoliv využitelného
zadavatelem
Konstrukce reality
Zapojení účastníků
Fenomenologie
Fenomenologie
Definice
Teoretický základ
evaluace
Metodologický akcent
Role evaluátora
Role kontextu
Pozitivismus
Nespecifický
Senzitivní zaměření
Nespecifický
Vnitřní validita
Nespecifický
Nespecifický
Nespecifický
Nezúčastněná, objektivní
Nezávislá autorita
Interaktivní účastník
Bezvýznamná
Nespecifická
Subsidiární
1. Vysoká systematičnost
Výhody
Nevýhody
Zamýšlené a nezamýšlené Pozorování, záměry, smysl,
důsledky
standardy
1. Intervenční program lze 1. Zohledňuje rozdíly
posuzovat i bez znalosti cílů v hodnotách
2. Stojí na tradičních
(není vychýlený)
vědeckých základech
2. Obrací pozornost
2. Upozorňuje na roli
k potřebám
3. Legitimizuje i jiné než
vedlejších a neočekávaných zainteresovaných stran
konvenční metody sběru dat výsledků
za předpokladu
3. Za základ evaluací staví
experimentálního designu 3. Zůstává flexibilní při
cíle jednotlivých
stanovení standardů
1. Nezahrnuje způsob
1. Neposkytuje návod na
1. Obtížná
definice standardů (cílů)
provedení v praktických
operacionalizace, chybějící
podmínkách
metodika identifikace kritérií
2. Příliš akcentuje pre-post
design
2. Předpokládá vysoce
2. Příliš mnoho parametrů,
kompetentního evaluátora provádění evaluace není
3. Vede ke konvergentním (příliš spoléhá na jeho
předem známo (smluvní
efektům (předčasné závěry, osobnost)
obtíže)
odhlíží od dopadů)
3. Definice potřeb může být 3. Příliš neformální na to,
zkreslena samotným
aby přinášel obhajitelné
výzkumným procesem
výsledky
(H. Chen)
Intervenční programy
působí mechanismy, které
jsou zachytitelné
vytvoření představy o
působení intervenčního
programu
1. Obtížně obhajitelné při
provedení sumativních
evaluací
Vědecká metoda
3. Vhodné zejména pro
formativní evaluace
1. Obtížně proveditelné
v reálných podmínkách
1. Zadavatelé mohou
snadno vychýlit výsledky
Co funguje lépe, kde, pro
koho, proč
Popis mechanismu
dosahování cíle v daném
kontextu
Mechanismus, pravidelnost,
teorie působení intervence
kontext
Hledisko validity je odmítáno Validita není relevantní
Vnější validita
Je jednou ze
Je koučem ostatních
Nezúčastněná; negociační
Nezúčastněná
Daná vazbou
Daná vazbou
Subsidiární
s konstrukcemi jednotlivých s konstrukcemi jednotlivých
Zásadní
1. Je otevřený jakékoliv
1. Důraz na zohlednění
1. Zainteresované strany
1. Pomáhá pochopit vnitřní
metodě
zájmů všech
jsou aktivně zapojeny
mechanismus působení
2. Zdůrazňuje roli
2. Vyšší zájem na využití
„využitelnosti“
výsledků
3. Lze ho snadno
kombinovat s jinými přístupy
Realistický přístup
1. Tím, že se zaměřuje na
nepozorovatelné procesy,
upíná se k opakování
2. Zájmy různých
2. Evaluátor může snadno záměrů iniciátora
2. Příliš závislé na silné
ztratit koordinaci a evaluace intervenčního programu
(popis mechanismu
pozici evaluátora
nemohou vždy konvergovat nedospěje k žádnému
fungování)
(dosahování shody nemusí výsledku
3. Postup sám nestanovuje častokrát žádoucí)
žádná faktická pravidla či
doporučení
3. Vysoké riziko kooptace
evaluátora některou
z ostatních stran
Realismus
Vnější validita
Nezúčastněná
Zásadní
1. Umožňuje přizpůsobit
intervenční program povaze
2. Směřuje k praktické
využitelnosti prováděných
evaluací
3. Usiluje o zobecnění
získaných poznatků
1. Pracuje
s nedokazatelnými
předpoklady
2. Kontext chápe jako
invariantní danost
3. Pro posuzování
skutečných intervenčních
programů je poněkud
mechanistický
Zdroj: autor
135
8. Integrativní evaluační přístup
8.1 Předpoklady vzniku integrativního přístupu
Předchozí kapitola přinesla základní popis jednotlivých přístupů k provádění evaluací. Jakým
způsobem však lze jednotlivé přístupy využít v aplikační praxi? V rámci předkládané práce není
prostor pro komplexní srovnání souboru skutečných případových studií, navíc by taková
analýza mohla být v řadě konkrétních detailů zavádějící. Pro účel, který sledujeme však postačí
níže uvedený fiktivní příklad spolu s nástinem, jak by k jeho řešení přistoupili různí evaluátoři,
pokud by následovali jednotlivé přístupy, které jsou podrobně popsány v předchozí kapitole.
Popis výchozí situace
Fiktivní intervenční program tedy spočívá v rekvalifikačním kursu, jehož cílem je naučit
nezaměstnané starší 50 let pracovat s PC. Záměrem iniciátora je pomocí tohoto programu
zvýšit zaměstnanost osob starších 50 let. Právě byl dokončen pilotní program, kdy byl daný
kurs nabízen starším nezaměstnaným, kteří byli vedeni v registru nezaměstnaných vedeným
úřadem práce v jednom konkrétním okrese. Zbývá zodpovědět, zdali by se měl takovýto
intervenční program (rekvalifikační kurs) používat i v dalších okresech. Je daný program
skutečně účinný?
Způsoby řešení
Následující přehled popisuje některé z podstatných parametrů, které jsou pro jednotlivé přístupy
typické. Pochopitelně jde v tomto ohledu o jistou míru abstrakce, je zřejmé, že skutečné výstupy
a akcenty jednotlivých přístupů by byly rozsáhlejší. Není však v tomto ohledu důležité, v čem
by si jednotlivé přístupy byly podobné – klíčové jsou ty aspekty, v nichž se liší.
a) Cílený
V rámci tohoto přístupu bude vypracován test počítačové gramotnosti, který bude po skončení
kursu předložen každému z účastníků. Současně bude stanoveno (po dohodě s iniciátorem a
s jeho souhlasem), že test se zaměří zejména na používání textového editoru a tabulkového
procesoru a budou definovány konkrétní úlohy, které budou indikovat zvládnutí obsahu kursu.
V neposlední řadě bude stanoveno, že pokud 80 procent účastníků kursu tento test zvládne (tj.
dosáhne alespoň 75 procentní úspěšnosti), bude možné považovat kurs za účinný. V takovém
případě je pravděpodobné, že se jeho iniciátor rozhodne pro jeho rozšíření i do ostatních okresů.
136
b) Explorační
Evaluátor, který bude explorační přístup používat, nebude znát záměry iniciátora těchto kursů,
a tak bude věnovat pozornost jakýmkoliv přínosům, které kurs jeho účastníkům přinesl. Může
tedy dojít k závěru, že kurs sice nenaučil jednotlivé účastníky programovat makra ve Visual
Basicu, nicméně zdokonalil uživatelské návyky jednotlivých účastníků. Současně bude díky
exploračnímu přístupu odhaleno, že si účastníci kursu vyměňují mezi sebou své zkušenosti
z průběhu pohovorů u potenciálních zaměstnavatelů a sdílí mezi sebou nabídky o volných
pracovních pozicích, což jim napomáhá k rychlejšímu získání nových pracovních míst.
c) Senzitivní
V rámci senzitivního přístupu nebude zvolen žádný způsob formální examinace, ale evaluátor
např. navodí určitou situaci, kdy sám (sociálně skrytý jinou rolí) požádá účastníka kursu o
radu týkající se práce s PC. Pokud účastník kursu dokáže v dané situaci zareagovat a využije
přitom poznatky, které tvořily páteř daného kursu, bude daný intervenční program považován
za účinný. Senzitivní evaluátor projedná předem se zadavatelem konkrétní akceptační kritéria,
tj. okolnosti, za jakých budou účastníci prověřováni a význam, jaký bude přikládán
konkrétním dovednostem.
d) Utilitární
Evaluátor využívající přístup, který je zaměřen na využitelnost provedené evaluace nejprve
prodiskutuje se zadavatelem konkrétní okolnosti, za jakých bude s výsledky evaluace
nakládáno a jaký typ rozhodnutí bude na základě provedené evaluace učiněn. V daném
případě evaluátor zvolí některý z kvantitativních přístupů, neboť výsledky evaluace budou
podporovat zásadní rozhodnutí o dalším osudu daného intervenčního programu
(rekvalifikačního kursu). Jeho jasně sumativní charakter tak povede k volbě podobného
uspořádání, jako v případě cíleného přístupu. Evaluátor však bude věnovat pozornost nejen
výsledkům, kterých jednotliví účastníci v testu dosáhli, ale zaměří se také na úspěšnost
účastníků daného kursu při hledání zaměstnání a bude ji porovnávat s úspěšností ostatních
nezaměstnaných starších 50 let (zvolen bude nejspíše kvazi-experimentální design). Na
základě srovnání dosažených výsledků doporučí daný intervenční program k jeho rozšíření či
navrhne jeho zastavení.
137
e) Konstruktivistický
Při uplatnění konstruktivistického přístupu pozve evaluátor na společný brainstorming
vybrané účastníky daného kursu, nezaměstnané, kteří nebyli do kursu přijati; lektory; zástupce
potenciálních zaměstnavatelů; přímého nadřízeného zaměstnance, který se kursu zúčastnil a
získal nové zaměstnání; pracovníky daného úřadu práce; zástupce iniciátora daného
intervenčního programu a rodinné příslušníky účastníků kursu. V průběhu diskusí, které bude
evaluátor moderovat, se zaměří na očekávání, s nimiž jednotlivé zainteresované strany
vstupovaly do dané situace (konfrontace subjektivit) a bude zjišťovat, která z těchto
očekávání se naplnila, a která nikoliv. Následně bude hledat způsoby, jak dosáhnout
uspokojení potřeb každého z účastníků a tyto diskuse budou opakovány do doby, kdy
zúčastněné strany dosáhnou konsenzu. Výsledkem bude návrh uspořádání kursu, který bude
iniciátorem považován za užitečný, (potenciální) účastníci v něm budou spatřovat cestu
k získání nového zaměstnání, pracovníci úřadů práce budou přesvědčení, že absolventy tohoto
kursu dokáží snáze umístit a zaměstnavatelé budou absolvování kursu vnímat jako doklad o
schopnostech a dovednostech uchazečů o zaměstnání.
f) Účastnický
Evaluace prováděná v duchu účastnického přístupu bude vycházet z dohody evaluátora s
klíčovými zainteresovanými stranami o způsobu ověření účinnosti daného kursu. Evaluátor
ponechá na samotných zainteresovaných stranách, s jakými přijdou návrhy; sám bude takovou
diskusi jen moderovat, případně vysvětlí jednotlivým účastníkům možné důsledky jejich
rozhodnutí. Zainteresované strany si tedy mezi sebou dohodnou způsob, kterým budou
ověřovat účinnost kursu, sami si zvolí dané ukazatele a navrhnou způsob, jak je zjišťovat a
vyhodnocovat. Následně ve vzájemné spolupráci provedou sběr dat i jejich samotné
posouzení, což např. účastníkům kursů umožní mj. pochopit, proč je pro budoucí
zaměstnavatele tak důležité, aby absolventi kursu dovedli používat výpočetní funkce; iniciátor
kursů porozumí tempu práce jeho účastníků a nebude proto trvat na tom, aby kurs probíhal
osm hodin denně po dobu jednoho týdne; lektoři díky tomuto evaluačnímu přístupu získají
lepší představu o požadavcích budoucích zaměstnavatelů a nebudou napříště učit
nezaměstnané základy programování.
g) Přístup vedený teorií
Evaluátor, který bude následovat tento přístup si po krátkém úvodním seznámení s danou
situací připraví „teorii“, jak daný kurs dosahuje očekávaných výsledků. Následně připraví
138
takový design evaluace, který umožní vytvořenou teorii ověřit. Takový model může mít třeba
podobu, které je patrná z následujícího obrázku:
Obrázek č. 14 Návrh teoretického schématu
Kurs
Absolventi si
osvojí
osvojí nové
nové
dovednosti
Vyšší
Vyšší zájem ze
ze
strany firem
Upř
Upřednostň
ednostňová
ování
uchzečů
uchzečů o zamě
zaměstná
stnání,
kteř
kteří absolvovali kurs
Vyšší
Vyšší míra
zamě
zaměstnanosti
v dané
dané lokalitě
lokalitě
Zdroj: autor
V průběhu evaluace bude výchozí model postupně upravován podle získávaných skutečností
tak, dlouho až bude připravena finální podoba „ověřené“ teorie. Evaluátor bude během
přípravy takového evaluace spolupracovat s jednotlivými zainteresovanými stranami, bude
získávat konkrétní podkladové údaje o jednotlivých prvcích své teorie a bude přitom klást
důraz na klíčové procesy. Ve své odpovědi zadavateli pak evaluátor bude zdůrazní kritické
momenty, které se spolupodílejí na úspěšnosti daného intervenčního programu.
h) Realistický
Realistický evaluátor si nejprve stanoví kontext, v němž daný intervenční program působí (tj.
zmapuje celkovou situaci na trhu práce v daném okrese, zjistí počty uchazečů o zaměstnání,
počty volných pracovních míst, kvalifikační předpoklady uchazečů a nároky zaměstnavatelů;
dále si vytvoří přehled o ostatních formách vzdělávání starších pracovníků – zohlední přitom
činnost personálních agentur a dalších subjektů atd.). Dále zjistí, jaká je typická kariérní dráha
absolventů daného kursu (za jak dlouho nacházejí pracovní místo, na jakou pracovní pozici
jsou absolventi kursů přijímáni, na jaké další kursy se absolventi hlásí apod.). V neposlední
řadě se realistický evaluátor pokusí definovat mechanismus, jakým posuzovaný kurs dosahuje
v rámci daného kontextu svého cíle. Realistický evaluátor tak konstatuje, že vyšší znalosti
práce s PC pomáhají administrativním pracovníkům zvládat efektivněji své pracovní úkoly, a
proto jsou zaměstnavateli upřednostňováni při obsazování administrativních pozic. Kurs proto
pomůže získat např. středoškolákům dodatečnou pracovní výhodu oproti ostatním uchazečům.
139
Vzhledem k tomu evaluátor navrhne, aby byl další kurs zaveden v okresech, kde je vysoká
poptávka po pracovních pozicích v administrativě.
Každý z přístupů tedy působí jako jakýsi reflektor, který osvětluje jednu část daného
intervenčního programu. V případě skutečné evaluace by se výsledky patrně nelišily tak
výrazně, přesto by však byly jasně patrné. Nabízí se tedy otázka, co si má počít zadavatel
evaluace (např. iniciátor daného kursu), který chce získat dostatek informací o věcném
základu a hodnotě „svého“ intervenčního programu. Je třeba provést všech osm evaluací? Je
možné vybrat si jeden přístup, který má nejblíže záměrům zadavatele? Který z evaluačních
přístupů je pak v dané situaci nejvíce adekvátní?
Skutečností zůstává, že i kdybychom se pokusili všech osm přístupů provést současně
(jakkoliv by to bylo nepraktické), přesto by některé části intervenčního programu zůstaly
skryty v temnotách: Mohou celkovou efektivitu kursu ovlivnit osobní preference (wants)
potenciálních účastníků? Jak se k nabízenému kursu staví samotní starší nezaměstnaní? Je
kurs práce v PC tím správným nástrojem, který směřuje v původnímu cíli iniciátora, tedy ke
zvýšení zaměstnanosti osob starších 50 let? Nevylo by efektivnější raději podpořit mobilitu
pracovní síly?
Zodpovězení těchto a mnohých dalších otázek, které souvisí se samotným intervenčním
programem, se, jak vidno, s posláním popisovaných přístupů a s účelem, pro který byly
uvedeny v život, míjí. Již výše jsme poukazovali na fakt, že každý z přístupů je vhodný pro
konkrétní situaci; funkčnost žádného z přístupů tedy není univerzální, ale vždy se odvíjí od
daného situačního kontextu. Řečeno slovy evaluátora, každý z uvedených přístupů sice
naplňuje věcný základ (merit), neboť umožňuje provést evaluaci daného intervenčního
programu, nicméně hodnota (worth) jednotlivých přístupů se mění v závislosti na vnějších
podmínkách“. Jeden příklad za všechny: cílený přístup vznikl v podmínkách základního
školství, ve kterém je testování znalostí přirozenou součástí každodennosti, a proto lze
odvíjení úspěšnosti kursu (či osnov) od znalostí žáků považovat za adekvátní. Vhodný je
rovněž způsob provedení takovéto evaluace, neboť i ve skutečných podmínkách žáci
prokazují své znalosti v testech (viz například přijímací zkoušky). V našem fiktivním příkladu
však použití cíleného přístupu adekvátní není, neboť starší uchazeči o zaměstnání v největší
pravděpodobností nebudou u potenciálního zaměstnavatele podrobováni testu schopností
pracovat s PC. Proto ani sumarizované výsledky, kterých uchazeči dosáhli nejsou vhodným
140
ukazatelem úspěšnosti takto koncipovaného kursu. Jsou sice bezprostředním výstupem
daného kursu (output), ale nejsou ani vhodnou výpovědí o dopadech kursu (impacts), a nejsou
ani vhodným ukazatelem jeho výsledků (outcomes).
Shoda okolností stavěla autora této práce opakovaně před taková zadání, k jejichž zpracování
se každý z výše uvedených přístupů hodil jen částečně. Tím byly vytvořeny podmínky pro
vznik nového evaluačního přístupu, který z těchto okolností vychází a jejichž cíle v daných
podmínkách naplňoval lépe než kombinace výše uvedených přístupů. Opakované používání
nově navrženého přístupu v aplikační praxi naznačilo, že tento přístup může být aplikován
nejen v několika jednotlivých případech, ale v celé řadě situací, i když pochopitelně o
absolutní univerzalitě hovořit nelze. I na tento přístup platí, že jeho použitelnost je vhodná jen
za určitých podmínek a jen v rámci přesně daných okolností. Následující, závěrečná, část
předkládané práce je tedy představením tohoto nového přístupu k evaluacím, je stanovením
jeho základních předpokladů, popisem hlavních vlastností a v neposlední řadě také nástinem
některých předností a omezení. Z důvodů, které jsou popsány níže je tento přístup nazván
jako přístup integrativní.
141
8.2 Východiska navrhovaného přístupu
Integrativní přístup k evaluacím lze zasadit mezi přístupy, které jsou založeny na realismu; lze
dokonce konstatovat, že integrativní přístup k evaluacím vychází z Chenova evaluačního
přístupu, který je veden teorií a z realistického přístupu R. Pawsona a N. Tilleyho. Současně je
třeba poznamenat, že spíše než na fungování mechanismů v rámci jednotlivých intervenčních
programů, se integrativní přístup zaměřuje na interakci intervenčních programů s vnějším
prostředím, především pak s klienty coby specifickou zainteresovanou stranou, jež má
z hlediska dalšího rozvoje intervenčního programu zásadní význam. Jsou to totiž právě klienti
a potenciální klienti, kteří jsou ústředním prvkem jednotlivých intervenčních programů.
Intervenční programy nejsou zaváděny ani kvůli procesům, ani nejsou implementovány
samoúčelně kvůli svým vlastním cílům. Jsou zaváděny s cílem upravit chování klientů.
Svou metodologickou podstatou jde o specifický typ evaluace procesu implementace
intervenčního programu – také v tomto ohledu lze integrativní přístup považovat za
inovativní, neboť stávající přístupy se zaměřují buď na cíle sledovaných intervenčních
programů (cílené a explorační přístupy) nebo na různé zainteresované strany (senzitivní
přístup, utilitární či celá skupina participativních přístupů). Žádný z doposud popsaných a
publikovaných evaluačních přístupů (alespoň, pokud je nám známo) neobrací svou pozornost
k samotným procesům spojených se zaváděním daného intervenčního programu nebo
k analýze fungování stávajících intervenčních programů.
Teoretická východiska a ideové zdroje:
a) První z výchozích tezí integrativního přístupu k evaluacím odkazuje k empirickému zkoumání
klientů jednotlivých intervenčních programů. Není závěr bez důkazu, není důkaz bez výzkumu.
b) V souvislosti s posláním evaluací procesů píše Patton (2008) o potřebě rozkrývat skutečné
děje probíhající v rámci intervenčního programu zjišťováním hlavních vzorců a důležitých
nuancí, které dávají sledovanému intervenčnímu programu jeho charakter. V rámci
integrativního přístupu k evaluacím tedy evaluační proces sleduje nejen formální činnosti a
anticipované výsledky hodnoceného intervenčního programu, ale zaměřuje se rovněž na
zkoumání neformálních procesů a nezamýšlených důsledků, k nimž dochází v celém spektru
zavádění a rozvoje sledovaného intervenčního programu.
142
c) Realistický přístup R. Pawsona a N. Tilleyho
Pro realismus je příznačné, že obrací svou pozornost k mechanismu dějů, že se pokouší
rozkrývat vnitřní řád událostí a procesů s cílem nalézt obecné (a zobecnitelné) vzorce.
Nejinak je tomu v případě realistického přístupu R. Pawsona a N. Tilleyho a stejný akcent je
patrný i v integrativním přístupu. Ten rovněž vychází k klasické teze realismu o strukturaci
sociální reality, kdy odhalení vztahů na mikro-úrovni lze zobecnit na vztahy panující mezi
jevy na makro-úrovni. Modelování vzájemných vztahů mezi jednotlivými jevy je dovedností
společenskovědních výzkumníků, o níž se integrativní přístup opírá.
d) Tradice chicagské školy a pragmatismu spočívající ve vyváženém zájmu jak o metody a
způsob analýza, tak také o společenské problémy samotné. Integrativní přístup k evaluacím je
ve značné míře založen na sentimentu po výzkumných šetřeních 20. a 30. let minulého století,
které nepostrádaly ani jednu z obou uvedených rovin.
e) Význam konceptuálního schématu zakládáme rovněž na poznání, že v oblasti evaluací není
pro jednotlivé praktiky snadné koncipovat evaluační design, který by adekvátně odrážel na
jedné straně potřeby zadavatelů a zohledňoval přitom, na straně druhé, charakteristiky daného
kontextu a skutečnou povahu sledované oblasti54. I v tomto ohledu je nový přístup
integrativní, neboť vychází z úhlu pohledu, kterým se na intervenční program dívají jeho
iniciátoři. Je to sice pohled stejným směrem, nicméně není to pohled stejnýma očima!
Obrázek č. 15 Pozice integrativního přístupu mezi ostatními evaluačními přístupy
5. Konstruktivistický
(E. Guba)
2.
1.
Cílený
(R. Tyler)
3.
8.
Senzitivní
Senzitivní
(R. Stake)
6.
Účastnický
4.
Explorač
Explorační
(M. Scriven)
Utilitá
Utilitární
rní
(M. Patton)
Realisticický
Tilley)
9.
Integrativní
Integrativní
7.
teorií
(H. Chen)
Zdroj: autor
54
Kromě jiných na tento jev upozorňují zejména Stufflebeam (2001) a Chelimsky, Shadish (1997).
143
Pozice integrativního přístupu k evaluacím a jeho vztah k ostatním přístupům je patrný
z doplněného schématu, jež je odrazem naší percepce jednotlivých evaluačních přístupů. Je
z něj patrná přímá návaznost na směry, které vycházejí z realistické filosofie.
144
8.3 Popis konceptuálního schématu
Dříve než budeme věnovat detailní pozornost jednotlivým prvkům a klíčovým
charakteristikám integrativního přístupu, považujeme za nutné letmo vysvětlit základní
terminologii, která se k tomuto evaluačnímu přístupu váže. Pro snazší pochopení principu
integrativního přístupu k evaluacím jsou jeho klíčové prvky zachyceny v grafické podobě.
Konceptuální schéma zachycující integrativní přístup k evaluacím je složeno ze čtyř domén55,
z nichž každá reprezentuje jednu klíčovou etapu vzniku a rozvoje posuzovaného
intervenčního programu. Výchozí doména (A) symbolizuje počáteční fázi daného
intervenčního programu, jeho přípravu a uvedení do praxe; doména B představuje reflexi
daného intervenčního programu jeho potenciálními klienty; doména C zahrnuje reakce klientů
na intervenční program a poslední čtvrtá doména reprezentuje vyhodnocení výsledků, ke
kterým intervenční program dospívá. Každá z domén je dále rozdělena na dvě sub-domény,
jejichž rozlišení je významné z hlediska dalších, navazujících procesů.
Obrázek č. 16 Konceptuální schéma integrativního přístupu k evaluacím
Domé
Doména D
Domé
Doména A
1.
t; e
va nc
no ve
ve ter
r
te in
ho
in lů
ní trů
ěr í cí
nč me
m
e
n
rv ra
Zá ove
te a
in o p
an
st
ho í jeh
í
tn
ré en
nk tav
ko nas
va u;
ra
íp a m
Př ogr
2.
pr
MAKRO
úroveň
roveň
8.
po ned Žá
př os dn
. n ta é v
eo te ýs
če čn le
ká é v dk
va ýs y;
né le
in
te O č
vý dky
rv e
sl ,
e n ká
ed
čn va
ky
í p né
ro vý
gr sl
am e d
je ky;
fu
nk
čn
í
7.
Domé
Doména B
MIKRO
úroveň
roveň
Domé
Doména A = výchozí
výchozí
Domé
Doména B = rozhodovací
rozhodovací
Domé
Doména C = reaktivní
reaktivní
4.
R
3.
a j efle
eh xe
o
no inte
sit rv
ele en
do čníh
tč o
en pr
ým og
i s ram
Zá
ub u
m
jek
m zas ěr
ez az re
ty
i i en a
nd í go
iv sti va
id m t;
uá ul
ln u
íc
íle
Domé
Doména D = výsledková
výsledková
AKCE
Domé
Doména C
5.
O
ká
če
p
ná
va
c
ak
re
e
ce
e, ak
kc á re
a
re n
á va
dn ká
Žá oče
ne
ř.
op
6.
REAKCE
Zdroj: autor
55
Hleďme na zřejmou inspiraci H. Chenem.
145
Pro evaluaci intervenčního programu je kromě samotných domén významné také rozhraní
mezi nimi a v neposlední řadě je třeba poukázat na vazbu mezi oběma sub-doménami v rámci
každé jednotlivé domény, která při evaluaci daného intervenčního programu zaujímá
významné místo. V následující kapitole se k jednotlivým styčným bodům spojujícím
jednotlivé domény i k jejich detailnímu popisu vracíme ve větším detailu.
Domény A a B současně reprezentují akční stranu konceptuálního schématu – posuzovaný
intervenční program v těchto doménách vystupuje v roli podnětu, stimulu, od kterého se
odvíjejí další kroky, činnosti či postupy. Domény C a D jsou doménami reaktivními, neboť
intervenční program je v nich předmětem reakce, je subjektem vůči kterému jsou jednotlivé
kroky a činnosti vztahovány. Domény A a D jsou doménami makro-úrovně, kdy je na
posuzovaný intervenční program pohlíženo z pozice jeho celkového působení, zatímco
domény B a C posuzují daný intervenční program z mikro-úrovně, tedy očima jednotlivce, na
kterého tento program dopadá.
Navržené schéma je třeba chápat jako konceptuální rámec zachycující hlavní procesní milníky,
které se v autorem prováděných evaluacích opakovaně ukazovaly jako kritické pro dlouhodobě
udržitelné fungování sledovaných intervenčních programů. Je třeba v této souvislosti poukázat
na skutečnost, že daný konceptuální rámec lze vyplňovat jednotlivými evaluačními a
výzkumnými úlohami podle konkrétních potřeb a podle daného situačního kontextu. Jak je
ukázáno dále, k výzkumu či evaluaci jednotlivých domén navrhovaného schématu lze zvolit
různé alternativní metody a techniky; neshledáváme účelným, aby navrhovaný přístup některé
z nich preferoval a jiné eliminoval. Rámec v tomto ohledu skutečně zůstává rámcem či
formou, jež je nezávislá na konkrétních náplních či obsazích.
Rovněž je nutné zdůraznit, že nastíněné schéma nemá svůj primární účel v přesném popisu
jednotlivých procesních milníků, kterými intervenční programy procházejí během svého
zavádění; v tomto ohledu by bylo zapotřebí specifikovat jednotlivé etapy mnohem detailněji.
Schéma není možné považovat ani za posloupnost kroků, návod či kontrolní seznam, neboť
neobsahuje nástin pracovního postupu.
146
8.4 Podrobná definice jednotlivých elementů
8.4.1 Výchozí doména
Výchozím bodem integrativního přístupu k evaluacím je záměr iniciátora intervenovat, zavést
nějaký intervenční program. V souvislosti s realizací integrativního přístupu je vlastně
motivace k tomuto kroku nepodstatná, neboť nic nemění na tom, je-li důvodem rozhodnutí
zavést daný intervenční program politická vůle, nutnost vyvolaná externími vlivy či výsledek
dříve provedeného výzkumu potřeb. Přesto je z hlediska integrativního přístupu významné
věnovat pozornost záměrům, které příslušné zainteresované strany sledovaly ještě před tím,
než byl daný intervenční program vytvořen. Tyto okolnosti, které by např. realistický přístup
zařadil mezi „kontext“, jsou užitečným faktorem, který umožní rozlišovat zamýšlené a
očekávané cíle od nezamýšlených a neočekávaných. Dále poskytují evaluátorovi vodítko při
specifikaci cílů intervenčního programu, což nemusí být vždy snadnou úlohou ani pro
samotné iniciátory. V rámci několika dalších přístupů k evaluacím (např. senzitivního,
utilitárního, konstruktivistického či účastnického) by detailní prozkoumání této domény bylo
klíčovou etapou (není náhodou, že jsou tyto přístupy označovány jako přístupy orientované na
zainteresované strany). Naproti tomu pro explorační přístup by taková strategie byla naopak
irelevantní resp. dokonce nežádoucí, neboť by mohla vést k vychýlení.
Jako výchozí doménu je možné si představit legislativní záměr zavést či umožnit rozvoj
sociálních služeb, nebo záměr věcně příslušného ministerstva podpořit zaměstnanost osob starších
50 let či záměr snížit počet obětí dopravních nehod; běžnou formou intervenčních programů
v soukromé sféře jsou např. nástroje pro podporu věrnosti zákazníků při výběru místa nákupu
(dlouhodobé věrnostní programy). Cíle intervenčních programů definované v tomto okamžiku
jsou výlučně cíle principiální a jsou založené na tzv. výsledné hodnotě (outcome value): důstojnost,
rovné zacházení, bezpečnost, zisk/stabilita. Rovněž míra či stupeň formalizace jednotlivých
záměrů není v tomto ohledu rozhodným činitelem: konkrétní zkušenosti ukazují, že vysoká míra
formalizace výchozí intervenční motivace může být odrazem pečlivé přípravy a detailní analýzy
výchozího stavu, na straně druhé však může signalizovat nedostatečné obsahové vymezení.
Řada intervenčních programů má své cíle a záměry popsané způsobem, který není pro
evaluaci vhodný, neboť neumožňuje provést ani operacionální definici, ani definici kriteriální.
Programové cíle, které (možná) plní svůj primární účel, nicméně z hlediska evaluací jsou
nevhodné například tyto: „zlepšit profil mládeže“, „vyvinout funkční síť“ nebo „poskytnout
zaměstnancům školení“.
147
Druhá sub-doména je z hlediska prováděných evaluací zásadní, neboť představuje evaluaci
vlastního intervenčního programu. Konkrétní evaluační činnosti prováděné v rámci této subdomény jsou zaměřeny na popis samotného intervenčního programu, přičemž
neodmyslitelnou součástí evaluací prováděných v tomto rámci je rovněž komparace cílů
intervenčního programu s původními záměry iniciátora, a dále také evaluace institucionální
kapacity vytyčené cíle naplňovat. Proces přípravy intervenčního programu, precizace jeho
nastavení a specifikace častokrát velmi vysokého množství parametrů vzdaluje praktické cíle
intervenčního programu jejich původnímu poslání a ideální vizi iniciátorů. Není žádnou
samozřejmostí, že výsledná podoba intervenčního programu věrně odráží výchozí záměry.
Pro samotnou evaluaci daného intervenčního programu a jeho účinnost je pochopitelně
významná výsledná podoba a platné cíle po případné revizi, nicméně zdokumentování cílů, na
které bylo rezignováno již během přípravy intervenčního programu, může být užitečným
základem pro analýzu zájmů jednotlivých zainteresovaných stran.
Řada intervenčních programů je zakotvena v zákoně a legislativní proces vždy přináší změny
a úpravu původních návrhů připravených ministerstvy či legislativním odborem. Podobná
situace je patrná i na úrovni jednotlivých krajů, které přijímají vlastní opatření a iniciují
vlastní programy.
Specifická pozornost tak může být věnována komparaci legislativního návrhu konkrétního
zákona zavádějícího příslušný intervenční program s jeho podobou po schválení parlamentem
či záměr posílit retenci zákazníků s konkrétní podobou věrnostního programu schváleného
představenstvem společnosti atp.
Samostatné šetření prováděné v rámci integrativního přístupu analyzuje míru shody platné
podoby intervenčního programu s původními záměry; toto šetření odhaluje, v čem došlo
k odchylkám a zahrnuje také posouzení těchto odchylek samotnými iniciátory. Jen oni totiž
mohou posoudit, zdali provedené změny zasahují do podstaty plánovaného intervenčního
programu, narušují jeho integritu, představují jen okrajové diference či dokonce původní
záměr vylepšují. Je pochopitelné, že je výsledná podoba intervenčních programů vždy
kompromisem mezi technicky (odborně) precizním řešením a politicky průchodnou variantou.
Na případný nesoulad mezi původními záměry iniciátorů a cíli intervenčních programů přitom
poukazuje řada evaluátorů (M. Patton, E. Guba a mnozí další). Většinou jsou přičítány
148
neschopnosti zainteresovaných stran definovat cíle intervenčního programu či vágnosti
formulovaných závěrů, v mnoha případech může jít dokonce o skutečný rozpor („chtěli jsme
xy, a zatím máme ab“). Mnohé intervenční programy mohou sledovat více cílů, mezi nimiž se
mlže vyskytnout konflikt; v některých případech mohou být v rámci daného intervenčního
programu zvoleny neadekvátní nástroje pro dosažení vytyčených cílů (viz např. žádost o
sociální dávky prostřednictvím Internetu).
Dále je třeba poukázat na poměrně běžnou skutečnost, kdy celá řada intervenčních programů
nedisponuje vlastními samostatnými institucionálními nositeli, vyčleněnými či zavedenými
výlučně za účelem podpory fungování daného intervenčního programu, a tak je naplňování
vytyčených cílů delegováno na nositele (organizace, instituce, subjekty) již existující.
Žádný nám ze známých evaluačních přístupů tuto dvojjedinost intervenčních programů
nereflektuje. Aktuálně dostupná evaluační literatura popisuje intervenční programy jako
poněkud abstraktní entity, nicméně diversitu institucionálně-organizační báze a procesních
pravidel vytvářejících daný intervenční program, je doposud ponecháván bez povšimnutí.
Integrativní přístup k evaluacím věnuje samostatnou pozornost nejen intervenčnímu programu
coby souboru procesů, ale také těmto institucionálním nositelům (tj. organizacím
zodpovědných za implementaci a každodenní provoz jednotlivých intervenčních programů). Z
konkrétních situací je dále patrné, že institucí, jež jsou nositelem jednoho intervenčního
programu, může být i více a z druhé strany platí, že jedna organizace může být nositelem
většího počtu intervenčních programů. V případě sociálních služeb to jsou např. neziskové
organizace, jednotlivé kraje i Ministerstvo práce a sociálních věcí ČR. V oblasti zaměstnávání
osob starších 50 let jsou konkrétními institucionálními nositeli Česká správa sociálního
zabezpečení, jednotlivé úřady práce, dokonce i jednotliví zaměstnavatelé. Nositelem
intervenčního programu pro snižování počtu usmrcených při dopravních nehodách (bodový
systém) je Policie ČR, ale také Městská policie, obecní úřady pověřené vedením agendy a
registru přidělených bodů a řada dalších subjektů. Nositelem věrnostního programu jsou např.
jednotlivé obchody, distribuční a partnerské sítě.
První doména, jak je patrné ze schématu, leží v makro-úrovni, lze konstatovat, že makroúroveň je analytickým pohledem na celkovou situaci; je to perspektiva iniciátora daného
intervenčního programu. Předmětem zájmu je v tomto případě intervenční program a
prostředí, které ho obklopuje. Využívané informační podklady jsou údaje, které dokumentují
celek. Z tohoto hlediska jsou postačující vždy jen zobecněné a agregované charakteristiky
149
daného typu nositelů. Není tedy třeba na tomto místě rozlišovat, zdali je nositelem konkrétní
obecní úřad a není třeba věnovat detailní pozornost diferencím mezi jednotlivými obecními
úřady; v doménách ležících v mikro-úrovni konceptuálního rámce integrativního přístupu
však toto rozlišení bude esenciální.
8.4.2 Rozhraní výchozí a rozhodovací domény
Každodenní fungování daného intervenčního programu vyplňuje prostor mezi výchozí (A) a
rozhodovací (B) doménou. Z metodologického hlediska tuto oblast nejlépe popisují
monitorovací a observační techniky56. V rámci rozboru uskutečňování intervenčního
programu stojí za pozornost, že se v tomto procesu prolíná makro-pohled s mikroperspektivou. Z tohoto důvodu je užitečné kombinovat monitoring (tak, jak byl definován
výše), který má svůj základ v makro-prostředí a zaměřuje se na analýzu celého intervenčního
programu, s metodou mikro-analýzy, která sleduje zaváděný intervenční program očima
potenciálních klientů. Doporučovanou technikou je v tomto ohledu skryté a zúčastněné
pozorování, které umožňuje odhalovat případné nedostatky při zavádění daného intervenčního
programu do praxe.
Integrativní přístup v tomto rozhraní mezi výchozí doménou a doménou rozhodovací zakládá
druhou dvojjedinost posuzovaného intervenčního programu, a to jeho faktickou podobu a
komunikační (mediální) obraz. Na řadu intervenčních programů jsou totiž příslušné
zainteresované strany (zejména pak klienti) upozorňováni buď samotnými iniciátory daného
intervenčního programu nebo jeho institucionálními nositeli či případně také dalšími subjekty
a ostatními zainteresovanými stranami.
Komplex získávaných ukazatelů umožňuje popsat mechanismus zavádění daného
intervenčního programu a konfrontovat ho s pohledem potenciálního beneficienta (ne všechny
organizační obtíže spojené se zaváděním intervenčního programu se musí nutně projevit
navenek, ale také se naopak mohou objevit zcela nečekané problémy). Obrácený postup
analýzy (tj. od mikro-úrovně směrem k makro-úrovni uplatněný mezi doménami C a D)
dovolí atomizované zkušenosti mikro-světa extrapolovat a dospět k závěrům o celkových
dopadech případných nedostatků. Integrativní přístup dále konfrontuje představy
56
Příslušná evaluace je předmětem evaluace procesu.
150
zainteresovaných stran o fungování daného intervenčního programu s popisem jeho reálného
zavedení. Z tohoto srovnání častokrát vyplývají významné diskrepance.
Poměrně častým jevem je distorze intervenčních programů způsobená institucionálním
nositelem, neboť ten upravuje implementovaný intervenční program podle svých obvyklých
standardů a procesů. Dobrým příkladem je v tomto ohledu porovnání výsledků z hodnocení
kvality poskytovaných sociálních služeb mezi jednotlivými poskytovateli. Přestože samotný
intervenční program je identický (jeho rozsah je definován obecně závazným předpisem,
standardy se neliší a rovněž i hodnotitelé postupují podle konzistentní metodiky), může být
úroveň služeb poskytovaných jednotlivými subjekty odlišná. Podobně také výsledky
provedeného zúčastněného pozorování mohou ukazovat na značné rozdíly ve způsobu, jakým
je věrnostní program, jež má (mít) konstantní parametry, implementován.
Předpoklady úspěšné implementace intervenčních programů lze shrnout do následujících tezí:
a) iniciátoři intervenčního programu znají své klienty
V některých případech plánovaný intervenční program nerespektuje povahu klientů a
implicitně tak může přispět k jeho nižší efektivitě.
b) iniciátoři vědí, jaké jsou potřeby a osobní preference klientů
Znalost klientů zahrnuje kromě znalosti jejich profilu také detailní informace o konkrétních
potřebách a osobních preferencích. Nejde přitom jen o jejich prostou identifikaci, ale o
skutečně detailní analýzu v rozsahu, jenž vyplývá z charakteristiky uvedené v kapitole č. 6.
Neznalost či nepřesná znalost potřeb a osobních preferencí je základem budoucího neúspěchu
intervenčního programu.
c) iniciátoři mají jasnou představu o svých cílech
Cíle některých intervenčních programů nejsou jasné, jsou příliš obecné, nesouvisí
s implementovaným intervenčním programem.
d) iniciátoři dovedou intervenční program představit
Tento předpoklad odkazuje ke komunikační rovině zaváděného intervenčního programu.
V mnoha případech totiž není adekvátním způsobem popsána výhoda, kterou klient může
získat; jindy problém spočívá v nejasně definovaných podmínkách nároku. To v konečném
151
důsledku vede např. k tzv. non-take-up, tedy k situaci, kdy se oprávněné osoby nezapojují do
implementovaného intervenčního programu. Ten v důsledku toho dosahuje nižší celkové
účinnosti a jeho výstupy, výsledky i dopady zůstávají za očekáváním iniciátorů.
Cílem evaluace je verifikovat, zdali jsou jednotlivé procesy a činnosti intervenčního programu
implementovány adekvátním způsobem a umožňují tak rozvoj navazujících činností.
Rozlišování faktické a komunikační podoby intervenčních programů je druhým z klíčových
znaků integrativního přístupu. Obvyklý výčet zainteresovaných stran tak lze rozšířit o další
subjekt, a to o „komunikátora“.
8.4.3 Rozhodovací doména
Druhou doménou (B) integrativního přístupu je strana klienta daného intervenčního
programu. Nastíněný konceptuální rámec vychází z předpokladu rozdílného způsobu přijetí
intervenčního programu jednotlivými skupinami klientů intervenčního programu), a dále
předpokládá jejich nestejný přístup k informacím o existenci intervenčního programu, o jeho
účincích a parametrech. Integrativní přístup disponuje kapacitou pro analýzu povědomí o
intervenčním programu, jeho znalosti a umožňuje tak dále provést analýzu přijetí relevantními
zainteresovanými stranami (tj. zejm. klienty).
Integrativní přístup věnuje samostatnou pozornost akceptaci intervenčního programu. Kromě
jeho samotných vlastností je totiž neméně významné přijetí intervenčního programu subjekty,
které jsou daným programem přímo dotčeny. V tomto ohledu platí, že daná problematika je
strukturovaná, a proto integrativní přístup věnuje každé vrstvě separátní pozornost. Předně jde
o to, zdali (potenciální) klienti vůbec mají povědomí o jeho existenci. Vzhledem ke
skutečnosti, že na základě vnímání a přijetí intervenčního programu jsou v rámci
integrativního přístupu formulovány předpoklady o chováníklientů, je zřejmé, že povědomí o
intervenčním programu je elementárním předpokladem těchto analýz. Současně platí, že míra
povědomí je sama o sobě důležitým indikátorem, který má významnou vypovídací schopnost
pro management daného intervenčního programu per se. Některé případové studie poukazují
na nízký dosažený efekt zavedeného intervenčního programu právě z důvodu nízké účasti, jež
pramení v nízkém povědomí o jeho existenci (Neubert 2000; Morris, Fitz-Gibbon, King
1987).
152
Druhou rovinou pro posouzení akceptace intervenčního programu je jeho reflexe a proces
zaujímání postoje klienty či potenciálními klienty. Tento proces zahrnuje jak monadické
posouzení zaváděného intervenčního programu, tak také komparativní posouzení jeho
jednotlivých parametrů (Fiske, Taylor 1991). Platí, že tyto skupiny jen málokdy posuzují daný
intervenční program ve stejném kontextu jako jeho iniciátoři; toto posouzení obvykle
nerespektuje žádnou „resortní příslušnost intervenčního programu“ a nerespektuje ani
začlenění mezi ostatní intervenční programy používané iniciátory. Percepce intervenčního
programu je v tomto ohledu jednoznačně podřízena uspokojení dané potřeby, kdy je
intervenční program v očích (potenciálních) klientů zasazen do individuálně konstruovaných
alternativ, jež se v mnohém mohou vzdalovat představě iniciátorů daného intervenčního
programu. Významná pozornost je v integrativním přístupu věnována „falešným“ a
„zkresleným“ představám o intervenčním programu, které zahrnují zejména chyby ve
vnímání, neadekvátní askripci hodnot, nedosažitelná očekávání, záměnu s jiným intervenčním
programem apod.).
Obvyklé otázky v této rovině evaluace se ptají: „Cítí se klient tímto intervenčním programem
osloven? Je klient přesvědčen o tom, že je daný intervenční program pro něj vhodný?
Poskytuje daný intervenční program klientovi důvod využít ho? Má klient důvod zapojit se do
daného intervenčního programu? Stojí klientovi za to, aby vyvinul úsilí a získal výhody
poskytované daným intervenčním programem? Výsledkem tohoto posouzení je záměr jednat.
Jak však ukazují Ajzen a Fishbein (1980) záměr jednat ještě neznamená jednání samotné.
8.4.4 Rozhraní rozhodovací a reaktivní domény
Druhou sub-doménu naplňuje analýza výpovědí o intencích (potenciálních) klientů. V této
souvislosti je třeba přijmout fakt, že v celé řadě případů nemá klient svobodu volby; možnost
vybrat si mezi zapojením do intervenčního programu a odmítnutím participace není
k dispozici. Toto je patrné zejména v případě legislativně zakotvených obligací, kdy si např.
řidiči nemohou vybrat, zdali se bodovému systému podrobí či nikoliv, podobně také osoby ve
věku 50 let se nemohou o své vůli rozhodnout, že se stanou příjemci starobního důchodu.
Nicméně mnoho jiných intervenčních programů tuto svobodu v rozhodování umožňuje:
jedinec se např. může rozhodnout pro využití nabízených sociálních služeb či pro jejich
nevyužití; podobně také nakupující se mohou, ale nemusí zapojit do probíhajícího věrnostního
programu. Bez ohledu na svobodu či nesvobodu volby jednotlivých zainteresovaných stran
153
ohledně jejich zapojení do intervenčního programu, je získání informací o zamýšlených
reakcích užitečnou výpovědí o legitimitě implementovaného intervenčního programu.
Vyjádřená intence navíc není nutně omezena jen na přijetí či odmítnutí daného intervenčního
programu, neboť spektrum potenciálních behaviorálních vzorců může být podstatně širší.
8.4.5 Reaktivní doména
Mezi odhodláním a skutečným jednáním může existovat nepřekonaná propast, která
v konečném důsledku inhibuje efekt posuzovaného intervenčního programu. Reakce navíc
mohou být v řadě případů očekávaná (zamýšlená), ale rovněž je třeba počítat s reakcemi,
které neodpovídají očekáváním a záměrům iniciátora intervenčního programu.
Třetí doména sice stále setrvává na straně daného klienta intervenčního programu, nicméně
přechází z dosavadní akční roviny, jež zahrnovala první dvě domény, do roviny reaktivní.
Pozornost je zde věnována skutečnému zapojení dotčených zainteresovaných stran do
existujícího intervenčního programu – předmětem evaluace jsou reálně uskutečněné reakce
klientů na předestřený intervenční program. Integrativní přístup v rámci této domény rozlišuje
žádoucí reakce od reakcí nežádoucích; žádoucí reakce jsou takové, jež jsou v souladu
s očekáváním iniciátorů intervenčního programu a (patrně) vedou k dosažení vytyčených cílů.
V nejobecnější rovině tak jde o zapojení klientů do implementovaného intervenčního
programu a je odrazem jednak povědomí o něm a o jeho akceptaci. Současně platí, že
žádoucích reakcí může být v rámci jednoho intervenčního programu i více. V případě
sociálních služeb může být jednou ze žádoucích reakcí přijetí takových opatření, které
povedou k doručení adekvátních sociálních služeb potřebným. V praxi může jít o využití
konkrétní služby (např. osobní asistence či donáška oběda), může se ale stejně dobře jednat o
poskytnutí dané služby některým z členů rodiny. V rané fázi implementace intervenčního
programu může být dostatečnou reakcí telefonát potenciálního beneficienta na informační
linku či prostudování informačního letáku. V případě bodového sytému je žádoucí reakcí
odpovídající primárnímu cíli iniciátora nezabít sebe či jiného, nicméně adekvátní reakcí na
zavedení bodového systému je také zvýšení pozornosti věnované silničnímu provozu,
pečlivější dodržování silničního zákona, vyšší ohleduplnost, atd. Žádoucími reakcemi v
případě intervenčního programu pro podporu zaměstnanosti osob starších 50 let je vyšší
zájem zaměstnavatelů o pracovníky starší 50 let; rovněž účast starších zaměstnanců na
154
speciálním rekvalifikačním kurzu určeného této věkové skupině (organizovaného v rámci
sledovaného intervenčního programu) může být považováno za adekvátní a žádoucí reakci.
Neméně významným počinem v rámci této domény je analýza nezamýšlených či dokonce
nežádoucích reakcí. Ta totiž umožňuje odhalit slabá místa intervenčního programu a posiluje
tak formativní prvek integrativního přístupu. Výskyt některých nezamýšlených reakcí navíc
pomáhá pochopit způsob, jak je daný intervenční program vlastně vnímán a umožňuje odhalit
jeho skutečný (skrytý) mechanismus fungování. Teprve analýza nákupního koše zákazníků
platících stravenkami ukázala, že tento intervenční program (jehož původním cílem bylo
umožnit stravování zaměstnancům malých společností bez závodní jídelny) neplní svůj účel.
Analýza nezamýšlených reakcí bývá v některých případech základem pro výzkum potřeb,
neboť de facto indikuje existenci konkrétní potřeby, která navíc není plně saturována.
8.4.6 Rozhraní reaktivní a výsledkové domény
Klíčovým z hlediska adekvátního hodnocení implementovaného intervenčního programu je
generalizace údajů z mikro-úrovně zpět na makro-úroveň. Mnoho evaluačních přístupů
selhává právě v tomto citlivém momentu, kdy je třeba vztáhnout a argumentačně podložit data
získaná ze vzorku cílové skupiny k celé základní populaci a provést jejich extrapolaci. Tato
translace je významná zejména z hlediska externí validity.
8.4.7 Výsledková doména
Čtvrtá doména přesouvá těžiště integrativního přístupu zpět do výchozí makro-úrovně a
vytváří prostor pro doložení skutečných výsledků daného intervenčního programu. Ani
očekávané a žádoucí reakce totiž nemusí nutně vést k naplnění vytyčených cílů (např. kvůli
tomu, že nereaguje dostatečný počet lidí, reakce mohou být slabé a nevýrazné, původní
hypotéza o vztazích mezi vstupy, činnostmi a výstupy v podmínkách daného intervenčního
programu se nepotvrzuje: výstupy zkrátka nevedou k výsledkům). Proto je i tato doména
rozdělena do dvou sub-domén a počítá se zde s oběma eventualitami.
Očekávané reakce způsobují zamýšlené výstupy, nicméně tento předpoklad nemusí být vždy
dosažen a potvrzen. Vysoká míra participace ze strany beneficientů může narušit stabilitu
intervenčního programu, naopak nízká míra participace může vést k jeho nehospodárnému
provozu (hypotézy o výsledcích intervenčního programu a jejich dosažení jsou vždy
155
dvojstranné!). V řadě konkrétních aplikačních situací se navíc mohou objevit vedlejší efekty,
kdy skupina klientů reaguje jinak, než jak bylo iniciátory intervenčního programu zamýšleno
(viz např. zneužívání stravenek, obcházení zákonů apod.).
Z konkrétně posuzovaných intervenčních programů je patrné, že ani účast osob starších 50 let
na speciálně připravených rekvalifikačních kursech nemusí vést sama o sobě k jejich vyšší
zaměstnanosti; podobně také striktní dodržování pravidel silničního zákona většinou řidičů
nemusí vést k redukci celkového počtu usmrcených. Využívané sociální služby nemusí vést
ke zvýšení potřebné kvality života. V této doméně může nalézt své uplatnění explorační
přístup k evaluacím navrhovaný M. Scrivenem.
8.4.8 Rozhraní výsledkové a výchozí domény
Rozhraní mezi výsledkovou a výchozí doménou vytváří prostor pro zapojení cíleného
přístupu R. Tylera, kdy jsou dosažené výsledky porovnávány s vytyčenými cíli. Závěry
analýzy výsledkové domény v integrativním přístupu jsou využitelné jako základ nového
výzkumu potřeb57 buď pro nový intervenční program nebo pro korekci programu stávajícího.
A celý proces se dostává do dalšího cyklu. Potenciálně měřitelný je také dopad intervenčního
programu (tedy dlouhodobé efekty).
Integrativní přístup k evaluacím v tomto okamžiku shrnuje veškeré dostupné poznatky a
smyčka učení se uzavírá. Iniciátor intervenčního programu na základě dokončené evaluace
může rozhodnout buď o jeho zrušení či revizi. V řadě případů může dojít také k navržení
nového intervenčního programu. Skutečností však zůstává, že nové intervence se objevují jen
zřídka kdy, neboť pro většinu oblastí již nějaká forma intervenčních programů existuje; stále
je však zapotřebí hledat efektivní způsob těchto zásahů, postupně je zlepšovat a adaptovat na
měnící se vnější okolnosti.
57
Ukazuje-li se, že některé potřeby nebo osobní preference zanikly nebo nebyly naplněny.
156
8.5 Obecná charakteristika integrativního přístupu k evaluacím
Na první pohled by se mohlo zdát, že integrativní přístup k evaluacím patří mezi přístupy
zaměřené na zainteresované strany (stakeholders-oriented). Podobně jako se např. M. Patton
zaměřuje na uživatele evaluací a podporuje tak utilizaci provedených evaluačních projektů či
R. Stake, který navrhuje konstruovat design evaluace s ohledem na očekávání zadavatelů a
možností ostatních zainteresovaných stran, také integrativní přístup vykazuje orientaci na
jednu zainteresovanou stranu, a to na klienty intervenčního programu. Je to však zdání, které
klame. Integrativní přístup k evaluacím totiž není přístupem, který by přímo vtahoval stávající
či budoucí klienty do procesu tvorby intervenčního programu; evaluace zaměřené na
zainteresované strany je totiž přímo angažuje a ponechává jim možnost ovlivnit výslednou
podobu prováděné evaluace. Integrativní přístup k evaluacím ani nestaví, v duchu
konstruktivistického přístupu E. Guby a Y. Lincolnové či přístupů participativních, tyto
zainteresované strany do pozice plnohodnotných účastníků spolurozhodujících o způsobu
provedení evaluace daného intervenčního programu.
Integrativní přístup k evaluacím je evaluačním přístupem, který je zaměřený na samotný
intervenční program; je tedy program-oriented. Intervenční program je osou celého
konceptuálního rámce – vše je uspořádáno okolo něj. První doména postihuje vznik a genezi
intervenčního programu; druhá doména pak jeho přijetí; třetí doména zachycuje výstupy
intervenčního programu; čtvrtá doména pak věnuje pozornost jeho výsledkům a dopadům.
Také případné závěrečné porovnání získaných výsledků s předem stanovanými cíli (ověření
dosažených standardů) staví intervenční program do centra prováděné činnosti. Tímto
vymezením pochopitelně nechceme naznačit, že by ostatní evaluační přístupy intervenční
program přehlížely nebo mu nevěnovaly dostatečnou pozornost; chceme jen poukázat na
výsostné postavení, které intervenční program zaujímá v kontextu integrativního přístupu.
Výstupy integrativního přístupu jsou jakýmsi paspartem daného intervenčního programu;
mohou zahrnovat jeho klíčové atributy v ucelené a konsistentní podobě.
157
Integrativní přístup k evaluacím lze dále, kromě již uvedeného, vystihnout těmito interakčními
postuláty:
a) Postulát horizontální interakce
Intervenční program není implementován a nepůsobí ve vakuu. Intervenční program vždy při
svém působení interaguje s jinými intervenčními programy či s jinými stimuly, které ovlivňují
chování dotčených beneficientů.
Obrázek č. 17 Schéma horizontálních interakcí
BENEFICIENT
Intervenč
Intervenční
program č. 1
Intervenč
Intervenční
program č. 2
Intervenč
Intervenční
program č. 3
Zdroj: autor
b) Postulát vertikální interakce
Každý jednotlivý klient má svůj individuální hodnotový systém. Jednotlivec identifikuje u
daných intervenčních programů klíčové hodnoty, na nichž jsou tyto programy vystavěny (a na
které apelují) a poměřuje je se svou individuální hierarchií hodnot. Na základě toho volí své
další jednání.
Obrázek č. 18 Schéma vertikálních interakcí
Hierarchie hodnot
intervenč
intervenčního
programu
Hierarchie hodnot
beneficienta
Zdroj: autor
158
c) Postulát temporální interakce
Oblasti, v nichž jsou intervenční programy zaváděny, jsou již nějakým způsobem regulovány
a vztahuje se na ně nějaká forma intervence. Zaváděný intervenční program tedy stojí na
základech (či troskách) svého předchůdce. V duchu evaluační kultury je zavedený intervenční
program dále modifikován a rozvíjen tak, aby dosahoval vyšší efektivity a aby překonával své
vlastní limity.
Obrázek č. 19 Schéma temporálních interakcí
Nasazení
Nasazení
intervenč
intervenčního
programu
Intervenč
Intervenční
program č. 4
Intervenč
Intervenční
program č. 3
Intervenč
Intervenční
program č.2
Intervenč
Intervenční
program č.1
Čas
Zdroj: autor
d) Postulát ekologické interakce
Intervenční program nezůstává statickým souborem opatření. Jeho dynamika je dána jednak
proměňujícím se prostředím (nové a nové intervenční programy v blízkých oblastech), a dále
také proměnami potřeb a očekávání potenciálních recipientů.
Obrázek č. 20 Schéma ekologických interakcí
Intervenční
program
Zdroj: autor
159
8.6 Přednosti integrativního přístupu k evaluacím
Integrativní přístup umožňuje kombinovat deskriptivní pohled na skutečný výkon
sledovaného intervenčního programu (procesní analýza, analýza výstupů) s pohledem
prospektivním. Integrativní přístup tedy může přinášet návrhy na korekci intervenčních
programů.
Integrativní přístup kombinuje makro- i mikro-rovinu. Makro-rovina představuje typický úhel
analýzy evaluačního šetření, zahrnuje rovinu celého programu (případně designu evaluace),
ale sama o sobě nesestupuje na úroveň samostatných jednotek – konkrétních účastníků,
jednotlivců apod. Mikro-úroveň je v rámci takto koncipovaného přístupu obvyklá ve
společenskovědním výzkumu, sleduje rozhodování jednotlivců, jejichž vzorce sumarizuje,
agreguje a vytváří typologie. Mikro-úroveň umožňuje do jisté míry suplovat experimenty
pomocí svých obvyklých analytických postupů (model elaborace).
Integrativní přístup je dosažením evaluačně výzkumného maxima, neboť celý evaluační
proces je založen na sérii šetření. O možnostech jejich využití vypovídá následující tabulka:
Tabulka č. 16 Možnosti využití evaluačních metod v rámci integrativního přístupu
Typ evaluace
Možnosti provedení v rámci integrativního přístupu
Výzkum potřeb
Nepřímo; reaktivní doména (zejména pak druhá sub-doména)
Evaluace procesu
Ano; rozhraní mezi výchozí a rozhodovací doménou
Evaluace výsledku
Ano; výsledková doména (zejména pak první sub-doména)
Evaluace dopadu
Ano; výsledková doména
Formativní evaluace
Ano; jakákoliv doména
Sumativní evaluace
Ano; jakákoliv doména
Zdroj: autor
Integrativního přístupu k evaluacím sbližuje metody společenskovědního výzkumu
aplikované v oblasti evaluací s technikami, jež jsou v rámci evaluací dominantně využívány.
Výsledky integrativního přístupu přinášejí kontrolovatelné (ověřitelné) výsledky
160
dokumentující výskyt opakovaných jevů. Dále je uveden výčet šetření potenciálně
realizovatelných v rámci integrativního přístupu:
a) výchozí doména: individuální hloubková interview, analýza dokumentů;
b) rozhraní mezi výchozí a rozhodovací doménou: pozorování;
c) rozhodovací doména: survey;
d) rozhraní mezi rozhodovací a reaktivní doménou: pozorování, survey, experiment;
e) rozhraní mezi reaktivní a rezultační doménou: (sekundární analýza)
Integrativní přístup se navíc snaží pohlížet na problematiku implementace intervenčních
programů a jejich evaluací komplexně, nicméně na druhé straně poskytuje možnost provedení
samostatné evaluace jen jedné či několika vybraných domén.
161
8.7 Limity použití integrativního přístupu k evaluacím
I přes v úvodu uvedené konstatování, že intervenční programy jsou předmětem neustálé
precizace a vylepšování, platí, že existují intervenční programy jednorázového charakteru.
V jejich případě může být použití integrativního přístupu kontraproduktivní, neboť tento
přístup vede k akumulaci značného množství poznatků, jež by v takovémto případě zůstaly
nevyužité.
Některé intervenční programy jsou zavedeny, aniž by o nich dotčené zainteresované strany
byly informovány a fungují nezávisle na tom, jak jsou či nejsou akceptovány potenciálními
klienty. Např. intervenční program, jenž zavádí v městské části pravidelnou pochůzku
městských strážníků s cílem snížit výskyt pouliční kriminality, může dosahovat svých efektů
nezávisle na povědomí místních obyvatel. V takových případech by nebylo smysluplné
integrativní přístup k evaluacím použít.
162
Résumé
Presented methodological text aims to present a new approach toward programme evaluation.
This new approach that is by its author called “integrative” is built, as many other evaluation
approaches, on actual experience from conducting evaluation studies but even more important
than these real-world determinants are the roots of integrative approach that go down to the
principles of (emergent) realism. This new alternative approach could generally be positioned
among the theory-based evaluative approaches such as H. Chen’s theory-driven evaluation or
realistic evaluation of Ray Pawson and Nick Tilley.
Integrative evaluation tries to fill-in an observed gap among almost a dozen of analysed
approaches by calling for integration of several evaluative inquiries that are to be conducted
in a way that put the intervention programme in the very centre of research interest.
Integrative approach thus enables the key stakeholders (i.e. intervention programme initiators
and/or managers) to see the most of a full picture showing performance, acceptance and
impacts of intervention programme that the relevant stakeholders are accountable for.
Moreover, presented general conceptual framework opens new areas of analysis that were
never touched by evaluators in the past; in this respect there are two items worth mentioning:
above all it is the split between intervention programme and its institutional carrier (usually
the other evaluation approaches do not pay special attention to the capacities, history and
acceptance of different institutions implementing the interventions under evaluation).
Integrative approach also tries to reflect the possible difference between real parameters of
intervention programmes (those refer to the merit of the intervention) and their portrayal
drawn by its presentation (that could resemble the concept of worth).
Description and presentation of integrative approach conceptual framework is a crest of indepth analysis of other evaluation approaches that all together represent a skeleton of the field
of evaluation. One can start with R. Tyler goal-based approach and than follow the main
routes of development of evaluation methodology: positivist, constructivist and realist. To
enable the proper apprehension of the nature of evaluative inquiry, there are also the crucial
types of evaluation research presented and analysed besides the approaches. Further concern
is taken in methodological peculiarities of evaluation research and main differences among
scientific social science research and evaluative inquiry. Utmost concern is paid to
explanation of the nature of evaluations itself and contrasting them from other activities that
are sometimes confused with evaluating.
Last but not least, the presented monograph tries to reassume the texts that were already
published in the Czech Republic and that were relevant from methodological point of view.
On this basis the text amends and proposes the Czech terminology for those cases where
appropriate terms were missing in order to enable the completion of a localised nomenclature.
163
Seznam použité literatury
Ajzen I., Fishbein M., 1980. Understanding Attitudes and Predicting Social Behavior.
London, Prentice-Hall
Alkin M. C., 2004. Evaluation Roots. London, SAGE Publication
Alkin M. C., Christie C. A., 2005. Theorists´ Models in Action. San Francisco, Jossey-Bass
Altschuld J. W., Witkin B. R., 2000. From Needs Assessment to Action. London, SAGE
Publishing
Alvarez R. M., Brehm J., 2002. Hard Choices, Easy Answers. New Jersey, Princeton
University Press
American Accounting Association, 1973. Studies in Accounting Research. A Statement of
Basic Auditing Concepts. Sarasota
Babbie E., 1995. The Practice of Social Research. London, Wadsworth Publishing
Company
Batini C., Scannapieco M., 2006. Data Quality. Concepts, Methodologies and Techniques.
Berlin, Springer-Verlag
Baumgartl B., Lorenzoni M., Mizikaci F., 2005. Tools for Process Evaluation. Wien,
Navreme
Belson W. A., 1967. Tape recording: its effect on accuracy of response in survey
interview. Journal of Marketing Research No. 4
Benson A. P., Hinn D. M., Lloyd C. (eds.), 2001. Visions of Quality: How Evaluators
define, understand and represent program quality. London, JAI
Berk R. A., Rossi P. H., 1999. Thinking About Program Evaluation 2. London, SAGE
Publishing
Bhola H. S. 1998. Program evaluation for program renewal: A study of the national
literacy program in Namibia. In Studies in Educational Evaluation No 4
Bickman L. (ed.), 2000. Research Design. London, SAGE Publication
Bickman L., (ed.) 1987. Using Program Theory in Evaluation. In: New Directions for
Program Evaluation, No. 33. San Francisco, Jossey-Bass
Biemer P. P., Lyberg L. E., 2003. Introduction to Survey Quality. New Jersey, Wiley
Bingham R. D., Felbinger C. L., 2002. Evaluation in Practice. A Methodological
Approach. New York, Seven Bridges Press
164
Bloom B. S., Engelhart M. D., Furst E. J., Hill W. H., Krathwohl D. R., 1956. Taxonomy of
Educational Objectives: Handbook I. Cognitive Domain. New York, David McKay
Bloom H. S., Cordray D. S., Light R. J. (eds.), 1988. Lessons from Selected Program and
Policy Areas. San Francisco, Jossey-Bass
Boruch R. F. (ed.), 2005. The Analysis of the American Academy of Political and Social
Science. London, SAGE Publishing
Boruch R. F., 1972. Ralations among Statistical Methods for Assuring Confidentiality of
Social Research Data. Social Science Research No 1
Boruch R. F., 1997. Randomized Experiments for Planning and Evaluation. London,
SAGE Publishing
Bouyssou D., Marchant T., Pilot M., Perny P., Tsoukiás A., Vincke P., 1990. Evaluation and
Decision Models. Massachusetts, Kluwer Academic Publishers
Bradley C. J. (ed.), 2007. Process Use in Theory, Research, and Practice. San Francisco,
Jossey-Bass
Brinkerhoff R. O., Dressler D. E., 1990. Productivity Measurement. A Guide for Manager
and Evaluators. London, SAGE Publishing
Brown S. R., Melamed L. E., 1990. Experimental Design and Analysis. London, SAGE
Publishing
Byrn D., 2002. Interpreting Quantitative Data. London, SAGE Publication
Campbell D. T., 1999. Experimenting Society. In Campbell D. T., Russo M. J., 1999. Social
Experimentation. Thousand Oaks, SAGE Publication
Campbell D. T., Russo M. J., 2001. Social Measurement. . London, SAGE Publishing
Campbell D. T., Stanley J. C., 1963. Experimental and Quasi-Experimental Designs for
Research. Chicago, Rand McNally
Caracelli V. J., Preskill H. (eds.), 2000. The Expanding Scope of Evaluation Use. San
Francisco, Jossey-Bass
Chapman R. A., 2003. Etika ve veřejné službě pro nové tisíciletí. Praha, SLON
Chelimsky E., 1997. The Coming Transformation in Evaluation. In Chelimsky E., Shadish
W. R. (eds.), 1997. Evaluation for the 21st Century. London, SAGE Publishing
Chelimsky E., Shadish W. R. (eds.), 1997. Evaluation for the 21st Century. London, SAGE
Publishing
Chen H-T., 1990. Theory-Driven Evaluations. London, SAGE Publishing
Chen H-T., 2005. Practical Program Evaluation. London, SAGE Publishing
165
Chen H-T., Rossi P. H., 1983. Evaluating with Sense: The Theory-driven Approach. In:
Evaluation Review No. 7
Christie Ch. A. (ed.), 2003. The Practice-Theory Relationship in Evaluation. San
Ciarlo J. A., 1981. Utilizing Evaluation. Concepts and Measurement Techniques. London,
SAGE Publications
Clarke A., 1999. Evaluation Research. An Introduction to Principles, Methods and
Practice. London, SAGE Publications
Cochran W. G., Cox G. M., 1957. Experimental Designs. New Jersey, John Wiley & Sons
Cohen J. 1994. The Earth is Round (p<.05). American Psychologist No 49
Colton D., Covert R. W., 2007. Designing and Constructing Instruments for Social
Research and Evaluation. San Francisco, Jossey-Bass
Combs W. L., Falletta S. V., 2000. The Targeted Evaluation Process. Alexandria, ASTD
Cook T. D., Campbell D. T., 1979. Quasi-Experimentation. Design & Analysis Issues for
Field Settings. Boston, Houghton/Mifflin
Cook T. D., Reichardt C. S., 1979. Qualitative and quantitative methods in evaluation
research. London, SAGE Publications
Coryn C. L. S., Scriven M. (eds.), 2008. Reforming the Evaluation of Research. San
Cousins J. B., Whitmore E., 2007. Framing Participatory Evaluation. In New Directions
for Evaluation No 114, San Francisco, Jossey-Bass
Creswell J. W., Clark V. L., 2007. Designing and Conducting. Mixed Methods Research.
California, SAGE Publications
Cronbach L., 1980. Toward Reform of Program Evaluation. San Francisco, Jossey-Bass
Daponte B. O., 2008. Evaluation Essentials. San Francisco, Jossey-Bass
Datta L-E., Grasso P. G., (eds.), 1998. Evaluating Tax Expenditures: Tools and
Techniques for Assessing Outcomes. San Francisco, Jossey-Bass
Davidson E. J., 2005. Evaluation Methodology Basics. London, SAGE Publication
DePoy E., French G. S., 2003. Evaluation Practice. Toronto, Thomson
Dinero T. E., 1999. Selected Practical Problems in Health and Social Research. London,
The Haworth Press
Donaldson S. I., 2007. Program Theory-Driven Evaluation Science. New York, LEA
166
Donaldson S. I., Christie C. A., Mark M. M. (eds.), 2009. What Counts as Credible
Evidence in Applied Research and Evaluation Practice? London, SAGE Publishing
Drulák P. et al., 2008. Jak zkoumat politiku. Praha, Portál
Dvořáček J., 2003. Interní audit a kontrola. Praha, C. H. BECK
Eagly A. H., Chaiken S., 1993. The Psychology of Attitudes. Belmont, Thomson /
Wadsworth
Fajkus B., 2005. Filosofie a metodologie vědy. Praha, Academia
Fetterman D. M., Kaftarian S. J., Wandersman A., (eds.) 1996. Empowerment Evaluation.
London, Sage Publications
Fields D. L., 2002. Taking the Measure of Work. London, SAGE Publishing
Fiske S. T., Taylor S. E., 1991. Social Cognition. New York, McGraw-Hill
Fitz-Gibbon C. T., Morris L. L., 1987. How to Design a Program Evaluation. London,
SAGE Publishing
Fitzpatrick J. L., Morris M. (eds.), 1999. Current and Emerging Ethical Challenges in
Evaluation. San Francisco, Jossey-Bass
Fitzpatrick J. L., Sanders J. R., Worthen B. R., 2004. Program Evaluation. Boston, Pearson
Education
Fournier, 2005. Evaluation. In. Mathison S., 2005. Encyclopedia of Evaluation. London,
SAGE Publishing
Fox J. A., Tracy P. E., 1986. Randomized Response. A Method for Sensitive Surveys.
London, SAGE Publishing
Frechtling J. A., 2007. Logic Modeling Methods in Program Evaluation. Singapore, John
Wiley & Sons
Freeman R. E., 1984. Strategic Management. A Stakeholders Approach. Boston, Pitman
Gaber J., 2000. Meta-needs Assessment. Evaluation and Program Planning No 23
Gay G., Bennington T. L., (eds.) 1999. Information Technologies in Evaluation (Social,
Moral, Epistemological and Practical Implications). San Francisco, Jossey-Bass Publishers
Ginsberg L. H, 2001. Social Work Evaluation. Boston, Allyn & Bacon
Gliner J. A., Morgan G. A., 2000. Research Methods in Applied Settings (An Integrated
Approach to Design and Analysis). New Jersey, LEA Publishing
Gredler M. E., 1996. Program Evaluation. New Jersey, Prentice Hall
Greene J. C., 2007. Mixed Methods in Social Inquiry. San Francisco, Jossey-Bass
167
Greene J. C., Abma T. A. (editors), 2001. Responsive Evaluation. San Francisco, JosseyBass
Greene J. C., Caracelli V. J. (editors), 1997. Advances in Mixed-Method Evaluation: The
Challenges and Benefits of Integrating Diverse Paradigms. San Francisco, Jossey-Bass
Guba E. G., Lincoln Y. S., 1989. Fourth Generation Evaluation. London, SAGE Publishing
Gupta K., 2007. A Practical Guide to Needs Assessment. San Francisco, Pfeiffer
Hall D., Hall I., 2004. Evaluation and social research – introducing small-scale practice.
New York, Palgrave McMillan
Harrison M. I., 2005. Diagnosing Organizations (Methods, Models and Processes).
Hedrick T. E., Bickman L., Rog D. J., 1993. Applied Research Design (A Practical Guide).
London, SAGE Publication
Hendl J., 2005. Kvalitativní výzkum. Základní metody a aplikace. Praha, Portál
Henry G. T., Julnes G., Mark M. M. (eds.), 1998. Realist Evaluation: An Emerging Theory
in Support of Practice. San Francisco, Jossey-Bass
Hersen M., Balow D. H., 1976. Single-case Experimental Designs: Strategies for Studying
Behavioral Change. New York, Pergamon Press
Hong D. H., Boden M., 2003. R&D Programme Evaluation – Theory and Practice. Hants,
Ashgate
House E. R. (ed.), 1983. Philosophy of evaluation. In: New Directions for Program
Evaluation, No. 19. San Francisco, Jossey-Bass
House E. R., 1980. Evaluating with Validity. London, SAGE Publishing
House E. R., 1993. Professional Evaluation. Social Impact and Political Consequences.
House E. R., Howe K. R., 1999. Values in Evaluation and Social Research. London, SAGE
Publishing
Hyman H. H. et al., 1954. Interviewing in social research. Chicago, University of Chicago
Press
Isaac S., Michael W. B., 1997. Handbook in Research and Evaluation. California, Edits
Israel M., Hay I., 2006. Research Ethics for Social Scientists. London, SAGE Publishing
Juran L. M., Gryna F. M., 1980. Quality Planning and Analysis. New York, McGraw-Hill
Kane M., Trochim W. M. K., 2007. Concept Mapping for Planning and Evaluation.
London, SAGE Publication
168
Katz D., 1942. Do interviewers bias poll results? Public Opinion Quarterly No. 6
Kazdin A. E., 1982. Single-case Experimental Designs. In Kendall P. C., Butcher J. N.
(eds.) Handbook of Research Methods in Clinical Psychology. New York, John Wiley
Kerlinger F. N., Lee H. B, 2000. Foundations of Behavioral Research. California,
Wadsworth Inc.
Kimmel A. J., 1988. Ethics and Values in Applied Social Research. London, SAGE
Publishing
Kimmel A. J., 2007. Ethical Issues in Behavioral Research. Malden, Blackwell Publishing
Kirkpatrick C., Clive G. (eds.), 2007. Impact Assessment and Sustainable Development.
Cheltenham, EE Publishing
Kluckhohn C. K., 1951. Values and Value Orientations in the Theory of Action. In
Parsons T. and Shils E. A. (eds.), Toward a General Theory of Action. Cambridge, Harvard
University Press.
Kostelecký T., Patočková V., 2006. Fungování národních, regionálních a loklních vlád –
problém měření výkonu vlád (“government performance”). In Sociologický časopis 42
Krasner L., Houts A. C., 1984. A Study of the “Value” Systems of Behavioral Scientists.
American Psychologist No 39
Kushner S., Norris N., 2007. Dilemmas of Engagement: Evaluation and the New Public
Management. Oxford, JAI Press
Langbein L., Felbinger C. L., 2006. Public Program Evaluation. A Statistical Guide. New
York, M. E. Sharp
Laudan L., 1984. Science and Values. California, University of California Press
Levin H. M., McEwan P. J., 2001. Cost-Effectiveness Analysis 2nd Edition. London, SAGE
Publishing
Levin I. P., 1999. Relating Statistics and Experimental Design. London, SAGE Publishing
Lipsey M. W., 1990. Design Sensitivity. London, Sage Publications
Love A. J., 1991. Internal Evaluation. Building Organizations from Within. London,
SAGE Publishing
Mager R. F., 1962. Preparing Instructional Objectives. Palo Alto, Fearon
Mark M. M., Shotland R. L., (eds.), 1987. Multiple Methods in Program Evaluation. San
Mathison S., 2005. Encyclopedia of Evaluation. London, SAGE Publishing
McDavid J. C., Hawthorn L. R. L., 2006. Program Evaluation & Performance
Measurement. London, SAGE Publishing
169
McKillip J., 1987. Need Analysis. Tools for the Human Services and Education. London,
SAGE Publishing
Mertens D. M., 2005. Research and Evaluation in Education and Psychology. London,
SAGE Publishing
Mohan R., Bernstein D. J., Whitsett M. D. (eds.), 2002. Responding to Sponsors and
Stakeholders in Complex Evaluation Environments. San Francisco, Jossey-Bass
Mohr L. B., 1995. Impact Analysis for Program Evaluation 2. London, SAGE Publishing
Morris L. L., Fitz-Gibbon C. T., Herman J. L., 1987. Evaluator’s Handbook. London,
SAGE Publishing
Morris L. L., Fitz-Gibbon C. T., King J. A., 1987. How to Assess Program Implementation.
Morris L. L., Fitz-Gibbon C. T., Lindheim E., 1987. How to Measure Performance and Use
Tests. London, SAGE Publishing
Morris M., 2008. Evaluation Ethics for Best Practice. New York, The New Guilford
Myers R. J., 1957. Accuracy of age reporting in the 1950 United States Census. Journal of
the American Statistical Association No. 49
Neubert S., 2000. Social Impact Analysis of Poverty Alleviation Programmes and
Projects. London, Frank Cass
Nowak S., 1975. Metodologie sociologických výzkumů. Praha, Svoboda Praha
Orr L. L., 1999. Social Experiments. London, SAGE Publishing
Owen J. M., 2006. Program Evaluation. Forms and Approaches. New York, The Guilford
Press
Parker R. N., Hudley C., (eds.), 2006. Pitfalls and Pratfalls: Null and Negative Findings in
Evaluating Interventions. San Francisco, Jossey-Bass
Parry H. J., Crossley H. M., 1950-1951. Validity of responses to survey questions. Public
Opinion Quarterly No. 14
Patton M. Q., 1982. Practical Evaluation. London, SAGE Publishing
Patton M. Q., 1987. How to Use Qualitative Methods in Evaluation. London, SAGE
Publishing
Patton M. Q., 2008. Utilization-Focused Evaluation. London, SAGE Publishing
Pawson R., 1989. A Measure for Measures. A Manifesto for Empirical Sociology.
London, Routledge
Pawson R., 2006. Evidence-based Policy. A Realist Perspective. London, SAGE
Publications
170
Pawson R., Tilley N., 1997. Realistic Evaluation. London, SAGE Publications
Posavac E. J., Carey R. G., 2003. Program Evaluation. Methods and Case Studies. New
Jersey, Pearson Education Inc.
Preskill H., Russ-Eft D., 2005. Building Evaluation Capacity. London, SAGE Publishing
Preskill H., Torres R. T., 1999. Evaluative Inquiry for Learning in Organizations. London,
SAGE Publishing
Presman J. L., Wildawsky A., 1984. Implementation. Berkeley, University of California
Press
Rektořík J., Šelešovský J. a kolektiv, 2003. Kontrolní systémy veřejné správy a veřejného
sektoru. Praha, Ekopress
Research Governance Framework, 2005. Dostupné z www.dh.goc.uk.
Reviere R., Berkowitz S., Carter C. C., Ferguson C. G., 1996. Needs Assessments: A
Creative and Practical Guide for Social Scientists. Washington, Taylor & Francis
Rice S. A., 1929. Contagious Bias in the Interview. American Journal of Sociology No. 35
Robson C., 2000. Small-Scale Evaluation. London, SAGE Publishing
Rodríguez-Campos L., 2005. Collaborative Evaluations. Florida, Llumina Press
Roe A., 1961. The Psychology of the Scientist. Science No 134
Rogers P. J., Hacsi T. A., Petrosino A., Huebner T. A., 2000. Program Theory in
Evaluation: Challenges and Opportunities. San Francisco, Jossey-Bass Publishers
Rokeach 1972
Rosenthal R., 1966. Experimenter Effects on Behavioral Research. New York, AppletonCentury-Crofts
Rossi P. H., Lipsey M. W., Freeman H. E., 2004. Evaluation. A Systematic Approach.
London, SAGE Publications
Russ-Eft D., Bober M. J., de la Teja I., Foxon M. J., Koszalka T. A., 2007. Evaluators
Competencies. San Francisco, Jossey-Bass Publishers
Russ-Eft D., Preskill H., 2001. Evaluation in Organizations. New York, Basic Books
Sanders R. J., 1994. The Program Evaluation Standards 2. London, SAGE Publishing
Saxe L., Fine M., 1981. Social Experiments. Methods for Design and Evaluation. London,
SAGE Publications
Schalock R. L., 2001. Outcome-Based Evaluation. New York, Kluwer Academic Press
171
Schuman H., 1966. The random probe: a technique for evaluating the validity of closed
questions. American Sociological Review No. 31
Schwandt T. A., 1984. An Examination of Alternative Models for Sociobehavioral
Inquiry. Indiana, IN
Schwandt T. A., Halpern E. S., 1988. Linking Auditing and Metaevaluation. London,
SAGE Publishing
Scriven M., 1967. The Methodology of Evaluation. In Stake R. E. (ed.) Curriculum
evaluation. American Educational Research Association Monograph Series on Evaluation No
1. Chicago, Rand McNally
Scriven M., 1973. The Methodology of Evaluation. In Worthen B. R., Sanders J. R. (eds.)
Educational Evaluation: Theory and Practice. Belmont, Wadsworth
Scriven M., 1986. New Frontiers of Evaluation. In Evaluation Practice No 7
Scriven M., 1991. Evaluation Thesaurus. London, SAGE Publishing
Scriven M., 1993. Hard-Won Lessons in Program Evaluation. San Francisco, Jossey-Bass
Scriven M., 2001. An overview of evaluation theories. In Evaluation Journal of Australasia
Shadish W. R., Cook T. D., Campbell D. T., 2002. Experimental and Quasi-Experimental
Designs. Boston, Houghton Mifflin Company
Shadish W. R., Cook T. D., Leviton L. C., 1991. Foundations of Program Evaluation.
Shadish W. R., Newman D. L., Scheirer M. A., Wye Ch., (eds.), 1995. Guiding Principles
for Evaluators. San Francisco, Jossey-Bass
Shapiro S, Eberhardt J.C., 1947. Interview differences in an intensive interview survey.
International Journal of Opinion and Attitude Research No 1
Shaughnessy J. J., Zeichmeister E. B., 1990. Research Methods in Psychology. New York,
McGraw-Hill
Shnoes C. J. Murphy-Berman V., Chambers J. M., 2000. Empowerment Evaluation
Applied: Experiences, Analysis and Recommendations from a Case Study. American
Journal of Evaluation No 21
Shrader-Frechette K., 1994. Ethics of Scientific Research. Maryland, Rowman & Littlefield
Sieber J. E., 1992. Planning Ethically Responsible Research. London, SAGE Publishing
Singleton, Jr. R. A., Straits B. C., Straits M. M., 1993. Approaches to Social Research.
Oxford, Oxford University Press
Smith N. L., Brandon P. R., 2008. Fundamental Issues in Evaluation. New York, The
Guilford Press
172
Soriano F. I., 1995. Conducting Needs Assessments. A Multidisciplinary Approach.
Spaulding D. T., 2008. Program Evaluation in Practice. San Francisco, Jossey-Bass
Spector P. E., 1981. Research Designs. London, SAGE Publishing
Stake R. E., 1967. The Countenance of educational evaluation. In Teachers College Record
No 68
Stake R. E., 1975. Program Evaluation, Particularly Responsive Evaluation. Kalamazoo,
Western Michigan University Evaluation Center
Stake R. E., 1980. Program Evaluation, Particularly Responsive Evaluation. In Dockrell
W. B., Hamilton D. (eds.) Rethinking Educational Research. London, Hodder and Stoughton
Stake R. E., 2004. Standards-Based & Responsive Evaluation. London, SAGE Publishing
Stake R. E., 2006. Multiple Case Study Analysis. New York, The Guilford Press
Stake R. E., Trumbull D. 1982. Naturalistic Generalization. In Review Journal of
Philosophy and Social Science No 7
Stecher B. M., Davis W. A., 1987. How to Focus an Evaluation. London, SAGE Publishing
Stufflebeam D. L. (ed.), 2001. Evaluation Models. San Francisco, Jossey-Bass
Stufflebeam D. L., Shinkfield A. J., 2007. Evaluation, Theory, Models & Applications. San
Suchman E. A., 1967. Evaluative Research: Principles and Practice in Public Service and
Social Action Programs. New York, Russell Sage
Tilley N., 2000. Realistic Evaluation: An overview. Dostupné z:
http://www.danskevalueringsselskab.dk/pdf/Nick%20Tilley.pdf
Tukey J. W., 1991. The Philosophy of Multiple Comparisons. In Statistical Science No 6
Unrau Y. A., Gabor P. A., Grinnell R. M., 2007. Evaluation in Social Work The Art and
Science of Practice. Oxford, Oxford University Press
Veselý A., Nekola M. (eds.), 2007. Analýza a tvorba veřejných politik. Praha, Slon
Wadsworth Y., 1993. “What is Participatory Action Research?” Melbourne, Action
Research Issues Association
Warwick D. P., Kelman H. C., 1973. Ethical Issues in Social Intervention. In Zaltman G.
(ed.), 1973. Processes and Phenomena of Social Change. New York, John Wiley
Weber M, 1998. Metodologie, sociologie a politika. Praha, OIKOYMENH
Weiss C. H, 1972. Evaluation Research. New Jersey, Prentice-Hall
173
Weiss C. H, 1987. The Circuitry of Enlightenment. Knowledge: Creation, Diffusion,
Utilisations No 8
Weiss C. H, 1998. Evaluation. New Jersey, Prentice Hall
Wholey J. S., Hatry H. P., Newcomer KE. (eds.), 2004. Handbook of Practical Program
Evaluation. San Francisco, Jossey-Bass
Winkler J., 2002. Implementace veřejných programů a přístupy k jejich hodnocení. Brno,
ESF MU
Witkin B. R., Altschuld J. W., 1995. Planning and Conducting Needs Assessments.
Wyatt K. L., Philips C. C., 2009. The Logic Model Guidebook. London, SAGE Publishing
Yin R. K., 2003. Case Study Research. Design and Methods. London, SAGE Publications
Dokumenty
Government Performance Recording Act, 1993
Nařízení Rady ES 1260/1999
Vyhláška MŠMT č. 15/2005 Sb.
Zákon 226/2006 Sb.
174

disertační práce - Institut sociologických studií UK FSV

Transkript

Podobné dokumenty

Srovnání vybraných přístupů k realizaci evaluací

principu meta-evaluace - Institut sociologických studií UK FSV

Evropské hry handicapované mládeže Brno 2011

UNIVERZITA KARLOVA V PRAZE Žitý prostor dětí

Provusův diskrepanční evaluační model

XTerra France