Adaptivní test - pojetí a metody

Studie proveditelnosti
počítačem adaptovaného testování
v prostředí českých škol
Autorský tým:
Mgr. Zuzana Filípková, PhD.
Doc. PhDr. Petr Byčkovský, CSc.
S využitím podkladů PhDr. Jitky Houfkové, PhD., a Mgr. Jany Burešové
Praha, duben 2008
Obsah
1
Počátky a vývoj adaptivního testování .......................................................................... 3
2
Počítačový adaptivní test (CAT) – pojetí, druhy a banka úloh ...................................... 7
3
Proces administrace a skórování CAT (přehled) ........................................................ 11
4
Stručně o teorii odpovědi na položku (item response theory, IRT) ............................. 14
5
Výhody a nevýhody CAT oproti konvenčním testům .................................................. 22
Literatura............................................................................................................................ 24
1 Počátky a vývoj adaptivního testování
Adaptivní testování prošlo v USA dlouhým vývojem, k rozvoji počítačového adaptivního testování
(computer adaptive testing, CAT) přispěla zásadním způsobem teorie odpovědi na položku. U nás
zatím bohužel o nějakém vývoji CAT nemůže být vůbec řeč.
Adaptivní testování vzniklo pro účely výkonových testů a je v nich také v současnosti nejvíce
rozvíjeno, zejména v dichotomně skórovaných testech, i když adaptivní testy se objevují i
v psychologii v oblasti diagnostiky (testy osobnosti, Jelínek; Květoň; Denglerová 2006). Adaptivním
testováním se zejména v USA zabývá mnoho expertů, např.: Drasgow a Olson-Buchanan (1999),
Sands, Waters a McBride (1997), Wainer (2000), Weiss (1983) a stále se v této oblasti vedou
výzkumy. U nás se adaptivnímu testování zatím dostatečně nevěnuje žádný odborník.
Adaptivní testování je testovací metodologie, která vyžaduje počítač nejen pro své zadávání, i když
adaptivní přístupy, dvou- (nejjednodušší a nejstarší) a víceúrovňové (fixní větvené modely pyramidové, skokové a stratifikované) existovaly již před nástupem počítačů (Jelínek, Květoň,
Denglerová, 2006; Weiss 1973). Adaptivní testování se objevilo již na počátku 20. stol.
První adaptivní testy
První adaptivní test vytvořil Alfred Binet společně se svým spolupracovníkem Theodorem
Simonem (Binet & Simon, 1905). Šlo o tzv. Binet IQ test. Test se používá v moderní verzi dodnes.
Binetův test se skládal ze setu testových úloh seřazených podle chronologického věku.
Administrace tohoto testu byla zcela adaptivní. Binet zařadil úlohy pro určitou věkovou mentální
úroveň, pokud cca. 50% dětí daného věku odpovědělo úlohu správně. V původní verzi zahrnoval
test 9 věkových úrovní (od 3 do 11 let). Tyto úlohy tvořily Binetovu banku úloh pro adaptivní test.
Úlohy byly zadávány po deseti individuálně školeným psychologem, který okamžitě odpovědi
vyhodnocoval, a podle nich zadával testovanému úlohy vyšší (když odpověděl většinu z nich
správně) či nižší věkové úrovně (když většinu chybně). Testování bylo ukončeno, pokud byly u
testovaného identifikovány jak základní („basal“), tak stropní (horní, „ceiling“) věková úroveň.
Stropní úroveň definoval Binet jako věkovou úroveň, na které testovaný nezodpoví ani jednu úlohu
správně; základní úroveň naopak jako tu, na které odpoví všechny úlohy správně. Konečný skór
testovaného v Binetově testu je založen na podskupině úloh, které zodpověděl správně.
Paralelně s vojenským testováním probíhal od počátku 20. století vývoj přijímacích testů na
amerických univerzitách. K tomuto účelu byla založena organizace College Board. Úspěch
vojenského testovacího programu ovlivnil College Board a ta začala s vývojem testu studijních
předpokladů Scholastic Aptitude Test (SAT). 1926 byl SAT, který se skládal z 9 (1928 z 8 a 1929
ze 7) subtestů, poprvé zadán. V roce 1934 se profesor Benjamin Wood z Kolumbijské univerzity
spojil s inženýry z IBM, aby společně vytvořili mechanický přístroj na skórování testů. Vynález
prvního takového přístroje se připisuje středoškolskému učiteli B. Johnsonovi. Organizace
Educational Testing Service a College Board vyvinuly CAT testovací systém pro IBM počítače pro
testování základních dovedností v angličtině a matematice na úrovni střední školy (Abernathy,
1986; Ward aj., 1986). Poté následovaly další adaptivní testovací systémy např. od Assessment
Systems Corporation (MicroCAT), Psychological Corporation či The Waterford Testing Center
(více Bunderson, Inouye, Olsen, 1989).
Počítačové adaptivní testy
V 50. letech se začalo s využíváním počítačů při testování. Systémy počítačem řízeného testování
(CAI Computer Assisted Instructions) byly ovlivněny behaviorální psychologií. Jednalo se o
jednoduché lineární programy. Z lineárních programů byly později v 60. letech vyvinuty programy
větvené, které již nabízely určité přizpůsobení studentovi a obsahovaly rozdělující podmínky.
Příklad podmínky: „Pokud byla otázka 2 zodpovězena správně, polož otázku 10, v opačném
případě polož otázku 3.“ Tyto programy byly v 70. letech nahrazeny výukovými systémy, které byly
schopny vytvořit novou sadu otázek z různých úloh banky, ale přizpůsobení studentovi bylo velmi
omezené a neodpovídalo potřebám jednotlivců. Programy obsahovaly předem pevně dané větve a
smyčky otázek a neposkytovaly možnost úplného přizpůsobení hladině vědomostí testovaných
jedinců.
Větší výzkum v oblasti testů s využitím výpočetní techniky provedl až F. Lord ve 2. pol. 60. let a na
počátku 70. let 20. století. Pracoval jak na teoretické struktuře hromadně zadávaného, ale
individuálně „ušitého“ testu pro úroveň schopností testovaného, tak i na mnohých praktických
detailech. První pokusy implementovat adaptivní testy byly neobratné a/ nebo drahé. Americká
armáda však brzy rozpoznala potencionální výhody adaptivního testování a podpořila finančně
rozsáhlý teoretický výzkum. Studie zaměřené na adaptivní testování se systematicky objevují
v odborném tisku od 70. let 20. století. Nicméně první reálnou příležitostí vyzkoušet adaptivní
testování byla až dostupnost cenově příznivých výkonných počítačů v 80. letech. První vojenský
prototyp počítačového adaptivního testu (computer adaptive test, CAT) byl vyvinut pro Apple III
počítače ve výzkumném centru Naval Personnel Research and Development Center (NPRDC)
v roce 1984. Tento prototyp byl určen k první širokoplošné počítačové adaptivní administraci
subtestů z testu ASVAB1.
V roce 1973 navrhl Weiss (Weiss 1973) počítačovou variantu Binetova testu, kterou nazval
stratifikovaný nebo-li stradaptivní test (The stratified adaptive computerized ability test).. Poté
následovaly další stradaptivní testy (Weiss, 1979). Weissův test používal stejnou strukturu banky
úloh jako Binetův test, úlohy byly uspořádány po deseti do věkových mentálních úrovní dle
obtížnosti (tzv. strata = vrstva). Podobně jako v Binetově testu používá stratifikovaný test
proměnlivou startovací úroveň, a tím dovoluje začít na jakékoli úrovni obtížnosti přiměřené
každému testovanému. Stratifikovaný test se od Binetova liší v tom, že je zadána vždy pouze
jedna úloha a skórována. Další úloha je zadána na základě předchozí odpovědi. Pokud je
odpověď správná, je testovanému zadána úloha z následující těžší vrstvy. Když testovaný odpoví
chybně, bude mu zadána úloha z nejbližší nižší vrstvy. Tento proces pokračuje tak dlouho, dokud
není splněno kritérium k ukončení testu. Test je ukončen, když jsou všechny úlohy nebo pět po
sobě následujících úloh v určité vrstvě zodpovězeny chybně. Obr. 0 zobrazuje příklad záznamu
odpovědí v stradaptivním testu. V tomto testu byla zvolena za startovací úroveň mentální úroveň 9.
První úloha (1) byla zadána a zodpovězena správně (+), a tak další úloha byla zadána z úrovně
9,5. Po správné odpovědi (2+) byla potom zadána úloha z úrovně 10. Protože tato úloha byla
zodpovězena chybně (3-), byla následně zadána opět úloha z nejbližší nižší úrovně 9,5, která byla
vyřešena správně (4+). Proces pokračoval tímto způsobem až do zadání 31. úlohy. Úloha 30 byla
zodpovězena chybně, ale protože z úrovně 9 bylo zadáno již deset úloh, musela být 31. úloha
zadána z úrovně nižší, tedy 8, 5. Protože z úrovně 10 byly všechny úlohy zodpovězeny chybně
(jako poslední úloha 44), byla mentální úrověň 10 identifikována jako stropní úroveň. Sloupec
s hodnotami poměrů správných odpovědí (proportion correct) poukazuje na typické výsledky
stratifikovaného testu. Jak očekáváno, tyto poměry se zvyšují (od 0 do 1) se snižující se obtížností
úlohy (mentální úrovně). Celkový poměr správných odpovědí je na optimální úrovni roven 0,5.
1
1917 byl vytvořen pro americkou armádu test Army Alpha (revize původního testu Examination a, který obsahoval 10 subtestů) o 8
subtestech. Tento test měl již známky podobnosti ke kognitivním částem moderního testu Armed Services Vocational Aptitude
Battery (ASVAB) používaného v současnosti americkou armádou. Army Alpha a Army Beta (určen pro negramotné a ne anglicky
mluvící brance) byly společně prvním širokoplošným testováním IQ (2 milióny mužů byly jím otestovány; Wainer 2000). Testovací
vojenské programy se staly rozsáhlejšími za 2. světové války. V roce 1939 následovalo přepracování Army Alpha, tzv. Army
General Classification Test (AGCT), který obsahoval 4 části. Posledním předchůdcem nynějšího testu ASVAB byl Armed Forces
Qualification Test (AFQT).
Obr. 0 Příklad záznamu odpovědí v stratifikovaném testu (Weiss 1973)
V roce 1974 publikoval M. D. Reckase informace o interaktivním počítačovém programu pro
adaptabilní testování založené na jednoparametrovém logickém modelu (1PL model).
Mezi další testy odvozené od Binetova testu patří například Lordova Flexilevel testing procedure
(1980), Henningova Step Procedure (1987) a Lewisovy a Sheehanovy Testlety (1990), viz [ ].
Tyto testy pracují se sety úloh rozdělené podle obtížnosti. Testovací software předloží
testovanému celý vybraný set úloh a teprve na základě jeho odpovědí na všechny úlohy v setu je
určována úroveň obtížnosti následujícího setu otázek.
V posledních letech se staly počítačové adaptivní testy široce používané, řada testovacích
programů v USA, ale i v Evropě je zařadila do své nabídky. Jde např. o počítačovou adaptivní verzi
testu Graduate Management Admission Test (GMAT), testu studijních předpokladů pro uchazeče o
doktorské studium Graduate Record Examination (GRE)2 či o test pro získání licence zdravotní
sestry National Council Licensure Examinations (NCLEX)3 používané v USA. Počítačové adaptivní
verze některých dalších amerických testů jsou zatím ve výzkumných fázích, např. testy studijních
předpokladů ACT (American College Testing Program), SAT (Scholastic Assessment Test) či test
pro udělení lékařské licence USMLETM (Medical Licencing Examination). Výčet některých aktuálně
dostupných počítačových adaptivních testů je uveden v tab. 1.
2
V roce 1993 poprvé zveřejnila největší světová testovací organizace ETS počítačovou adaptivní verzi testu
GRE. Použití testu GRE v papírové verzi ETS pozvolna redukuje.
3
Nursing Boards zcela přešla již 1994 od papírové verze testu NCLEX k počítačovému adaptivnímu testu.
Tab. 1 Přehled některých počítačových adaptivních testů
název testu
Graduate
Management
Admission Test
Graduate
Record
Examination
National
Council
Licensure
Examinations
Armed
Services
Vocational
Aptitude Test
Battery
Adaptive
Matrices Test
zkratka
GMAT
ETS (USA)
GRE
ETS (USA)
NCLEX
NCSBN (National
Council of State
Boards of
Nursing; USA)
ASVAB
U.S. Department
of Defence (USA)
AMT
CAT of Written
English for
Spanish
Speakers
Computerized
Adaptive Test
of English
kdo ho vytvořil
CATE
Dr. Schuhfried
GmbH
(Rakousko)
CAT research
group at the
Autonoma
University of
Madrid
English Language
and Learning
Support of the
Information and
Learning
Resource
Services at
Middlesex
University
(Velká Británie)
popis testu
Test pro potřeby
Graduate
Management
Admission Council.
Test studijních
předpokladů
používaný v USA při
přijímacím řízení na
postgraduální
studium.
Test pro udělení
licence pro zdravotní
sestry.
internetový odkaz
Multiple-ability test
battery.
www.usmilitary.com/
placementtests
Částí Vienna Test
System, mimoverbální
hodnocení
všeobecné inteligence
založené na
deduktivním úsudku.
www.schuhfried.at/eng/
wts/amt
Test z angličtiny pro
Španěle, je zadáván
on-line.
Test angličtiny pro
uchazeče o studium,
kteří nemají angličtinu
jako rodný jazyk.
www.review.cz
www.mba.com/Takethe
GMAT
www.ets.org/portal/site/et
s
www.ncsbn.org/nclex
www.iic.uam.es/pdfs/
eCatPDF.pdf
www.ilrs.mdx.ac.uk/lang
V současné době je pozornost odborníků věnována i možnostem a úskalím zadávání CAT testů
prostřednictvím internetu.
2 Počítačový adaptivní test (CAT) – pojetí, druhy a banka úloh
Co je adaptivní počítačový test?
Adaptivní (přizpůsobivé) testování prostřednictvím počítačů (computer-adaptive testing, CAT) je
metoda zadávání a zpracování testů, která přizpůsobuje výběr testovacích úloh schopnostem
testované osoby. Proto je také někdy nazýváno testováním na míru (tailored testing).
Adaptivní počítačový test (computer adaptive test, CAT) je test, při kterém testovací software
vybírá úlohy pro testovaného z relativně velké banky úloh podle jeho odpovědi/odpovědí na
úlohu/úlohy předešlou/předešlé. Pokud testovaný odpoví správně, dostane úlohu obtížnější, pokud
chybně, je mu zadána úloha snadnější. Volbou obtížnosti úloh se testovací software přibližuje
úrovni schopnosti zkoušeného. Test většinou končí, když se výkon zkoušeného na dané úrovni
schopnosti ukáže být jeho nejvyšším možným výkonem. S CAT je během testovacího procesu
postupně odhadována relativní úroveň schopností testovaného vzhledem k referenční skupině
(norm group) a testovací úlohy jsou vybírány na základě okamžitého odhadu schopností. Zkoušení
tak dostávají úlohy, které maximalizují získání informací o jejich schopnostech. Díky tomu obdrží
zkoušení jen velice málo úloh, které jsou pro ně příliš těžké nebo příliš lehké. Tento výběr
testovacích úloh podle úrovně zkoušeného vede ke snížení standardní odchylky a k větší přesnosti
testu při menším množství testových úloh.
Adaptivní testování tedy vyžaduje aparát, který by dovedl smysluplným způsobem popsat úlohy a
rozdíly mezi nimi, určit efektivní pravidla pro aktuální výběr úloh k zadání a dospět k výslednému
skóru, aniž by byl závislý na konkrétním souboru zadaných úloh (Wainer; Mislevy 2000).
Nejvhodnějším matematickým aparátem se ukazuje být teorie odpovědi na položku (IRT), a proto
je na ní také založena většina současných adaptivních testů (např. Goldstein, Wood, 1989; Lord,
1980; Van der Linden, Hambleton, 1997; Wainer, 2000; Embretson, Reise 2000; Baker, Kim 2004).
Na tvorbu CAT byly vyvinuty speciální software, např. nejnovější je program FastTEST
Professional Testing System Version 2.0 (Fast TEST Pro) z roku 2006 od americké Assessment
Systems Corporation (www.assess.com).
Druhy CAT
Adaptivní testy se od sebe liší tím, zda jsou v nich úlohy vybírány a posléze zadávány testovaným
individuálně či baleny do bloků/ setů (multilevel či multistage tests, např. Jodoin 2003) nebo
dokonce do malých testíků. Ve všech případech jsou vybírány na základě předchozí odpovědi či
odpovědí na všechny úlohy v bloku. Nejjednodušším modelem adaptivního testu je test tvořený
z tzv. screening testu (neadaptivní povahy), na jehož základě je podle jeho odpovědí testovanému
přidělen buď test nižší či vyšší obtížnosti, opět s lineárním uspořádáním úloh.
Drasgow; Luecht; Bennett (2006) rozlišují tři modely počítačového adaptivního testování:
- CAT na úrovni úloh (item-level computer-adaptive testing);
- CAT založený na testletech a počítačové mastery testy (testlet-based CAT and
computerized mastery tests);
- Strukturované počítačové adaptivní vícestupňové testy (Structured computer-adaptive
structured computer-adaptive multistage tests).
CAT na úrovni úloh (Item-level computer-adaptive testing)
V tomto modelu se přizpůsobuje obtížnost testu každému testovanému na míru, a to úloha po
úloze. Výběr úloh vychází z výkonu testovaného v úloze předchozí. CAT se tedy postupně vyvíjí
v reálném čase pomocí software. Primárním kritériem je zde maximalizovat informační funkci testu,
a tím minimalizovat chybu měření výsledku testovaného v testu. Obr. 1 zobrazuje, co se děje
během CAT se skóry schopností testovaných (od -3 do +3; Ability Estimate, svislá osa) a
asociovanými standardními chybami pro dva hypotetické testované (Examinee A, Examinee B)
v testu o 50 adaptivně zadávaných úlohách (Item Sequence, vodorovná osa). Z obr. 1 je vidět, že
oba testovaní dostali na začátku úlohu průměrné obtížnosti (schopnost rovna nule, uprostřed svislé
osy). Po zadání první úlohy se odhady schopností těchto testovaných začínají odlišovat, až
dosáhnou přibližných skutečných hodnot schopností (-1 u testovaného B, +1 u testovaného A).
Z obr. 1 je patrné, že testovanému A byly zadávány těžší úlohy než testovanému B. Také zde
vidíme, jak rychle při testování klesá rozptyl chyby odhadů schopnosti a jak se zlepšuje efektivita
testu.
Obr. 1 Úrovně schopností a standardní chyby pro CAT o 50 úlohách pro dva hypotetické
testované
Obr. 2 ukazuje efektivitu CAT oproti testu s náhodně vybranými úlohami. Graf zobrazuje průměrné
standardní chyby odhadů schopnosti testovaných v průběhu zadávání 50 úloh (vodorovná osa).
Chyby odhadů jsou průměrovány u testovaných mající rozdílné skóry schopností. Z obr. 2 je
patrné, jak chyby měření v obou případech postupně klesají, i když u adaptivního testu více. Např.
CAT po zadání 20 úloh dosahuje téměř stejnou efektivitu jako test s 50 náhodně vybranými
úlohami (viz obr. 2).
Obr. 2 Průměrné standardní chyby pro CAT o 50-ti úlohách ve srovnání s testem s náhodně
vybranými úlohami
CAT založený na testletech a počítačové mastery testy
(Testlet-Based CAT and Computerized Mastery Tests)
CAT založený na testletech (testletem rozumíme sadu úloh či „mini-test“) zahrnuje adaptivní
administraci předem sestavených sad úloh testovaným. Jednotkou testu zde tedy není jednotlivá
úloha, ale testlet. Po zadání testletu jsou všechny úlohy v něm okamžitě skórovány a na jejich
základě je potom vybírán další testlet. Test je ukončen po zadání posledního testletu či po
dasažení jiného ukončovacího kritéria. U takovýchto testů je banka úloh uspořádána do testletů, ve
kterých se úlohy vyskytují právě jednou a neopakují se. Je tedy zřejmé, že tyto testy jsou jen
částečně adaptivní, protože úlohy v rámci testletu jsou zadávány lineárně a nikoli adaptivním
způsobem. CAT založený na testletech je podobný k počítačovému mastery testu (PMT).
V originálním PMT jsou testlety vybírány náhodně z banky paralelních testletů. Test pokračuje –
obvykle nad rámec nějakého minimálního počtu testletů – dokud není dosaženo předem
stanovené minimální hodnoty standardní chyby ve vztahu k tomu, zda testovaný napsal test
úspěšně či neúspěšně.
Strukturované počítačové adaptivní vícestupňové testy
(Structured computer-adaptive multistage tests = ca-MST)
Strukturované počítačové adaptivní vícestupňové testy jsou adaptivní testy s vlastní administrací
používající opět testlety. Základní jednotkou je zde tzv. „modul“ či „testlet“. Tyto moduly jsou
předem sestaveny ze sady úloh o různém počtu od několika úloh až po např. 100 úloh.
Z perspektivy testovaného se jeví ca-MST funkčně jako vícestupňové lineární testy. Obr. 3
zobrazuje třífázový ca-MST jako sérii tří modulů/ testletů. Po každé fázi probíhá skórování a
následné nasměrování do další fáze, které je z velké části pro testované skryté.
Z psychometrického hlediska splňuje každá série tří testletů statistické i obsahové požadavky.
Testlety jsou baleny do tzv. panelů. Každý panel obsahuje čtyři až sedm (i více) testletů. Testlety
jsou explicitně určeny pro konkrétní fázi a specifickou cestu uvnitř panelu (lehčí, průměrnou, těžší)
založenou na průměrné obtížnosti testletu. Násobné (Multiple) panely mohou obsahovat i stejné
úlohy. Obr. 3 představuje jeden z možných návrhů vícestupňového panelu typu 1-3-3 (1-3-3
multistage panel design). Jeden testlet je přidělen fázi 1 (A, stage 1), tři fázi 2 (B, C, D) a tři další
testlety fázi 3 (E, F, G). Obtížnost každého testletu se určuje pomocí IRT informačních funkcí.
Existuje tedy sedm explicitních cílových informačních funkcí testu tvořících základ pro panel typu
1-3-3 (viz obr. 3). Jde o tyto cesty: A+B+E, A+B+F, A+C+E, A+C+F, A+C+G, A+D+F a A+D+G.
Mícháním testletů uvnitř panelů mohou být vytvořeny stovky nových panelů, pokud je banka úloh
dostatečně rozsáhlá. Skórování odpovědí testovaných a výběr dalších úloh v reálném čase lze
zjednodušit pomocí předem vytvořené tabulky odpovědí „score routing table“ pro každý panel.
Mechanismus skórování a výběru úloh využívá kumulativní četnost správných odpovědí a předem
stanovených hraničních skórů k napodobení kritéria maximální informace používaného v CAT.
Taková tabulka je skrytou součástí panelu, příklad našeho panelu 1-3-3 vyžaduje deset hodnot
skórů: A→B, A→C, A→D, A+B→E, A+B→F, A+C→E, A+C→F, A+C→G, A+D→F a A+D→G.
Obr. 4 Příklad uspořádání počítačového adaptivního vícestupňového testového panelu
Počítačové adaptivní testy se používají k různým účelům:
A) Buď chceme na jejich základě umístit každého testovaného podle jeho výkonu podél osy
schopnosti nebo
B) jen roztřídit testované do dvou či více širších kategorií (adaptive mastery testing,
Kingsbury; Zara 1989 či computerized mastery testing, Sheehan; Lewis 1992).
Dále se zaměřujeme kvůli zaměření této studie na adaptivní testy typu A) s individuálně
zadávanými úlohami.
Banka úloh
Úlohy pro adaptivní test jsou shromažďovány v dostatečně velkém počtu v tzv. bance
(někdy také databázi) úloh (item bank), která obsahuje min. 100 různorodých, dostatečně citlivých
úloh (jak dobře úloha rozlišuje mezi studenty s různými schopnostmi) různých obtížností, vytvořená
pro dané úrovně schopnosti θ (theta) testovaných a danou tématickou oblast. Obtížnost a citlivost
úloh jsou získávány jako výsledek aplikace teorie testů. Existují různé modely, které je možno
použít pro určení vlastností úlohy. Všechny modely předpokládají vztah mezi neměřitelnou
schopností θ,
měření. V případě CAT se zdá být nejvhodnější (viz výše) teorie odpovědi na položku (item
response theory, IRT).
Banka úloh by měla při použití IRT modelů obsahovat minimálně o 100% až 200% více
testových úloh, než je úloh do testu navrhovaných. Davey; Pitoniak uvádějí, že by v bance mělo
být 5 až 10 paralelních testových forem, i když ve skutečnosti je to trochu komplikovanější (Davey;
Pitoniak 2006). Úlohy v CAT bance jsou většinou kvůli okamžitému (v reálném čase)
automatickému (elektronickému) skórování úlohy uzavřené s výběrem odpovědi4 nebo úlohy
otevřené se stručnou odpovědí. Na úlohy v CAT jsou samozřejmě kladeny stejně velké nároky jako
na profesionální neadaptivní úlohy. V posledních letech však technologie pokročila kupředu a již
dnes lze automaticky skórovat i krátké (open-ended items, Burstein 2003, Burstein; Chodorow,
Leacock 2004). a dokonce i komplexní, široké otevřené úlohy z medicíny (Clauser; Schuwirth
2002). Formát úloh může být vzhledem k schopnostem počítače složitý (např. s komplexní grafikou
či video nahrávkou).
Banku je třeba navrhovat velmi pečlivě s ohledem na to, že testovaným je zadáváno při
zachování stejné přesnosti méně úloh než v neadaptivním testu. Jednotlivé úlohy banky je proto
zapotřebí kalibrovat, tj. odhadnout pro každou úlohu jednotlivé statistické parametry (obtížnost,
citlivost) v závislosti na používaném IRT modelu. Toto odhadování musí probíhat na dostatečně
velkém souboru osob, i když charakteristiky úloh nejsou na tomto souboru závislé a měření
4
Zahrnují vedle tradičních úloh s výběrem odpovědi (multiple choice) úlohy dichotomické (alternativní či truefalse), přiřazovací či pořádací.
schopnosti testovaného lze interpretovat i mimo populaci, pro kterou byl test standardizován
(Hambleton 1991). Proces kalibrace je zdlouhavý, drahý a vyžaduje sběr empirických dat od
velkého počtu testovaných. Obvykle je základem studie skupina 200-1000 i více testovaných.
Snaha vyhnout se potřebě obrovských empirických výzkumů vede k používání systémů umělé
inteligence a strojového učení (machine learning), kdy se empirická data nahrazují výsledkem
namodelovaných postupů řešení úloh. Byl například vypracován CBAT-2 algoritmus, který vytváří
vyrovnaný test zaměřený na přesně vymezenou část obsahu školního kurikula.
Uvažování v rámci IRT je většinou unidimenzionální, proto bývá potřeba při budování banky
úloh řešit problém multidimenzionality, např. vyvážením obsahu (content balancing, více např.
Kingsbury; Zara 1991, Leung; Chang; Hau 2003) či rozdělením obsahu podle témat do jednotlivých
subtestů (multiple scales, více např. Gialluca; Weiss 1979). Nastavení vyváženého obsahu se
provádí z toho důvodu, aby žádná část testované oblasti nebyla testována výrazně více než jiná.
Také je třeba dbát na to, aby některé úlohy neřešilo mnohem více testovaných (studentů)
než úlohy jiné. Může to být dáno drobnými odlišnostmi v obtížnosti a rozlišovací schopnosti úloh,
které vedou k jejich častějšímu výběru. Úloha, která by se objevovala ve většině testů, by se mohla
stát veřejně známou a ovlivnit tak průběh testu. Přílišné nadužívání úloh je tedy nežádoucí. Stejně
tak položka, která by se v testech příliš nevyskytovala, by byla zbytečně připravována. Proto
některé testovací algoritmy sledují četnost použití jednotlivých úloh a při překročení stanoveného
limitu, jsou takové úlohy dočasně vyřazeny z dalšího testování. Tak se v testu postupně objeví
všechny úlohy. Otázkou však zůstává, zda odstranění některých úloh (zvláště těch, které se
ukázaly jako vhodné) nezmění výsledky testů. Při ověřování vlivu použití kontroly četnosti na testy
se ukázalo, že tímto způsobem může dojít k určitému snížení přesnosti měření a také k určitému
prodloužení testů (T.J.H.M. Eggen, 2004,
). Pokud není velké riziko prozrazení úloh, nemusí
se omezení počtu použití aplikovat.
3 Proces administrace a skórování CAT (přehled)
Proces administrace počítačového adaptivního testu se skládá ze dvou základních kroků: z výběru
úlohy a z odhadu úrovně schopnosti testovaného. Oba kroky se vždy po zodpovězení úlohy
testovaným opakují.
Při zadávání adaptivního testu vybírá počítač na základě předem zjištěných parametrů (určených
IRT kalibrací úloh v bance) takové úlohy, které o daném testovaném s určitou odhadovanou úrovní
schopnosti θ podávají maximální množství informace. Nejcitlivější úloha rozlišuje mezi jedinci, u
kterých se úroveň θ vyskytuje v blízkosti hodnoty obtížnosti dané úlohy.
Počítačový adaptivní test založený na IRT pracuje následovně (viz obr. 5). Cílem testu je zjistit, co
testovaný ví o daném tématu. Jinými slovy chceme co možná nejpřesněji odhadnout úroveň jeho
schopnosti θ.
výběr úlohy
z banky
použití odpovědi k zpřesnění
odhadu schopnosti testovaného
zadání úlohy
Test ukončen?
Banka úloh
výběr další
úlohy z banky
NE
ANO
výpočet
konečného odhadu
schopnosti
testovaného
Obr. 5 Proces administrace CAT (upraveno podle Davey; Pitoniak 2006)
Nejprve počítač vytvoří počáteční odhad schopnosti θ testovaného, který buď může být pro
všechny testované shodný (průměr schopností předešlých testovaných) nebo může být stanoven
pro každého testovaného zvlášť na základě nějaké dostupné informace o něm (např. výkon
v předchozích testech, známka, informace od učitele). Odpověď testovaného je poté okamžitě
skórována a podle množství informace, kterou úloha podává na aktuální úrovni jeho schopnosti θ
počítač vybírá (s určitou tolerancí) z banky úloh úlohu s maximálním množstvím informace.5 Ta je
obvykle vybírána podle tzv. pravidla kroku (step-rule). Odpoví-li testovaný na první úlohu správně,
je původní odhad jeho schopnosti θ zvýšen o určité číslo (často o 0,5 či 1), když chybně, je odhad
snížen o stejné číslo. Tento postup se opakuje do té doby, dokud testovaný nezíská vzorek
odpovědí (response pattern) skládající se minimálně z jedné chybné a jedné správné odpovědi.
Poté se pro výpočet nového odhadu θ, který je založen na všech předchozích odpovědích, použije
metoda maximální věrohodnosti6 (maximum likelihood estimation). Po zadání a skórování každé
další úlohy je odhad θ testovaného opět upraven a na jeho základě vybrána další ještě nezadaná
úloha, která poskytuje největší informaci. Odhad schopnosti testovaného je s každým krokem
zpřesňován. Proces počítačového adaptivního testování (zpravidla konvergentního) znázorňuje
obr. 6.
schopnost θ
testovaného
Obr. 6 Proces výběru úloh (upraveno podle Alessi; Trollip 2001)
Obr. 7-9 objasňují výběr úloh podle „maximální informace“ v CAT. Na obr. 7 vidíme kromě
informačních křivek 10ti úloh počáteční odhad schopnosti θ = 0 pro hypotetického testovaného (viz
svislá čára). Vodorovná osa je osa schopnosti θ testovaného, svislá osa určuje množství
informace. Hodnoty informace jsou vypočteny pro všechny úlohy na této úrovni θ. Z obr. 7 je
zřejmé, že úloha 6 podává největší množství informace ze všech 10 úloh pro úroveň schopnosti θ
= 0 (viz svislá čára). Proto je tato úloha počítačem vybrána, zadána testovanému a poté okamžitě
skórována.
Obr. 7 Informační funkce 10 úloh
Na základě tohoto skóru (zde: chybně) je určen nový odhad θ = -1 (zde: použit krok o velikosti 1).
Podle množství informace je dále vybrána úloha 4 (obr.8), protože poskytuje pro θ = -1 nejvíce
informace, a skórována.
5
6
Množství informace se stanovuje pomocí informační funkce z IRT.
Metodou maximální věrohodnosti se odhaduje schopnost jedince jako maximální hodnota určité pravděpodobnostní
funkce (Hambleton 1991). Jiná běžně používaná metoda pro odhad θ testovaného je Bayesova metoda odhadu.
Obr. 8 Informační funkce 9 úloh
Za předpokladu, že úlohu 4 testovaný zodpoví správně, čímž získáme vzorek jedné chybné a
jedné správné dopovědi, můžeme použít metodu maximální věrohodnosti k dalšímu odhadu θ.
Výsledkem je θ = -0,5. Dále tedy byla vybrána úloha 5 (obr. 9).
Obr. 9 Informační funkce 8 úloh
Tento proces pokračuje tak dlouho, dokud není splněno kritérium pro ukončení testu.
Kritéria pro ukončení testu
U adaptivních testů fixní délky je test ukončen po vyčerpání všech úloh. Všem testovaným je tedy
zadán stejný počet úloh bez ohledu na chybu měření asociovanou s jejich skórem.
U CAT variabilní délky končí test, když je dosaženo předem stanovené přesnosti měření. Jednou
z důležitých charakteristik CAT je to, že kritérium ukončení CAT se může lišit podle cílů testování
(zda jde o testy rozlišující či ověřující). S každým odhadem θ je spojena standardní chyba odhadu
(standard error of estimate, SEM), protože pokaždé, kdy počítačový program počítá odhad
schopnosti θ, je málo pravděpodobné, aby byl tento odhad naprosto přesný. Avšak je možné udat
interval, v kterém se odhad bude pohybovat. Tento interval se zmenšuje, je-li zadáno více úloh,
což je zřejmé, protože odhad se zpřesní, když se nashromáždí více informací. Program ukončí
zadávání úloh v okamžiku, když chyba odhadu je přijatelně malá, tedy když je jisté, že daný odhad
je dostatečně blízko k reálné úrovni schopnosti testovaného.
4 Stručně o teorii odpovědi na položku (item response theory, IRT)
Problematika teorie odpovědi na položku (IRT) je velmi rozsáhlá a zásadně přesahuje rámec této
studie, proto dále uvádíme pouze přehled jejích základních myšlenek. Otázka odhadu položkových
parametrů a odhadu úrovně schopnosti testovaných je pro svůj poměrně složitý matematický
aparát pouze nastíněna, je nutné ji řešit za pomocí software (viz např. Embretson; Reise 2000,
Hambleton; Swaminathan; Rogers 1991).
I když u nás ještě teorie odpovědi na položku (item response theory, IRT) není zatím příliš známa 7,
její pojetí a metodologie byly vyvinuty před více než tři čtvrtě stoletím. Na prakticky aplikovatelné
úrovni byla zpracována v posledních 20 letech a ve světě se běžně používá při vývoji nástrojů pro
širokoplošné testování.
Testy (tedy i jednotlivé úlohy) vyvinuté na základě teorie odpovědi na položku8 (item response
theory, IRT) překonávají nedostatky testů vytvořených pomocí klasické teorie testu (KTT).
Nejdůležitějšími z nich je závislost charakteristik úloh (tím se míní zejména obtížnost a citlivost
úloh) na souboru testovaných, kterým byly položky zadány, a skutečnost, že KTT nahlíží na
položky výhradně v kontextu konkrétního testu, tj. položky nejsou od celku testu oddělitelné
(položky jsou korelovány s celkovým skórem). Nelze předpokládat, jak testovaný v úloze odpoví.
Oproti tomu IRT uvažuje o položkách a jejich vlastnostech samostatně, nezávisle na souboru
testovaných. IRT modely popisují očekávaný vztah charakteristik úloh (položkových parametrů) a
úrovně měřeného latentního rysu/ schopnosti (charakterizuje testované, řídí jejich odpovědi, avšak
je na charakteristikách položek nezávislá) pomocí pravděpodobnosti správné odpovědi. Tento
vztah lze matematicky popsat tzv. charakteristickou křivkou nebo-li funkcí položky (viz dále).
IRT předpoklady
Pro dichotomická a polytomická data bylo vyvinuto množství různých IRT modelů. My se zaměříme
na IRT pro binárně (dichotomicky) skórované úlohy, která je založena na dvou základních
předpokladech (Hambleton; Swaminathan; Rogers 1991):
1) odpověď testovaného na příslušnou testovou položku lze předpovědět či vysvětlit souborem
latentních rysů nebo-li schopností testovaného (označených řeckým písmenem theta θ ).
Latentní rysy nejsou přímo měřitelné, ale předpokládá se, že se projevují v chování
testovaného a ovlivňují jeho odpovědi. Jsou na testu nezávislé.
2) vztah mezi odpovědí testovaného v testové položce a jeho schopnostmi může být
matematicky popsán funkcí pravděpodobnosti správné odpovědi na položku P(θ),
tzv. charakteristickou křivkou/ funkcí položky (item charakteristic curve/ function, ICC). Tato
křivka esovitého tvaru zachycuje, jak při rostoucí úrovni schopnosti θ roste pravděpodobnost
správné odpovědi. Tvar a polohu křivky (viz obr.10) určují podle zvoleného modelu jeden až tři
parametry – obtížnost (b), diskriminační schopnost (citlivost) úlohy (a) a pseudonáhodný
parametr hádání (c).
7
O IRT informovali zatím jen Komenda (2003), Denglerová (2003, 2005), Urbánek; Šimeček (2001), Jelínek; Květoň;
Denglerová (2006).
8
Položka je jinými slovy úloha.
∆ parametru a
∆ parametru b
P()
∆ parametru c

Obr. 10 Ukázka charakteristické křivky položky (upraveno podle Chong 2006)
IRT modely
Vztah mezi úrovní latentního rysu/ schopnosti  a pravděpodobností správné odpovědi P(  ) na
dichotomicky skórovanou položku lze popsat více či méně přesně třemi různými
unidimenzionálními modely9 nebo-li logistickými funkcemi (Hambleton; Swaminathan; Rogers
1991). Modely zahrnující různé parametry, kde parametr b je obtížnost, a rozlišovací schopnost
and c pseudonáhodný faktor.
1-parametrový logistický model nebo-li Raschův model
Nejjednodušším a současně nejrozšířenějším IRT modelem, nazývaným podle dánského
matematika Raschův model, je 1-parametrový model, který obsahuje pouze parametr obtížnosti.
Tento model je tedy vhodný pro testy složené z přibližně stejně citlivých úloh.
Má tvar
Pi ( ) 
e D ( bi )
,
1  e D ( bi )
i = 1, 2, .., n, kde
Pi(  ) je pravděpodobnost, že náhodně vybraný testovaný se schopností  vyřeší úlohu i správně;
nabývá hodnot od 0 do 1
D je konstanta rovna 1,7, pomocí které se distribuční funkce normálního rozdělení (ogiva) převádí
na výhodnější logistickou funkci (protože obě funkce mají velmi podobný průběh)
b je parametr obtížnosti úlohy (viz výše)
 je úroveň schopnosti (latentního rysu) testovaného
Obr. 11 zobrazuje charakteristické křivky dvou úloh, které se liší jen s ohledem na obtížnost. Úloha
2 je snazší než úloha 1, protože bod X1 leží vzhledem k ose  blíže k nule než X2. ICC úlohy 1 leží
více vpravo.
9
Vedle unidimenzionálních modelů (jsou nejjednodušší, pracují pouze s jedním latentním rysem) existují pro binární
data také multidimenzionální modely, v kterých dvě nebo více úrovní latentního rysu ovlivňují výkon testovaného (více
viz např. Embretson; Reise 2000). Řada modelů vznikla také pro polytomické formáty odpovědí na položky či pro
škály.
Pi(θ)
úloha 2
úloha
+1227
2ŽCC
1++
1+1
1

Obr. 11 ICC úloh 1 a 2 s rozdílnou obtížností
Vodorovnou osu tvoří úroveň schopnosti testovaného , svislou pravděpodobnost správné
odpovědi na úlohu (upraveno podle Urbina 2004).
2-parametrový logistický model nebo-li Lordův model
2-parametrový model poprvé zavedl v 50. letech 20. stol. Lord, v 60. letech 20. století se jím
zabýval Birnbaum. Tento model, zřejmě zobecněním 1-parametrového modelu, uvažuje vedle
obtížnosti položky (b) také její citlivost (a). Používá se u otevřených úloh.
Má tvar
Pi ( ) 
e Dai ( bi )
, i = 1, 2, .., n, kde
1  e Dai ( bi )
a je parametr vystihující diskriminační schopnost položky10.
Na obr. 12 jsou charakteristické křivky dvou úloh, které se liší v obtížnosti a citlivosti. Úroveň
schopnosti asociovaná s 50% pravděpodobností správné odpovědi je trochu vyšší u úlohy 1 (x1)
než u úlohy 2 (x2). Kromě toho stoupání (strmost) těchto dvou křivek, které ukazuje poměr změny
ve schopnostech a změny v pravděpodobnosti správné odpovědi, se liší. Úloha 2 jakožto strmější
v prostředním úseku je citlivější než úloha 1. Křivky, které se protínají jako v tomto případě, jsou
nežádoucí.
Pi(θ)
úloha 2
úloha 1
θ
Obr. 12 ICC úloh 1 a 2 s rozdílnou obtížností a citlivostí.
Vodorovnou osu tvoří úroveň schopnosti testovaného , svislou pravděpodobnost správné
odpovědi na úlohu (upraveno podle Urbina 2004).
3-parametrový logistický model
10
Ostatní proměnné a konstanta D jsou shodné s 1-parametrovým modelem.
3-parametrový model, který je vhodný pro úlohy s výběrem odpovědi, navrhl Birnbaum. Tento
model je dán tvarem
Pi ( )  ci  (1  ci )
e Dai ( bi )
, i = 1, 2, .., n, kde
1  e Dai ( bi )
c je parametr hádání a nabývá hodnot od 0 do 1, ale ze své povahy by neměl být vyšší než 1/k,
kde k je počet nabídek pro položku
Kromě parametrů a a b zahrnuje 3-parametrový model také parametr hádání c, jehož hodnota
vyjadřuje pravděpodobnost dosažení správné odpovědi při tzv. slepém hádání nezávisle na
schopnosti  (u úlohy se 4 nabízenými odpověďmi je pravděpodobnost uhádnutí 0,25).
U tohoto modelu již díky parametru c není dolní asymptotou charakteristické křivky úlohy hodnota
0 jako u 1- a 2-parametrického, ale c. Tím je parametr obtížnosti položky určen bodem na škále
schopnosti, v němž P(  ) = (1 + c)/2. Parametr a je stále úměrný strmosti ICC v bodě b = 0,
přičemž zde je tato strmost rovna a(1 - c)/4.
Obr. 13 zobrazuje ICC křivky dvou úloh, které se liší třemi parametry: a, b a c. ICC úlohy 1 je
strmější než ICC úlohy 2, tj. úloha 2 zřejmě nerozlišuje mezi jedinci různých úrovní  tak dobře
jako úloha 1. Dle ICC úlohy 2 lze usoudit, že i testovaní nízkých úrovní  jsou schopni správně
uhádnout odpověď na úlohu 2, parametr c je u této úlohy vyšší než u úlohy 1 (blíže k 0 na svislé
ose). Navíc 50% pravděpodobnost úspěchu je asociovaná s vyšší úrovní schopnosti (X2) u úlohy
2. Úloha 2 je tedy obtížnější než úloha 1. Úloha 2 je proto zřejmě z hlediska měřitelných
charakteristik méně vhodná než úloha 1.
Pi(θ)
úloha 1
úloha 2
θ
Obr. 13 ICC úloh 1 a 2 s rozdílnou obtížností, citlivostí a různým parametrem hádání.
Vodorovnou osu tvoří úroveň schopnosti testovaného, svislou pravděpodobnost správné odpovědi
na úlohu (upraveno podle Urbina 2004).
Informační funkce testu
Co se týče přesnosti měření testu, hlavním rozdílem mezi IRT skóry a tradičními testovými skóry11
je to, že IRT skóry mají rozdílnou přesnost (chybu měření) pro různé úrovně schopnosti
(proficiency) testovaných. Reliabilitě testových skórů v KTT odpovídá v IRT množství informace,
které test podává svými úlohami. Množství informace o jednotlivých položkách lze matematicky
určit tzv. informačními funkcemi (IIF, item information function) zvonovitého tvaru. Informační
funkce testu I ( ) pro danou  je definována jako součet informačních funkcí I i ( ) jednotlivých
položek pro tuto  , protože úlohy jsou na sobě nezávislé (Hambleton; Swaminathan; Rogers
1991):
n
I ( )   I i ( ) , kde I i ( ) 
i 1
11
P ( )
´
i
2
Pi ( )Qi ( )
, i = 1, 2, .., n,
V KTT je standardní chyba měření konstantní pro všechny dosažené skóry a je specifická pro danou populaci.
kde Pi ( ) je charakteristická funkce položky i, Qi ( )  1  Pi ( ) a Pi´ ( ) je první derivace Pi ( ) .
Ze vzorce plyne, že hodnota informační funkce testu závisí na počtu úloh v testu a průměrné
hodnotě parametrů citlivosti testových úloh dle zvoleného IRT modelu. Jelikož s počtem položek
roste množství informace, měří test jako celek danou schopnost mnohem přesněji než jedna
položka. Tvar této funkce závisí na rozložení hodnot parametrů obtížnosti úloh po ose schopnosti a
na rozložení a průměrné hodnotě parametrů citlivosti testových úloh.
Úloha měří schopnost s největší přesností, tj. nejlépe rozlišuje mezi testovanými s úrovní
schopnosti odpovídající hodnotě parametru b obtížnosti úlohy. To znamená, maximální hodnoty
dosahuje informační funkce v blízkosti hodnoty parametru obtížnosti dané položky (viz obr. 4-5).
Množství informace poskytované úlohou klesá se vzdalováním úrovně schopnosti  od obtížnosti
úlohy a přibližováním k nule na obou koncích osy schopnosti  . Je-li množství informace malé (viz
obr. 4-5, úloha 6), nedá se schopnost přesně odhadnout a odhady budou široce rozprostřeny
kolem skutečné schopnosti. Takové úlohy jsou statisticky téměř nepoužitelné do testu. Je-li
množství informace velké, může být hodnota schopnosti  testovaného odhadována přesně, tzn.
všechny odhady budou rozumně blízko ke skutečné hodnotě dané úrovně schopnosti. Parametr
citlivosti úlohy značně ovlivňuje maximální množství informace pro odhad schopnosti, která je dána
úlohou (viz obr 4-5, informační křivky úloh 1 a 2. Hodnoty a < 1 vedou k nízké hodnotě množství
informace testu, hodnoty a > 1,7 vedou k vysoké hodnotě množství informace testu. Protože
množství informace testu snižují hodnoty c > 0 pro nízké úrovně schopnosti a velké hodnoty c
obecně pro všechny úrovně schopnosti (u 3-parametrového modelu), je tendence přizpůsobovat
data spíše 1- či 2-parametrovému modelu (kde c = 0, např. Hambleton aj. 1991, Baker 2001).
theta
Obr. 14 Ukázka informačních křivek šesti úloh, které se liší množstvím informace, které
podávají pro danou úroveň schopnosti  (upraveno podle Hambleton aj. 1991)
Na obr. 14 jsou informační křivky šesti úloh, které se liší množstvím informace, které podávají pro
danou úroveň schopnosti  testovaných. Úloha 1 podává nejvíce informace pro  = 1, (maximální
hodnota informační funkce), pro  = -1 a  = 3 již žádnou. V úloze 2 se maximum informace
soustřeďuje také kolem  = 1, na obou svých koncích potom podává stejně málo informace. Úloha
3 podává sice nejvíce informace opět pro  = 1, ale mnohem méně než úlohy 1 a 2. Úloha 4
podává nejvíce informace pro  = -1,5, atd. Na základě maximálních hodnot informace lze
usuzovat, že úlohy 1, 2, 3 jsou těžší než úlohy 4 a 5. Nejméně citlivá je úloha 6, protože podává
velmi málo informace pro všechny schopnostní úrovně.
Množství informace, které test podává pro hodnotu , je v inverzním vztahu k přesnosti (vyjádřena
standardní chybou měření), s kterou je schopnost  odhadována:
SE ( ˆ ) 
1
,
I ( )
kde SE ( ˆ ) je standardní chyba odhadu úrovně  testovaných testem s informačním přínosem
I ( ) (Urbánek; Šimeček 2001). Ta je koncepčně ekvivalentní k standardní chybě měření v KTT,
ale na rozdíl od chyby měření v KTT umožňuje zobecnění na různé populace. Čím více informace
test na dané úrovni schopnosti poskytuje, tím menší je chyba, s níž je úroveň schopnosti
odhadována (viz obr. 15).
TEST0001 FORM:
1
0.90
6
5
0.72
0.54
3
0.36
Stan d ard Erro r
In fo rmatio n
4
2
0.18
1
0
-4
-3
-2
-1
0
1
2
3
4
0
Scale Score
Obr. 15 Ukázka informační funkce testu a standardní chyby měření v testu OSP, varianta A,
PedF UK 2006 (výstup z programu BILOG-MG).
Kalibrace aneb stanovení položkových parametrů
Stanovení položkových parametrů (tj. kalibraci) a (citlivosti), b (obtížnosti), c („hádání“) předchází
zpravidla klasická položková analýza, pomocí které vyřadíme úlohy s velmi malou citlivostí
(hodnota ukazatele citlivosti blízko nuly nebo záporná), abychom zaručili konvergenci při kalibraci
parametrů. K výběru dobrých položek se využívá jejich informačních funkcí (informace úloh se liší
pro různé úrovně schopnosti  testovaných), pomocí kterých můžeme vybrat s velkou přesností
úlohy odpovídající námi zvolené úrovni schopnosti . Úlohy s vyššími hodnotami parametru a
poskytují více informace o skórování testovaných a tím větší přesnost. Chceme-li například vytvořit
test s takovým hraničním skórem, který vytřídí 50% testovaných, vybereme úlohy s vysokými
hodnotami a a s hodnotami b blízko nuly (průměrná schopnost ). Podle informačních funkcí
položek vybereme tedy takové, které podávají maximální informaci pro hodnoty  = 0. Nakonec
zkontrolujeme náš výběr pomocí informační funkce testu, která je výsledným součtem
informačních funkcí jednotlivých položek, a křivky standardní chyby. Standardní chyba by měla být
pro oblast okolo  = 0 co nejmenší.
Parametry položek
Obtížnost položky
Obtížnost položky je vyjádřena parametrem b (difficulty parametr nebo threshold), který teoreticky
může nabývat hodnot od -  do + , ale v praxi se jeho hodnota pohybuje mezi -3 a 3 (Baker
2001). Čím větší je b, tím obtížnější je úloha. Graficky je obtížnost úlohy dána polohou
charakteristické křivky (ICC) vzhledem k ose schopností θ. Jde o bod na ose schopnosti, pro který
je pravděpodobnost správné odpovědi rovna 0,5, resp. (1+c)/2 u 3-parametrového modelu. Čím je
ICC položena více doprava vzhledem k vodorovné ose θ , tím těžší je úloha. Sečteme-li
charakteristické funkce položek v celém testu, můžeme výslednou charakteristickou funkci testu
použít k předpovídání skórů testovaných s danou úrovní schopností θ. Je-li test složen z relativně
obtížných úloh, je charakteristická funkce testu posunuta doprava a testovaní mají tendenci
k nižším očekávaným skórům než je tomu u relativně snadných položek.
Citlivost (diskriminační schopnost) položky
Diskriminační schopnost položky je dána parametrem a (discrimination parameter), který teoreticky
může nabývat hodnot od -  do +  (Baker 2001), ale v praxi se jeho hodnota pohybuje obvykle
mezi 0 a 2,8 (Baker 2001). Čím větší je hodnota a, tím lépe úloha rozlišuje mezi testovanými
nalevo a napravo od své polohy. Graficky se citlivost úlohy projevuje strmostí ICC v jejím
prostředním úseku. Čím větší sklon má křivka (čím je strmější), tím má úloha lepší rozlišovací
schopnost, tím je citlivější. Strmost křivky, a tím také parametr a dosahuje své maximální hodnoty
v bodě, ve kterém se úroveň schopnosti θ rovná obtížnosti položky. To znamená, b označuje bod
na ose schopnosti θ, v kterém úloha nejlépe rozlišuje mezi testovanými. Negativní parametr a
citlivosti značí něco chybného v úloze. Buď se jedná o úlohu s technickými nedostatky nebo jde o
dezinformaci zpravidla mezi studenty s vysokou úrovní schopnosti. Baker (2001) uvádí
doporučené hodnoty parametru a (viz tab. 2).
Tab. 2 Doporučené hodnoty parametru citlivosti a pro logistické modely položek.
a (logistický)
0
0,01-0,34
0,35-0,64
0,65-1,34
1,35-1,69
 1,7
+
a (normální)
0
0,006-0,2
0,206-0,376
0,382-0,788
0,794-0,994
1
+
citlivost úlohy
žádná
velmi nízká
Nízká
Přiměřená
Vysoká
velmi vysoká
perfektní
Pro převod z logistického modelu na model podobný normální ogivě je potřeba hodnoty vydělit
číslem 1,7 (normal ogive model value, scaling factor).
Uhádnutelnost položky
Uhádnutelnost položky je dána tzv. pseudonáhodným parametrem c (guessing parameter, pseudochance-level parameter), který udává, jak velká je pravděpodobnost uhádnutí správné odpovědi
na všech úrovních osy schopnosti. Jeho hodnota se teoreticky pohybuje mezi 0 a 1, v praxi
většinou mezi 0 a 0,35 (Baker 2001). Čím je tento parametr vyšší, tím výše na svislé ose P(θ) je
dolní asymptota charakteristické křivky položky. Když b < 0 a a < 1, pak c není zřejmé (Baker
2001).
Pokud data odpovídají zvolenému modelu, což se většinou zjišťuje statisticky  2 testem či
grafickou metodou pomocí specializovaného software12, můžeme sebraná data o testových a
položkových skórech využít k odhadování parametrů testových položek, které rozmístí testované a
12
Četné statistické metody k ověření vhodnosti modelu uvádějí např. Hambleton; Swaminathan; Rogers 1991,
Orlando; Thissen 2000 aj.s
úlohy na ose schopnosti. Parametry jsou numerické hodnoty, které specifikují formu vztahu mezi
naměřenými schopnostmi a pravděpodobností určité odpovědi.
Stanovení parametrů (jejich odhadování z výsledků testu) je poměrně náročné, neboť vyžaduje
iterativní postupy, které však za nás může provádět příslušný software. V IRT se toto odhadování
parametrů nazývá kalibrací testu. Jak již bylo zmíněno, jsou parametry schopnosti
(charakterizující testované) nezávislé na testových položkách, s jejichž pomocí jsou kalibrovány, a
položkové parametry nezávislé na pravděpodobnostním rozdělení schopnosti ve skupině
testovaných. Techniku kalibrace testu navrhl jako první koncem 60. let 20. století A. Birnbaum, jak
uvádí Komenda (2003), a od 70. a 80. letech byl potom navrhován výpočetní software. Dnes se
k odhadování IRT parametrů používají programy jako je např. TESTFACT, BILOG-MG,
XCALIBRE, MULTILOG, PARSCALE či RUMM.
Odhadování parametrů testové úlohy a schopnosti testovaného
V IRT modelech závisí pravděpodobnost správné odpovědi na schopnostech testovaného a na
parametrech, které úlohu charakterizují. Při použití těchto IRT modelů lze oproti KTT z odpovědí
na úlohy získat odhady parametrů testových položek, a to nezávisle na znalostech testovaných.
Tzn. odhady parametrů testové položky nezávisejí na úrovni schopnosti studentů, kteří tuto
položku řeší. Číselné hodnoty parametrů jsou tedy vlastností položky a ne skupiny testovaných,
která na položku testu odpovídá. Specifikují formu vztahu mezi měřenými schopnostmi a
pravděpodobností určité odpovědi na položku. Nejpoužívanějšími technikami odhadování
parametrů testové položky i schopnosti jsou metoda maximální věrohodnosti (maximum likelihood
procedure) a Bayesova metoda odhadování parametrů. Dále nastíníme pouze metodu maximální
věrohodnosti.
Odhadování parametrů testové úlohy nezávisle na znalostech testovaných
K určení parametrů testové úlohy použijeme např. metodu maximální věrohodnosti (Joint
maximum likelihood procedure), která je aplikovatelná na všechny tři parametrické modely.
Předpokládáme, že parametry schopnosti jsou známy. Jak uvádí Komenda (2003), je základním
krokem najít charakteristickou funkci položky, která by nejpřesněji vystihla empirické četnosti
správných odpovědí. Za matematický model vyrovnávací křivky je třeba si zvolit jeden ze tří IRT
modelů, např. dvouparametrový. Nejprve se zvolí počáteční číselné hodnoty parametrů b a a a
vypočítají se pro ně hodnoty pravděpodobnosti správné odpovědi P( i ) pro každou úroveň
schopnosti. Potom se vyhodnotí shoda mezi empirickými hodnotami p( i ) a právě vypočítanými
modelovými hodnotami P( i ) ve všech hodnotách  . Najdou se korekce stávajících hodnot obou
parametrů, které povedou k lepšímu přiblížení teoretické křivky. Tento iterativní postup se opakuje
tak dlouho, dokud nejsou korekce zanedbatelně malé. Tím odhadování končí, číselné hodnoty
obou parametrů vypočítané jako poslední se považují za konečné odhady b a a určující tvar
teoretické charakteristické křivky položky.
Odhadování parametrů schopnosti testovaného
V IRT je účelem aplikace testu zjistit, kde se zkoušený umisťuje na ose schopnosti  . Test
k měření neznámé latentní vlastnosti (schopnosti) je tvořen n položkami, z nichž každá měří
určitou stránku této vlastnosti. Při odhadování neznámé hodnoty parametru schopnosti
testovaného budeme předpokládat, že číselné hodnoty parametrů testových položek jsou známy.
Z toho plyne, že hodnoty známých položkových parametrů a parametrů schopnosti mají společnou
metriku. K odhadu parametru schopnosti se využívá vedle známých hodnot položkových
parametrů také vektor odpovědí testovaných (složený z 0 a 1 kvůli dichotomického skórování).
Opět použijeme iterativní metodu maximální věrohodnosti. Nejprve zvolíme počáteční hodnotu
schopnosti zkoušeného a vypočítáme pravděpodobnost jeho správné odpovědi (pomocí známých
položkových parametrů) na každou položku testu. Vypočítané pravděpodobnosti se mají co nejvíce
shodovat s vektorem odpovědí testovaného. Potom provedeme korekci odhadu schopnosti. Tím
získáme přesnější hodnotu parametru schopnosti. Postup opakujeme tak dlouho, dokud korekce
není zanedbatelně malá. Výsledkem je číselný odhad parametru schopnosti studenta. Tento
proces se provádí odděleně pro každého testovaného. Postupné přiblížení k hledané hodnotě
parametru schopnosti jedince se vypočítává podle vzorce:
 a u
n


 s 1   s 
i 1
n
a
i 1
i
2
i

 Pi ( s )



P ( s )Qi ( s )

, kde  s je odhadnutá schopnost testovaného v kroku (iteraci) s, ai je
i i
diskriminační parametr položky i, ui je odpověď testovaného na položku i (ui = 1 pro správnou


odpověď, ui = 0 pro chybnou odpověď), Pi ( s ) je pravděpodobnost správné odpovědi, Qi ( s ) = 1 -

Pi ( s ) je pravděpodobnost chybné odpovědi na položku i pro zvolený IRT model ICC a na úrovni
schopnosti θ v iteraci s.
Odhad schopnosti studenta nezávisí na tom, jaké položky se pro tento odhad použily, pokud
všechny položky měří tu samou latentní vlastnost a hodnoty všech položkových parametrů mají
společnou metriku. Necháme-li tedy testovaného řešit dva paralelní testy po 15 položkách
s různou průměrnou obtížností a jeho odpovědi využijeme k odhadu jeho schopnosti, měli bychom
dostat v obou případech stejnou hodnotu odhadu schopnosti.
5 Výhody a nevýhody CAT oproti konvenčním testům
V této krátké části studie si všimneme výhod a nevýhod CAT ve srovnání s konvečním
testováním, tj. testováním „tužka - papír“ (TTP) a testováním pomocí počítače, které však
nevyužívá adaptability (CT).
Výhody CAT
CAT poskytuje přesnější výsledky
Informace o úrovni zjišťované charakteristiky testovaného, např. o vědomostech a intelektových
dovednostech v určitém oboru či stanovení jeho testového profilu) jsou u CAT přesnější než jsou
ty, které získáme u konvenčních testů.
U konvenčních testů získáváme nejpřesnější výsledky u testovaných, jejichž úroveň zjišťované
charakteristika je v pásmu průměrných výkonů referenční skupiny. Směrem k oběma extrémům
(podprůměrným a nadprůměrným testovaným) pak klesá. Navíc, dvě nebo tři málo validní úlohy
mohou výrazně ovlivnit především pak u mastery testů. CAT jsou založeny na výběru úloh
z banky, která obsahuje velký počet úloh, jež prošly kalibrací, tj. analýzou pomocí IRT. To, a
způsob výběru úloh v průběhu CAT testování, umožňuje větší citlivost testování na rozdíly mezi
jedinci vyjádřené v celém rozpětí skupiny testovaných.
CAT je kratší
Doba testování CAT je ve srovnání s konvenčními testy při stejné nebo i větší přesnosti
výrazně kratší - uvádí se, že činí 40-50 %.
CAT - tempo testování
CAT umožňuje testování předem stanovené délky nebo individuálním tempem.
CAT probíhá v „přátelštějším“ prostředí
Mnoho testovaných vnímá CAT jako příjemnější test, neboť je v jeho průběhu konfrontována se
zvládnutelnými úlohami s pro ně přiměřenou obtížností, protože je u každého tetovaného je
omezen počet, pro něj příliš obtížných a pro něj příliš snadných otázek. Tím je zvýšena motivace
zkoušených. Díky kratší celkové době testování a menšímu počtu úloh udrží testovaní také snáze
pozornost.
CAT je „bezpečnější“
Protože každému testovanému je zadáván jiný sobor úlohek, snižuje se výrazně možnost
„opisování“. Snižuje se i riziko prozrazení zadání jednotlivých úloh.
CAT poskytuje okamžitý výsledek
CAT technologie umožňuje testovaným a dalším zájemcům získat okamžitou zpětnou vazbu.
Díky možnosti uložit výsledků v elektronické formě je snadné sledovat vývoj výkonů zkoušeného
v čase. Tuto přednost mají i CT nikoli však TTP.
CAT - multimediální možnosti
Zvuk, obraz, jejich propojení, i využití internetu a nosičů informací vytváří dříve nebývalé možnosti
navrhování a generování nových druhů úloh.
CAT - využití v širokoplošném testování založeném na klasické teorii
IRT a SW vybavení pro CAT lze využít pro tvorbu vyvážených testových variant i testů
se dvěma úrovněmi obtížnosti.
Nevýhody CAT
CAT vyžaduje značné teoretické znalosti a praktické zkušenosti
Teoretickým základem CAT je Item Response Theory (IRT), kterou zde nelze nahradit klasickou
teorií testů. Pokud je nám známo, v ČR se IRT se zabývají 3 - 4 lidé. Osvojit si IRT, její aplikace a
práci s vhodným SW vybavením si nelze během několika měsíců. Bohužel. nezbývá než
konstatovat, že ČR má v oblasti teorie a praxe testování, což se týká i testování konvenčního,
skluz oproti vyspělých a dalších (Maďarsko, Polsko, Rumunsko, Rakousko, ..).
Toto je specifický nedostatek, který by stálo za to odstraňovat.
CAT vyžaduje banku kalibrovaných úloh
Základem CAT je banka úloh několika stovek úloh (minimální počet úloh závisí na použitém
modelu IRT), které byly kalibrovány na dostatečně velkém vzorku studentů To představuje časově
a finančně náročnou činnost. Proto se CAT projektuje především tam, kde se ho může využívat u
velkých skupin testovaných.
CAT vyžaduje poněkud jiný přístup k testování
Testovaný si musí zvyknout, že nemůže:
provést opravu odpovědi na předchozí úlohu, na monitoru počítače si dělat poznámky, přeskočit
úlohu. Jak ukazují výzkumy testovaní se se změnou testové situace vyrovávají dobře.
Literatura
ALESSI, S. M.; TROLLIP, S. R. Multimedia for Learning: Methods and Development.
3rd ed. Needham Heights, MA : Allyn & Bacon, 2001. ISBN 0-205-27691-1.
BAKER, F. The Basics of Item response Theory. 2nd ed. [on-line]. ERIC Clearinghouse on
Assessment and Evaluation, 2001 [cit. 1. 4. 2007]. ISBN 1-886047-03-0. Dostupné
na:<www.ericae.net/irt/baker>.
BAKER, F. B., KIM S. Item Response Theory. Parameter Estimation Techniques.
New York : Marcel Dekker, Inc., 2004. ISBN: 0-8247-5825-0.
DAVEY, T; PITONIAK, M. J. Designing Computerized Adaptive Tests. In DOWNING, S. M.;
HALADYNA, T. M. Handbook of Test Development. Mahwah, NJ : Lawrence Erlbaum
Associates, 2006. ISBN 0-8058-5265-4.
DENGLEROVÁ, D. Nové metody v diagnostice osobnosti aneb IRT a její přínos k testování
osobnosti. In Sborník konference CVVOE. Vývoj a utváření osobnosti v sociálních a etnických
kontextech (víceoborový přístup). Brno : MU Brno, 2005. ISBN 80-210-3804-7.
DRASGOW, F.; LUECHT, R. M.; BENNETT, R. E. Technology and Testing. In BRENNAN, R. L.
Educational Measurement. ACE, 4th Ed. Westport, CT : Praeger Publishers, 2006. ISBN 0-27598125-8.
EGGEN, T. J. H. M. Contributions to the theory and practice of computerized adaptive testing.
Arnhem, NL : Cito, 2004. ISBN 90-5834-056-2.
EMBRETSON, S. E.; REISE, S. P. Item response theory for Psychologists. Mahwah, NJ :
Lawrence Erlbaum Associates, 2000, ISBN 0-8058-2818-4.
HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H.J. Fundamentals of Item Response
Theory. Newbury Park, CA : Sage Publications, Inc., 1991. ISBN 0-8039-3647-8.
HENDRICKSON, A. B.; KOLEN, M. J. IRT Equating of the MCAT [online]. University of Iowa 2003
[cit. 1. 4. 2007]. Dostupné na: <www.aamc.org/students/mcat/research/monograph4.pdf>.
JELÍNEK, M., KVĚTON, P., DENGLEROVÁ, D. Adaptivní testování - základní pojmy a principy.
Československá psychologie, roč. L, č. 2, s. 163-173. Praha : Academia, 2006. ISSN 0009062X.
KOMENDA, S. Měření a metaměření znalostí. Olomouc : Nakladatelství Univerzity Palackého
2003. ISBN 80-244-0776-0.
LEUNG, CH. K; CHANG, H. H.; HAU, K. Computerized Adaptive Testing: A Comparison of Three
Content Balancing Methods. Journal of Technology, Learning, and Assessment, 2003,
vol. 2, no. 5, s. 2-15.
LORD, F. M. Applications of Item Response Theory to Practical Testing Problems. Hillsdale, NJ :
Lawrence Erlbaum, 1980. ISBN 0-89859-006-X.
RUDNER, L. M. An On-line, Interactive, Computer Adaptive Testing Tutorial [online].1998
[cit. 1. 4. 2007]. Dostupné na:<http://edres.org/scripts/cat>.
RUDNER, L. M. An On-line, Interactive, Computer Adaptive Testing Mini-Tutorial [online]. 1998 [cit.
1. 4. 2007]. Dostupné na:<http://edresearch.org/scripts/cat>.
SANDS, W. A; WATERS, B. K.; McBRIDE, J. R. Computerized adaptive testing: From inquiry to
operations. Washington, DC : American Psychological Association, 1997.
STAGE, C. A Comparison Between Item Analysis Based on Item Response Theory and Classical
Test Theory. A Study of the SweSAT Subtest READ [online]. Umeå University: Department of
Educational Measurement, 1997 [cit. 1. 4. 2007]. Dostupné na:
<www.umu.se/edmeas/publikationer/pdf>
STARK, S.; CHERNYSHENKO, S.; CHUAH, D.; LEE, W.; WADLINGTON, P. IRT Modeling Lab
[online]. University of Illinois, 2001 [cit. 1. 4. 2007]. Dostupné na:
<http://work.psych.uiuc.edu/irt/>
URBÁNEK, T., ŠIMEČEK, M. Teorie odpovědi na položku. Československá psychologie, 2001,
roč. 45, č. 5, s. 428-440.
URBINA, S. Essentials of Psychological Testing. New Jersey : John Wiley a Sons, Inc., 2004.
ISBN 0-471-41978-8.
VAN DER LINDEN, W. J.; HAMBLETON, R.K. Handbook of modern item response theory, New
York : Springer, 1997.
WAINER, H. Computerized Adaptive Testing: A primer. 2nd ed. Mahwah, NJ: Lawrence Erlbaum
Associates, 2000. ISBN 0-8058-3511-3.
WAINER, H.; MISLEVY, R. J. Item Response Theory, Item Calibration, and Proficiency Estimation.
In WAINER, H., et. al. Computerized Adaptive Testing: A primer. 2nd ed. Mahwah, NJ:
Lawrence Erlbaum Associates, 2000. ISBN 0-8058-3511-3.
WEISS, D. J. The Stratified adaptive computerized ability test. Research report 73-3. Minneapolis :
University of Minnesota, Department of Psychology, Psychometric Methods Program,
Computerized Adaptive Testing Laboratory, 1973.
WEISS, D. J. Computerized Adaptive Achievement Testing. In O´NEIL, H. F. (JR). Procedures for
Instructional Systems Development. New York : Academic Press, 1979. ISBN 0-12-526660-X.
WEISS, D. J. Adaptive testing by computer. Journal of Consulting and Clinical Psychology. New
York : Pergamon Press, 1988. ISBN 0-080365510-8
WEISS, D. J., Adaptive Testing. In KEEVES, J. P. Educational Research, Metholodogy and
Measurement: AnInternational Handbook. New York : Pergamon Press, 1988.
ISBN 0-080365510-8
WEISS, D. J. New horizons in testing: Latent trait test theory and computerized adaptive testing.
New York : Academic Press, 1983.
WEISS, D. J. Manual for the FastTEST Professional Testing System, Version 2. St. Paul,
Minnesora : Assessment Systems Corporation, 2006.
Software:
FastTEST Professional Testing System. Test Development Package [CD-ROM]. St. Paul,
Minnesota : Assessment Systems Corporation
1.
2.
3.
4.
5.
itworld - http://www.itworld.com/nl/cert_news/02052001/pf_index.html 16.1.2007
http://en.wikipedia.org/wiki/Computer-adaptive_testing
http://www.carla.umn.edu/assessment/CATfaq.html
[wiki binet] http://en.wikipedia.org/wiki/Alfred_Binet
[CAT central Binet] http://www.psych.umn.edu/psylabs/catcentral/ -> What is CAT? > The First Adaptive Test: Binet's IQ Test
6. [Linacre] Computer-Adaptive Testing: A Methodology Whose Time Has Come. By
John Michael Linacre, Ph.D. MESA Psychometr ic Laboratory Univer sity of Chicago
http://www.rasch.org/memo69.pdf
7. [kveton] ADAPTIVNÍ TESTOVÁNÍ - ZÁKLADNÍ POJMY A PRINCIPY, M. Jelínek; P.
Kveton; D. Denglerová, Československá Psychologie; 2006; ročník 50, č. 2; str.163173
8. [Way] Practical Questions in Introducing Computerized Adaptive Testing for K-12
Assessments
Walter
D.
Way
http://www.pearsoned.com/RESRPTS_FOR_POSTING/ASSESSMENT_RESEARC
H/AR6.%20PEM%20Prac%20Questions%20in%20Introl%20Computer%20Test05_
03.pdf
9. [testy]
http://en.wikipedia.org/wiki/TOEFL,
http://en.wikipedia.org/wiki/Graduate_Record_Examination,
http://en.wikipedia.org/wiki/GMAT
10. http://www.cito.com/
11. http://www.psych.umn.edu/psylabs/catcentral/
12. Ukázka CATu http://www.bulats.org/index.php
13. Introduction
to
Knowledge
Spaces
Theory
and
Applications
http://wundt.kfunigraz.ac.at/MathPsych/cda/overview_sokrates.htm
14. GRE® - Graduate Record Examinations (GRE, 2000), www.ets.org/gre/
15. Graduate
Management
Admission,
Test
GMAT®
(GMAT,
2000)
http://www.gmac.com/gmac/thegmat/
16. Test of English as a Foreign Language TOEFL® (TOEFL, 2000), www.ets.org/toefl/
17. Microsoft® for the Microsoft® Certified Solution Developer (MCSD) credential
(Microsoft, 2000), http://www.microsoft.com/learning/mcp/mcsd/default.mspx
18. COMPASS®/ESL which measures students' mathematics, reading, and writing
skills on demand (COMPASS, 2000), http://www.act.org/compass/index.html
19. SWIFT in the domain of desktop computer applications (Gemini, 2000),
http://www.gemini.com/tech_gemsswift.php
20. ALEKS, http://www.aleks.com/?ref=web
21. http://www.collegeboard.com/testing/
22. http://www.brainbench.com/xml/bb/business/aboutus/faqs.xml
23. Contributions to the theory and practice of computerized adaptive testing, Theo
J.H.M. Eggen, dizertační práce, Arnhem, Nizozemí, 2004