Tvorba a využití didaktických testu Cást materiálu k prednáškám

Tvorba a využití didaktických testu Cást materiálu k prednáškám

Tvorba a využitı́ didaktických testů
Část materiálů k přednáškám
Hana Voňková
Univerzita Karlova v Praze - Pedagogická fakulta
Voňková
Tvorba a využitı́ didaktických testů
1
Didaktický test - stručný popis postupu konstrukce I
nezačı́nat navrhovánı́m testových úloh
začı́nat promyšlenı́m účelu testu a dále stanovenı́m obsahu
testu
pro úroveň osvojenı́ poznatků je vhodné použı́t Bloomovu
taxonomii výukových cı́lů (znalost, pochopenı́, aplikace,
analýza, syntéza a hodnocenı́)
stanovı́me časový limit
dále lze přistoupit k formulaci jednotlivých úloh, přičemž je
nutné mı́t neustále na paměti, k jakému účelu úlohy sloužı́ a
na základě toho vybı́rat i vhodný typ testových úloh
(otevřené, uzavřené atd.)
Voňková
Tvorba a využitı́ didaktických testů
2
Didaktický test - stručný popis postupu konstrukce II
test je vhodné nechat posoudit jiným hodnotitelem posuzovánı́ obsahové validity
po sběru dat provedeme analýzu vlastnostı́ testových úloh
a celého testu (výpočet obtı́žnosti a citlivosti položek,
analýza nenormovaných odpovědı́ a reliability testu)
vyřadı́me úlohy, které nejsou vhodné (např. záporná
diskriminačnı́ sı́la)
pokud má test s obsahově homogennı́mi úlohami nı́zkou
reliabilitu, výsledky žáků zı́skaných pomocı́ tohoto testu
nemůžeme považovat za spolehlivé a přesné
následně lze provést standardizaci testu
Voňková
Tvorba a využitı́ didaktických testů
3
Didaktický test - testové úlohy I
Testové úlohy dělı́me dle způsobu řešenı́ (Chrástka, 2007)
1 otevřené úlohy
otevřené široké úlohy
otevřené úlohy se stručnou odpovědı́
2
uzavřené
dichotomické
s výběrem odpovědi(ı́)
přiřazovacı́
uspořádacı́
Voňková
Tvorba a využitı́ didaktických testů
4
Didaktický test - testové úlohy II
Otevřené široké úlohy
od testovaného vyžadujı́ rozsáhlejšı́ odpověd’ (1/2 strany,
ale i vı́ce)
Které byly hlavnı́ přı́činy vzniku druhé světové války?
Popište činnost jaderné elektrárny.
vhodné pro zkoušenı́ komplexnı́ch vědomostı́, vyššı́ch úrovnı́
osvojenı́ učiva
doporučuje se vymezenı́ struktury požadované odpovědi pro
snadnějšı́ vyhodnocovánı́
výhoda: snadno se navrhujı́
nevýhoda: nemožnost objektivnı́ho skórovánı́
Voňková
Tvorba a využitı́ didaktických testů
5
Didaktický test - testové úlohy III
Otevřené úlohy se stručnou odpovědı́
od testovaného vyžadujı́ vytvořenı́ vlastnı́ krátké odpovědi např. uvedenı́ určitého slova, čı́sla, symbolu, vzorce,
jednoduchého grafu, několik slov či krátkých vět atp.
dělı́me je na:
produkčnı́ úlohy
Napište Archimédův zákon.
doplňovacı́ testové úlohy
Dne 6. července 1415 byl v Kostnici upálen kazatel. . .
Muži mlčel. . ., ženy hovořil. . ., děti se smál. . . a štěňta si
hrál. . ..
výhody: snadno se navrhujı́ a nejde snadno uhodnout správná
odpověd’
Voňková
Tvorba a využitı́ didaktických testů
6
Didaktický test - testové úlohy IV
Dichotomické úlohy
testovaným jsou předkládány dvě alternativy odpovědi s tı́m,
že jedna je správná
často označovány jako true-false items
Jan Amos Komenský se narodil roku 1592.
ano - ne
Při vypařovánı́ kapaliny se teplo
spotřebovává - uvolňuje
výhody: snadno se navrhujı́ a vyhodnocujı́
nevýhody: často testovánı́ pouze zapamatovánı́ (1. stupeň
Bloomovy taxonomie), možnost uhodnutı́ správné odpovědi je
50ti procentnı́
Voňková
Tvorba a využitı́ didaktických testů
7
Didaktický test - testové úlohy IV
Úlohy s výběrem odpovědı́ (přı́klady dle Chrástka, 2007)
testovaný vybı́rá odpověd’ (odpovědi) z několika nabı́dnutých
alternativ
dělı́me je na:
úlohy typu ”jedna správná odpověd’”
Cesta vlakem nám velmi rychle uběhla.
Podtržený větný člen je:
A podmět
B přı́sudek
C předmět
D přı́slovečné určenı́
výhody: relativně snadno se navrhujı́, snadno se vyhodnocujı́
nevýhody: v praxi často testujı́ pouze zapamatovánı́
Voňková
Tvorba a využitı́ didaktických testů
8
Didaktický test - testové úlohy V
úlohy typu ”jedna nejpřesnějšı́ odpověd’”
Které z následujı́cı́ch tvrzenı́ nejlépe odpovı́dá na otázku “Co
je chemický prvek?”
A Prvek je látka, která se skládá z atomů stejného druhu.
B Prvek je látka, kterou již dále nejde dělit.
C Prvek je látka složená z atomů, které majı́ stejné protonové
čı́slo.
D Žádné z předchozı́ch tvrzenı́ nenı́ správné.
pro testované obvykle bývajı́ obtı́žné
výhody: snadné na vyhodnocovánı́
nevýhody: často je obtı́žné je zkonstruovat
Voňková
Tvorba a využitı́ didaktických testů
9
Didaktický test - testové úlohy VI
úlohy typu ”jedna nesprávná odpověd’”
Který z následujı́cı́ch dějů nenı́ formou oxidačnı́ho procesu?
A dýchánı́
B hnitı́
C destilace
D rezivěnı́
výhody: snadné na vyhodnocovánı́
“nevýhody”: konstrukce distraktorů
Voňková
Tvorba a využitı́ didaktických testů
10
Didaktický test - testové úlohy VI
úlohy s vı́cenásobnou odpovědı́
Kterými státy protéká řeka Odra?
A Německo
B Rusko
C Česká republika
D Slovensko
E Polsko
nevýhody: mohou se objevit problémy při skórovánı́ - lze zvolit
např. metodu “všechno nebo nic”
Voňková
Tvorba a využitı́ didaktických testů
11
Didaktický test - testové úlohy VI
situačnı́ úlohy
nabı́dky nejsou předkládány ve formě seznamu, vyplývajı́ ze
situace
Na mı́sto označené hvězdičkou napiš čı́slici, aby výsledné
šesticiferné čı́slo bylo dělitelné sedmi:
823*43
nepoužı́vajı́ se často
výhody: snadné na vyhodnocovánı́
Voňková
Tvorba a využitı́ didaktických testů
12
Didaktický test - testové úlohy VII
Korekce na hádánı́ správných odpovědı́
so = sn −
n
y −1
,
so opravené skóre
sn neopravené skóre
n počet nesprávných odpovědı́
y počet nabı́zených odpovědı́
doporučenı́ ohledně počtu nabı́zených odpovědı́: 4-5
(menšı́ pravděpodobnost uhodnutı́, únosný počet při konstrukci)
Voňková
Tvorba a využitı́ didaktických testů
13
Didaktický test - testové úlohy IX
Přiřazovacı́ úlohy
úkolem testovaného je přiřadit pojmy z jedné množiny k
pojmům z množiny druhé
K názvům států v levém sloupci přiřad’te názvy hlavnı́ch měst
z pravého sloupce.
Švýcarsko
A Dublin
F Rejkjavı́k
Norsko
B Oslo
G Helsinky
Island
C Bonn
Nizozemsko
D Bern
Finsko
E Amsterdam
počet nabı́zených odpovědı́ v pravém sloupci je záměrně většı́,
aby zamezil ohodnutı́ správného přiřazenı́ na základě
předchozı́ch přiřazenı́
výhody: omezujı́ možnost uhodnutı́ správné odpovědi
nevýhody: využitı́ jen v omezeném okruhu učiva
Voňková
Tvorba a využitı́ didaktických testů
14
Didaktický test - testové úlohy X
Uspořádacı́ úlohy
úkolem testovaného je seřadit prvky do řady podle zadaného
kritéria
Seřad’te uvedená města podle počtu obyvatel. Seřazenı́
proved’te pomocı́ pořadových čı́sel 1 až 6, aby město s
největšı́m počtem obyvatel mělo čı́slo 1.
Londýn . . .
Tokio . . .
Káhira . . .
New York . . .
Sao Paulo . . .
Sydney . . .
nevýhoda: obtı́žné skórovánı́
Voňková
Tvorba a využitı́ didaktických testů
15
Didaktický test - vlastnosti testových úloh I
Obtı́žnost položky - Hodnota obtı́žnosti položky
Q = 100
nn
N
nn je počet žáků, kteřı́ NEodpověděli na položku správně
N celkový počet žáků
Obtı́žnost položky - Index obtı́žnosti položky
Q = 100
ns
N
ns je počet žáků, kteřı́ odpověděli na položku správně
N celkový počet žáků
Voňková
Tvorba a využitı́ didaktických testů
16
Didaktický test - vlastnosti testových úloh II
Citlivost položek - Koeficient ciltivosti ULI (upper-lower
index)
nL − nH
d=
0.5N
nL je počet žáků z ”lepšı́ poloviny”, kteřı́ odpověděli na
položku správně
nH je počet žáků z ”horšı́ poloviny”, kteřı́ odpověděli na
položku správně
N celkový počet žáků
pro hodnoty obtı́žnosti 30-70 se doporučuje, aby d bylo aspoň
0.25
pro hodnoty obtı́žnosti 20-30 a 70-80 se doporučuje, aby d
bylo aspoň 0.15
Voňková
Tvorba a využitı́ didaktických testů
17
Didaktický test - vlastnosti testových úloh III
Analýza nenormovaných odpovědı́ = rozbor vynechaných nebo
nesprávných odpovědı́
u otevřených úloh věnujeme pozornost těm, ve kterých
vynechalo odpověd’ vı́ce než 30-40% žáků, u uzavřených úloh
je to pak vı́ce než 20%
u úloh uzavřených s výběrem odpovědi zkontrolujeme
atraktivnost distraktorů - zvážı́me, zda-li nenahradı́me
neatraktivnı́ distraktor jiným distraktorem
u uzavřených úloh rozdělı́me nesprávné odpovědi do dvou
kategoriı́ - základnı́ chyby (způsobené neznalostı́ učiva) a
vedlejšı́ chyby (způosbené náhodnými vlivy), odstranı́me
úlohy, kde převážı́ vedlejšı́ chyby nad základnı́mi chybami
Voňková
Tvorba a využitı́ didaktických testů
18
Didaktický test - posouzenı́ vnitřnı́ konzistence testu
Reliabilita testu
didaktický test má dobrou reliabilitu, pokud poskytuje
spolehlivé a přesné výsledky. Pokud bychom test neustále
opakovali za stejných podmı́nek, měli bychom v přı́padě testu
s dobrou reliabilitou zı́skat velmi podobné výsledky.
hodnota se pohybuje od 0 do 1
test s dobrou reliabilitou má hodnotu alespoň 0.7
Reliabilita vypočtená metodou půlenı́
rsb =
2.rb
1 + rb
rb korelačnı́ koeficient mezi výsledekem žáků v sudých a
lichých úlohách
Voňková
Tvorba a využitı́ didaktických testů
19
Posuzovánı́ kvality měřenı́ I - Validita
Validita = vystihuje, zda-li měřı́me skutečně to, co jsme
zamýšleli měřit
Obsahová validita (Content validity) - porovnává se obsah
testu (či jiného měřı́cı́ho nástroje) s doménou, která je měřena
Kriteriálnı́ validita (Criterion-related validity) - porovnej
testové skóry s určitým kritériem pokrývajı́cı́ oblast, kterou
studuješ
souběžná validita (concurrent validity) - porovnánı́ s
kritériem v tom samém čase (např. jiným testem, jinou mı́rou
oblasti, na nı́ž se zaměřuješ)
predikčnı́ validita (predictive validity) - porovnánı́ s
kritériem probı́há v budoucnu (např. predikčnı́ validita
testových skórů u přijı́macı́ch zkoušek se může porovnávat s
výsledky na vysoké škole)
Voňková
Tvorba a využitı́ didaktických testů
20
Posuzovánı́ kvality měřenı́ II - Validita
Konstruktová validita (Construct validity) - porovnánı́
toho, do jaké mı́ry pokrývá konstrukt oblast, kterou má měřit
přı́klad konstruktu je inteligence, konstruktová validita pokrývá test inteligence oblasti, jež inteligenci definujı́
Následná validita (Consequential validity) - uvádı́ do jaké
mı́ry způsobuje měřenı́ nežádoucı́, škodlivé efekty
přı́klad - Jaké jsou efekty testovánı́ žáků pomocı́ testů s
uzavřenými položkami?
Voňková
Tvorba a využitı́ didaktických testů
21
Posuzovánı́ kvality měřenı́ III - Reliabilita
Reliabilita = vystihuje, do jaké mı́ry je naše měřenı́ spolehlivé
a konzistentnı́
Stabilita (Stability) - reliabilita vypočı́taná na základě
stability testových skórů
zadej test jedné skupině v dvou různých časech a vypočı́tej
korelaci těchto skórů
Ekvivalence (Equivalence) - reliabilita vypočı́taná na základě
porovnánı́ dvou verzı́ testu, které lze považovat za ekvivalentnı́
zadej alternativnı́ formy testu jedné skupině a koreluj jejich
výsledky
Stabilita a evivalence (Stability and equivalence) reliabilita vypočı́taná na základě porovnánı́ dvou verzı́ testu,
jež lze považovat za ekvivalentnı́, které jsou zadané v dvou
různých časech
zadej testy jedné skupině v dvou různých časech
Voňková
Tvorba a využitı́ didaktických testů
22
Posuzovánı́ kvality měřenı́ IV - Reliabilita
Vnitřnı́ konzistence (Internal consistency) - udává do jaké
mı́ry jsou položky v testu podobné ostatnı́m položkám v testu,
měřı́me je pomocı́ Kuder-Richardsonova vzorce, Cronbachova
alfa, metodou půlenı́
Hodnotitel - Scorer/Rater - udává, do jaké mı́ry se nezávislı́
hodnotitelé nebo jeden hodnotitel v různém čase
shodnou/shodne na skórovánı́ (např. skórovánı́ otevřených
úloh)
Voňková
Tvorba a využitı́ didaktických testů
23