Design experimentů pro EEG/ERP

Design experimentů pro EEG/ERP
Martin Mojžíš, Jiří Coufal
Katedra informatiky a výpočetní techniky, Fakulta aplikovaných věd, Západočeská univerzita v Plzni
Univerzitní 8, 306 14 Plzeň
[email protected], [email protected]
Abstrakt
Nedílnou součástí našeho výzkumu evokovaných
potenciálů je provádění řady různých experimentů. Ty
ovlivňuje množství faktorů, ježžmusí vědečtí pracovníci
brát v úvahu. Proto navrhujeme vytvořit expertní systém,
který by na základě předem známých skutečností a již
provedených experimentů dokázal poradit, jaké
parametry a podmínky je potřeba dodržet pro
maximalizaci relevance jeho výsledků. Jejich zhodnocení
by tak následně opět rozšířilo bázi znalostí systému.
Předmětem článku je tedy popis, jak by expertní systém
fungoval, jaké možnosti by nabízel a jak si představujeme
výměnu informací programu s vědeckými pracovníky.
1
Úvod
Naše výzkumná skupina se zabývá analýzou
a zpracováním evokovaných potenciálů a jejich
praktickým využitím. Za tímto účelem se u nás i v dalších
laboratořích provádí řada různých experimentů. Účelem
těchto experimentů je poskytnout zdrojová data pro
testování různých metod zpracování a jejich následné
ověřování.
Aby bylo možné výsledky těchto experimentů správně
vyhodnotit nebo také i vzájemně porovnávat, je třeba
dodržovat určitou metodiku a zaznamenat všechny
relevantní údaje. Jelikož se o vlastní zajištění
experimentů starají kromě výzkumných pracovníků také
studenti, kteří se tak s touto problematikou seznamují, je
třeba poskytnout podrobný návod, jak konkrétní
experimenty provádět.
Cílem tohoto článku je tedy popsat stručnou analýzu
těchto experimentů a zejména nastínit návrh
softwarového řešení pro řízení provádění těchto
experimentů a registrování jejich výsledků.
2
Popis experimentů
Podle hlediska využití získaných dat je možné naše
experimenty rozdělit do dvou kategorií. První kategorie
zahrnuje experimenty, které slouží k ověřování vhodnosti
různých metod zpracování signálu pro hledání
konkrétních komponent evokovaných potenciálů. Tyto
experimenty musí být navrženy tak, aby eliminovaly
nebo sjednotily všechny možné faktory, které by mohly
mít vliv na průběh naměřených dat. U takových pokusů je
nutné minimalizovat zejména jakoukoli svalovou aktivitu
testované osoby, aby nedocházelo ke vzniku svalových
artefaktů. Dále je nutné zajistit, aby mentální aktivita
všech testovaných osob byla co nejvíce shodná. Proto
musí být tyto pokusy co nejjednodušší pro testovanou
osobu a také jasně definované. Takové experimenty jsou
založené na tzv. oddball paradigmatu [1], tedy na
pravidelném působení audiovizuálních stimulů v určitých
intervalech přerušovaných nepravidelnostmi.
Účelem druhé skupiny experimentů je poskytnout taková
data, která co nejvěrněji odpovídají praktickému násazení
určité aplikace. Zde je třeba počítat s tím, že mentální
aktivita jedince nemůže být jednoduše stanovena
experimentátorem a u všech pokusných vzorků shodná.
Úkol pro testovanou osobu obvykle reflektuje skutečnou
simulovanou činnost, proto lze předpokládat zvýšený
výskyt artefaktů a rušivých vlivů. Do této skupiny
experimentů patří například simulace řízení vozidla za
účelem hledání souvislosti rychlosti reakce a mozkové
aktivity. Dalším příkladem mohou být pokusy pro návrh
komunikačního rozhraní pro komatózní pacienty.
2.1
Všeobecné parametry
Všeobecný popis parametrů experimentu vychází z [1].
Tato publikace obsahuje doporučení pro publikování
a standardizaci experimentů zaměřených na evokované
potenciály. Kromě záležitostí týkajících se prvotního
plánu a experimentu a statistického zpracování výsledků
jsou zde uvedeny pro tuto publikaci důležité praktické
rady pro vlastní provádění pokusu.
Nejprve je třeba sesbírat data týkající se testovacích
subjektů. Ve většíně případů se bude patrně jednat
o zdravé jedince (studenty), i tak je však vhodné brát
v úvahu jejich věk, pohlaví, dosažené vzdělání
a rozlišení, zda jde o praváky nebo leváky. Pro testy
s audiovizuálními stimuly je také dobré znát sensorické
schopnosti testovaných subjektů, případně zjistit úroveň
vidění a slyšení a stimuly patřičně zkalibrovat. Smysl by
mohlo mít i dokumentovat, zdali testované osoby užívají
některé léky. Na druhou stranu je náš výzkum orientován
zejména na zdravé jedince a pracovníci, kteří tato data
zpracovávají, obvykle nedisponují znalostmi pro
fundované zhodnocení údajů o medikamentech. Proto má
tato informace význam v pouhém rozdělení testovaných
osob do skupin na základě toho, zda užívají jakékoli léky
nebo ne.
U testů založených na audiovizuálních stimulech je také
důležité připojit jejich popis. Zde jde již o konkrétní
informace týkající se specifických experimentů, proto
budou zmíněny v následujících sekcích článku. Avšak
pro jakékoli typy stimulů platí, že je velmi důležité
zaznamenat jejich časový průběh – tedy intervaly mezi
stimuly a dobu jejich trvání. V případě, že se od
testovaných subjektů žádá jakákoli reakce (motorická
nebo verbální), je nutné zaznamenat okamžik, kdy která
reakce přišla. To je důležité nejen pro označení počátků
epoch, ale i pro zkoumání, zdali mozek nezachytil
vědomě nebo nevědomě vzor v pseudonáhodně řazených
stimulech.
2.2
Experimenty s audiostimuly
Základní experiment probíhá tak, že testované osoby slyší
ve sluchátkách sekvenci tónů o určité frekvenci, která je
náhodně přerušována tóny s jinou frekvencí. U takových
experimentů je třeba zaznamenat frekvenci častého
i méně častého stimulu, dobu jejich trvání, jejich hlasitost
(v ideálním případě měrenou externím shodně
zkalibrovaným zařízením) a délku mezery mezi
jednotlivými stimuly. Kromě technických charakteristik
je důležité zahrnout i vyžadovanou (a skutečnou) aktivitu
testované osoby – tedy jestli se na zvukové stimuly
koncentruje, nebo jestli naopak se soustředí na jinou
činnost. Koncentrace na tyto stimuly, nebo právě na jinou
činnost určitě ovlivňuje evokované potenciály. Stejně tak
může být přínosné vědět o úrovni slyšení testované
osoby.
Další typ experimentů, který již byl v naší laboratoři
prováděn, zapojoval lidský hlas. Testovaný subjekt již
neslyšel jen tóny o konstantní frekvenci, ale místo toho
byly prezentovány promluvy. Ty tvořila sekvence po
sobě jdoucích čísel, která byla přerušena číslem, které do
sekvence nepatřilo. U takových experimentů je kromě
výše uvedených charakteristik vhodné zaznamenat, zdali
se jedná o hlas známý testované osobě nebo ne (pokud je
například právě toto předmětem experimentu). Fakt, že
testovaná osoba dokáže hlas rozpoznat, zase ovlivňuje
evokované potenciály, proto je to třeba při jejich
zpracování brát v úvahu.
2.3
Experimenty s vizuálními stimuly
Předmětem těchto pokusů je opět sekvence častých
stimulů přerušovaná výskytem méně častého stimulu.
Těmi stimuly může být zobrazení znaku nebo obrázku na
displeji počítače. Pro představu o provedeném
experimentu by měl být získaný záznam doplněn popisem
těchto stimulů – tj. jakou mají barvu nebo intenzitu, jak
jsou si navzájem podobné. Lze předpokládat, že odezva
mozku bude jiná u velmi podobných stimulů (např
písmen O a Q) nebo u vizuálně vzdálených (např. písmen
O a I). Slouží-li jako stimuly obrázky, je dobré
zaznamenat, zdali jde o barevné či černobílé/šedé,
případně nějakým způsobem kvantifikovat jejich
podobnost.
Do této kategorie lze zařadit i experiment, při kterém
testovaná osoba vidí matici s jednotlivými číslicemi
a matematickými
operátory.
Program
postupně
zvýrazňuje řádky a sloupce. Testovaná osoba se tedy
soustředí na jeden ze symbolů a sleduje, kdy se tento
symbol zvýrazní. Pro objektivní zhodnocení dat
získaných z tohoto experimentu bude důležité, do jaké
míry se testovací subjekt na obrazovku soustředí (zdali
například počítá četnost zvýraznění zvoleného symbolu)
a zda není určitý vzor v pořadí zvýraznění řadek
a sloupců.
2.4
Simulace řízení dopravních prostředků
Tyto experimenty simulují reálné aktivity. Jejich
charakteristikou je velké množství faktorů, které průběh
měření ovlivňují. Na testovanou osobu působí celá řada
audiovizuálních stimulů a od testované osoby se vyžaduje
složitá motorická aktivita. Na druhou stranu vzniká tak
relativně věrný obraz reality – dojde-li tedy
k praktickému nasazení zařízení, která budou založena na
výsledcích tohoto výzkumu, budou pracovat v podobných
podmínkách.
Je proto velmi obtížné specifikovat podrobný popis
takového experimentu. Na řadu by v tomto případě mohl
přijít na řadu videozáznam celého pokusu. Kromě toho je
vhodné ukládat konfigurační soubor simulačního
software a podrobný časový průběh experimentu.
Příkladem může být pokus, kdy uživatel řídí vozidlo po
předem dané dráze (např. nekonečné rovné silnici nebo
okruhu) a v určitých časových intervalech se před
vozidlem objeví překážka. Testovaný subjekt má tak za
úkol před překážkou zastavit a vyhnout se jí, případně na
překážku reagovat stiskem tlačítka.
2.5
Softwarové prostředky
Pro
provádění
základních
typů
experimentů
s audiovizuálními stimuly používáme vlastní program
ERPScenario. Tento program dokáže zobrazit sekvence
znaků/obrázků nebo zvuků v daném pořadí, případně
náhodně. Sekvence stimulů je možné libovolně
kombinovat, sekvence s pevně stanoveným pořadím je
možné přerušit náhodným stimulem. Program také
protokoluje průběh experimentů a zasílá synchronizační
signály záznamovému zařízení EEG.
prostředí pro vytváření simulací jízdy automobilem.
Průbeh simulace lze řídit skriptovacím jazykem. Tento
simulátor je možné prostřednictvím speciálního ovladače
také možné propojit se záznamovým zařízením EEG
a zasílat synchronizační značky.
Obr. 3. Simulátor VBS2
3
Systém pro řízení experimentů
Aby bylo možné splnit co nejvíce doporučení z minulé
kapitoly a zároveň by byl celý proces provádění
experimentů co nejefektivnější, navrhujeme vytvořit
a použít softwarové řešení založené na expertním
systému. Tento program by měl tři základní úkoly.
Obr. 1. Aplikace ERPScenario
Dalším programem je MindCalc, který zobrazuje matici
s matematickými symboly. V programu je možné nastavit
barvu pozadí a zvýrazněného i nezvýrazněného textu,
dobu, po kterou je řádek nebo sloupec zvýrazněný
a délku pauzy. Zvýrazňování řádků/sloupců může
probíhat v pevném pořadí a nebo náhodně. V okamžiku
zvýraznění je zaslán synchronizační puls EEG zařízení.
Prvním úkolem by byla příprava experimentu podle
požadavku vědeckého pracovníka. Ten by rozhodl, jaký
experiment provede a program by pro něj připravil
potřebné konfigurační soubory a návod pro
experimentátora (tím nemusí být onen vědecký
pracovník, může se jednat například o studenta, který
v laboratoři asistuje). Vědecký pracovník také může
dodat podmínky, které provedení experimentu omezují.
Druhý úkol spočívá v zaznamenání provedeného
experimentu a jeho zhodnocení. Program by tak měl
zaznamenat výstupy z EEG záznamového zařízení,
z programu pro řízení experimentu (ERPScenario,
MindCalc, VBS) a spojit je s původním vstupem
vědeckého pracovníka.
Třetí úkol programu bude tvořit poskytování dat
z experimentů na základě zvolených parametrů. Program
tak v idealním případě zajistí data, která byla vytvořena
za co nejvíce podobných relevantních podmínek.
3.1
Architektura systému
Obr. 2. Aplikace MindCalc
Pro simulace řízení vozidla používáme software VBS2 od
firmy Bohemia Interactive. Tento původně bojový
simulátor pro výcvik armády obsahuje sofistikované
Počítačový program bude založen na standardní
architektuře expertního systému. Mezi komponenty
systému bude tedy patřit báze znalostí a dat a vhodný
inferenční mechanismus. Báze znalostí tak bude
obsahovat charakteristiky různých typů experimentů,
parametry všech souvisejích prvků, které se na pokusu
podílí a jejich vzájemné vztahy. Báze dat tak bude
obsahovat pracovní data o právě prováděném
experimentu. Tento základ expertního systému bude
rozšířen o databázi experimentů. Ta bude obsahovat
zhodnocení pokusů, které již proběhly. Současně tak bude
toto
vyhodnocení
porovnávat
s bází
znalostí
a upozorňovat na případné nesrovnalosti. Součástí
systému bude také odpovídající uživatelské rozhraní
a modul pro generování konfiguračních souborů pro
experimentátorské programy.
3.2
3.3
Inferenční mechanismus
Inferenční mechanismus se postará o dedukci informací
potřebných pro výstup detailního popisu experimentu na
základě zadaných podmínek. Vzhledem k tomu, že by
měl pracovat s fuzzy pravidly, bude třeba nejprve provést
tzv. fuzzyfikaci vstupních veličin. Slovně zadané hodnoty
bude možné fuzzyfikovat mapováním slovních výrazů na
hodnoty příslušnosti. Exaktní číselné hodnoty je možné
převést do podoby fuzzy čísel přímo nebo použitím
některé funkce příslušnosti.
Báze znalostí a faktů
Báze znalostí je určena k ukládání charakteristik různých
experimentů a doporučení pro jejich provádění. Jako
vhodná se jeví implementace rámci [3]. Rámce si lze
představit
jako
objekty
v klasickém
vyšším
programovacím jazyce. Rámce báze znalostí lze
připodobnit ke třídám. V jejich slotech (představujících
atributy) jsou uloženy proměnné charakterizující rámec.
Tyto sloty mohou být různého typu, například mohou
obsahovat číselné, logické, či řetězcové hodnoty nebo
také zahrnovat další vnořené rámce.
V případě tohoto expertního systému představují rámce
jednotlivé typy experimentů a jeho nezbytné prvky. Sloty
v hierarchii
nadřazeného
rámce
představujícího
experiment bude obsahovat například atributy pro
celkovou dobu trvání pokusu, počet testovaných osob
a také předpokládané zhodnocení úspěšnosti z hlediska
kvality pořízených dat. Součástí budou také odkazy na
rámce představující jednotlivé testovací osoby nebo na
průběh experimentu. S tímto rámcem budou zase
propojené rámce popisující například jednotlivé stimuly.
V bázi znalostí tak budou uloženy všeobecně platné
a implicitní hodnoty slotů, v bázi faktů se údaje budou
týkat konkrétního experimentu.
Jelikož tato aplikace má pracovat nejen s objektivními
(přesně měřitelnými v konkrétních číslech), ale i zároveň
subjektivními (vágními, slovně vyjádřenými) daty, nabízí
se možnost použití fuzzy logiky. Tedy obsah slotů by
tvořily také fuzzy hodnoty zastoupené hodnotami funkce
příslušnosti.
Kromě této datové části by báze znalostí měla obsahovat i
produkční pravidla. S použitím těchto pravidel by pak
produkční systém vyhodnocoval doposud neobsazené
sloty rámců a postupně by zpřesňoval detailní podobu
experimentu. Jednotlivá pravidla by byla přímo nebo
nepřímo navázaná na události vyvolané změnou dat
v slotu rámce, například vložení nebo korekce hodnoty.
Úkolem inferenčního mechanismu bude zpracovat
všechna pravidla, pro která jsou k dispozici data, ověřit
platnost jejich předpokladů a aplikací následného závěru
a aktualizaci hodnot rámců v bázi faktů. Realná
implementace takového inferenčního systému používající
rozhodovací matici je popsána v [2] .
3.3
Vstupy a výstupy programu
Vstupy a výstupy programu jsou specifické dle
uživatelské role. Jednou z rolí je vědecký pracovník,
který navrhuje experiment. Ten by po přihlášení do
systému zvolil, jaký experiment by prováděl. Aplikace by
následně nabídla možnost změnit parametry experimentu,
případně by byl uživatel dotázán na doplňující údaje.
Postupnými iteracemi tohoto kroku by se systém dostal
do stavu (v idealním případě hned po první nebo druhé
iteraci), kdy by mohl vygenerovat požadované soubory
pro experiment a současně by tak mohl ukázat odhad
úspěšnosti experimentu. Uživatel by se tak rozhodnul,
zdali takový pokus provede (nebo nechá provést), či zda
modifikuje jeho parametry. Vstupem tedy bude typ
a parametry experimentu, výstupem bude odhad jeho
úspěšnosti.
Další rolí je experimentátor. Úkolem uživatele v této roli
je provést pokus a úkolem programu bude připravit mu
podrobný návod, aby dokázal experiment provést.
Experimentátor tedy zvolí experiment, případně zadá
aktuální omezující podmínky (např. maximální počet
testovacích subjektů, čas na provedení experimentu).
Jeho výstupem bude postup, jak má experiment provádět
a konfigurační sobour pro některé z aplikací pro
provedení experimentu (ERPScenario, VBS, MindCalc).
Po skonční pokusu zadá experimentátor nebo vědecký
pracovník jeho zhodnocení z pohledu kvality dat, zátěže
pro testovanou osobu, případně z hlediska náročnosti na
provedení a uloží též i výstupy experimentu a EEG
zařízení.
Další role vědeckého pracovníka je prohlížení výsledků
experimentů. Vědecký pracovník si pro svůj výzkum
vybere taková data, která vyhovují jeho požadavkům.
Mělo by být tedy možné filtrovat provedené experimenty
dle parametrů uvedených při návrhu i podle dat zadaných
při zhodnocení. Kromě toho by též měl mít možnost
porovnat závislost splnění či nesplnění určitých
podmínek (z implementačního hlediska spuštění či
nespuštění pravidel) se zhodnocením experimentu. Tak
může pracovník zjistit, zdali pravidla v bázi znalostí
skutečně věrně popisují skutečnost, a případné
nesrovnalosti opravit.
a vědeckého pracovníka. Program též usnadní organizaci
naměřených dat. Další výhodou je také získání
podrobného popisu prováděných experimentů, který tak
umožní publikaci jejich výsledků a replikaci na jiných
pracovištích.
Efektivním způsobem měření přínosu programu je
postupné sledování výsledku hodnocení experimentů
z hlediska všech zúčastněných. Bude-li mít vzestupný
trend, lze nasazení a používání tohoto programu
považovat za přínosné.
5.1
4
Následujcící příklad ukazuje, jak by systém mohl
fungovat. V příkladu jsou použity označení role
vědeckého pracovníka (VP), role experimentátora (EX)
a systému (ES).
•
•
•
•
•
•
•
•
•
5
Další vývoj
Příklad použití
VP zvolí přípravu experimentu s vizuálními
stimuly založeném na oddball schématu.
ES vygeneruje popis experimentu a stimulů
VP upřesní podobu vizuálních stimulů (zvolí
znaky, velikost písma a barvu) a počet
testovacích subjektů.
ES zobrazí odhad úspěšnosti. Po potvrzení
vygeneruje postup pro provedení pokusu,
konfigurační soubor pro ERPScenario a uloží
pokus do databáze.
EX v programu zvolí výpis dostupných
experimentů připravených k provedení.
Podle zobrazeného návodu a s použitím
konfiguračních souborů provede experiment. Po
jeho skončení vyplní formulář pro zhodnocení.
VP si zpřístupní data podle zvolených parametrů
(tj. například experimenty s vizuálními stimuly
se znaky).
VP též zhodnotí data – např. z hlediska počtu
vyřazených epoch kvůli artefaktům, délky
užitečných dat vzhledem k celkové délce
záznamu
VP po zadání hodnocení může zobrazit přehled,
zda a jak různé parametry všech doposud
provedených pokusů ovlivňují výsledky
hodnocení experimentu.
Po samozřejmě nezbytné implementaci přijde na řadu
naplnění databáze znalostí a vytvoření pravidel. Současně
s tím bude třeba určit, jaká kritéria budou sloužit
k vyhodnocení kvality experimentu. Pak bude možné
program nasadit v praxi a během jeho provozu dolaďovat
obsah znalostní databáze a doplňovat další potřebné
funkce.
Literatura
[1]
W. PICTON, S. BENTIN, P. BERG, E. DONCHIN,
S.A. HILLYARD, R. JOHNSON, G.A. MILLER,
W. RITTER, D.S. RUCHKIN, M.D. RUGG and
M.J. TAYLOR (2000). Guidelines for using human
event-related potentials to study cognition:
Recording standards and publication criteria.
Psychophysiology, 37 , pp 127-152
doi:10.1017/S0048577200000305
[2]
A.K.SHARMA, CH. KUMAR, K. MUSTAFA, A.
KUMAR: A Fuzzy Frame Based Expert Shell. In:
Proceedings of the National Workshop on IT
Services and Applications-WITSA2003, Centre for
Information Technology and Development of
Computer Science, Jamia Milia Islamia (A Central
University), New Delhi, February 27-28, 2003.
[3]
J. C. GIARRATANO AND G. D. RILEY: Expert
Systems: Principles and Programming, Third
Edition: Principles and Programming, 3rd ed.
Course Technology, February 1998. [Online].
Available:
http://www.amazon.ca/exec/obidos/redirect?tag=cit
eulike09-20&path=ASIN/0534950531
[4]
J. COUFAL, M. MOJŽÍŠ: Simulation Framework
for ERP Experiments. In: Proceedings of 9th
International PhD Workshop on Systems and
Control, Izola, Slovenia 2008
Závěr
Úspěšná implementace tohoto návrhu by měla zvýšit
vědeckou přesnost a efektivitu laboratoře výzkumu
evokovaných potenciálů a mozkové aktivity. Toho bude
možné dosáhnout díky oddělení práce experimentátora
[5]
J. COUFAL, M. MOJŽÍŠ: Effect of Drowsiness on
Evoked Response. In: Proceedings of ICON, X.
Internatonal
Conference
on
Cognitive
Neuroscience, Bodrum, Turkey 2008