SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S

SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ
S PARKINSONOVOU CHOROBOU
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková,
Evžen Růžička
Anotace
Parkinsonova nemoc (PN) je chronické neurogenerativní onemocnění
postihující téměř 1 % populace ve věku nad 60 let. Klíčovým projevem PN je
omezení pohyblivosti. Stádium postupu PN je nejčastěji popisováno pomocí
škály UPDRS (Unified Parkinson’s Disease Rating Scale), jež zahrnuje fingertapping (FT) test – test klepání prsty.
Vytvořili jsme měřící systém s dvěma kamerami, který dokáže bez kontaktu
s pacientem měřit prostorové souřadnice pasivních (bezdrátových) značek.
Navrhli jsme a implementovali algoritmus pro jejich identifikaci a získání
prostorových souřadnic s možností sledování. Systém generuje informace
o poloze kulatých nebo polokulatých značek v reálném čase.
Funkčnost systému byla ověřena porovnáním s komerčním systémem
OptiTrack. Náš systém je snadno použitelný, kompaktní a lehce přenositelný.
K provozu využívá běžný počítač a je tak vhodný pro použití v běžné ordinaci.
Zařízení bylo úspěšně testováno na měření bradykineze na úloze FT testu.
Bylo změřeno 22 pacientů s PN a 22 odpovídajících zdravých kontrol.
Analyzované parametry dokázaly nejlépe rozlišit pacienty s PN a zdravé
kontroly na základě parametru snížení amplitudy čase a snížení maximální
otevírací rychlosti (na hladině významnosti p < 0.001).
Klíčová slova
Snímání 3D pohybu, bradykineze, Parkinsonova nemoc, finger-tapping test, detekce
značek, trasování značek
1. Úvod
Parkinsonova nemoc (PN) je chronické neurogenerativní onemocnění
postihující téměř 1 % populace ve věku nad 60 let. Klíčovým projevem této
nemoci je omezení pohyblivosti ve formě nazývané parkinsonický syndrom
(PS). Ten se projevuje bradykinezí, rigiditou, klidovým třesem a posturální
nestabilitou.
Bradykineze (zpomalení a zeslabení pohybu) je hlavním projevem PN [1],
a je proto nejdůležitější pro diagnostiku a určení závažnosti onemocnění.
V klinické praxi je pro ohodnocení bradykineze nejčastěji používána škála
UPDRS [2]. Bradykineze je hodnocena subjektivně kvalifikovaným expertem
pětistupňovou škálu.
Naším cílem je vytvořit systém a metodologii pro objektivní měření
bradykineze v klinické praxi.
V současnosti je objektivní měření bradykineze limitováno velikostí
a hmotností měřícího zařízení. Dříve publikované práce uvádějí použití
akcelerometrů, gyroskopů [2] [3] [4], mechanických zařízení [5] a kamerových
211
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
Obrázek 1 — Kamerový systém během měření finger tapping testu
systémů využívajících aktivních, světlo emitujících značek [7]. Pro měření
pohybových charakteristik se též používají standardní kamerové systémy [6]. Tyto systémy jsou pro měření nevyhovující, protože s jejich pomocí nelze
získat prostorové polohy značek, amplitudu oddalování a rychlost pohybu.
Akcelerometry, mechanická zařízení a gyroskopy mohou ovlivnit výsledky
měření, neboť jejich hmotnost, tvar i případná kabeláž ovlivňuje samotný
pohyb prstů.
Proto jsme se rozhodli využívat 3D kamerový systém s pasivními reflexními
značkami. Běžně používaná zařízení pro snímání pohybu od výrobců jako
Vicon, Optitrack a Motion analysis jsou určeny pro snímání celého těla a
využívají více než 7 kamer. Další jejich nevýhodou je pak vysoká pořizovací
cena. Oproti tomu námi vytvořený systém je malý, snadno přenositelný a je
vhodný pro měření pohybu prstů v běžné klinické praxi (Obr. 1).
2. Motivace
Bradykineze se projevuje snížením amplitudy a rychlosti opakovaných
pohybů [7] [8]. Tyto veličiny jsou hodnoceny UPDRS škálou zkušenými lékaři.
UPDRS se skládá z několika pohybových testů:
• pohyby prstů – pacient klepe v rychlém sledu ukazováčkem na palec stejné
ruky
• pohyby rukou – pacient zatíná a uvolňuje ruce v rychlém sledu
• otáčení rukou – pronace a supinace oběma rukama zároveň s co největším
otočení
• pohyby nohou – pacient klepe co nejrychleji nohou o zem
Tyto testy jsou snadné a nevyžadují systémy pro snímání pohybu celého těla.
Náš systém se dvěma kamerami je dostatečný pro testy, u kterých je potřeba
212
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
pouze několik značek. Značky jsou umisťovány na přesně popsaná místa
na končetinách.
V našem výzkumu jsme se soustředili na test klepání prsty (finger-tapping
test, dále FT), který je součástí UPDRS a ukazuje se jako nejlepší test pro
výpo-čet parametrů bradykineze [9] [10]. Při FT testu vyšetřující instruuje
pacienta, aby oddaloval a přibližoval palec a ukazováček stejné ruky s co
největší frekvencí a amplitudou. Vyšetřující pohyb hodnotí z hlediska rychlosti
a maximální vzdálenosti oddálení prstů v krátkém časovém intervalu.
3. Konstrukce systému
Během testu byla měřena rychlost a vzdálenost mezi prsty. První značka byla
umístěna na kloub mezi prvním a druhým článkem palce, druhá na kloub mezi
prvním a druhým článkem ukazováčku (viz Obrázek 2 ). Aby bylo možné získat
jejich 3D souřadnice, musí být značky viditelné oběma kamerami. Maximální
chyba měření je během FT testu 2 mm. Teoretická snímací frekvence byla 50
Hz a rozlišení kamer 640 × 480 pixelů. Detailní popis požadavků systému je
popsán v [11]. Systém je navržený tak, aby byl schopný měřit i další podobné
testy.
Obrázek 2 — Umístění pasivní značek na ruce
3.1. Hardware
Pro měření byla využita dvojice kamer DMK 21BF04.H s IR filtry, rozlišením
640 × 480 pixelů a snímací frekvencí 60 snímků za sekundu. Každá z kamer má
vlastní zdroj infračerveného světla pro zvýšení viditelnosti reflexivních značek.
K těmto kamerám byla ještě přidána HD kamera pro zhodnocení testu
odborníkem. Kamery jsou synchronizovány externím zdrojem signálu.
Vzdálenost mezi kamerami byla nastavena na 50 cm [11] a na obou kamerách
byly použity čočky T 0412 FICS 1. Celý systém byl umístěn na stativ a připojen
213
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
k notebooku přes USB rozhraní (viz Obrázek 3). 3D souřadnice pak byly vypočítány
v počítači na základě snímků z obou kamer. Aplikace byla napsána v jazycích
C++ a C# a testována na operačním systému Microsoft Windows 7.
Obrázek 3 — Kamerový systém během měření finger tapping testu
3.2. Snímání obrazu a extrakce značek
Snímky z kamer byly synchronizovány pomocí generátoru signálu a aplikace
k sobě přiřazuje odpovídající snímky. Značky jsou v obraze nalezeny jako
nejsvětlejší bod. Pro nalezení značek je obraz oprahován a v obraze jsou
v reálném čase označeny kandidáty na značky. Jelikož značky jsou polokulové,
tak výsledný tvar se aproximujeme na kruh a je vypočítáno jeho těžiště
(viz Obrázek 4).
Obrázek 4 — Kamerový systém během měření finger tapping testu
3.3 Získání 3D pozic značek
Před začátkem měření jsou kamery kalibrovány pomocí šachovnice. Uživatel
pohybuje před kamerou šachovnicí a nastavuje kamerám šachovnici v různých
pozicích. Aplikace šachovnici automaticky detekuje a jakmile má dostatek
potřebných parametrů skončí. Pro kalibraci a redukci rozostření byla použita
knihovna OpenCV [12].
Pro získání 3D souřadnic z obrazu je nejprve nutné spárovat snímky z obou
kamer. Nejdříve se vypočítá fundamentální matice F, která se získá z vnějších
kamerových kalibračních parametrů. Z F jsou vypočítány epipolární linie pro
každou značku. Pokud dva kandidáti na značky
(z první kamery)
a
(z druhé kamery) sobě odpovídají, leží na stejné epipolární linii
a platí,
214
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
(1)
Kde hodnota
se blíží nule. Podle hodnoty velikosti získáváme možné
páry značek z obou kamer.
Poté dochází k výpočtu 3D trajektorie značek. Algoritmus rozezná, která
značka ze snímku odpovídá značce v dalším snímku. Pro predikci polohy na
trajektorie T v čase
platí následující vztah:
(2)
Implementovaný algoritmus provádí přiřazení snímků a výpočet trajektorie
zároveň. Pro každou dvojici ze vztahu (1) vypočítáváme 3D souřadnice a
vytváříme matici D, u které:
(3)
Kde
je vzdálenost mezi předpokládanou a současnou 3D
pozicí značky, a jsou indexy značek v pořadí zleva doprava, a je počet
trajektorií. Algoritmus vypočítává minimální páry z matice [13]. Pokud jsou
stále obsaženy nepoužité značky, vytvoří se nová trajektorie.
3.4 Validace kamerového systému
Přesnost kamerového systému záleží na velikosti snímané scény, která se liší
podle měřené úlohy. Pro FT byla experimentálně určena scéna o velikosti
40 cm x 40 cm x 40 cm. Kamerový systém byl kalibrován s re-projekční chybou
menší než 0,5 mm. Validace probíhala 3 způsoby.
Nejprve jsme měřili vzdálenost dvou značek v prostoru. Tento test
zhodnocoval stálost měření v čase. Systém měřil značky ve vzdálenosti 5,
10 a 15 cm. Před kamerami se pohybovalo se značkami v daném prostoru,
který je rozdělen do malých krychlí o velikost 2 cm3, dokud není 90 % tohoto
prostoru pokryto pohybem. Směrodatná odchylka byla při tomto testu 0,04
cm. Výsledky jsou v Místo pro Tab. 1 .
Vzdálenost [cm]
Průměrná vzdálenost [cm]
Směrodatná odchylka [cm]
5
5,00
0,03
10
10,01
0,04
215
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
Vzdálenost [cm]
Průměrná vzdálenost [cm]
Směrodatná odchylka [cm]
15
15,01
0,04
Tabulka 1 — Chybovost měření
Poté jsme ověřovali autenticitu naměřených výsledků. Porovnávali jsme výsledky s komerčním systémem Optitrack. Oba systémy zároveň snímaly pohyb
jedné značky v prostoru, dokud nebylo pokryto 90% tohoto prostoru. Bylo nasnímáno přibližně 600 pozic. Jelikož každý systém používal jiný souřadnicový
systém, tak jsme použili algoritmus popsaný v [14] pro výpočet transformační
matice. Poté jsme spárovali odpovídající značky a zjistili, že jejich průměrná
vzdálenost je 0,04 cm a odchylka je 0,03 cm.
Nakonec naše testy ukázaly, že snímací frekvence 60 Hz je dostatečná pro
FT. Měřili jsme vzdálenost mezi palcem a ukazováčkem 20 zdravých lidí, kteří
dělali FT. Pohyb byl zaznamenáván naším systémem a systémem Optitrack.
Porovnali jsme maximální vzdálenosti mezi prsty a zjistili, že rozdíl v měření
použitých systémů je 0,05 cm s odchylkou 0,03 cm (viz Místo pro Obrázek
5). Tato odchylka je dostatečně malá pro využití systému pro měření FT,
maximální chyba byla určena na 0,2 cm.
Obrázek 5— Vzdálenost oddálení prstů naměřená naším systémem a systémem Optitrack; Grafy jsou posunuté o 0,04 s
4. Aplikace pro snímání obrazu
Aplikace pro snímání obrazu je dostatečně jednoduchá, aby byla použita pro
různá měření pohybu.
Okno aplikace je rozděleno do tří částí. V hlavní část se nachází 3D virtuální
scéna, kde se zobrazují jak naměřené značky, tak kamery (viz Obrázek 6).
Uživatel může nahrávat obraz, kalibrovat systém a zobrazit výsledky měření.
Tlačítko „results“ spouští externí skript, který ukáže výsledky měření. Aplikace
generuje pozice značek a ukládá je do souboru. Uživatel pak může změnou
externího skriptu zobrazit celé měření nebo jeho část.
V dalším okně se nachází obraz kamery (viz Obrázek 7). Pokud je scéna
216
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
Obrázek 6 — Hlavní okno aplikace: 1) Výběr kamery, 2) start a stop snímání, 3) Výsledek
měření, 4) Informace o měření, 5) Externí parametry z kalibrace, 6) 3D scéna
Obrázek 7 — Okno pro obraz z kamery - 1) zobrazovací mód, 2) frekvence snímků, 3)
kalibrační menu, 4) expozice a prahování, 5) nastavení kamery
217
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
přeexponovaná, uživatel může nastavit expozici a práh tak, aby byly vidět
všechny značky. Obraz z kamery se může zobrazovat ve třech módech: stupně
šedi, pouze zobrazení značek a bez zobrazení značek.
5. Experimenty
Systém byl otestován na 22 (12 žen) pacientech s ranou či střední fází PN,
průměrná hodnota Hoehn & Yahr byla 2,05 (rozsah 1–2,5) [15], průměrné
UPDRS FT hodnocení 1,5 (rozsah 0–3), průměrný věk pacientů byl 64 (48–82),
průměrná délka nemoci 9,3 (1–24 let). Kontrolních norem (KN) bylo naměřeno
22, z toho 12 žen, průměrný věk byl 65 (50–82), všechny normy byly bez
neuropsychiatrického postižení a bez poruchy pohyblivosti horních končetin.
Každý subjekt byl testován v ON stavu. FT probíhal na každé ruce po 20 sekund.
OFF stav [15] byl dosažen 12 hodinovým vysazením medikace, ON stav pak
hodinu a půl po podání medikace. UPDRS položka 23 (FT hodnocení) byl
zhodnocen jak z videonahrávek jak pro kontrolní skupinu, tak pro pacienty
dvěma experty.
Subjekty byly vyšetřovány na Neurologickém oddělení 1. lékařské fakulty
Univerzity Karlovy. Po posouzení vzdálenosti mezi palcem a ukazováčkem byly
vypočítány vlastnosti pohybu jako: frekvence, maximální vzdálenost prstů,
Obrázek 8 — Příklad měření FT u zdravého pacienta - nahoře, a dvou pacientů s PN,
v prostředku FT rank 2, dole FT rank 3; test trval 20s
218
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
rychlost otevírání a uzavírání prstů a u nich byly vypočítány parametry průměr,
odchylka a pokles. Tyto parametry byly dále analyzovány a využity pro rozlišení
zdravého subjektu a pacienta s PN (viz Místo).
Pro parametry vypočítané ze vzdálenosti mezi dvěma značkami byla
spočítána ROC analýza a plocha pod koncentrační křivkou ukázala, že důležité
parametry rozlišující pacienty s PN a KN jsou průměrná rychlost otevření
(AUC = 0,77) a pokles v maximální vzdálenosti prstů (AUC = 0,87). ROC
křivka a histogram pro pokles maximální vzdálenosti prstů jsou v Místo pro
obr. 2. Parametry byly zvoleny algoritmem sekvenčně dopředného výběru.
Spearmanův korelační koeficient mezi těmito dvěma parametry byl 0,2.
Wilconoxův test zamítl nulovou hypotézu o stejných mediánech kontrolních
subjektů a pacientů s PN na hladině spolehlivosti 0,1% pro oba parametry.
Kombinace výše zmíněných parametrů odděluje zdravé a pacienty s PN lépe
než použití pouze jednoho parametru (AUC= 0,94). Rozdělení dat je zobrazeno
Obrázek 9 — Histogram a ROC křivka s útlumem amplitudy
219
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
Obrázek 10 — Výsledek měření FT získaný naším systémem
Obrázek 11 — Korelace průměrného UPDRS FT hodnocení dvou expertů s vypočítanými
parametry bradykineze - rychlostí otevírání a útlumem amplitudy
v Obr. 11. Korelace tohoto parametru s průměrným FT hodnocením je zobrazena
v Chyba: zdroj odkazu nenalezen.(Spearmanův koeficient je 0,75 a p<0,001).
Podrobný popis parametrů a výsledky budou publikovány samostatně.
6. Závěr
Vytvořili jsme systém pro snímání obrazu a 3D měření pohybu prstů. Systém
se skládá ze dvou kamer, dvou IR zářičů a je připojen k běžnému notebooku
220
SYSTÉM PRO SNÍMÁNÍ POHYBU PRSTŮ U PACIENTŮ S PARKINSONOVOU CHOROBOU
přes USB. Systém je snadno přenositelný, využívá pasivní značky a může být
upraven k měření libovolných úloh, při kterých budou značky viditelné pro
kameru. Systém byl validován a experimentálně byla určena jeho chybovost.
Funkčnost kamerového systému byla ověřena při vyšetření v ambulanci lékaře.
Poděkování
Práce byla podpořena grantem NT 14181 Ministerstva zdravotnictví ČR.
Literatura
[1.] Espay, Alberto J., et al. (2011). Differential response of speed, amplitude, and rhythm to
dopaminergic medications in Parkinson‘s, 26(14), 2504-2508. DOI: 10.1002/mds.23893.
[2.] Fahn, S., R.L. Elton a A. U. P. Memebers (1987). Unified Parkinson‘s disease rating scale.
Macmilllan Healthcare Information Florham Park, NJ: Recent Developments in Parkinson‘s disease, edited by S. Fahn, C.D. Marsden, M.Goldstein and D.B. Calne,(2), 153-163,
293-304.
[3.] Yokoe, M., et al. (2009) Opening velocity, a novel parameter, for finger tapping test in patients with Parkinson‘s disease., 15(6), 440-444. ISSN: 1353-8020.
[4.] Calautti, C.a, et al. (2006) Quantification of index tapping regularity after stroke with tri-axial accelerometry. 70(1), 1-7.
[5.] Patel, Shyamal, et al.(2006) Analysis of the Severity of Dyskinesia in Patients with Parkinson‘s Disease via Wearable Sensors. In: Proceedings of the International Workshop on
Wearable and Implantable Body Sensor Networks. Washington, DC, USA: IEEE Computer
Society, s. 123-26. ISBN: 0-7695-2547-4 DOI: 10.1109/BSN.2006.10.
[6.] Grandez, K., et al. (2010) Sensor device for testing activities in Parkinson and ALS patients.
[7.] Lainscsek, C., et al. (2012) Finger tapping movements of Parkinson‘s disease patients automatically rated using nonlinear delay Chaos: An Interdisciplinary Journal of Nonlinear
Science.
[8.] Jobbágy, A., et al. (2005) Analysis of finger-tapping movement., 141(1), 29-39.
[9.] VAN HILTEN, J. J., et al. (1998) Bradykinesia and hypokinesia in Parkinson‘s disease: what‘s
in a name? 105(2-3), 229-237.
[10.] Espay, Alberto J., et al. (2009) Impairments of speed and amplitude of movement in Parkinson‘s disease: a pilot study. 24(7), 1001-1008. DOI: 10.1002/mds.22480.
[11.] Goetz, C.G. a G.T. Stebbins (2004). Assuring interrater reliability for the UPDRS motor section: Utility of the UPDRS teaching tape. 2004, 19(12), 1453-1456.
[12.] Agostino, R., et al. (1998) Clinical impairment of sequential finger movements in Parkinson‘s disease. 1998, 13(3), 418-421.
[13.] Krupička, R., Z. Szabó a M. Jiřina (2011). Motion Camera System for Measuring Finger
Tapping in Parkinson‘s Disease. In: IFMBE Proceedings. Berlin: Springer Science+Business
Media, 2011., s. 846-49. ISBN: 978-3-642-23507-8 ISSN: 1680-0737. Dostupné také z: http:/​
/​w ww.springerlink.com/​content/​978-3-642-23507-8/
[14.] Bradski, G. a A. Kaehler (2008). Learning OpenCV Computer Vision with the OpenCV
Library. O‘Reilly Media, ISBN: 978-0-596-51613-0.
[15.] Burkard, R., M. Dell‘amico a S. Martello (2009). Assignment Problems. Society for Industrial and Applied Mathematics, ISBN: 0898716632.
221
David Staněk, Radim Krupička, Zoltan Szabó, Slávka Vítečková, Evžen Růžička
[16.] Arun, K. S., T. S. Huang a S. D. Blostein (1987) Least-Squares Fitting of Two 3-D Point
Sets.,(5), 698-700.
[17.] Goetz, Ch. G., et al. (2008) Movement Disorder Society (MDS) - Unified Parkinson‘s Disease Rating Scale. 2008. [online]. Dostupné také z: http:/​/​w ww.movementdisorders.org/​
UserFiles/​New%20UPDRS%207%203%2008%20final.pdf
[18.] Langston, J.W., et al. (1992) Core assesment program for intracerebral transplantation
(CAPIT). Movement disorders,(7), 2-13. doi: 10.1002/mds.870070103.
Kontakt:
Radim Krupička
Katedra biomedicínské informatiky
Fakulta biomedicínského inženýrství
České vysoké učení technické v Praze
nám. Sítná 3105, 27201 Kladno
e-mail: [email protected]
David Staněk
Katedra biomedicínské informatik
Fakulta biomedicínského inženýrství
České vysoké učení technické v Praze
nám. Sítná 3105, 27201 Kladno
Zoltan Szabó
Katedra biomedicínské informatiky
Fakulta biomedicínského inženýrství
České vysoké učení technické v Praze
nám. Sítná 3105, 27201 Kladno
e-mail: [email protected]
Slávka Vítečková
Katedra biomedicínské informatiky
Fakulta biomedicínského inženýrství
České vysoké učení technické v Praze
nám. Sítná 3105, 27201 Kladno
Evžen Růžička
Neurologická klinika 1. lékařské fakulty
Univerzity Karlovy a všeobecné fakultní
nemocnice v Praze
Kateřinská 30, 120 00 Praha
e-mail: [email protected]
222