tema 3 - České vysoké učení technické v Praze

Semestrální práce
Ovládání okolí a domácích zařízení pomocí gest
Martin Plaček
[email protected]
duben 2013
Předmět: Asistivní technologie a dohledové systémy (A6M33AST)
Fakulta: Elektrotechnická
České vysoké učení technické v Praze
Úvod
Ve vyspělích zemích dochází ke stárnutí populace, což ve střednědobém horizontu bude mít
za následek, že starých lidí odkázaných na pomoc ostatních bude více, než lidí kteří budou
pomoc poskytovat. Jedním z možných východisek, jak zajistit všem potřebnou pomoc, je
použití inteligentních elektronických systémů které nemohoucím lidem budou pomáhat při
běžných domácích činnostech, jako je například ovládání televize, pračky nebo klimatizace a
zároveň budou monitorovat zdravotní stav pacienta a v případě problémů přivolají lidské
doktory.
Aby tyto systémy dokázaly správně pomáhat, musejí vhodným způsobem přebírat povely od
pacienta. Běžné vstupní zařízení jako jsou dálkové ovladače, dotykové obrazovky nebo
klávesnice nemusejí být pro asistenční systémy vhodné, protože vyžadují aby pacient měl
v pořádku jemné motorické funkce. Ve stáří dochází k úpadku právě motoriky a proto je
potřeba nalézt vhodnější způsoby ovládání. Problém s motorikou způsobují také některé
ocemocnění jako je například Parkinsonova choroba a problematika ted zahrnuje další
potenciální uživatele.
Tato práce je zaměřena na jeden z možných alternativních způsobů ovládání a to pomocí
gest. Lidé používají gesta při komunikaci mezi sebou jako doplněk verbální komunikace nebo
i jako její úplnou náhradu. Pohyby rukama nebo i jiných částí těla jako zbůsob vyjadřování
myšlenek je pro lidi přirozené a proto se použí gest pro rozhraní člověka a stroje zdá být jako
správná cesta.
1
Historie
Vývoj technologií a postupů pro převádění gest na elektrické signály probíhá bez přestávky
přibližně od začátku 80. let 20. stol. a v posledních letech se o tuto oblast zvyšuje zájem jak
mezi vývojovými centry, tak i v komerční sféře [1].
V počátcích se pro snímání gest používaly speciální rukavice (také náramky a stylusy) se
senzory a mikrokontroléry, které byly k zařízení připojené drátem. Na přelomu tisíciletí se
začalo testovat se snímáním gest pomocí kamery, které získalo na oblibě a postupně
upozadilo systémy, které vyžadují nosit senzory na těle.
Výzkum byl většinou zaměřen na běžné uživatele jakéhokoli věku, kteří by ovládání gesty
používali pro práci na počítači, hraní nebo při prezentacích. Teprve v posledních deseti
letech se vývoj zaměřil na seniory a hendikepované lidi.
Na závěr jeden historický milník – První komerční produkt využívající pro ovládání
rozpoznávání gest je EyeToy od Sony, která se do prodeje dostala v roce 2003.
Vytvořené systémy pro ovládání gesty
Dalším textu představím několik projektů, jejichž cílem bylo vytvořit použitelný systém pro
rozpoznávání gest a použití těchto gest jako rozhraní pro ovládání domácího elektrického
vybavení.
Výběr ovládaného zařízení
V domácím prostředí typický bývá více než jedno zařízení, které nemohoucí obyvatel bude
chtít ovládat. Aby se povely gesty předávaly do správného zařízení je nejprve potřeba
provést jeho výběr.
Jeden z možných způsobů výběru vyvinuli v KAIST (Korean Advanced Institute of Science
adnd Technology) v rámci projektu Intelligent Sweet Home [2]. Zde využili pro člověka
přirozené gesto – ukázání na objekt.
Pomocí tří kamer umístěných na stropě snímali prostor místnosti a ze znalosti pozic kamer a
zařízení v místnosti dokázali určit, na co uživatel ukazuje (Obrázek 1Obrázek 1). Pro
zjednodušení nalezení ruky v obraze nosil uživatel dvoubarevný náramek, který byl vyrobený
z látky, takže nijak výrazně nenarušoval pohodlí. (Nutno podotknou, že tento projekt je
z roku 2003. Dnes již existují lepší algoritmy a máme k dispozici větší výpočetní výkon, takže
nošení náramku by už nebylo potřeba)
Zpracování obrazu z kamer probíhá v několika krocích (Obrázek 2). Nejprve se provedla rgb
normalizace, aby se potlačili efekty osvětlení a stínů. Následně se v kanálu r a b vyhledá
náramek (náramek má červený a modrý pruh), pomocí kterého se již snadno dohledá ruka a
ukazující prst. Pro výpočet pozice a orientace ruky v 3D prostoru se použije obraz ze dvou
kamer (Obrázek 3). Nejprve se spočte vektor orientace ruky vzhledem ke kamerám a
2
následně se převede do globálních souřadnic, ve kterých jsou uloženy i pozice ovladatelných
zařízení.
Testování výběru objektů pomocí ukazování mělo v laboratorních podmínkách uspěšnost
95%.
Obrázek 1 Systém pro rozpoznávání na jaký objekt uživatel ukazuje
Obrázek 2 Detekce ruky v obraze
3
Obrázek 3 (levo) Vektor orientace ruky v globálních souřadnicích, (pravo) Detekované ruce ze tří kamer
Gesta jako náhrada dálkového ovladače
Způsob snímání gest pomocí na pevno umístěných kamer má nevýhodu v tom, že je omezen
pouze na oblast kam kamery „vidí“. Pro osoby trvale připoutané na lůžko by to nebylo
závažné omezení, ale pro osoby, které se můžou pohybovat po budově by bylo nutné mít
mnoho kamer, aby pokryly celý prostor.
Na univerzitě G H Patel College Of Enginnering & Technology v Indii přišli s možným řešením,
jak zajistit ovládání gesty po celé budově a zároveň vystačit s jednou kamerou [3].
Navržené zařízení se skládá z IR kamery, IR přisvícení, vývojové desky Arduino (Obrázek 4) a
počítače, který je nošen na zádech v batohu.
Obrázek 4 Pohled na zařízení
4
IR přisvětlení je nastaveno, tak aby ozařovalo oblast ve které uživatel vytváří rukama gesta.
Záření odražené od ruky se snímá kamerou a obraz je posílán do počítače, kde dojde ke
zpracování obrazu, rozpoznání provedeného gesta a odeslání příslušného kódu do desky
Arduino. Kódy reprezentující jednotlivé příkazy Arduino převádí na signál, který přes
infračervený port posílá do ovládaného zařízení (Obrázek 5).
Obrázek 5 Schéma funkce zařízení
Autoři testovali úspěšnost tohoto zařízení na ovládání televize a dostali se na hodnotu 80%
správně rozpoznaných gest. Vzhledem k tomu, že se jedná o prototyp je dosažená úspěšnost
dobrá, ačkoli pro praktické využití bude potřeba systém ještě zpřesnit.
Tento systém na ovládání okolí by kromě pohybově hendikepovaných lidí mohl být vhodný i
pro lidi se zrakovým postižením. Není potřeba hledat, kde se nacházejí ovládací prvky, stačí
k zařízení přijít nebo se k němu natočit čelem a ovládat pohyby rukou. Díky tomu, že
infračervené záření z desky Arduino je vyzařováno pouze určitým směrem, je ovládáno pouze
určité zařízení na které je uživatel natočen. Jedno gesto tedy může reprezentovat více
příkazů a podle natočení se provede správná akce. Například pohyb rukou dolů před televizi
znamená snížení hlasitosti, kdežto stejné gesto provedené před termostatem znamená
snížení teploty.
Značnou výhodou posílání příkazů přes IR port je skutečnost, že hodně domácích spotřebičů
má již IR přijímač zabudovaný a tedy není potřeba jejich dodatečná úprava.
Využití Microsoft Kinect
Dva výše popsané systémy vyžadovali ke své funkci speciální hardware, což má negativní
dopad na celkou pořizovací cenu. Využitím komerčně vyráběných zařízení, by bylo možné
tuto cenu významně snížit a proto je i komerčním produktům věnována pozornost vývojářů.
Jedním z vhodných zařízení pro zpracování gest je Microsoft Kinect, které dokáže vytvořit
digitální model člověka, který se nachází před objektivem. Tento model je následně
5
zpracován v počítači nebo jiném zařízení a podle vývoje modelu v čase jsou rozpoznávána
gesta.
Kinect byl vyvinut jako vstupní zařízení pro ovládání her na Microsoft Xbox 360. Díky
otevřenost si ale získal oblibu i u vývojářů mimo herní průmysl.
Jedním ze zajímavých využití Kinectu jako asistivní technologie je rozpoznávání „Přirozených
gest“, které vyvinuly na univerzitě v Pittsburghu [4]. Přirozené gesto je difinováno jako gesto,
které udělá netrénované tělo, když se dostane do určité situace. Samozřejmě se taková gesta
budou lišit mezi různými lidmi a částečně i mezi různými kulturami, ale existují i některá
společná gesta která se vážou ke zdravotnímu stavu. Například člověk instinktivně uchopí
otevřenou ránu nebo bolavou oblast. Rozpoznáváním takovýchto přirozených gest je možné
určit, že uživatel má bolesti a přivolat pomoc.
Navržený systém funguje na principu porovnávání postojů člověka získaných z Kinectu se
seznam postojů, které můžou indikovat bolest. Jakmile je detekován „bolavý“ postoj systém
určí závažnost problému na základě místa, které pacient drží a jak dlouho místo drží (Obrázek
6). Aby systém fungoval, nemusí pacient zůstat nehybně stát. Například počáteční pozice je
chycená hruď (indikováno jako bolest na hrudi a možný infarkt), následně může pacient
popojít nebo klesnout na kolena a systém bude stále fungovat. Důležité je jen, aby měl stále
ruku na hrudi.
Obrázek 6 Pacient v pozici bolest hrudi
6
Závěr
V oblasti výzkumu zaměřeném na rozpoznávání gest vnikají stalé nová řešení, které vylepšují
staré postupy nebo i přinášejí úplně nový pohled na problematiku. Rozhodně nelze říci, že by
se tématu nevěnovala pozornost. Spíše naopak. S vývojem snímacích zařízení jako jsou
kamery nebo senzory polohy, vznikají i nové možnost jak gesta strojově zpracovávat, což
přitahuje pozornost jak vývojářů, tak i firem zameřených na spotřební elektroniku. Příkladem
je Smart TV od Samsungu, kterou je možné ovládat gesty rukama.
Dříve bylo nutné nosit na rukou speciální vybavení, aby systém rozpoznávání fungoval. To byl
pro uživatele výrazný omezují faktor, který znepříjemnil celé ovládání pomocí gest.
V posledních letech se tuto překážku daří úspěšně odstraňovat a tím vytvořit ovládání více
přirozené a pohodlné, které by mohla používat i širší veřejnost a ne pouze relativně malá
skupina lidí. Zároveň by se sériovou výrobou bylo možné výrazně snížit pořizovací náklady a
systém na ovládání domácnosti pomocí gest by se stal více dostupný lidem, kteří ho skutečně
potřebují.
Reference
[1]
Moniruzzaman Bhuiyan and Rich Picking, Gesture-controlled user interfaces, what have we
done and what’s next?, [2009]
[2]
Z. Zenn Bien, Jun-Hyeong Do, Jung-Bae Kim, Dimitar Stefanov, Kwang-Hyun Park, User-friendly
interaction/interface control of intelligent home for movement-disabled people, [2003]
[3]
Utpal V. Solanki, Nilesh H. Desai, Hand gesture based remote control for home, [2011]
[4]
Mykolas Dapkus, Natural Gesture Recognition using the Microsoft Kinect System, [2011]
7