Statistické modely tvaru a vzhledu

Transkript

Metody Počı́tačového Viděnı́ (MPV) - Statistické
modely tvaru a vzhledu
Ing. Zdeněk Krňoul, Ph.D.
Katedra Kybernetiky
Fakulta aplikovaných věd
Západočeská univerzita v Plzni
Metody Počı́tačového Viděnı́ (MPV) - Statistické modely tvaru a vzhledu
Obsah přednášky
I
I
I
I
I
Úvod do statistických modelů tvaru
Významné body
Statistické metody analýzy dat (PCA, LDA)
Lineárnı́ model tvaru, vzhledu a kombinovaný
model
Metody ASM a AAM
1 / 27
Statistické modely tvaru
I
I
I
statistické modely tvaru se využı́vajı́ k reprezentaci objektů v
obrázcı́ch
statistická analýza se aplikuje na data reprezentujı́cı́ určitý
tvar za účelem nalezenı́ a vytvořenı́ jeho modelu
dvě hlavnı́ metody, které se lišı́ typem práce s obrazovou
informacı́
I
I
Active Shape Model (ASM)... využı́vá pouze informaci o tvaru
objektu
Active Appearance model (AAM)... přidává navı́c informaci o
textuře objektu
2 / 27
Významné body
I
vı́ce možnostı́ jak reprezentovat tvar ve 2D obraze, často jde o
sledovánı́ významných hran a rohů
I
pro statistické modely tvaru vhodné uvažovat dobře odlišitelné
mı́sta obrazu od okolı́ a mı́sta vyskytujı́ se ve všech obrazech z
trénovacı́ množiny
I
např. konec prstu nebo koutek úst
I
souřadnice těchto bodů popř. oblasti obrázku mezi body jsou
pak použity pro statistickou analýzu
I
tvar objektu pak dostaneme vhodným propojenı́m bodů
I
zjištěnı́ vzájemné závislosti mezi pohybem jednotlivých bodů
... analýza hlavnı́ch komponent (Principal Component Analysis
PCA)
3 / 27
Ukázka definovánı́ významných bodů pro popis tvaru rtů:
4 / 27
Analýza hlavnı́ch komponent - Principal Component
Analysis (PCA)
I
I
I
I
I
PCA je ortogonálnı́ transformace předpokládaně korelovaných
přı́znaků na novou sadu přı́znaků, které jsou vyjádřeny lineárnı́
kombinacı́ nekorelovaných tzv. hlavnı́ch komponent
1. sloužı́ k dekorelaci dat, známa od r. 1901
2. k redukci dimenze dat s možnostı́ ovlivněnı́ množstvı́
ztracené informace
tedy ortogonálnı́ transformaci množiny pozorovánı́ na soubor
lineárně nezávislých proměnných
výpočet založen na kovarianci naměřených dat x1 , x2 , . . . xn ,
dimenze xi je p
C (i, j) = (xi − µi )(xj − µj )T
I
(1)
C (i, j) je přı́slušný prvek kovariančnı́ matice C, xi a xj jsou
i-tá a j-tá dimenze vektor dat a µi a µj je přı́slušná střednı́
hodnota
5 / 27
I
z kovariančnı́ matice vypočteme matici vlastnı́ch vektorů V a
vlastnı́ čı́sla jako:
I
V−1 CV = D tj. transformace kovariančnı́ matice na
diagonálnı́ matici vlastnı́ch čı́sel D
I
hlavnı́ komponenty jsou pak zı́skané vlastnı́ vektory
I
velikost vlastnı́ch čı́sel udává jejich významnost
I
vydělenı́m vlastnı́ch čı́sel jejich celkovým součtem → zı́skáme
procentuálnı́ významnost
I
můžeme redukovat původnı́ dimenzi zachovánı́m např. 99%
rozptylu dat (je zvykem zachovávat 95% či 99%).
Pozn. Procentuálnı́ hodnoty vlastnı́ch čı́sel pak sčı́táme dokud
nedostaneme požadovanou hodnotu a ostatnı́ vlastnı́ čı́sla a k nim
náležı́cı́ vektory vypustı́me
6 / 27
Ukázka redukce dimenze vektoru dat z dimenze 3 do dimenze 2
7 / 27
Shrnutı́ - vlastnosti transformovaných dat
I
většina informace o variabilitě dat je soustředěna do prvnı́
komponenty a nejméně informace je obsaženo v poslednı́
komponentě
I
zı́skáme snı́ženı́ dimenze úlohy čili redukce počtu znaků bez
velké ztráty informace → pouze prvnı́ch několika hlavnı́ch
komponent
I
nevyužité hlavnı́ komponenty obsahujı́ malé množstvı́
informace (předpokládejme šum), protože jejich rozptyl je
přı́liš malý
8 / 27
Lineárnı́ diskriminačnı́ analýza - Linear discriminant
analysis (LDA)
I
LDA je jedna z metod mnoharozměrné statistické analýzy
I
sloužı́ k nalezenı́ lineárnı́ kombinace přı́znaků, kterými lze
charakterizovat daný soubor dat
I
LDA se opětovně použı́vá k redukci dimenze dat
porovnánı́
I
I
I
PCA určı́ směry (prostor) s největšı́ variancı́ v původnı́m
prostoru (ty které nejlépe popisujı́ množinu dat)
LDA určı́ takové vektory, které nejlépe diskriminujı́ (oddělujı́
od sebe) jednotlivé třı́dy
Pozn. LDA je hojně využı́vána např. při úlohách typu face
recognition a to pro redukci velikosti přı́znakového vektoru
9 / 27
Ukázka porovnánı́ transformace pomocı́ PCA a LDA (ve 2D):
10 / 27
Lineárnı́ model tvaru
I
princip pocházı́ z PCA
I
tvar objektu v obraze definován významnými body
I
výpočet (určenı́) tvaru probı́há podle vzorce:
x = x + Φs bs
(2)
I
Φ je matice vlastnı́ch vektorů trénovacı́ch dat tvaru
I
x je střednı́ hodnota trénovacı́ch dat tvaru
I
bs je vektor parametrů modelu
I
x je vypočtený tvar
I
→ výsledný (komplexnı́) tvar může být měněn pomocı́ změny
několika málo parametrů modelu bs (s největšı́ variancı́)
11 / 27
Nasazenı́ modelu do nových bodů
I
I
pozice bodů modelu v obraze může být dále určena posunem
(translacı́) po osách x a y , rotacı́ θ a měřı́tkem s
vše dohromady určuje transformaci T (můžeme se s modelem
pohybovat po obrázku, otáčet a zmenšovat/zvětšovat)
x = TXt ,Yt ,s,θ (x + Φs bs )
(3)
I
pro jeden významný bod (x, y ) si lze transformačnı́ funkci
představit jako:
x
Xt
x
s cos θ s sin θ
TXt ,Yt ,s,θ
=
+
(4)
−s
sin
θ
s
cos
θ
y
Yt
y
I
princip: hledáme parametry modelu, pomocı́ kterých
vypočteme tvar x odpovı́dajı́cı́ požadovaným bodům v obraze
Y , minimalizujeme vlastně výraz:
||Y − TXt ,Yt ,s,Θ (x + Φs bs )||2
(5)
12 / 27
Tento postup se dá vyjádřit iterativnı́m procesem:
1. Nastavenı́ parametrů bs = 0
2. Výpočet tvaru z rovnice modelu x = x + Φs bs
3. Nalezenı́ parametrů t = (Xt , Yt , s, θ), které nejlépe
transformujı́ x do bodů Y
4. Promı́tnutı́ bodů Y do souřadné soustavy
y = TX−1
(Y )
t ,Yt ,s,θ
(6)
5. Aktualizace parametrů tvarového modelu
bs0 = ΦT
s (y − x)
(7)
6. Pokud se parametry bs0 výrazně lišı́ od původnı́ch bs , pak
bs0 → bs návrat na krok 2
Pozn. porovnánı́m nových hodnot a hodnot z předchozı́ho kroku,
rozdı́l se uvažuje v předem zvolené přesnosti
13 / 27
Statistické modely vzhledu
I
Statistické modely vzhledu vymyšleny jako rozšı́řenı́ popisu
tvaru o souběžný popis (modelovánı́) textury (barevnosti,
obrazové/jasové informace) v oblastech ohraničených tvarem
I
pro vytvořenı́ modelu opět potřeba předem znát trénovacı́
obrazy s vyznačenými významnými body
I
textura v daném tvaru je warpovánı́m převedena na texturu ve
střednı́ hodnoty tvaru, tzv. tvarově nezávislou texturu (pro
každý trénovacı́ obraz)
I
na tyto textury lze aplikovat PCA podobně jako u modelů
tvaru
14 / 27
Warpovánı́ obrazů
I
I
I
I
I
I
I
warpovánı́ je mapovánı́ textury jednoho objektu (tvaru) na
jiný objekt (tvar) ... změna tvaru původnı́ textury na tvar
požadovaný
nejjednoduššı́ způsob je tzv. triangulace souřadnic
oba objekty (tvary) nejdřı́ve rozdělı́me na stejný počet
trojúhelnı́ků
pro každý trojúhelnı́k cı́lového objektu najdeme přı́slušný
trojúhelnı́k výchozı́ho objektu
Pro každý bod cı́lového trojúhelnı́ku najdeme přı́slušný bod
výchozı́ho trojúhelnı́ku
poloha bodu v trojúhelnı́ku se dá vyjádřit pomocı́ souřadnic
jeho vrcholů:
x
x1
x2
x
=α
+β
+γ 3
(8)
y
y1
y2
y3
x1 ,x2 a x3 jsou vrcholy trojúhelnı́ku a x je souřadnice bodu
vyjádřená pomocı́ těchto vrcholů
15 / 27
I
parametry α,β a γ vypočteme z rovnic:
α = 1 − (β + γ)
(9)
β=
yx3 − yx1 − x3 y1 − xy3 + x1 y3 + xy1
−x2 y3 + x2 y1 + x1 y3 + x3 y2 − x3 y1 − x1 y2
(10)
γ=
xy2 − xy1 − x1 y2 − yx2 + x2 y1 + yx1
−x2 y3 + x2 y1 + x1 y3 + x3 y2 − x3 y1 − x1 y2
(11)
I
x a y jsou souřadnice cı́lového bodu a xi a yi jsou souřadnice
vrcholů cı́lového trojúhelnı́ku
I
souřadnice hledaného bodu zı́skáme dosazenı́m vrcholů
výchozı́ho trojúhelnı́ku do rovnice 8
16 / 27
17 / 27
Lineárnı́ model textury
I
aplikacı́ PCA na nawarpované textury (vektory stejné
dimenze) můžeme vytvořit lineárnı́ model textury jako:
g = g + Φg bg
I
Φg je matice vlastnı́ch vektorů trénovacı́ch dat textury
I
g je střednı́ hodnota trénovacı́ch dat textury
I
bg je vektor parametrů modelu textury a g je vypočtená
textura
(12)
18 / 27
Kombinovaný model
I
I
I
I
I
I
I
pro vytvořenı́ kombinovaného modelu definujeme závislost
mezi parametry modelu tvaru a textury
nejprve pro každý trénovacı́ obraz provedeme výpočet
přı́slušných parametrů a provedeme na nich PCA
Ws Φs T (x − x)
Ws bs
(13)
b=
=
bg
Φg T (g − g )
b je vektor parametrů složený z parametrů modelu textury bg
a parametrů modelu tvaru bs
Ws je váhová matice ... normalizace parametrů modelu tvaru s
parametry modelu textury (souřadnice vs. pixely)
Φs a Φg jsou vlastnı́ vektory kovariančnı́ch matic trénovacı́ch
dat tvaru a textury
x jsou skutečné souřadnice pro daný obraz, a jejich střednı́
hodnota
g je tvarově nezávislá textura přı́slušného obrazu a jejı́ střednı́
hodnota
19 / 27
I
a pak opakovánı́m PCA již nad spojeným vektorem b lze
stanovit kombinovaný model jako:
b = Φc c
(14)
I
Φc jsou vlastnı́ vektory kovariančnı́ matice parametrů obou
modelů
I
c je vektor parametrů kombinovaného modelu
I
pomocı́ (kombinovaných) parametrů c lze kontrolovat jak tvar
tak texturu vypočı́taného objektu
20 / 27
Active Shape Model (ASM)
I
ASM (aktivnı́ tvarový model) nejznámějšı́ algoritmus pro
statistické modelovánı́ tvaru
I
ASM iterativně deformuje svůj tvar tak → nalezenı́ nelepšı́
shody se tvarem pozorovaném obraze
I
na počátku hrubý odhad polohy hledaného objektu v obraze a
průměrný tvar
I
můžeme vytvořit instanci modelu:
x = TXt ,Yt ,s,θ (x + Φb)
I
(15)
k nasazenı́ využijeme následujı́cı́ iterativnı́ postup:
21 / 27
Algoritmus:
1. Prozkoumáme okolı́ každého bodu xi a najdeme nejlepšı́
možný bod x0i , kam by se měl bod Xi přesunout, např.
modelovánı́ profilů, viz teorie
2. Aktualizujeme parametry (Xt , Yt , s, θ, b), tak aby co nejlépe
seděli na nové body X
3. Opakujeme proces dokud nedokonverguje k řešenı́
22 / 27
ASM model pro sledovánı́ pohybu lidské tváře, ukázka konvergence
pro jeden snı́mek:
23 / 27
Active Appearance Model (AAM)
I
I
I
AAM (aktivnı́ vzhledový model) nejznámějšı́ algoritmus pro
statistické modelovánı́ tvaru+vzhledu
AAM vycházı́ z ASM, kdy navı́c pracuje s informacı́ o textuře
objektu, viz teorie ... kombinovaný model
kritérium kvality nasazenı́ modelu na skutečný tvar je
definováno jako vektor rozdı́lů:
δI = Ii − Im
I
(16)
kde Ii je vektor intenzit obrazu a Im je vektor intenzit textury
vytvořené ze současných parametrů modelu
24 / 27
I
nalezenı́ nejlepšı́ shody minimalizujeme velikost ∆ = |δI |2
změnou parametrů modelu c
I
vzhledem k velkému počtu parametrů se toto může zdát jako
složitá úloha
I
ale každý pokus o nasazenı́ instance modelu do obrazu je v
podstatě stejná optimalizačnı́ úloha
I
lze předem natrénovat jak se majı́ pro různé δI změnit
parametry modelu c → časově efektivnı́ algoritmus
vyhledávánı́
Pozn. Při trénovánı́ systematicky odchylujeme jednotlivé parametry
c a t od jejich známých optimálnı́ch hodnot a počı́táme pro každou
odchylku residuum r a tak určı́me matici R.
25 / 27
Řešenı́ optimalizačnı́ho problému AAM
Z počátečnı́ch parametrů c0 vytvořı́me na startovnı́ pozici instanci
modelu s texturou gs
I
Výpočet chybového vektoru δg0 = gs − gm
I
Výpočet chyby E0 = |δg0 |2
I
Výpočet odchylky nových parametrů, δc = Rδg0
I
Nastavenı́ k = 1
I
c1 = c0 − kδc
I
Vytvořenı́ instance modelu pomocı́ parametrů c1 , výpočet
nového chybového vektoru δg1 a chyby E1
I
Když je E1 < E0 přijmeme c1 jako nové parametry modelu
I
V jiném přı́padě zkoušı́me k = 1.5, k = 0.5, k = 0.25 atd
26 / 27
AAM model pro detekci tvaru a podoby lidské tváře
27 / 27

Statistické modely tvaru a vzhledu

Transkript

Podobné dokumenty

Kapitola 1 Statistické modely tvaru a vzhledu

+ H

SROVN´ANÍ OPTIMALIZAˇCNÍCH ALGORITMU PRO

6-metabolismus sacharidů

Stanovení vlastností elektroakustických soustav pomocí

Použití analýzy nezávislých komponent při zpracování biologických

Support vector machine