Untitled

Statistické metody v digitálním
zpracování obrazu
Jindřich Soukup
3. února 2012
Osnova
●
●
Úvod
(Neparametrické) odhady hustoty
pravděpodobnosti
●
Bootstrap
●
Použití logistické regresi při klasifikaci
Odhady hustoty pravděpodobnosti motivace
●
●
●
●
Zhodnotit pravidelnost
daných struktur
Rozdělení vzdáleností
d-tých nejbližších
sousedů
Radiální distribuční
funkce
Naměřené hodnoty realizace náhodného
jevu - odhad hustoty
pravděpodobnosti
Odhady hustoty pravděpodobnosti motivace
●
●
Naměřené hodnoty
beru jako realizace
náhodného jevu
Histogramy jsou
pouze odhady hustoty
pravděpodobnosti
tohoto jevu
Odhady hustoty pravděpodobnosti rozdělení
●
xi - naměřené hodnoty,
ρ - hustota
pravděpodobnosti
●
Histogram, frekvenční
polynom, jádrové
odhady
Odhady hustoty pravděpodobnosti rozdělení
●
xi - naměřené hodnoty,
ρ - hustota
pravděpodobnosti
●
Histogram, frekvenční
polynom, jádrové
odhady
●
θ - vektor parametrů
●
Bayes, MLE
Histogram - po částech konstantní
odhad hustoty pravděpodobnosti
●
k - počet binů, h - šířka binu
●
k = ceiling( (max(x)-min(x)) / h )
●
k, resp. h jsou klíčové
Histogram - šířka binu
●
Sturgesovo pravidlo (1926) to odpovídá
! nepoužívat pro větší soubory dat !
Histogram - šířka binu
●
Sturgesovo pravidlo (1926) to odpovídá
! nepoužívat pro větší soubory dat !
●
Scott (1979) - optimální ve smyslu minimalizace
MSE
Histogram - šířka binu
●
Sturgesovo pravidlo (1926) to odpovídá
! nepoužívat pro větší soubory dat !
●
●
Scott (1979) - optimální ve smyslu minimalizace
MSE
Odhady R(ρ') (Scott 1979, Friedman a Diaconis 1981)
Řád konvergence, citlivost
●
Odhady založené na Scottově vzorci mají řád
konvergence N-2/3 (pro porovnání MLE má N-1).
Řád konvergence, citlivost
●
●
Odhady založené na Scottově vzorci mají řád
konvergence N-2/3 (pro porovnání MLE má N-1).
Citlivost
Řád konvergence, citlivost
●
●
Odhady založené na Scottově vzorci mají řád
konvergence N-2/3 (pro porovnání MLE má N-1).
Citlivost
Porovnání pravidel
Literatura
Kernel density estimation
●
Jádrové odhady, Parzenovo okénko ...
●
Klouzavý vážený průměr
Tvar jádra, šířka jádra, citlivost
●
Optimální šířka jádra (Scott - kniha)
●
Optimální je tzv. Epanechnikovo jádro
●
Vyšší citlivost na nesprávně zvolenou šířku
Shrnutí
●
●
●
Histogram je vhodný pro prvotní náhled
Pokud je to možné použijeme parametrické
metody (vyšší řád konvergence)
Pro velké soubory dat (řádově >104) použít
raději jádrové odhady
●
Šířky binů/jádra ovlivní přesnost - záleží na nich
●
Problémy ve více dimenzích
Software
Matlab
●
●
●
Histogram (fce hist) - není implementováno
žádné pravidlo pro počet binů
Jádrové odhady (ksdensity) - pravidla pro šířku
jádra - pouze to nejjednodušší
R - všechny zmiňovaná pravidla:
hist(x,breaks="volba_pravidla"), resp.
plot(density(x,kernel="tvar_jádra",
breaks="volby_pravidla"))
Další využití
●
Klasifikace
●
Statistické zpracování výsledků
●
Segmentace ...
Časosběrné snímky
●
●
Pro každý pixel směrodatná odchylka okolí
pixelu, průměrováno přes čas (či obráceně)
Rozdělení hodnot - superpozice dvou gausovek
Časosběrné snímky
●
●
Pro každý pixel směrodatná odchylka okolí
pixelu, průměrováno přes čas (či obráceně)
Rozdělení hodnot - superpozice dvou gausovek
Výsledky
●
●
●
Matlab - statistický
toolbox "Gaussian
mixture"
Viditelné jpg
artefakty
Úspěšnost
srovnatelná s
nejlepší volbou
prahu
Intermezzo
●
●
Strategie vědeckého
poznání, filozofie
vědy
Jak psát články,
pracovat se zdroji,
komunikovat s
recenzenty
Bootstrap
●
Simulační statistická metoda
●
Efron (1979) - první článek
●
●
Jak recyklovat data tak, abych je mohl
považovat za data nová (nezávislá na
původních)
Vhodné, pokud je získání dalších dat příliš
drahé, náročné či nemožné
Princip
●
Na základě dat {xi}
chci získat
rozdělení statistiky
s
Princip
●
●
Na základě dat {xi}
chci získat
rozdělení statistiky
s
Provedu náhodný
výběr s vracením
z {xi} a spočtu
statistiku na těchto
datech
Princip
●
●
●
Na základě dat {xi}
chci získat
rozdělení statistiky
s
Provedu náhodný
výběr s vracením
z {xi} a spočtu
statistiku na těchto
datech
Opakuji
dostatečně-krát
Příklad
●
Statistický výzkum mezi lidmi (známky ve škole)
Příklad
●
●
Statistický výzkum mezi lidmi (známky ve škole)
Zpracování pomocí metody hlavních
komponent
Příklad
●
●
●
Statistický výzkum mezi lidmi (známky ve škole)
Zpracování pomocí metody hlavních
komponent
Získám výsledky - jaká je ale jejich přesnost?
Příklad
●
●
●
●
Statistický výzkum mezi lidmi (známky ve škole)
Zpracování pomocí metody hlavních
komponent
Získám výsledky - jaká je ale jejich přesnost?
Vytvořím si z původního souboru dat několik
bootstrapový výběrů a na nich znova provedu
analýzu hlavních komponent
Příklad
●
●
●
●
●
Statistický výzkum mezi lidmi (známky ve škole)
Zpracování pomocí metody hlavních
komponent
Získám výsledky - jaká je ale jejich přesnost?
Vytvořím si z původního souboru dat několik
bootstrapový výběrů a na nich znova provedu
analýzu hlavních komponent
Z rozdělení bootstrapových odhadů spočítám
směrodatnou odchylku pro vlastní čísla a
vektory (a cokoli dalšího, co mě zajímá)
Kolikrát opakovat?
●
Podle toho, co chci získat
Kolikrát opakovat?
●
●
Podle toho, co chci získat
Pokud chci odhadovat momenty rozdělení
(směrodatná odchylka, šikmost, ...), stačí 200600 opakování (podle některých zdrojů jen 50200)
Kolikrát opakovat?
●
●
●
Podle toho, co chci získat
Pokud chci odhadovat momenty rozdělení
(směrodatná odchylka, šikmost, ...), stačí 200600 opakování (podle některých zdrojů jen 50200)
Pokud chci získat distribuční funkci dané
statistiky (např. abych pak z ní získal
konfidenční interval), potřebuju řádově 1000 a
více opakování
Kolikrát opakovat?
●
●
●
●
Podle toho, co chci získat
Pokud chci odhadovat momenty rozdělení
(směrodatná odchylka, šikmost, ...), stačí 200600 opakování (podle některých zdrojů jen 50200)
Pokud chci získat distribuční funkci dané
statistiky (např. abych pak z ní získal
konfidenční interval), potřebuju řádově 1000 a
více opakování
Existují metody, jak snížit počet opakování
Kde nepoužívat?
●
Když vím, že odhadovaná statistika je divoká
●
Není vhodné pro odhady extrémů
●
●
Pokud jsou data v původním souboru navzájem
závislá, musíme modifikovat
Můžeme používat i pokud máme odlehlé
hodnoty, výsledky na to nejsou příliš citlivé
Literatura
●
Efron, Tibshirani - An introduction to bootstrap
●
Prášková (ROBUST 2004) - Metoda bootstrap
●
Davison, Hinkley - Bootstrap Methods and Their
Application
Intermezzo
●
Kurz: Úvod do programování v Matlabu
●
Doktorandští studenti numeriky
●
www.papez.org/matlab
●
13. - 17. února od 9 do 13h
●
přihlásit se do 5. února
Regrese vs. klasifikace - shrnutí
●
●
Je možné provádět klasifikaci pomocí logistické
regrese - model pro učení
Získáme pravděpodobnosti
Logistická regrese
●
●
Není to matematicky ekvivalentní se SVM minimalizujeme různé veličiny
Výsledky můžou být srovnatelně dobré
Transformace souřadnic
●
U regrese jsou užitečné triky, které se dají
použít v klasifikaci - transformace souřadnic
Data z tunelovacího mikroskopu
●
●
Poissonovský proces velikost šumu závisí na
intezitě signálu
Škálujeme pomocí log
Děkuji za pozornost
Diskuze