Počítačové vidění - Vysoké učení technické v Brně

Transkript

FAKULTA ELEKTROTECHNIKY A KOMUNIKA NÍCH TECHNOLOGIÍ
VYSOKÉ U ENÍ TECHNICKÉ V BRN
Po íta ové vid ní
Ing. Karel Horák, Ph.D.
Ing. Ilona Kalová, Ph.D.
Ing. Petr Petyovský
Ing. Miloslav Richter, Ph.D.
Brno
16.4. 2008
2
FEKT Vysokého u ení technického v Brn
Obsah
1
ÚVOD...........................................................................................................................10
2
ZA AZENÍ P EDM TU VE STUDIJNÍM PROGRAMU (HORÁK)....................11
2.1 ÚVOD DO P EDM TU ..................................................................................................11
2.2 VSTUPNÍ TEST ............................................................................................................12
3
APLIKACE PO ÍTA OVÉHO VID NÍ (RICHTER) ............................................13
3.1
3.2
3.3
3.4
3.5
4
MOTIVACE .................................................................................................................13
SYSTÉM PO ÍTA OVÉHO VID NÍ .................................................................................14
P EHLED ÚLOH PO ÍTA OVÉHO VID NÍ ......................................................................15
ZKRESLENÍ KAMER.....................................................................................................15
MOTIVA NÍ P EHLED APLIKACÍ ..................................................................................17
REPREZENTACE A VLASTNOSTI OBRAZOVÝCH DAT (PETYOVSKÝ) .......22
4.1
4.2
4.3
4.4
REPREZENTACE OBRAZOVÝCH DAT.............................................................................22
REPREZENTACE DVOUROZM RNÉHO SYSTÉMU ............................................................22
2D DIRACOVA FUNKCE A ROZPTYLOVÁ FUNKCE (PSF)................................................23
PODMÍNKY DIGITALIZACE 2D OBRAZOVÉ FUNKCE .......................................................24
4.4.1
Interval vzorkování .................................................................................24
4.4.2
Volba vzorkovací m ížky .........................................................................24
4.4.3
Kvantování hodnot obrazové funkce........................................................25
4.5 REPREZENTACE DISKRÉTNÍHO OBRAZU JAKO 1D/2D SIGNÁLU .....................................25
4.6 KONVOLU NÍ INTEGRÁL PRO DISKRÉTNÍ SYSTÉMY ......................................................26
4.7 LINEÁRNÍ FILTRACE OBRAZU V SIGNÁLOVÉ OBLASTI ...................................................27
4.7.1
Vyhlazování šumu v obraze .....................................................................27
4.7.2
Realizace diskrétního operátoru pro pr m rování...................................27
4.7.3
Detekce hran v obraze.............................................................................28
4.7.4
Operace ost ení obrazu...........................................................................31
5
BARVY V PO ÍTA OVÉ GRAFICE (PETYOVSKÝ) ...........................................32
5.1
5.2
5.3
5.4
5.5
5.6
5.7
6
BAREVNÉ MODELY .....................................................................................................32
ADITIVNÍ MODELY RGB, RGBA ................................................................................32
SUBSTRAKTIVNÍ MODELY CMY, CMYK ....................................................................32
BAREVNÝ MODEL H,S,V ............................................................................................33
BAREVNÝ MODEL H,L,S.............................................................................................33
MODELY PRO TELEVIZNÍ A VIDEO TECHNIKU YUV ......................................................34
CHROMATICKÝ DIAGRAM XYZ-CIE...........................................................................34
5.7.1
Pravidla pro tvorbu barev v chromatickém diagramu..............................35
5.7.2
D sledky plynoucí z chromatického diagramu.........................................35
P EDZPRACOVÁNÍ OBRAZU A SEGMENTACE (KALOVÁ)............................37
6.1 SNÍMÁNÍ OBRAZU.......................................................................................................37
6.2 P EDZPRACOVÁNÍ OBRAZU ........................................................................................38
Zkreslení...............................................................................................................38
6.2.1
Bodové jasové transformace....................................................................39
6.2.2
Geometrické transformace ......................................................................40
3
6.2.3
6.2.4
6.2.5
Lokální operace p edzpracování .............................................................41
Restaurace obrazu ..................................................................................44
Matematická morfologie .........................................................................45
6.3 SEGMENTACE OBRAZU ...............................................................................................45
6.3.1
Segmentace prahováním .........................................................................45
6.3.2
Segmentace na základ hran ...................................................................46
6.3.3
Segmentace nar stáním oblastí ...............................................................48
6.3.4
Segmentace srovnáním se vzorem ...........................................................49
6.3.5
Sub-pixelové ur ení hranice....................................................................49
7
INTEGRÁLNÍ TRANSFORMACE OBRAZU (RICHTER) ....................................50
7.1
7.2
7.3
7.4
8
FORMÁTY KOMPRESE (PETYOVSKÝ)................................................................51
8.1
8.2
8.3
8.4
8.5
8.6
8.7
8.8
8.9
9
FOURIÉROVA TRANSFORMACE ....................................................................................50
RYCHLÁ FOURIÉROVA TRANSFORMACE ......................................................................50
DISKRÉTNÍ KOSINOVÁ TRANSFORMACE.......................................................................50
WAVELETOVÁ TRANSFORMACE ..................................................................................50
ROZD LENÍ ZOBRAZOVACÍCH MÉDII ...........................................................................51
REPREZENTACE GRAFIKY V PAM TI PO ÍTA E ............................................................51
RASTROVÉ ZOBRAZENÍ ...............................................................................................52
VEKTOROVÉ ZOBRAZENÍ ............................................................................................52
KOMPRESE RASTROVÉHO OBRAZU ..............................................................................53
8.5.1
Komprese RLE........................................................................................53
8.5.2
Komprese LZ77/LZW ..............................................................................54
8.5.3
Huffmanova kompresní metoda ...............................................................54
8.5.4
Diskrétní kosinová transformace (DCT)..................................................55
GRAFICKÉ FORMÁTY ..................................................................................................56
8.6.1
Formát PCX ...........................................................................................56
8.6.2
Formát GIF ............................................................................................56
8.6.3
Formát PNG ...........................................................................................56
8.6.4
Formát .JPEG.........................................................................................56
8.6.5
Formát TIFF...........................................................................................57
KOMPRESE DIGITÁLNÍHO VIDEA..................................................................................58
8.7.1
Bezeztrátové kompresní metody...............................................................58
8.7.2
Ztrátové kompresní metody .....................................................................58
STANDARDY DIGITÁLNÍHO VIDEA ...............................................................................58
8.8.1
MPEG-1 .................................................................................................58
8.8.2
MPEG-2 .................................................................................................59
8.8.3
MPEG-4 .................................................................................................60
P ÍKLADY FORMÁT DIGITÁLNÍHO VIDEA ...................................................................60
8.9.1
DivX 3.11a Alpha....................................................................................60
8.9.2
DivX 5.x..................................................................................................61
8.9.3
XviD .......................................................................................................61
8.9.4
MJPEG...................................................................................................61
8.9.5
ASF.........................................................................................................61
8.9.6
QuickTime ..............................................................................................61
8.9.7
VCD (video CD), SVCD (super video CD) ..............................................61
8.9.8
DVD (digital versatile disc) ....................................................................62
8.9.9
Blue-Ray, HD DVD, VMD ......................................................................62
MORFOLOGIE OBRAZU (HORÁK) .......................................................................63
4
10 DETEKCE A PARAMETRIZACE GEOMETRICKÝCH TVAR (KALOVÁ) ....64
10.1 HOUGHOVA TRANSFORMACE ......................................................................................64
10.1.1 Detekce p ímek .......................................................................................64
10.1.2 Detekce kružnic.......................................................................................66
10.1.3 Zobecn ná Houghova transformace ........................................................66
10.2 DALŠÍ SEGMENTA NÍ METODY....................................................................................67
10.2.1 Vypl ování oblastí ..................................................................................67
10.2.2 Vypl ování geometricky ur ené hranice – ádkové vypl ování................67
10.2.2.2 Barvení oblastí........................................................................................69
10.2.3 Aktivní kontury (snakes, active contours) ................................................70
10.2.4 Level-set .................................................................................................70
10.2.5 Watershed ...............................................................................................71
10.2.6 Shluková analýza ....................................................................................72
10.3 ÚPRAVY OBRAZU .......................................................................................................72
10.3.1 Transformace barev – omezení barevného prostoru ................................72
10.3.2 Barevný Šedo-tónový..........................................................................72
10.3.3 Šedo-tónový binární ...........................................................................73
10.3.4 Geometrické transformace obrazu...........................................................74
11 KLASIFIKÁTORY A AUTOMATICKÉ T ÍD NÍ (PETYOVSKÝ)......................78
11.1 POJMY .......................................................................................................................78
11.2 ROZD LENÍ KLASIFIKÁTOR :......................................................................................80
11.3 LINEÁRNÍ KLASIFIKÁTOR ............................................................................................80
11.4 BAYES V KLASIFIKÁTOR............................................................................................82
11.5 ZLEPŠENÍ P ESNOSTI KLASIFIKACE – BOOSTING ..........................................................84
11.6 MARKOVOVY MODELY ...............................................................................................86
11.7 SKRYTÉ MARKOVOVY MODELY (HMM).....................................................................86
11.8 PRINCIPAL COMPONENTS ANALYSIS (PCA, LDA)........................................................87
12 POPIS OBJEKT (HORÁK) .....................................................................................89
12.1 CO SE ROZUMÍ POPISEM OBJEKTU? ..............................................................................89
12.2 P ÍPRAVA OBRAZU PRO POPIS .....................................................................................90
12.3 P ÍZNAKOVÝ VEKTOR ................................................................................................91
12.4 D LENÍ P ÍZNAK ......................................................................................................92
12.5 IDENTIFIKACE OBLASTÍ ..............................................................................................93
12.6 RADIOMETRICKÉ DESKRIPTORY ZALOŽENÉ NA REGIONECH ..........................................94
12.7 RADIOMETRICKÉ DESKRIPTORY ZALOŽENÉ NA HRANICÍCH ..........................................98
12.8 FOTOMETRICKÉ DESKRIPTORY ....................................................................................99
12.9 GEOMETRICKÉ MOMENTY A MOMENTOVÉ INVARIANTY .............................................100
13 LOKÁLNÍ P ÍZNAKY A KORESPONDENCE (HORÁK)...................................102
14 STROJOVÉ U ENÍ (HORÁK)................................................................................103
14.1 KLASIFIKACE P ÍZNAK OBRAZU .............................................................................103
14.2 NEURONOVÉ SÍT PRO KLASIFIKACI OBRAZU .............................................................104
14.2.1 Model neuronu......................................................................................105
14.2.2 U ení ....................................................................................................106
14.2.3 Aproximátory – aproxima ní klasifikátory ............................................107
14.2.4 Asociativní pam ti – Hopfieldova sí .....................................................107
14.2.5 Realizovatelnost klasifikátoru ...............................................................108
5
14.3 KLASIFIKA NÍ ÚLOHY ..............................................................................................109
14.3.1 Klasifikace obrazu íslice......................................................................109
14.3.2 Klasifikace obrazu vady ........................................................................110
14.3.3 Klasifikace obraz znak ......................................................................111
15 ANALÝZA DYNAMICKÝCH OBRAZ (HORÁK).............................................. 114
15.1 POHYB V OBRAZE.....................................................................................................114
15.2 OBRAZOVÁ SEKVENCE .............................................................................................115
15.3 ANALÝZA POHYBU ...................................................................................................117
15.4 ROZDÍLOVÉ METODY................................................................................................118
15.5 ESTIMACE MODELU PROST EDÍ.................................................................................121
15.6 OPTICKÝ TOK...........................................................................................................123
15.7 DETEKCE VÝZNAMNÝCH BOD .................................................................................124
15.8 KOMPRESE VIDEA ....................................................................................................125
15.9 METODA RANSAC .................................................................................................126
16 DODATKY ................................................................................................................ 129
16.1 VSTUPNÍ TEST ..........................................................................................................129
16.1.1 Vstupní test – zadání .............................................................................129
16.1.2 Vstupní test – ešení ..............................................................................129
16.2 OBRAZOVÁ GALERIE ................................................................................................130
17 SEZNAM POUŽITÉ LITERATURY....................................................................... 131
6
Seznam obrázk
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
3.1. PROJEKCE TROJROZM RNÝCH DAT ULTRAZVUKU, JASOVÁ SLOŽKA P EDSTAVUJE HUSTOTU ................13
3.2. OBRAZ ROZLOŽENÍ TEPLOTY V PSEUDO-BARVÁCH .............................................................................13
3.3. ZM NA VZHLEDU OBJEKTU SE ZM NOU SV TLA VLIVEM POHYBU ODRAZU..........................................14
3.4. SNÍMANÝ OBRAZ (VLEVO) A ZVÝRAZN NÍ RYS POMOCÍ HRANOVÉHO DETEKTORU (VPRAVO) .............14
3.5. HOUGHOVA TRANSFORMACE OBRAZU (VLEVO) A HRANY VYBRANÉ POMOCI MAXIM HT......................15
3.6. NEJEDNOZNA NOST ÚLOHY ROZPOZNÁVÁNÍ .....................................................................................15
3.7. GEOMETRICKÉ ZKRESLENÍ SNÍMACÍ SOUSTAVY ..................................................................................16
3.8. K IVKY ZKRESLENÍ POSUNU O JEDEN PIXEL V X A Y ............................................................................16
3.9. ROZLOŽENÍ VELIKOSTI CHYB VE SM RU X V PLOŠE PRO 6 PARAMETR A PRO M ÍTKO ........................16
3.10. AZENÍ DESTI EK Z TVRDOVKOVU ..................................................................................................17
3.11. SNÍMEK OCELOVÉ TY KY P I TAHOVÉ ZKOUŠCE ..............................................................................17
3.12. SNÍMEK VOZIDLA PRO KONTROLU RYCHLOSTI ..................................................................................18
3.13. SNÍMEK SVAR Z PR MYSLOVÉ KAMERY .........................................................................................19
3.14. SNÍMEK HRDLA (VLEVO) A DNA LÁHVE (VPRAVO) ............................................................................19
3.15. VÝ EZ SNÍMKU PRO DETEKCI PROFILU (VLEVO) A SNÍMACÍ HLAVA (VPRAVO)....................................19
3.16. SNÍMEK ZE STEREO-PÁRU (VLEVO) A DRÁTOVÝ MODEL REKONSTRUOVANÉ SCÉNY (VPRAVO) ............20
3.17. REKONSTRUOVANÝ MODEL VRAT ....................................................................................................20
3.18. M ENÁ KAPKA S NASVÍCENÝM VZOREM (VLEVO) A PRINCIP M ENÍ (VPRAVO) ...............................21
3.19. INTERFEREN NÍ OBRAZEC MOIRE METODY ......................................................................................21
3.20. VSTUPNÍ SNÍMEK SPEKLY (VLEVO), YOUNGOVY PROUŽKY P ED A PO FILTRACI (UPROST ED) A EZY
PRO DETEKCI PARAMETR DRSNOSTI POVRCHU ( VPRAVO).........................................................................21
4.1. TYPY VZORKOVACÍCH M ÍŽEK ..........................................................................................................24
4.2. FILTRACE OBRAZU (A) S ŠUMEM (B) MASKOU 3X3 (C) A MASKOU 5X5 (D) ...........................................27
4.3. FILTRACE OPERÁTOREM DIFERENCE PRVNÍHO ÁDU...........................................................................29
4.4. APLIKACE LAPLACEOVA OPERÁTORU ................................................................................................31
4.5. APLIKACE LAPLACEOVA OPERÁTORU PRO OST ENÍ ............................................................................31
4.6. APLIKACE LAPLACEOVA A LOG OPERÁTORU .....................................................................................31
5.1. BAREVNÉ SPEKTRUM ........................................................................................................................32
5.2. RGB KRYCHLE .................................................................................................................................32
5.3. CMY KRYCHLE ................................................................................................................................33
5.4. BAREVNÝ MODEL HSV.....................................................................................................................33
5.5. BAREVNÝ MODEL HLS .....................................................................................................................34
5.6. CHROMATICKÝ DIAGRAM .................................................................................................................35
5.7. DOPL KOVÉ BARVY V CHROMATICKÉM DIAGRAMU ...........................................................................35
5.8. OMEZENÍ BAREVNÉHO GAMUTU TECHNICKÝCH ZA ÍZENÍ ...................................................................36
6.1. SEKVENCE ÚKON ZPRACOVÁNÍ OBRAZU ..........................................................................................37
6.2. RADIÁLNÍ ZKRESLENÍ A) SOUDEK, B) PODUŠKA, C) NATO ENÍ DETEKTORU ..........................................38
6.3. P VODNÍ SNÍMEK, SNÍMEK POZADÍ, SNÍMEK ZA TMY, OBRAZ PO KOREKCI ............................................39
6.4. TRANSFORMACE JASOVÉ STUPNICE ...................................................................................................39
6.5. P VODNÍ A EKVALIZOVANÝ OBRÁZEK S HISTOGRAMEM .....................................................................40
6.6. GEOMETRICKÉ TRANSFORMACE ........................................................................................................40
6.7. JASOVÁ TRANSFORMACE ..................................................................................................................41
6.8. KONVOLUCE OBRÁZKU S MASKOU.....................................................................................................41
6.9. GAUSSOVO ROZLOŽENÍ SE ST EDEM V (0,0) A =1 A ODPOVÍDAJÍCÍ MASKA 5X5..................................42
6.10. ROTUJÍCÍ MASKY ............................................................................................................................43
6.11. UR ENÍ PRAHU Z HISTOGRAMU .......................................................................................................46
6.12. SLEDOVÁNÍ HRANIC V OSMI-OKOLÍ..................................................................................................46
6.13. GENEROVÁNÍ ORIENTOVANÉHO GRAFU, RELAXACE HRAN ................................................................47
6.14. DEFINICE HRAN PRO RELAXACI .......................................................................................................47
6.15. SPOJOVÁNÍ OBLASTÍ .......................................................................................................................48
6.16. ŠT PENÍ A SPOJOVÁNÍ .....................................................................................................................49
6.17. SUB-PIXELOVÉ UR ENÍ HRANY ........................................................................................................49
8.1. OBRAZOVÁ FUNKCE V PAM TI PO ÍTA E ...........................................................................................51
8.2. BAREVNÝ RASTROVÝ OBRAZ - BITPLÁN .............................................................................................52
8.3. BAREVNÝ RASTROVÝ OBRAZ – BAREVNÁ PALETA ..............................................................................52
8.4. VEKTOROVÁ REPREZENTACE OBRAZU ...............................................................................................52
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
7
8.5. KOMPRESE METODOU RLE .............................................................................................................. 53
8.6. HUFFMANOVO KÓDOVÁNÍ ................................................................................................................ 55
8.7. KOMPRESNÍ METODA JPEG.............................................................................................................. 57
10.1. REPREZENTACE P ÍMKY V PROSTORU (X,Y) A PROSTORU (K,Q) ........................................................ 64
10.2. REPREZENTACE P ÍMKY V PROSTORU (X,Y) A PROSTORU ( ,R)......................................................... 65
10.3. ORIGINÁLNÍ SNÍMEK A SNÍMEK HRAN JAKO VSTUP HT ..................................................................... 65
10.4. HOUGH V PROSTOR MAXIM A P VODNÍ SNÍMEK S NALEZENÝMI P ÍMKAMI ...................................... 65
10.5. DETEKCE KRUHOVÝCH OBJEKT (R=50 PXL) POMOCÍ HT ................................................................ 66
10.6. POPIS HRANICE OBECNÉHO TVARU POLOHOVÝMI VEKTORY ............................................................. 66
10.7. SESTAVOVÁNÍ HOUGHOVA PROSTORU ............................................................................................ 66
10.8. GEOMETRICKY UR ENÁ HRANICE OBJEKTU ..................................................................................... 67
10.9. KROKY 1A, 1B A 1C ALGORITMU VYPL OVÁNÍ OBLASTI................................................................... 67
10.10. KROKY 2A, 2B+C A 3 ALGORITMU VYPL OVÁNÍ OBLASTI............................................................... 68
10.11. SEMÍNKOVÉ VYPL OVÁNÍ – PO ÁTE NÍ BODY............................................................................... 68
10.12. POSTUP ÁDKOVÉHO SEMÍNKOVÉHO VYPL OVÁNÍ ........................................................................ 69
10.13. SLEDOVANÉ PIXELY PRO 4 OKOLÍ A 8 OKOLÍ .................................................................................. 69
10.14. KOLIZE BAREV 4 OKOLÍ ................................................................................................................ 69
10.15. P ÍKLADY KOLIZNÍCH OBJEKT .................................................................................................... 69
10.16. P VODNÍ A PRAHOVANÝ OBRAZ (VLEVO), PRVNÍ A DRUHÝ PR CHOD ALGORITMU (VPRAVO)........... 70
10.17. AKTIVNÍ KONTURY – PO ÁTE NÍ STAV, STANDARDNÍ POSTUP A MODIFIKOVANÁ VERZE .................. 70
10.18. LEVEL-SET FUNKCE PRO UZAV ENOU 2D K IVKU C ...................................................................... 71
10.19. PO ÁTE NÍ, PR B ŽNÝ A KONCOVÝ STAV SEGMENTACE METODOU LEVEL-SET .............................. 71
10.20. ÁRY REPREZENTUJÍCÍ HRÁZE (WATERSHED LINES)....................................................................... 71
10.21. P ÍKLAD SHLUKOVÁNÍ DVOU P ÍZNAK VE 2D PROSTORU............................................................. 72
10.22. DETEKCE REGISTRA NÍCH ZNA EK POMOCÍ SHLUKU VERTIKÁLNÍCH AR ....................................... 72
10.23. P EVOD BAREVNÉHO OBRAZU NA ŠEDO-TÓNOVÝ .......................................................................... 73
10.24. R,G A B SLOŽKY BAREVNÉHO OBRAZU ......................................................................................... 73
10.25. PRAHOVANÝ ŠEDO-TÓNOVÝ SNÍMEK A SNÍMKY HRAN (SOBEL, CANNY) ......................................... 73
10.26. NÁHODNÉ ROZPTÝLENÍ, MATICOVÉ ROZPTÝLENÍ ........................................................................... 74
10.27. ZM NA ROZLIŠENÍ........................................................................................................................ 75
10.28. OKÉNKO VYTY UJÍCÍ OBLAST PRO O EZÁNÍ .................................................................................. 76
10.29. O EZÁVÁNÍ OBDÉLNÍKU – POSTUP ................................................................................................ 77
10.30. O EZÁVÁNÍ OBDÉLNÍKU – VÝSLEDEK ........................................................................................... 77
11.1. P ÍSTUP KLASICKÉHO ZPRACOVÁNÍ DAT (VLEVO) A STROJOVÉ KLASIFIKACE (VPRAVO) .................... 78
11.2. VSTUPY A VÝSTUPY KLASIFIKÁTORU .............................................................................................. 79
11.3. KOMPLETNÍ A KONZISTENTNÍ MODEL ZNALOSTÍ .............................................................................. 79
11.4. P ETRÉNOVÁNÍ (OVER-FITTING) KLASIFIKÁTORU ............................................................................ 80
11.5. LINEÁRN SEPARABILNÍ PROSTOR P ÍZNAK ................................................................................... 81
11.6. SCHÉMA LINEÁRNÍHO KLASIFIKÁTORU............................................................................................ 81
11.7. ERGODICKÝ MARKOV V MODEL .................................................................................................... 86
11.8. LEVO-PRAVÝ MARKOV V MODEL .................................................................................................. 86
11.9. MODEL PO ASÍ .............................................................................................................................. 87
11.10. DV T ÍDY VZORK V P ÍZNAKOVÉM PROSTORU .......................................................................... 87
11.11. ZM NA SOU ADNICOVÉHO SYSTÉMU P ÍZNAKOVÉHO PROSTORU ................................................... 88
11.12. METODA LDA A PCA .................................................................................................................. 88
12.1. SEKVENCE ZPRACOVÁNÍ OBRAZU ................................................................................................... 89
12.2.: JEDNODUCHÁ KLASIFIKA NÍ ÚLOHA „N ŽKY – KLEŠT “................................................................. 89
12.3.: P ÍPRAVA BINÁRNÍHO OBRAZU PRO POPIS ...................................................................................... 90
12.4.: P ÍPRAVA OBECNÉHO OBRAZU PRO POPIS ...................................................................................... 90
12.5. VÝPO ET P ÍZNAKOVÉHO VEKTORU X............................................................................................ 91
12.6. P ÍZNAKOVÝ PROSTOR X | DIM(X)=3 .............................................................................................. 92
12.7. ÍSELNÉ INDEXOVÁNÍ OBJEKT ...................................................................................................... 93
12.8. MASKA TY A OSMI OKOLÍ PRO IDENTIFIKACI OBLASTÍ .................................................................. 93
12.9. KONFLIKT INDEX P I ZNA ENÍ OBLASTÍ ........................................................................................ 94
12.10. P ÍZNAK VELIKOST DVOU R ZNÝCH OBJEKT .............................................................................. 94
12.11. P ÍZNAK OBVOD DVOU R ZNÝCH OBJEKT .................................................................................. 95
12.12. P ÍZNAK NEKOMPAKTNOST DVOU R ZNÝCH OBJEKT .................................................................. 95
12.13. P ÍZNAK KONVEXNOST DVOU R ZNÝCH OBJEKT ........................................................................ 95
12.14. P ÍZNAK HLAVNÍ OSA DVOU R ZNÝCH OBJEKT ........................................................................... 96
12.15. P ÍZNAK VEDLEJŠÍ OSA DVOU R ZNÝCH OBJEKT ......................................................................... 96
8
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
OBR.
12.16. P ÍZNAK ORIENTACE DVOU R ZNÝCH OBJEKT .............................................................................96
12.17. P ÍZNAK VÝST EDNOST DVOU R ZNÝCH OBJEKT ........................................................................97
12.18. P ÍZNAK PRAVOÚHLOST DVOU R ZNÝCH OBJEKT ........................................................................97
12.19. P ÍZNAK GENUS DVOU R ZNÝCH OBJEKT ....................................................................................97
12.20. HRANICE OBJEKT POPSANÁ ET ZOVÝM KÓDEM VE TY OKOLÍ ..................................................98
12.21.: HRANICE OBJEKTU POPSANÁ ET ZOVÝM KÓDEM V OSMI OKOLÍ ...................................................98
14.1. MECHANISMUS ROZPOZNÁVÁNÍ Z HLEDISKA KLASIFIKACE .............................................................103
14.2. METODY REALIZACE KLASIFIKA NÍCH MECHANISM .....................................................................103
14.3. BIOLOGICKÁ NEURONOVÁ SÍ .......................................................................................................104
14.4. HIERARCHICKÉ ROZD LENÍ SÍTÍ.....................................................................................................104
14.5. TRANSFORMA NÍ FUNKCE UNS ....................................................................................................105
14.6. MODEL NEURONU .........................................................................................................................105
14.7. TYPY ZÁKLADNÍCH P ENOSOVÝCH FUNKCÍ ....................................................................................106
14.8. PRINCIP U ENÍ ZNALOSTÍ KLASIFIKÁTORU .....................................................................................106
14.9. TOPOLOGIE P ÍKLADU APROXIMA NÍHO KLASIFIKÁTORU ...............................................................107
14.10. TOPOLOGIE HOPFIELDOVY SÍT ...................................................................................................108
14.11. REPREZENTACE OBRAZOVÉ INFORMACE V SÍTI .............................................................................109
14.12. TRÉNOVACÍ MNOŽINA RU N PSANÝCH ZNAK ............................................................................109
14.13. ZOBECN NÍ OBRAZOVÉHO VZORU ...............................................................................................110
14.14. ROZD LENÍ KLASIFIKA NÍCH T ÍD S OSTRÝMI A PRAVD PODOBNOSTNÍMI P ECHODY ...................111
14.15. REPREZENTACE IDEÁLN (VLEVO) A REÁLN (VPRAVO) SNÍMANÉHO ZNAKU A..............................111
14.17. ARCHITEKTURA SÍT ...................................................................................................................112
14.18. ROZPOZNÁVÁNÍ ZNAK BEZ A SE ŠUMEM .....................................................................................113
14.19. REKONSTRUKCE ZAŠUM NÉHO OBRAZU ZNAKU ...........................................................................113
15.1. ZOBRAZENÍ PROSTORU NA POHYBOVÉ POLE ...................................................................................114
15.2. JEDNOZNA NÉ ZOBRAZENÍ POHYBU – SEGMENT NEM NÍ VZDÁLENOST OD OBJEKTIVU .....................114
15.3. NEJEDNOZNA NÉ ZOBRAZENÍ POHYBU – SEGMENT SE P IBLIŽUJE K OBJEKTIVU ..............................115
15.4.: ZJEDNODUŠUJÍCÍ P EDPOKLADY ANALÝZY POHYBU ......................................................................115
15.5.: OBRAZOVÁ SEKVENCE JAKO TROJROZM RNÝ SIGNÁL ...................................................................116
15.6.: SEKVENCE SNÍMK S EKVIDISTANTNÍM ASOVÁNÍM A KAMEROU V KLIDU .....................................117
15.7.: ROZDÍLOVÁ METODA NEUR UJE SM R POHYBU ............................................................................119
15.8.: JEDNOSM RNÉ ROZDÍLOVÉ OBRAZY PO SOB JDOUCÍCH SNÍMK ....................................................119
15.9.: OBOUSM RNÉ ROZDÍLOVÉ OBRAZY PO SOB JDOUCÍCH SNÍMK ....................................................120
15.10. SNÍMKY SEKVENCE .....................................................................................................................120
15.11. KUMULATIVNÍ ROZDÍLOVÝ SNÍMEK .............................................................................................121
15.12. DETEKCE POHYBU POMOCÍ JEDNOSM RNÝCH ROZDÍLOVÝCH OBRAZ ...........................................121
15.13. PR M RNÝ OBRAZ PROST EDÍ PRÁZDNÉ SCÉNY (VLEVO) A ZM NA SCÉNY (VPRAVO) ....................122
15.14. OBJEKTY V POHYBU NALEZENÉ ROZDÍLEM OPROTI MODELU PROST EDÍ ........................................123
15.15. OPTICKÝ TOK VYPO ÍTANÝ ZE DVOU SNÍMK OBRAZOVÉ SEKVENCE ............................................123
15.16. TYP POHYBU V DYNAMICKÉM OBRAZE ......................................................................................124
15.17. VÝPO ET OPTICKÉHO TOKU PRO HORIZONTÁLNÍ POHYB KAMERY .................................................124
15.18. STRUKTURA (DE)KÓDOVÁNÍ VIDEA VYUŽÍVAJÍCÍ METODU KOMPENZACE POHYBU OBJEKT ...........125
15.19. SROVNÁNÍ RANSAC A METODY NEJMENŠÍCH TVERC ...............................................................128
15.20. DETEKCE PÁROVÝCH VÝZNAMNÝCH BOD NA STEREO-SNÍMCÍCH .................................................128
15.21. NALEZENÉ KORESPONDENCE ( ERVENÁ) A VYLOU ENÉ KORESPONDENCE (ZELENÁ) .....................128
9
Seznam tabulek
TABULKA 3.1. STANDARDNÍ ODCHYLKA PRO ZNÁMOU ROVINU POHYBU BODU ................................................... 18
TABULKA 3.2. STANDARDNÍ ODCHYLKA PRO ZNÁMOU ROVINU A TOLERANCI 5 CM .......................................... 18
TABULKA 3.3. STANDARDNÍ ODCHYLKA UR ENÍ RYCHLOSTI PRO STEREO-FOTOGRAMMETRII ............................. 18
TABULKA 8.1. ETNOSTI VÝSKYT SYMBOL ................................................................................................... 54
TABULKA 8.2. VÝSTUPNÍ ET ZCE PRO VSTUPNÍ SYMBOLY ............................................................................... 55
TABULKA 8.3. ÚROVN KOMPRESE STANDARDU MPEG-2................................................................................. 59
TABULKA 14.1. TRÉNOVACÍ MNOŽINA SYSTÉMU ROZPOZNÁVÁNÍ VAD ............................................................. 110
10
1 Úvod
Tento elektronický text je ur en poslucha m kurzu „Po íta ové vid ní“ vypisovaného
Skupinou po íta ového vid ní na Ústavu automatizace a m icí techniky VUT v Brn . Text
tvo í základní literaturu kurzu a slouží jako elektronický podklad k pravidelným p ednáškám.
Na jednotlivých kapitolách elektronického textu se podíleli r zní auto i ze Skupiny
po íta ového vid ní UAMT FEKT VUT Brno podle své odborné p sobnosti. Z toho d vodu
je vždy v rámci nadpisu kapitoly uvedeno v závorce i jméno autora p íslušné pasáže. Editaci a
formální úpravu textu zajiš uje:
Karel Horák,
+420541141–3647,
[email protected]
11
2 Za azení p edm tu ve studijním programu (Horák)
P edm t „Po íta ové vid ní“ je ur en poslucha m prvního ro níku navazujícího
magisterského studia oboru Elektrotechnika, elektronika, komunika ní a ídicí technika. Má
statut volitelného oborového p edm tu hodnoceného šesti kredity.
Vhodnou, nikoliv však povinnou pre-rekvizitou jsou p edm ty Systémy, procesy a
signály I. (UAMT), Praktické programování v jazyce C/C++ (UAMT) a všechny p edm ty
vypisované Skupinou po íta ového vid ní na UAMT. Pokra ováním p edm tu je navazující
kurz „Aplikace po íta ového vid ní“ vypisovaný v letním semestru prvního ro níku
magisterského studia.
2.1 Úvod do p edm tu
Kurz Po íta ové vid ní si klade za cíl seznámit studenty s teoretickými základy a
vzhledem k zam ení Skupiny po íta ového vid ní i áste n s praktickým ešením n kterých
d ležitých úloh po íta ového vid ní. P edevším jde o rozvinutí schopností úlohu
po íta ového vid ní správn interpretovat, pochopit a následn efektivn ešit za použití
vhodného programovacího jazyka.
Pro základní pochopení princip se na p ednáškách a v po íta ových cvi eních kurzu
pracuje v interpretu Matlab, který je vzhledem ke své vektorové a maticové orientaci vhodný
jako názorný didaktický prost edek a je vhodný i jako prost edek pro optimalizaci výsledného
funk ního kódu. Pro práci s obrazovou informací se využívá Image Processing Toolbox a
Image Acquisition Toolbox.
P ednášky kurzu Po íta ové vid ní nejsou nutnou podmínkou pro spln ní podmínek
úsp šného zakon ení kurzu, nicmén jsou z hlediska jasného pochopení látky výrazn
doporu eny.
Rozd lení kapitol elektronického textu odpovídá chronologickému sledu p ednášek
v semestru, studenti tedy mohou text používat k pr b žnému dopl ování poznámek až ke
zkoušce.
Na konci elektronického textu jsou krom dodatk a výsledk vstupního testu uvedeny
také základní i dopl ující literární a internetové prameny.
Nápl kurzu tvo í základní teoretické znalosti o principech a aplikacích po íta ového
vid ní, reprezentaci obrazových dat, p edzpracování obrazu a jeho následné segmentace.
Nechybí kapitoly v nované integrálním transformacím obrazu – Fouriérova defini ní i rychlá
transformace, diskrétní kosinová, Waveletová, Walshova a Hadamardova transformace.
V druhé ásti textu jsou studenti seznámeni s morfologickými operacemi s obrazem,
možnostmi detekce a parametrizace geometrických tvar v obrazu, popisem objekt
v p íznakovém prostoru, koresponden ním problémem, klasifikací a automatickým t íd ním a
v neposlední ad jsou seznámeni i s prvky strojového u ení, statistickým rozpoznáváním a
analýzou dynamických obraz .
12
2.2 Vstupní test
Vstupní test je ur en k vyhodnocení samotným studentem a jeho ú elem je ov ení
p edchozích znalostí studenta, pot ebných k úsp šnému zvládnutí p edkládaného výukového
textu. Výsledky vstupního testu jsou uvedeny v dodatku v záv ru tohoto textu.
1. Jak lze charakterizovat dvourozm rný diskrétní obraz z hlediska teorie signálu?
2. Co o diskrétním signálu vypovídá charakteristika nazývaná etnost pop . histogram?
3. Co se rozumí filtrací obrazového signálu v prostorové a co ve frekven ní oblasti?
4. K emu se používá Fouriérova transformace?
5. Co je to topologie objektu?
13
3 Aplikace po íta ového vid ní (Richter)
V této kapitole je uveden vý et p íklad realizace úloh po íta ového vid ní spolu
s nejd ležit jšími informacemi týkajícími se dané úlohy.
3.1 Motivace
Po íta ové vid ní (z anglického Computer Vision) p edstavuje akademickou záležitost,
která eší problematiku pochopení vícerozm rných dat – obrazu jako nap . šedo-tónový obraz,
barevný, 3D obraz sekvence, ultrazvukový nebo tomografický obraz v nepravých barvách.
Rozvoj oboru je p ímo spojen s rozvojem po íta ových za ízení, jejichž výpo etní výkon
vždy využívá v maximální možné mí e.
Základní terminologie oboru:
Po íta ové vid ní:
Obor zabývající se realizací inteligentního lidského vid ní
po íta ovými prost edky.
Image Processing:
Zpracování dvourozm rného signálu.
Machine Vision:
Aplikace po íta ového vid ní v pr myslu – I/O za ízení, optické
prvky, osv tlovací za ízení, sníma e atd.
Obr. 3.1. Projekce trojrozm rných dat ultrazvuku, jasová složka p edstavuje hustotu
Obr. 3.2. Obraz rozložení teploty v pseudo-barvách
14
3.2 Systém po íta ového vid ní
Každý systém po íta ového vid ní obsahuje znalosti z r zných domén:
a) Fyzikální principy – geometrie, sv tlo.
b) Hardware – po ízení dat, diskretizace, digitalizace.
c) Algoritmy – zpracování signálu.
d) Interpretace výsledk .
e) Velké množství kombinací pro výb r ešení.
Základními problémy po íta ového vid ní je velké množství dat, vysoká variabilita
obrazových dat, ztráta informace t etího rozm ru vlivem projekce, šum a zm na vzhledu
objektu se zm nou sv tla.
Obr. 3.3. Zm na vzhledu objektu se zm nou sv tla vlivem pohybu odrazu
K ešení reálných aplikací inženýrským zp sobem je nutná komplexní znalost problému
a znalost možností ešení. Mezi základní sesterské oblasti pat í geometrie (transformace
lineární a nelineární), optika (jasová a geometrická zkreslení, projekce, r zné typy odraz ),
teorie signálu, strojové u ení aj.
P i realizaci scény je t eba ešit: hardware jako sou ást algoritm a m ícího et zce,
osv tlení, objekt zájmu, sníma + objektiv, vzájemné umíst ní.
Získání íslicové reprezentace obrazových dat je ovlivn no adou proces : snímání
scény, optika, detektor (diskretizace), digitalizace (kvantizace), rušení (šum).
Zpracování obrazových dat je zpravidla založeno na extrakci p íznak , na n ž jsou p i
klasifikaci aplikovány metody založené na u ení. Zpracováním dat se rozumí p edzpracování,
vyhledání objekt (entit, markant), porozum ní obsahu obrazu (OCR, 3D rekonstrukce) atd.
Obr. 3.4. Snímaný obraz (vlevo) a zvýrazn ní rys pomocí hranového detektoru (vpravo)
15
Obr. 3.5. Houghova transformace obrazu (vlevo) a hrany vybrané pomoci maxim HT
Upravená obrazová data je t eba správn interpretovat a zpracovat výsledky m ení:
kalibrace, p evody mezi m ením a kalibrací, u ení, srovnání se vzorem, ur ení po tu, ur ení
polohy, rychlosti, ur ení tvaru, úprava signálu pro lov ka apod.
3.3 P ehled úloh po íta ového vid ní
Základní t ídu úloh po íta ového vid ní tvo í rozpoznávání objekt :
-
podle velikosti, tvaru
-
binární snímek (prahování)
-
dotýkající se nebo p ekrývající objekty
Obr. 3.6. Nejednozna nost úlohy rozpoznávání
Z dalších typ úloh lze rámcov jmenovat alespo sledování objekt v sekvenci snímk ,
interpretaci obraz (co vidíme), zjiš ování pozice objekt pop . kamery (poloha v obraze).
3.4 Zkreslení kamer
Snímací soustava vykazuje stejn jako jakýkoliv jiný m icí systém chyby. Mezi
základní chyby, které se projevují negativn p i zpracování obrazu, pat í zkreslení, které je
nutné korigovat.
16
Obr. 3.7. Geometrické zkreslení snímací soustavy
P i korekci zkreslení je t eba uvažovat:
-
detekce „k ivosti“ p ímek
-
detekce k ížení ar – pr se íky p ímek, rohy, pravidelná struktura
-
testování objektivu, p íprava pro korekce p i m ení
-
2D p edloha – n které parametry zkreslení
-
3D p edloha – všechny parametry zkreslení
Obr. 3.8. K ivky zkreslení posunu o jeden pixel v x a y
Výsledky korekce zkreslení jsou reprezentovány pomocí hodnoty jasu, která ur uje
velikost korekce. Model korekce pak m že vypadat jak ukazují následující obrázky.
Obr. 3.9. Rozložení velikosti chyb ve sm ru x v ploše pro 6 parametr a pro m ítko
17
3.5 Motiva ní p ehled aplikací
-
Desti ky z tvrdokovu
stanovení po tu
ízení stroje pro popis
variabilita rozm r desti ek
detekce stínu
variabilita optických vlastností desti ek (0-100% odrazivost)
dopln ní chyb jící informace - desti ky a kalibra ní vzor pro p evod ze sou adnic
zapisova e a kamery
14x14cm, desti ka 2-7mm
nalezení hran pomocí stínu – hranový filtr
dopln ní chyb jící informace – Kalman v filtr
transformace mezi kalibra ním vzorem a strojem
Obr. 3.10. azení desti ek z tvrdovkovu
-
Tahová zkouška
ocelová ty ka
zjišt ní minimálního pr m ru a parametr jeho okolí
ízení stroje na konstantní úbytek polom ru, zastavení v okamžiku maximálního
nap tí
matnice pro difúzní sv tlo
sub-pixelové vyhodnocení – na základ v tšího okolí a pr b hu jasu v okolí hrany
5x5cm
Obr. 3.11. Snímek ocelové ty ky p i tahové zkoušce
18
-
M ení rychlosti vozidel
velká zm na sv telných podmínek
detekce p ítomnosti auta – hledá se rozdíl oproti pozadí, hrany
zjišt ní pohybu
zjišt ní reálné polohy ve scén
série snímk
rychlost
Obr. 3.12. Snímek vozidla pro kontrolu rychlosti
Tabulka 3.1. Standardní odchylka pro známou rovinu pohybu bodu
v [km/h]
t [s]
[m/s]
[km/h]
50
0,22
0,12
0,44
100
0,11
0,25
0,9
150
0,05
0,54
1,9
Tabulka 3.2. Standardní odchylka pro známou rovinu a toleranci 5 cm
v [km/h]
T [s]
[m/s]
[km/h]
50
0,22
1,36
4,9
100
0,11
27
9,8
150
0,05
6
21,6
Tabulka 3.3. Standardní odchylka ur ení rychlosti pro stereo-fotogrammetrii
v [km/h]
t [s]
[m/s]
[km/h]
-
50
0,22
0,5
1,8
100
0,11
1
3,6
150
0,05
2,2
7,92
Svary
zm na hodnot jasy v závislosti na kvalit a sm ru osv tlení
filtrace – vyhledání jasových p echod v obraze
eliminace vlivu jasu okolí
vyhledání p esné pozice – eliminace stín na kraji
19
Obr. 3.13. Snímek svar z pr myslové kamery
-
Vady lahví
transparentní materiál
ší ka materiálu ovliv uje optické vlastnosti
n které „vady“ jsou výrobní
nastavení velikosti a typ vad
shluková analýza s generováním p íznak
podle p íznak – rozpoznání vady
Obr. 3.14. Snímek hrdla (vlevo) a dna láhve (vpravo)
-
M ení profilu laserového svaru
3D tvar bez výrazných bod
aktivní nasvícení vzorem
možné typy vzor – rastr, bílý šum, jednozna ný vzor, pruhy
kvalita odrazu podle typu povrchu (olej) a úhlu dopadu
ešení výpadku pruhu – predikce polohy, spojování pruh
lokální prahování, hranování, zten ování, predikce, zp tné dohledání
vyhledávání r zného typu vad – rozhoduje velikost
Obr. 3.15. Vý ez snímku pro detekci profilu (vlevo) a snímací hlava (vpravo)
20
Stereofotogrammetrie
- vyhledání spole ných bod
- výpo et prostorových umíst ní bod
- tvorba 3D drátového modelu
Obr. 3.16. Snímek ze stereo-páru (vlevo) a drátový model rekonstruované scény (vpravo)
-
M ení pr hybu vrat vodního díla Gab íkovo
vyhledání spole ných bod a tvorba 3D posuv
epipolární linie
testovací a m ící body
nasvícení rovinných ploch bílým šumem
reprezentace výsledných dat – jas v závislosti na výšce
vyhledání shodné plošné kombinace bod na více snímcích, zkreslení úhlem pohledu
Obr. 3.17. Rekonstruovaný model vrat
-
Kapky
kalibrace
detekce ar s predikcí na základ p edpokládané polohy
výsledkem výšková mapa profilu
3x3 a 5x5 mm
21
Obr. 3.18. M ená kapka s nasvíceným vzorem (vlevo) a princip m ení (vpravo)
-
Moire
interferen ní metoda
výsledkem jsou zázn je
filtrace nežádoucích složek (rozmazání)
detekce vrchol
mapa vzdáleností vrchol a jejich sm ru (plošn )
testování objektivu, stanovení velikosti a parametr zkreslení, m ení deformací
Obr. 3.19. Interferen ní obrazec Moire metody
-
Youngovy proužky
bez použití optiky
operace ve Fouriérov oblasti
stanovení drsnosti povrchu
výsledkem Youngovy proužky – hledání maxim, minim a dekrementu (pokles obálky)
Obr. 3.20. Vstupní snímek spekly (vlevo), Youngovy proužky p ed a po filtraci (uprost ed) a ezy pro detekci
parametr drsnosti povrchu (vpravo)
22
4 Reprezentace a vlastnosti obrazových dat (Petyovský)
4.1 Reprezentace obrazových dat
Obraz (obrazová data) lze reprezentovat jako spojité rozložení jasu (intenzity, optické
hustoty) v rovin . Rozložení hodnot jasu je definováno obrazovou funkcí:
f ( x, y )
pro statický obraz,
f ( x, y, t )
pro dynamický obraz (prom nný v ase).
Kde f je reálná spojitá (nebo po ástech spojitá) funkce s reálným argumenty (x,y
definují bod v rovin a t p edstavuje hodnotu v ase).
Po dalším zpracování je obraz prakticky vždy diskretizován v ase a lze si ho tedy
p edstavit jako nespojitou sekvenci obrazových funkcí f(x,y).
Defini ní obor D hodnot obrazové funkce:
x ( xmin , xmax ), y ( y min , y max ) .
Obor hodnot H obrazové funkce:
0
f ( x, y )
f max .
Takto definovaná obrazová funkce je schopná reprezentovat pouze šedo-tónový
(monochromatický) obraz (obraz s prom nnou intenzitou jedné barvy).
Barevný obraz lze definovat jako soubor n kolika obrazových funkcí:
f R ( x, y ); f G ( x, y ); f B ( x, y ) .
Kde jednotlivé funkce reprezentují intenzitu jasu pro danou barevnou složku ve
zvoleném barevném modelu (RGB, HSV, YUV atd.).
Pozn.: V p ípad , že defini ní obor hodnot obrazové funkce je definován jako diskrétní
s pouze dv mi možnými hodnotami, hovo íme o tzv. binárním obraze.
4.2 Reprezentace dvourozm rného systému
Dvourozm rný systém lze chápat jako zobrazení
2
:
2
signálu f(x,y) na signál g(x,y):
g ( x, y )
f ( x, y ) .
Defini ní obor hodnot systému (zobrazení ):
{ f1 ( x, y), f 2 ( x, y),..., f n ( x, y)} .
Obor hodnot systému:
23
{g1 ( x, y), g 2 ( x, y),..., g n ( x, y)} .
Lineární systém je takový systém, pro který platí princip superpozice, který lze pro 2D
systém zapsat jako:
n
a n f n ( x, y )
an
multiplikativní konstanta
fn()
vstupní 2D signál (obrazová funkce)
f n ( x, y ) .
an
n
zobrazení (dvourozm rný systém)
4.3 2D Diracova funkce a rozptylová funkce (PSF)
2D Diracova funkce je zobecn ním jednorozm rného p ípadu této funkce do více
rozm r . A pro 2D p ípad je definována takto:
, pro ( x
(x, y)
0
y
0)
0 , jindy
( x, y )dxdy
1
Základní vlastnosti funkce:
Translace:
(x
,y
)
Filtra ní schopnost:
f ( x, y ) ( x
,y
)dxdy
f( , )
Podoba ve 2D frekven ní rovin (u,v):
1
4
( x, y )
Za p edpokladu linearity zobrazení
f ( x, y )
1 e
j ( ux vy )
dudv
lze psát:
f ( , ) (x
g ( x, y )
,y
)d d
f ( x, y )
Dosazením lze získat vztah:
g ( x, y )
f( , )
(x
,y
)d d
Zavedeme substituci pro h a nazveme ji rozptylovou funkcí (PSF):
24
h( x, y , , )
(x
,y
)
PSF (point spread function) p edstavuje impulsní charakteristiku 2D systému a je
analogií impulsní charakteristiky u jednorozm rných systém , kde slouží identifikaci
systému. Odezvu systému p i znalosti jeho PSF na obraz f lze zapsat superpozi ním
integrálem:
g ( x, y )
f ( , ) h( x, y, , )d d
Ze superpozi ního integrálu lze vysledovat význam sou adnic u PSF (tj. fce. h ). Dvojici
sou adnic x,y lze chápat jako polohu výsledku a dvojici sou adnic , jako polohu (jednoho z
mnoha) p ísp vku.
Pokud má systém v každém bod obrazu g identickou odezvu na identický obraz f
hovo íme o izoplanárním systému (tj. o systému s polohov nezávislou impulsní
charakteristikou na vstupní obraz bodu). U PSF již není t eba specifikovat informaci o poloze
výsledku a její definice se zm ní takto:
h( x , y , , )
h( x
,y
).
Odezvu systému na vstupní obraz f je možné vyjád it jako konvolu ní integrál:
g ( x, y )
f ( , ) h( x
,y
)d d
4.4 Podmínky digitalizace 2D obrazové funkce
Digitalizace spo ívá ve vzorkování obrazové funkce do matice o rozm rech MxN a
ve kvantování spojité jasové úrovn každého vzorku do jednoho z K interval , ímž nabývá
obrazová funkce pouze celo íselných hodnot.
ím v tší rozlišení (tj. MxN) a v tší po et kvantovacích úrovní (tj. K), tím lépe je
p vodní spojitý obraz aproximován.
4.4.1 Interval vzorkování
Definován Shannonovým teorémem zobecn ným pro vícerozm rné signály. Fyzikální
interpretace: Interval vzorkování je nutné volit tak, aby byl vždy menší (nebo roven) polovin
rozm ru nejmenších detail v obraze.
4.4.2 Volba vzorkovací m ížky
Výb r plošného uspo ádání bod p i vzorkování. Výhodné je využít pravidelnou
m ížku. Existují pouze t i pravidelné mnohoúhelníky, jejichž sí úpln pokrývá rovinu.
Obr. 4.1. Typy vzorkovacích m ížek
25
4.4.3 Kvantování hodnot obrazové funkce
Pro digitální zpracování se nej ast ji využívá kvantování do K stejn velkých interval .
V p ípad po íta ového zpracování obrazu je po et interval dán druhou mocninou tedy:
2b .
K
Kde b je po et bit do kterých je hodnota kvantována (nej ast ji 8). P i malém po tu
kvantovacích hodnot dochází v obraze ke vzniku rušivých artefakt . Tento jev je pro lidské
oko patrný pokud je po et kvantovacích úrovní v monochromatickém obraze menší než cca.
64, proto je n kdy vhodn jší využívat nelineární kvantování (tj. kvantování s prom nnou
délkou intervalu).
4.5 Reprezentace diskrétního obrazu jako 1D/2D signálu
Diskretizací obrazu získáváme soubor dat, který lze interpretovat jako 2D strukturu
(matici):
f
f ij
$ f 00
"
" ..
" f ( N 1) 0
#
..
f 0(M
!
1)
..
..
f(N
,
1)( M 1)
nebo jako 1D strukturu (vektor po sloupcích):
f
f 00 ,.., f ( N
1) 0
; f 01 ,.., f ( N
f
1)1;......; 0 ( M 1)
,.., f ( N
T
1)( M 1)
P evod mezi ob ma formami (pomocí maticového po tu, pokud M=N):
f
N 1
M n f vn
f
n 0
N 1
Mn
T
f vn
T
n 0
Kde M a v jsou pomocné matice a vektory.
Mn
$ 0! 0
"
".. %
"0
"
"1 n
"
"0
".. %
" N 1
#0
vn
$ 0! 0
".. %
"
"0
"
"1 n
"0
"
".. %
"0 N 1
#
Celková velikost matice M je (NxN2). Velikost vektoru v je (N). Superpozi ní integrál
pro diskrétní systémy:
g (k , l )
N 1M 1
f (i , j ) h (i , j , k , l )
i 0 j 0
f(i,j)
- Vstupní hodnota
g(k,l)
- Výstupní hodnota
h(i,j,k,l)
- PSF v maticové podob (i,j adresa p ísp vku), (k,l adresa cíle)
26
Superpozi ní integrál v maticové podob :
g
1
$& !
"
MxN % " &
"# &
H f
MxN
$&
"&
"
"# &
&
1
& ! $&!
"
& " & % MxN
& "# &
&
&
K výpo tu výstupního obrazu g je zapot ebí (MxN)2 operací typu násobení a (MxN1)x(MxN) operací s ítání. Pro tvercové obrazy o velikosti N je to N4 násobení a (N2-1)xN2
s ítání.
asto matice H p edstavuje pouze operaci s ádky nebo jen se sloupci, potom klesne
po et operací na N3 násobení a (N-1)xN2 s ítání.
Tvar matice H p i sloupcových operacích:
Tvar matice H p i ádkových operacích.
Pokud tedy dokážeme matici H rozd lit na dv matice, kde každá z nich p edstavuje
pouze sloupcové resp. ádkové operace, dokázali jsme snížit výpo etní náro nost u násobení z
N4 na 2N3 ! Systémy mající tyto vlastnosti nazýváme obecn separabilní.
4.6 Konvolu ní integrál pro diskrétní systémy
Pokud je systém izoplanární (tj. jeho PSF je ve všech bodech obrazu identická) je
možné p ejít z superpozi ního integrálu na konvolu ní integrál zavedením substituce.
h(i, j , k , l )
h(i k , j l )
Výsledný tvar pro odezvu izoplanárního diskrétního systému pro PSF (h) lze
konvolu ním integrálem zapsat jako:
g (k , l )
N 1M 1
i 0 j 0
f ( i , j ) h( i k , j l )
27
Pokud je navíc velikost PSF menší než velikost obrazu lze ozna it PSF jako lokální a
výpo et odezvy realizovat pomocí klouzavé masky o velikosti X,Y. Jelikož jsou rozm ry
lokální PSF (tj. X,Y) vždy výrazn menší než rozm ry obrazu (tj. M,N), dochází k výrazné
úspo e výpo etního výkonu.
X
2
g (k , l )
i
Y
2
X
j
2
f (k i , l
j ) h(i, j )
Y
2
Pokud je navíc lokální PSF systému separabilní je možné náro nost výpo tu odezvy
systému (tj. výpo et výstupního obrazu) dále snížit rozd lení PSF na sloupcovou a ádkovou
ást.
4.7 Lineární filtrace obrazu v signálové oblasti
4.7.1 Vyhlazování šumu v obraze
Nejsnadn jší je vyhlazování náhodného šumu v obraze v p ípad kdy máme k dispozici
n kolik obraz téže p edlohy (scény) lišící se práv jen šumem. V tomto p ípad provedeme
pr m rování hodnot pixelu o stejných sou adnicích p es více obraz .
Pokud ale máme k dispozici jen jediný obraz scény, nezbývá než p edpokládat že
hodnoty okolních pixel v obraze se liší hlavn díky šumu. Proto je možné provést
pr m rování p es okolní pixely (pomocí konvolu ní masky). Tento p edpoklad samoz ejm
není možné splnit v celém obraze (pokud obraz neobsahuje jen jednu hodnotu jasové úrovn ).
Vyhlazení šumu p es jeden obraz tedy povede k degradaci obrazu mající charakter
„rozmazání“, tj. zvýrazn ní nižších prostorových frekvencí obrazu.
4.7.2 Realizace diskrétního operátoru pro pr m rování
Oby ejné pr m rování, kde nová hodnota každého pixelu je ur ena jako pr m r
z hodnot pixel v okolí 3x3 lze provést pomocí konvolu ní masky:
h
$1 / 9 1 / 9 1 / 9!
"1 / 9 1 / 9 1 / 9
"
"#1 / 9 1 / 9 1 / 9
$1 1 1!
1"
1 1 1
9"
"#1 1 1
Obr. 4.2. Filtrace obrazu (a) s šumem (b) maskou 3x3 (c) a maskou 5x5 (d)
Další varianty pr m rovacích masek upravují váhu n kterých bod masky:
28
$1 1 1!
$1 2 1 !
1 "
1 "
h2
1 2 1
h3
2 4 2
10 "
16 "
"#1 1 1
"#1 2 1
Maska h3 je typickým p íkladem separabilního filtru, protože je možné ji rozložit na dva
1D filtry:
h31
h32
g
1 2 1,
$1!
"2 ,
"
"#1
1
(h31 ' (h32 ' f )).
16
Pozn.: symbol ‘*’ p edstavuje operátor konvoluce.
4.7.3 Detekce hran v obraze
Každá hrana v obraze p edstavuje jasovou nespojitost v obrazové funkci. Z teorie
signálu je známo že velké skokové zm ny p edstavují místa s výskytem vysokých
prostorových frekvencí. Proto jakékoli filtry zvýraz ující hrany v obraze musí zvýraz ovat
vysoké frekvence.
Oblast vysokých prostorových frekvencí p edstavuje krom informací o hranách
v obraze i šum, proto p i jakékoliv operaci zvýraz ující hrany dojde i k zvýrazn ní šumu
v obraze.
4.7.3.1 Gradient jasové funkce
K ur ení velikosti a sm ru zm ny hodnoty jasové funkce se využívá operace gradientu
(. Matematicky ji lze vyjád it jako funkci obsahující první parciální derivace obrazové
funkce dle jednotlivých prom nných. Výsledek operace gradientu ( je vektorová veli ina
mající absolutní hodnotu (udávající velikost zm ny jasové funkce) a sm r (udávající sm r
nejv tší zm ny jasové funkce).
(f ( x, y )
(f ( x , y )
/f ( x, y )
i
/x
/f ( x, y )
j
/y
. /f ( x, y ) +
,
)
- /x *
2
. /f ( x, y ) +
,,
))
- /y *
2
. /f ( x, y ) /f ( x, y ) +
)
,
/y )*
- /x
0 arg,,
Parciální derivace obrazové funkce jsou v diskrétních obrazech nahrazeny diferencemi.
29
/f ( x, y )
3 2 x fi , j
/x
/f ( x, y )
3 2 y fi , j
/y
/f ( x, y )
3 21 f i , j
/1
f i, j
fi
fi , j
fi, j
n, j
n
2 x f i , j cos 1
2 y f i , j sin 1
Kde konstanta n je nej ast ji stanovena na hodnotu 1 nebo 2. V praxi je samotný
výpo et absolutní hodnoty gradientu pro zjednodušení nahrazován:
(f (i, j ) 3 2 x f i , j
2 y fi , j ,
(f (i, j ) 3 max( 2 x fi , j , 2 y fi , j ),
Realizace diskrétního operátoru gradientu obrazové funkce
$ 1!
2 x fi, j : "
#1
2 y fi, j :
1 1
$0
2 45 f i , j : : "
#1
1!
0
$ 1!
"0
"
"# 1
1 0 1
$0 0
"0 0
"
"#1 0
1!
0
0
Obr. 4.3. Filtrace operátorem diference prvního ádu
4.7.3.2 Další konvolu ní masky aproximující první derivaci obrazové funkce
Roberts v operátor:
$1
h "
#0
0!
,
1
$ 0 1!
,... .
h "
# 1 0
Operátor Prewittové:
h
$1
"0
"
"# 1
1
0
1
Sobel v operátor:
1!
0 ,
1
h
$0
" 1
"
"# 1
1 1!
0 1 ,
1 0
h
$ 1 0 1!
" 1 0 1 ,...
"
"# 1 0 1
30
h
$1
"0
"
"# 1
2
1!
0 ,
0
2
h
1
$0
" 1
"
"# 2
1
2!
0
1 ,
$1
" 1
"
"# 1
1
$ 1 0 1!
" 2 0 2 ,...
"
"# 1 0 1
h
1 0
Robinson v operátor:
h
$1
"1
"
"# 1
1
2
1!
1 ,
1
1
h
1!
2 1,
$ 1
" 1
"
"# 1
h
1 1
1
1!
2 1 ,...
1
1
Kirsch v operátor:
h
$3
"3
"
"# 5
3
3!
3 ,
0
5
h
5
$3
" 5
"
"# 5
3
3!
3,
0
$ 5 3 3!
" 5 0 3 ,...
"
"# 5 3 3
h
5 3
4.7.3.3 Laplace v operátor jasové funkce
Pro detekci hrany v obraze je výhodn jší využít operátor aproximující druhou derivaci
obrazové funkci, který je roven nule v oblasti inflexního bodu každé hrany. Detekce pr chodu
nulou v obraze je vždy výpo etn výhodn jší než hledání lokálního maxima mající vždy jinou
velikost.
Pro tento ú el lze využít Laplace v operátor (2 (tzv. Laplacián) obsahující druhé
parciální derivace:
( 2 f ( x, y )
/ 2 f ( x, y )
3 22x f i , j
2
/x
2
/ f ( x, y )
3 22y f i , j
/y 2
/ 2 f ( x, y )
/x 2
/ 2 f ( x, y )
.
/y 2
2 x fi
1, j
2 x fi, j
fi
2 y fi
1, j
2 y f i, j
f i, j
1, j
1
fi
1, j
fi, j
1
2 fi, j
2 f i, j
Výsledný Laplace v operátor pro diskrétní obraz:
22 f i , j
22x f i , j
22y f i , j
4.7.3.4 Realizace diskrétního Laplaceova operátoru obrazové funkce
2
x
2 f :
22y f :
22 f :
$1 !
" 2 ,
"
"# 1
1
2 1,
$0
"1
"
"#0
1 0!
4 1
1
0
,
$1
"0
"
"#1
0 1!
4 0
0
1
,
$1
"1
"
"#1
1 1!
8 1
1
1
31
Obr. 4.4. Aplikace Laplaceova operátoru
4.7.4 Operace ost ení obrazu
Ost ení obrazu p edstavuje zvýrazn ní hran v obraze. K operaci ost ení lze využít
n kterého z operátor aproximující derivaci obrazové funkce. S výhodou se využívá zost ující
ú inek Laplaceova operátoru (2. P i použití vztahu:
g ( x, y )
f ( x , y ) ( 2 f ( x, y ) .
Obr. 4.5. Aplikace Laplaceova operátoru pro ost ení
Další možností je využít místo Laplaciánu nap íklad (LoG – Laplacián of Gaussian)
jenž p esn ji detekuje hrany. Jeho konvolu ní maska pro velikost 5x5 má tvar:
h
$0
"0
"
" 1
"
"0
"# 0
0
1
2
1
2
16
0
1
2
0!
0
1
1
0
2
1
1
0
0
0
Obr. 4.6. Aplikace Laplaceova a LoG operátoru
32
5 Barvy v po íta ové grafice (Petyovský)
5.1 Barevné modely
Maximální rozsah viditelného zá ení pro lidské oko: 380nm – 780nm.
Obr. 5.1. Barevné spektrum
5.2 Aditivní modely RGB, RGBA
Barevné lenitele: Red (630 nm), Green (530 nm), Blue (450 nm)
Obr. 5.2. RGB krychle
tvrtý lenitel (1 - kanál) funkce pr hlednosti pixelu p i skládání n kolika objekt
v obraze. Pojem RGBA tedy neznamená zm nu barevného modelu, ale pouze p idání další
informace. Složka A se nej ast ji ukládá do rozsahu jednoho bajtu.
&
&
Koeficient pr hlednosti 1 m žeme chápat ve dvou významech:
pixel je zcela pokryt barvou RGB, která má pr hlednost 1
pixel je z 1 procent pokryt nepr hlednou barvou RGB (využíváno pro vyhlazování hran
objekt ).
5.3 Substraktivní modely CMY, CMYK
Cyan, Magenta, Yellow – barevné pigmenty.
33
Obr. 5.3. CMY krychle
Podmínka, že tiskové barvy nesmí být dokonale krycí, vedla v d sledku k nutnosti
zavedení dodatkové BLACK barvy. Hodnota této dodatkové barvy (K) a následn upravené
hodnoty C’, M‘, Y‘ se ur ují dle vztah :
5.4 Barevný model H,S,V
Barevný tón – Hue, Sytost – Saturation, Jasová hodnota - Value.
Obr. 5.4. Barevný model HSV
N kdy je nevýhodný pro sv j jehlanovitý tvar, který zp sobuje, že ve vodorovném ezu
se musí bod o konstantní hodnot S pohybovat p i zm n H po dráze ve tvaru šestiúhelníku a
nikoliv po kružnici, jak by bylo p irozené. Dalším záporným jevem je nesymetrie modelu
z hlediska jasu.
5.5 Barevný model H,L,S
Barevný tón – Hue, Sv tlost - Lightness, Sytost – Saturation.
34
Obr. 5.5. Barevný model HLS
Tvar modelu HLS pln odpovídá skute nosti, že nejvíce r zných barev vnímáme p i
„st edním“ sv tlosti. Schopnost rozlišovat barvy klesá jak p i velkém ztmavení, tak p i
p esv tlení (oblast obou vrchol kužel ). Další dobrá vlastnost modelu HLS spo ívá
v analogii míchání barev p idáváním erných a bílých pigment k základním spektrálním
barvám. Zvýšení sv tlosti p i nezm n né sytosti si lze p edstavit jako p idání jistého množství
bílých a ubrání stejného množství erných pigment . Samotné zvýšení sytosti odpovídá
odebrání stejného množství bílých a erných pigment .
5.6 Modely pro televizní a video techniku YUV
Model
YUV
je
n kdy
také
ozna ován
jako
p enosech
TV
signál
Využíván
pi
Z modelu RGB získáme hodnoty YUV takto:
(Y,
B-Y,
v norm
R-Y).
PAL.
Další televizní modely: YIQ (pro NTSC), YCB CR (pro SECAM, JPEG, MPEG) aj.
5.7 Chromatický diagram XYZ-CIE
CIE = Mezinárodní komise pro osv tlování. 1931 Mezinárodní standart základních
barev. Jeho sou ástí je i Chromatický diagram. Každá skute ná barva je podle tohoto
standartu vytvo ena z barev A, B, C, které zapisujeme v normalizovaném tvaru:
Protože platí že:
35
Sta í nám k vyjád ení pouze dv složky. Vybereme x,y a m žeme reprezentovat
všechny barvy dvojrozm rným diagramem. Pozor - barvy x,y,z jsou pouze imaginární (mají
sytost v tší než 1004).
Obr. 5.6. Chromatický diagram
5.7.1 Pravidla pro tvorbu barev v chromatickém diagramu
1. Pro libovolný barevný bod C1 v obrázku definujeme sytost barvy jako relativní vzdálenost
barevného bodu od standardního bílého sv tla C. Barva C1 na obrázku je sytá asi z 254,
protože leží p ibližn v jedné tvrtin orientované úse ky mezi C a C2.
2. Dominantní vlnová délka jakékoliv barvy je definována jako vlnová délka na spektrální
k ivce protínající úse ku spojující C1 a C. Dominantní vlnová délka je tedy na obrázku
ozna ena jako C2.
3. Dopl kové barvy leží na spojnici, která prochází bodem C. Pokud mají dv dopl kové
barvy stejnou sytost (relativní vzdálenost od C), vznikne jejich složením bílé sv tlo.
Obr. 5.7. Dopl kové barvy v chromatickém diagramu
4. P i slou ení dvou barev leží výsledná barva vždy na spojnici dvou vstupních barev.
5. P i slou ení t í barev leží výsledná barva vždy uvnit trojúhelníka vyzna eného t emi
vstupními barvami (tzv. barevný rozsah – color gamut).
5.7.2 D sledky plynoucí z chromatického diagramu
1. Není možné nalézt takové t i barvy, které by ur ovali trojúhelník pokrývající celý
diagram. To odpovídá skute nosti, že z kone ného po tu základních barev nelze vytvo it
36
všechny existující barvy. Po íta em generované obrazy proto obsahují vždy mén barev
než skute ný sv t.
2. R zná technická za ízení mívají r zné základní barvy, emuž odpovídají r zné polohy a
velikosti trojúhelník barevných rozsah . Z uvedeného je tedy z ejmé, že obraz popsaný
v modelu RGB nemusí být stejn vytišt n na tiskárn CMYK. Barevné rozsahy t chto
za ízení jsou odlišné a i p es výpo etní korekce dochází ke ztrátám i posuv m barev. I
lidský zrak má sv j omezený barevný rozsah, nebo barvy detekuje pouze n kolika druhy
receptor .
Obr. 5.8. Omezení barevného gamutu technických za ízení
37
6 P edzpracování obrazu a segmentace (Kalová)
et zec zpracování obrazové informace lze vyjád it následujícím obrázkem:
Obr. 6.1. Sekvence úkon zpracování obrazu
6.1 Snímání obrazu
Osv tlení
Typ zdroje – slune ní sv tlo, žárovka, zá ivka, výbojka, LED dioda, laser.
Provedení, orientace – bodové, plošné, kruhové, sv telný pruh, vzor, p ímé, sm rové,
rovnob žné, difusní, bo ní, zadní.
Vlnová délka – IR, viditelné, UF, vyza ovací charakteristika, intenzita, polarizace,
koherence.
Objektiv
Ohnisková vzdálenost – zorný úhel, zv tšení, rozsah ost ení, hloubka ostrosti.
Sv telné íslo (clona) – sv tlo, které propustí na senzor, pr m r clony, sv telná ada.
Vady objektiv .
Senzor
Typ – ádkový (lineární) x plošný (maticový), barevná (jeden x t i ipy), ernobílá.
Technologie – CCD, CMOS, progresivní, prokládaný (interlaced).
Rozm r senzoru – nej ast ji 1/3“, 1/2“, 2/3“, rozm r pixelu, rozlišení, video standard.
Spektrální citlivost, data rate, frekvence hodin, expozi ní doba, záv rka.
Kontrolní a ídicí signály, interface.
A/D - digitaliza ní (grabbovací) karta
V závislosti na použité kame e
Vzorkování a kvantování
38
Programovatelná hradlová pole, signálové procesory
Mohou ešit i n které operace p edzpracování obrazu – DFT, prahování.
6.2 P edzpracování obrazu
Cíl p edzpracování:
- potla it šum
- odstranit zkreslení
- potla it i zvýraznit rysy obrazu, zvýrazn ní hran
Vstupem i výstupem p edzpracování je obraz:
g(i,j) … element vstupního obrazu
f(i,j) … element výstupního (transformovaného) obrazu
Využívá se nadbyte nosti údaj v obraze – sousední pixely mají v tšinou podobnou
hodnotu jasu. P edzpracování musíme vztahovat k tomu co chceme z obrazu získat, co s ním
chceme dále d lat.
Šum
Vzniká p i digitalizaci a p i p enosu obrazu.
&
Bílý = idealizovaný, používá se pro simulace nejhorších degradací obrazu, ve
výkonovém spektru má rovnom rn zastoupeny všechny frekvence.
&
Gauss v = aproximace degradace obrazu.
&
Aditivní = vzniká p i p enosu obrazu nebo snímání.
&
Pep a s l = u binárních obraz , impulsní šum – u obraz s více jasovými
úrovn mi = zrn ní.
&
Multiplikativní = šum TV rastru, má charakter vodorovných pruh .
&
Kvantiza ní = není použit dostate ný po et jasových úrovní.
Zkreslení
&
&
&
&
&
&
turbulence atmosféry
vzájemný pohyb sníma e a p edm tu
nevhodné zaost ení
vada optické soustavy (špatná o ka, …)
nelinearita opticko-elektrického senzoru
nelinearita nebo zrnitost filmového (záznamového) materiálu
Obr. 6.2. Radiální zkreslení a) soudek, b) poduška, c) nato ení detektoru
39
6.2.1 Bodové jasové transformace
Jas v bod výstupního obrazu závisí pouze na jasu bodu ve vstupním obraze = pro
úpravu konkrétního jednoho pixelu použijeme jen tento jeden pixel vstupního obrazu.
6.2.1.1 Jasová korekce
Poruchy hardwaru – jiná citlivost jednotlivých sv tlo-citlivých prvk sníma e (vadné
pixely), nerovnom rné osv tlení, jiná citlivost snímacího a digitaliza ního za ízení =
systematické chyby.
f(i,j) = e(i,j).g(i,j)
e(i,j) … degrada ní funkce
Ur ení degrada ní funkce: p i stálých sv telných podmínkách po ídíme obraz o
známém g(i,j) - nejlépe obraz o konstantním jase c => fc(i,j).
e(i,j) = fc(i,j)/c
Nebo po ídím obraz s objektem I0, obraz za stejných sv telných podmínek bez objektu
If – korekce osv tlení a obraz za tmy (zakrytý objektiv) Ib – korekce nelinearity sníma e.
I c (i, j )
M
I 0 (i, j ) I b (i, j )
, kde konstantou M m níme kontrast výsledného obrazu
I f (i, j ) I b (i, j )
Obr. 6.3. P vodní snímek, snímek pozadí, snímek za tmy, obraz po korekci
6.2.1.2 Transformace jasové stupnice
Jen ur itá hodnota jasu ve vstupním obraze je transformována na jinou hodnotu, bez
ohledu na pozici. Transformace T výchozí stupnice jasu p na novou stupnici q: q = T(p)
Obr. 6.4. Transformace jasové stupnice
40
Ekvalizace histogramu – algoritmus, který zm ní rozložení intenzit v obraze tak, aby se
v n m vyskytovaly intenzity p ibližn se stejnou etností – snaha o zvýšení kontrastu.
Má-li p vodní obraz interval jas <p0,pk> a histogram H(p), cílem je najít takovou
monotónní transformaci q = T(p), aby výsledný histogram G(p) byl rovnom rný pro celý
výstupní interval <q0,qk>
. q q0 +
q T ( p) , k
)
- NxM *
p
i p
H (i ) q 0
Obr. 6.5. P vodní a ekvalizovaný obrázek s histogramem
6.2.2 Geometrické transformace
K odstran ní geometrických zkreslení – zkosení v i snímané ploše, širokoúhlé
sníma e. Dva kroky – plošná + jasová transformace p .: družicové snímky Zem – zak ivení
povrchu.
Obr. 6.6. Geometrické transformace
6.2.2.1 Plošná transformace
Najde k bodu (x,y) ve vstupním obraze odpovídající bod ve výstupním obraze (x’,y’)
T - známa p edem – rotace, translace, zkosení, zv tšení.
Hledána na základ znalosti p vodního i transformovaného obrazu – vlícovací body,
nap . aproximace polynomem n-tého ádu + metoda nejmenších tverc .
41
6.2.2.2 Jasová transformace
Nalezení jasu, který bude ve výstupním obraze po geometrické transformaci odpovídat
jednotlivým pixel m.
Obr. 6.7. Jasová transformace
Mezi geometrické transformace m žeme adit i nap . vý ez, zm nu m ítka, posun,
rotaci.
6.2.3 Lokální operace p edzpracování
Využívají pro výpo et jasu bodu ve výstupním obraze jen lokální okolí odpovídajícího
bodu ve vstupním obraze.
Podle funk ního vztahu:
- lineární – jas v bod (i,j) je dán lineární kombinací jas v okolí O (velikosti MxN) vstupního
obrazu g s váhovými koeficienty h. Pro izoplanární (nezávislá na poloze) systémy = diskrétní
konvoluce:
f (i, j )
i M /2
j N /2
h (m i , n
j ) g (m, n)
m i M /2 n j N /2
Obr. 6.8. Konvoluce obrázku s maskou
- nelineární
42
6.2.3.1 Vyhlazování obrazu = filtrace
Potla ení vyšších frekvencí = potla ení náhodného šumu, ale i jiných náhlých zm n
(ostré áry a hrany).
1) pr m rování
1 n
g k (i, j )
- nerozmazává hrany
nk1
- v jednom obraze: lokální aritmetický pr m r – m žeme ešit konvolucí – rozmazává hrany
- p es více (n) obraz :
f (i, j )
$1 1 1!
$1 1 1!
1"
1 "
1 1 1 , zvýšení váhy st edu: h
1 2 1 nebo 4-soused :
9"
10 "
"#1 1 1
"#1 1 1
$1 2 1 !
1 "
2 4 2
h
16 "
"#1 2 1
h
5) pr m rování s omezením zm n
Povolení jen menších zm n mezi p vodním jasem a výsledkem pr m rování.
6) filtr s Gaussovým rozložením
- 1D Gaussovo (normální) rozložení: G ( x)
- 2D Gaussovo (normální) rozložení:
obrazu a
je
1
2
G ( x, y )
x2
e
2
2
x2 y2
1
2
2
e
2
2
, kde x,y jsou sou adnice
sm rodatná odchylka (udává velikost okolí, na kterém filtr pracuje)
Obr. 6.9. Gaussovo rozložení se st edem v (0,0) a =1 a odpovídající maska 5x5
) vyhlazování rotující maskou
Podle homogenity (nap . rozptylu) jasu hledá k filtrovanému bodu ást jeho okolí, ke
které pravd podobn pat í a tu pak použije pro výpo et = mírn ost ící charakter.
43
Obr. 6.10. Rotující masky
Algoritmus:
1. P es všechny body (i,j) obrazu
2. P es všechny pozice masky (9 pozic)
3. Výpo et rozptylu jasu O…okolí (MxN), n…po et bod masky
2
1
n (M ,N )
.
, g (i, j )
,
O-
+
1
g (i, j ) ))
n ( M ,N ) O
*
2
4. Výb r pozice s nejmenším rozptylem
5. P i azení bodu (i,j) výstupního obrazu hodnotu aritmetického pr m ru jas
masky.
vybrané
7) medián
Medián íselné posloupnosti je íslo, které se po uspo ádání podle velikosti nachází
uprost ed této posloupnosti. Výhoda: redukuje rozmazávání hran; nevýhoda: poškozuje tenké
áry a o ezává ostré rohy.
6.2.3.2 Detekce hran, ost ení = gradientní metody
Zd razn ní vyšších frekvencí = zvýrazn ní obrazových element , kde se jasové funkce
náhle m ní (velký modul gradientu), ale bohužel i šumu. Hrana je ur ena velikostí a sm rem,
velikost hrany je shodná s velikostí gradientu obrazové funkce. Sm r hrany:
(g
. /g +
, )
- /x *
2
. /g +
,, ))
- /y *
2
0
. /g /g +
arctg,, / ))
- /y /x *
- parciální derivace v obrazech nahrazeny diferencemi:
2 i g (i, j )
g (i, j ) g (i 1, j )
2 j g (i , j )
g (i, j )
g (i, j 1)
- ost ení = úprava obrazu tak, aby v n m byly strm jší hrany:
f(i,j) = g(i,j) – C.S(i,j)
kde C … koeficient udávající sílu ost ení,
S(i,j) … strmost zm ny v ur itém bod , nap . gradient nebo Laplacián
1) operátory aproximující derivace obrazové fce pomocí diferencí = diskrétní konvoluce
- operátory invariantní v i rotaci = jedna maska: Laplace v, …
44
(2 g
/2g
/2x
/2g
/2 y
8
h4
$0
"1
"
"#0
1
0!
$1
"1
"
"#1
4 1 , h8
1
0
1
1!
8 1
1
1
Laplace v
- operátory neinvariantní = n kolik masek (rotace jedné): Roberts v, Sobel v, Prewitt v,
Kirsch v, …
h1
$1
"0
#
0!
, h2
1
$ 0 1!
" 1 0 ,
#
h1
$1
"0
"
"# 1
2
1!
0 , h2
0
2
1
Roberts v
h1
$1
"0
"
"# 1
1
0
1
1!
0 , h2
1
$0
" 1
"
"# 2
1
2!
0
1 , ...
1 0
Sobel v
$0
" 1
"
"# 1
1
1!
0
1 , ...
1 0
h1
$3
"3
"
"# 5
Pr ewit v
3
0
5
3!
3 , h2
5
$3
" 5
"
"# 5
3
3!
0
3 , ...
5 3
Kirsch v
5) hledání hran v místech, kde druhá derivace prochází nulou
- operátory Marra a Hildretové, Cannyho hranový detektor
- druhá derivace hledána pomocí filtru s Gaussovým rozložením G a Laplaceova operátoru:
( 2 (G * g )
(( 2 G ) * g
0
- derivace Gaussova filtru ( 2 G lze spo ítat p edem analyticky (nezávisí na konkrétním
obraze).
6.2.4 Restaurace obrazu
Snaha o potla ení porušení obrazu na základ znalosti charakteru poruchy nebo jejího
odhadu. ím lepší je znalost degradace, tím lepší jsou výsledky, proto se degradace modelují.
Modely poruch se d lí:
- apriorní – parametry poruchy jsou známy nebo je lze získat p ed obnovením (nap .
ohodnocení vlastností snímacího za ízení, rozmazání – modelujeme sm r a rychlost
pohybu, …)
- aposteriorní – znalosti o poruše jsou získávány až analýzou degradovaného obrazu
(ur ování charakteru poruch vyhledáváním osam lých bod nebo p ímek v obraze a
nalezením odpovídající p enosové funkce po degradaci, odhadování spektrálních
vlastností šumu v oblastech obrazu, o kterých víme, že jsou pom rn stejnorodé, …)
P íklady filtr :
&
inverzní filtr
&
Wiener v filtr
&
Kalman v filtr
45
6.2.5 Matematická morfologie
-
Používá se pro:
p edzpracování (odstran ní šumu, zjednodušení tvaru objekt )
zd razn ní struktury objekt (kostra, zten ování, zesilování, výpo et konvexního
obalu, ozna ování objekt )
popis objekt íselnými charakteristikami (plocha, obvod, projekce)
úlohu vyhodnocení obrazu geometrizuje
základem jsou tvar objekt a transformace, které ho zachovávají
jsou realizované jako relace obrázku s jinou menší bodovou množinou = strukturní
element – elementem systematicky pohybujeme v obraze:
&
dilatace a eroze
&
otev ení a uzav ení
6.3 Segmentace obrazu
Cíl segmentace:
&
roz lenit obraz do ástí, které souvisí s p edm ty i oblastmi reálného sv ta = odd lení
objekt od pozadí, analýza obsahu obrazu
&
obraz chystáme pro další krok = popis
&
redukce dat
Problémy segmentace:
&
nejednozna nost obrazových dat
&
informa ní šum
&
r zné metody nebo metoda s r znými parametry (po átek, práh) dávají r zné výsledky
Segmentace:
- kompletní – segmenty korespondují s objekty
- áste ná – segmenty nemusí p ímo korespondovat s objekty
Segmentace vychází z: - globální znalosti obrazu
- ur ování hranic mezi oblastmi
- vytvá ení oblastí
D lení metod segmentace:
1. Segmentace prahováním
2. Segmentace na základ detekce hran
3. Segmentace nar stáním oblastí
4. Segmentace srovnáním se vzorem
- sledování hranice
- heuristické sledování hranice
- ur ování hranice s využitím znalosti o poloze
- spojování oblastí
- št pení oblastí
- št pení a spojování
6.3.1 Segmentace prahováním
Objekty i oblasti jsou charakterizovány konstantní odrazivostí i pohltivostí svého
povrchu – barva, jas. Objekt a pozadí mají rozdílné vlastnosti.
Prahování:
- transformace vstupního obrazu g na výstupní binární obraz f s prahem T:
46
f(i,j) = 1 pro g(i,j) 9 T
0 pro g(i,j) : T
- prahování s prom nným prahem
- prahování s více prahy
Zp soby ur ení prahu – z histogramu
Histogram – závislost relativních etností jednotlivých jas na t chto jasech,
6.3.1.1 Procentní prahování
Nap . tišt ný text pokrývá 20 % plochy stránky = zvolím takovou hodnotu prahu T tak,
aby práv 20 % plochy histogramu m lo úrove jasu menší než T.
6.3.1.2 Z tvaru histogramu
Obr. 6.11. Ur ení prahu z histogramu
6.3.2 Segmentace na základ hran
Využívá se bu nalezení hran n kterým z hranových operátor (p edzpracování) nebo
apriorní informace (víme p edem n co o objektech nap . p ibližný tvar nebo barvu) – lepší
segmentace, ov ení kvality segmentace. Problémy: absence hran tam, kde hranice probíhá;
výskyt hran tam, kde hranice být nemá.
6.3.2.1 Sledování hranice
Není znám tvar hranice, ale v obraze jsou ur eny oblasti:
Obr. 6.12. Sledování hranic v osmi-okolí
6.3.2.2 Heuristické sledování hranice
Využívá postup prohledávání graf , hrany jsou spojovány do et z lépe odpovídající
pr b hu hranic.
47
graf = struktura sestávající z množiny uzl {ni} a z orientovaných spojnic mezi uzly
{ni,nj}, hrany mohou být i ohodnoceny (cena – nap . velikost zm ny jasu, délka hrany atd.).
generování grafu – soubor pravidel na základ
v každém bod obrazu.
údaj
o velikosti a sm ru hrany
Obr. 6.13. Generování orientovaného grafu, relaxace hran
Prohledávání grafu – zjednodušení, ucelení grafu – relaxace hran, hledání nejkratší
cesty, cesta s nejmenší cenou atd.
Relaxace hran: cílem je vytvo it souvislé hranice, všechny vlastnosti hranice v etn té,
zda hrana má i nemá existovat, jsou postupn itera ním zp sobem zp es ovány, dokud není
hranový kontext zcela z ejmý. Podle pozice a velikosti hran ve vhodn zvoleném okolí se
v rohodnost každé hrany bu zv tšuje, nebo zmenšuje.
V rohodnosti hran:
0-0, 0-1, 0-2, 0-3 negativní
1-1
pozitivní
1-2, 1-3
st edn pozitivní
2-2, 2-3, 3-3 nemá vliv na relaxaci
Obr. 6.14. Definice hran pro relaxaci
6.3.2.3 Ur ování hranice s využitím znalosti o její poloze
1) máme informace o p edpokládané nebo pravd podobné poloze a tvaru hranice
- skute ná hranice je hledána jako poloha významných hranových bun k v blízkosti
p edpokládaného umíst ní hranice s podobným sm rem, nalezené bu ky jsou proloženy
vhodnou aproxima ní k ivkou
5) známe po áte ní a koncové body hranice
- iterativn postupn d líme spojnice již detekovaných sousedních element hranice a
vyhledáváme další hrani ní elementy na normálách vedených st edy spojnic (zlatý ez).
6.3.2.4 Vyhledávání hranic pomocí Houghovy transformace
- známe tvar a velikost p edm tu
- eší problémy zkosení, nato ení a zm ny rozm r p edm tu
- necitlivost výsledku segmentace na nedokonalá data, šum apod.
48
6.3.3 Segmentace nar stáním oblastí
Snaha o roz len ní obrazu do maximálních souvislých homogenních (z hlediska
zvoleného parametru) oblastí. Kritérium homogenity – jasové vlastnosti, textura, barva.
6.3.3.1 Spojování oblastí
Algoritmus:
1. Definuj po áte ní rozd lení obrazu do velkého množství malých oblastí (nejlépe jen
bod).
2. Definuj kriterium spojování dvou sousedních oblastí.
3. Spojuj sousední oblasti vyhovující kritériu. Pokud již nelze spojit žádné dv oblasti
bez porušení kritéria, skon i.
Obr. 6.15. Spojování oblastí
R zné výsledky pro r zné:
-
definice po áte ních oblastí
-
kritéria
-
po átky spojování
-
po adí p edkládaných oblastí
-
postupy spojování
6.3.3.2 Št pení oblastí
- principieln opa ný p ístup než spojování
- na za átku je jediná oblast (celý obraz) a ten se pak d lí dokud podoblasti nespl ují
kritérium
- št pení a spojování mohou dávat r zné výsledky
6.3.3.3 Št pení a spojování
- využívá pyramidální reprezentaci obrazu – št pení a spojování je realizováno v rámci
tvercových oblastí pyramidální datové struktury
- je-li oblast v dané úrovni pyramidy nehomogenní -> oblast je rozd lena na ty i podoblasti
- jsou-li oblasti navzájem homogenní -> dojde ke spojení do jedné
49
Obr. 6.16. Št pení a spojování
6.3.4 Segmentace srovnáním se vzorem
Vyhledávání známých objekt nebo jen nap . vzor , textury, geometrických útvar
v obraze pomocí srovnání se vzorem. Nikdy nem žeme o ekávat absolutní shodu – šum,
zkreslení atd. => hledáme jen maximum vhodného kritéria a to pro všechny možné
transformace obrazu (nato ení, zm na m ítka, zkreslení,…)
- metody:
- vzájemná korelace,
- srovnání graf vytvo ených podle vlastností sledovaných objekt ,
- hledání shody ástí obrazu s jen jednotlivými ástmi vzoru, …
6.3.5 Sub-pixelové ur ení hranice
I p esto, že je rozlišení obrazu omezeno digitalizací do kone né m ížky MxN pixel , lze
ur it hrany s vyšší p esností než jeden pixel. Nap .: hrana je definována jasovou úrovní > 100
(jen pro ilustraci, v tšinou bývá hrana definována nap . jako polovina z inflexe).
Obr. 6.17. Sub-pixelové ur ení hrany
50
7 Integrální transformace obrazu (Richter)
Kapitola bude dopln na v akademickém roce 2008/2009.
7.1 Fouriérova transformace
Fouriérova transformace.
7.2 Rychlá Fouriérova transformace
Rychlá Fouriérova transformace.
7.3 Diskrétní kosinová transformace
Diskrétní kosinová transformace.
7.4 Waveletová transformace
Waveletová transformace.
51
8 Formáty komprese (Petyovský)
8.1 Rozd lení zobrazovacích médii
&
&
Podle typu zobrazení:
Trvalé zobrazení (tiskárna, plotter)
Do asné zobrazení (monitor, LCD panel)
&
&
&
&
Podle fyzikálního principu zobrazení:
Katodová obrazovka
Plazmový panel
LCD panel
LED panel
Podle barevné hloubky zobrazení:
&
&
&
Binární ( erná / bílá)
Šedotónové (stupn šedé)
Barevné (RGB, CMYK, další barevné modely)
Podle charakteru zobrazení:
&
&
&
Rastrové zobrazení (monitor, tiskárna)
Vektorové zobrazení (plotter, osciloskop, laserové zobrazova e)
Trojrozm rné zobrazení (holografie, 3D brýle)
8.2 Reprezentace grafiky v pam ti po íta e
Obr. 8.1. Obrazová funkce v pam ti po íta e
52
8.3 Rastrové zobrazení
Uspo ádání barevného rastrového obrazu v pam ti po íta e do BitPlán (BitPlanes)
nej ast ji dle RGB.
Obr. 8.2. Barevný rastrový obraz - bitplán
Uspo ádání barevného rastrového obrazu v pam ti po íta e s využitím paletových
registr .
Obr. 8.3. Barevný rastrový obraz – barevná paleta
8.4 Vektorové zobrazení
Obr. 8.4. Vektorová reprezentace obrazu
Vektorový popis obsahuje pouze parametry základních grafických primitiv. (k ivek,
p ímek, kružnic, elips atd.) mezi které pat í:
&
&
&
&
umíst ní, zkosení, rotace
parametry grafických primitiv (umíst ní, polom r, poloosy atd. )
barva
tlouš ka ar
53
8.5 Komprese rastrového obrazu
Základní d lení kompresních metod:
&
&
&
&
Ztrátové (JPEG, Fraktální komprese, MPEG)
Neztrátové
Primární (RLE, LZW, LZ77)
Sekundární (Huffmanova, Aritmetická komprese).
&
&
D lení podle výpo etní náro nosti:
Symetrické
Asymetrické
&
&
D lení podle po tu pr chod :
Jedno-pr chodové
Více-pr chodové
8.5.1 Komprese RLE
Primární kompresní metoda, tak ka symetrická. Jednoduchá a pro velkou t ídu obrázk i
efektivní metoda, vychází z p edpokladu, že v rastrovém obrázku, vzniklém jako kresba í
skica, se opakují hodnoty sousedních pixelu. Tehdy do souboru zapíšeme nejprve po et
opakujících hodnot a poté hodnotu samotnou. Nap íklad p i kódování pixel definovaných
jedním bytem rozlišíme p íznak opakování hodnotou nejvyššího bitu:
Obr. 8.5. Komprese metodou RLE
Popis algoritmu:
1. Vynuluj íta
2. Do prom nné BarvaA p i a hodnotu pixelu.
3. Dokud jsou na vstupu pixely, opakuj:
3.1 Do prom nné BarvaB p i a hodnotu dalšího pixelu
3.2 Pokud BarvaA == BarvaB a zárove hodnota íta e nep esáhla maximální hranici
(danou velikostí bytu, slova), pak íta = íta +1 Jinak:
Zapiš íta a BarvaA na výstup
Do prom nné BarvaA p i a hodnotu BarvaB
Vynuluj íta
4. Zapiš íta a BarvaA na výstup
54
V p ípad , že kódovaný obrázek obsahuje neopakující se hodnoty v sousedních
pixelech, dochází u metody RLE k záporné kompresi. Komprese RLE je vhodná pro obrázky
kreslené ”od ruky” nebo tzv. ”Cartoons” – ilustrace s v tšími stejnobarevnými plochami.
8.5.2 Komprese LZ77/LZW
Primární kompresní metoda, asymetrická. P vodní myšlenka pochází z roku 1977 A.
Lempel, J. Ziv. Metoda LZ77 bývá n kdy v literatu e ozna ovaná i jako LZSS. Metoda se
snaží nalézt ve vstupních datech opakující se sekvence symbol a ty na výstup p edat ve
form odkazu na p edchozí (již odeslaná) data.
Odkazem je myšlen údaj o pozici opakující se sekvence v p edchozích datech. Druhým
d ležitým parametrem odkazu je délka opakující se sekvence. V praxi je navíc nutné odlišit
b žná data od odkaz , abychom p i dekompresi byli schopni data správn dekódovat.
Možností je n kolik, b žn používanou je rozší ení symbolu o další bit, který rozhodne,
zda jde o data nebo odkaz (pozice, délka). Metoda je jedno-pr chodová což je výhodná
vlastnost, zvlášt p i kompresi velkého objemu dat na hardwarové úrovni. Metoda je siln
asymetrická, výpo etní náro nost p i kompresi je možné snížit použitím binárního
vyhledávácího stromu.
P íklad: m jme vstupní soubor o obsahu:
”the_rain_in_Spain_falls_mainly_in_the_plain”
Výsledný komprimovaný soubor bude:
” the_rain_<3,3>Sp<9,4>falls_m<11,3>ly_<16,3><34,4>pl<15,3>”
Metoda LZW – metoda LZ77 modifikována v roce1984 T. Welchem. Vzniklá metoda
LZW bývá n kdy ozna ovaná jako dictionary based encoding. Metoda je patentována.
Princip vyhledání d íve se opakujících sekvencí z stala zachována, modifikován je
zp sob kódování. Metoda používá místo odkaz (pozice, délka) odkaz na položku slovníku,
který je p i kompresi vytvá en a který neustále nar stá. Základní velikost je 512 položek a
maximální velikost slovníku bývá v tšinou 4096. Po té je slovník smazán a metoda op t
za íná se slovníkem velikosti 512 položek. Modifikací metody je systematické promazávání
nejdéle nepoužitých slov ve slovníku. Metoda je také jedno-pr chodová, nesymetrická.
8.5.3 Huffmanova kompresní metoda
Sekundární kompresní metoda. Myšlenka kódování pochází z roku 1952 od D.
Huffmana je založena na použití r zn dlouhých bitových kód pro symboly s r znou
frekvencí výskytu. V praxi používána dávno p ed r. 1952 nap . Morseovka (nej ast ji
používané vstupní symboly mají nejkratší výstupní kód). Principem je vytvo ení binárního
stromu na základ znalosti frekvencí výskytu jednotlivých symbol ve vstupním souboru.
Tabulka 8.1. etnosti výskyt symbol
Vstupní symbol Po et výskyt
A
10
B
20
C
30
55
Obr. 8.6. Huffmanovo kódování
Tabulka 8.2. Výstupní et zce pro vstupní symboly
Vstupní symbol
A
B
C
&
&
&
Délka výstupního et zce Výstupní et zec
2
00
2
01
1
1
Pro dekompresi je nutné znát tvar bin. stromu proto je nutné:
Strom ke komprimovaným dat m p ipojit
Strom je fixn dán a je znám dop edu.
Lze využít tzv. dynamickou tvorbu bin.stromu není nutné jej p enášet, ale menší
kompresní pom r.
8.5.4 Diskrétní kosinová transformace (DCT)
Nejedná se p ímo o kompresní metodu, pouze o transformaci dat. Diskrétní kosinová
transformace je formou diskrétní Fourierovy transformace. Obrazová data jsou považována za
barevné vzorky spojitých barevných signál nam ené v diskrétní síti pixel .
Výsledkem DCT je pak nalezení sady parametr kosinových funkcí, jejichž složením
lze rekonstruovat p vodní obraz. Rozklad na jednotlivé signály je výsledkem dop edné
transformace (FDCT), která je vlastn p evodem do tzv. oblasti prostorových frekvencí.
Zp tná transformace (IDCT) je potom rekonstrukcí z frekven ní oblasti prostorových
frekvencí.
Postup: obrazová data jsou rozd lena do tverc 8x8. Každý tverec je podroben
samostatn DCT. Výsledkem je 8x8 koeficient F(u,v) získaných výpo tem z hodnot pixel
f(x,y) podle vztahu:
pro tzv. DC len (pro u,v=0), všude jinde (tj. AC leny C(u)=C(v)=1)
Zp tná (inverzní) transformace má tvar:
56
Hodnoty získané dop ednou transformací
necelo íselné, což je d ležité pro JPEG.
celo íselných
vstupních
dat
jsou
8.6 Grafické formáty
8.6.1 Formát PCX
Autor: Zsoft PaintBrush.
Komprese: RLE nebo nekomprimovan .
Jeden z nejstarších formát , stále zna n rozší en pro svou jednoduchost. Umož uje
ukládat obrázky v r zných barevných hloubkách od ernobílých až po 8 nebo 24 bit /pixel.
Bitplánové uspo ádání.
8.6.2 Formát GIF
Autor: CompuServe.
Komprese: LZW.
Formát z doby prvních VGA videokaret, specializovaný na obrázky z paletou p ípadn
s jedním bitem na pixel. P vodn ur en k p enosu obrázk po telefonních linkách. Existuje ve
dvou verzích G87a , G89a vylepšení pro WWW. Základní charakteristiky:
&
&
&
&
Možnost tvo it animované sekvence (bannery)
Možnost prokládání ádk .
Definice pr hledné barvy
Uložení dalších dopl kových údaj .
Omezení na max. po et 256 barev je však kritickým faktorem pro jeho použití
v budoucnu, za íná jej nahrazovat formát .PNG.
8.6.3 Formát PNG
Autor: ISO (Portable Network Graphics).
Komprese: LZ77
Všechny bitové hloubky. Zavádí pojem p edzpracování pixelu p ed samotnou kompresí.
Má všechny vlastnosti formátu .GIF a mnohé další nap . dokáže ukládat obrázky v barevném
modelu RGBA. V budoucnu pravd podobn nahradí .GIF.
8.6.4 Formát .JPEG
Autor: Joint Photograhics Experts Group.
Komprese: DCT, Kvantizace (nevratná ztráta informace), Hoffman.
57
Formát s vynikajícím kompresním pom rem 25:1, vhodný pouze pro snímky s v tší
bitovou hloubkou (více než 8 bit na pixel). Využíván všude tam, kde je t eba dosáhnout
velkého kompresního pom ru, a nevadí rušivé artefakty vzniklé ztrátovou kompresí.
Postup komprese:
Obr. 8.7. Kompresní metoda JPEG
8.6.5 Formát TIFF
Autor: CCITT.
Komprese: Všechny b žn používané komprese.
Velice univerzální, velmi složitý formát. Dnešní verze TIFF 6.0. Formát využívaný pro
profesionální práci s rastrovými snímky. A koliv je jasn a dob e dokumentovaný, mezi
b žnými uživateli panuje ned v ra ke kompatibilit souboru TIFF, i když jsou stejné verze.
Tento fakt je zp soben tím, že škála možností zápisu formátu je tak široká, že jen málokterý
program dokáže interpretovat všechny povolené varianty. Tvrdí se, že: ”Každý umí zapsat
sv j TIFF, ale málokdo umí íst jiný, než práv ten sv j”.
58
8.7 Komprese digitálního videa
Videem se rozumí sekvence obrázk , jdoucích rychle za sebou. Je-li frekvence vyšší
než 16 Hz, není lidské oko schopné je od sebe odlišit, ili vzniká iluze pohybu. Pokud má
snímek velikost 320x240 bod s 24 bitovou barevnou hloubkou, budeme pot ebovat pro jeho
uložení 225KB (320*240*3/1024). P i použití 25 snímk za sekundu bude již pot eba pro
uložení jedné sekundy videa p ibližn 5,5MB. To je zna ný objem dat, se kterým je nutné
manipulovat. Proto pot ebuje datový tok výrazn zmenšit, k emuž slouží r zné druhy
kompresních algoritm (bezeztrátové a ztrátové).
8.7.1 Bezeztrátové kompresní metody
8.7.1.1 RAW
Video se ukládá naprosto bez komprese, což vede k neúnosným datovým tok m a
velkému objemu uložených dat. P i rozlišení obrazu 720x576 (plný PAL), 25 snímcích za
vte inu a 24 bitech na pixel, je výsledný datový tok:
29,7MB/s !
8.7.1.2 HuffYUV
Tento kodek využívá Huffmanova kódování, kdy se asto používané symboly nahrazují
kratšími kódy. Typicky dosahuje úrovn komprese 2,5:1. Díky své rychlosti a beze-ztrátovosti
je pom rn hodn používán.
8.7.2 Ztrátové kompresní metody
MPEG - historie MPEG ( te se jako M-peg) je zkratkou pro Moving Picture Coding
Experts Group, což je ozna ení dané rodiny mezinárodních standard používaných pro
kódování audio-vizuální informace v digitáln komprimovaném formátu. Rodina MPEG
standard obsahuje MPEG-1, MPEG-2 a aktuální MPEG-4, formáln známé jako ISO/IEC11172, ISO/IEC-13818 a ISO/IEC-14496. MPEG je p vodn ozna ení dané skupin expert ,
která vyvíjela tento standard. Tato skupina byla ustanovena v roce 1988.
8.8 Standardy digitálního videa
8.8.1 MPEG-1
MPEG-1 standard, ustanoven v roce 1992, je navržen k vytvá ení dostate né kvalitních
snímk a zvuku p i nízkém datovém toku. Navržen byl pro práci s videem o rozlišení
352x288 bod a 25 snímk /s p i datovém toku 1.5Mbit/s, (ale umož uje práci až s rozlišením
4095x4095 pixel p i 30 snímcích / s). Norma MPEG-1 obsahuje ty i ásti:
&
IS 11172-1 (System): Popis synchronizace a multiplexování obrazu a zvuku.
&
IS 11172-2 (Video): Popis komprese neprovázaných video snímku.
&
IS 11172-3 (Audio): Popis komprese zvuku.
&
59
IS 11172-4 (Compliance Testing): popis testování shody p enesených dat s daty
p vodními.
8.8.1.1 Audio
IS 11172-3 normy MPEG-1 popisuje kompresi audio signálu. Existují t i kódovací
schémata nazývaná Layer 1 až 3. Rostoucí íslo "vrstvy" vyjad uje zvyšující se kvalitu zvuku
a tím i v tší složitost kódovacího procesu. Každá vrstva má specifikován formát datového
toku a dekodér. V souladu se zvyšující se náro ností a složitostí použitého algoritmu se
zvyšujícím se íslem vrstvy je použita hierarchická kompatibilita vrstev. Z toho plyne, že
dekodér postavený na ur itou vrstvu je schopen dekódovat i vrstvu s nižším íslem. MPEG-1
Layer-3 formát je více znám jako MP3.
8.8.1.2 Video
Formát MPEG používá diskrétní kosinovou transformaci (DCT) obdobn jako JPEG.
Snímky jsou rozd leny do t í skupin:
I-frame (intraframe)
– b žný snímek
P-frame (predictive)
nebo P-snímkem
– rozdílový snímek mezi b žným snímkem a p edchozím I
B-frame (bi-directional)
snímky.
– rozdílový obrázek mezi dv ma nejbližšími I
i P-
Každý snímek je samostatn komprimován pomocí DCT (JPEG), nejmenší komprese se
dosahuje u I-snímk , nejlepší u B-snímk . Typicky jsou objemy snímk I:P:B po kompresi
v pom ru 15:5:2. S praktických d vod jsou snímky kódovány v p esn definovaných
posloupnostech s periodou 12 snímk : I B B P B B P B B P B B I tak, aby se každé 0.4
sekundy objevil jeden I-snímek.
Vzhledem k tomu, že B-snímky jsou vztaženy k okolním snímk m, není p i p enosu i
zápisu dat do souboru dodrženo uvedené po adí snímk . První ást posloupnosti I1 B2 B3 P4
B5 B6 P7 B8 B9 P10 B11 B12 I13 je zapsána jako I1 P4 B2 B3 P7 B5 protože pro zobrazení
mezilehlých snímk B2 a B3 je pot eba znát snímek P4.
8.8.2 MPEG-2
MPEG-2 standard, ustanoven v roce 1994, byl navrhnut k vytvá ení vysoce kvalitních
snímk p i vyšších datových tocích. MPEG-2 není nutn lepší než MPEG-1, dokonce MPEG2 p i nižších datových tocích (odpovídajících MPEG-1) nedává stejnou kvalitu obrazu jako
MPEG-1. Na rozdíl ale od svého p edch dce p ináší podporu pro prokládané snímky (p lsnímky) a možnost využít prom nlivý datový tok. MPEG-2 definuje ty i úrovn komprese
(level), ur ené maximálním rozlišením snímk , maximálním po tem snímku za sekundu a
maximálním datovým tokem:
Tabulka 8.3. Úrovn komprese standardu MPEG-2
Level
Max. ší ka [pixely] Max. výška [pixely] Max. snímk [Hz] Max. dat. tok, [Mbit/s]
Low
352
288
30
4
Main
720
576
30
15
High-1440
1440
1152
60
60
High
1920
1152
60
80
60
8.8.3 MPEG-4
Vývoj MPEG-4 standardu byl zahájen v roce 1995 a dokon en koncem roku 1998 (ISO
14496). P vodn byl ur en pro velmi nízké datové toky, nyní umož uje kódování od velmi
nízkých datových tok (2 Kbit/s pro zvuk, 5 Kbit/s pro video) do velmi vysokých (5 Mbit/s
pro video, 64 Kbit/s na kanál pro audio CD kvalitu). Není to již p esná definice komprese a
komprima ních algoritm , nýbrž množina parametr a vlastností, které musí kompresor
spl ovat, aby byl MPEG-4 kompatibilní. Norma definuje osm ástí, z nichž n které jsou stále
ješt ve vývoji.
&
ISO/IEC 14496-1 (Systems)
&
ISO/IEC 14496-2 (Visual)
&
ISO/IEC 14496-3 (Audio)
&
ISO/IEC 14496-4 (Conformance)
&
ISO/IEC 14496-5 (Reference Software)
&
ISO/IEC 14496-6 (Delivery Multimedia Integration Framework)
&
ISO/IEC 14496-7 (Optimised software for MPEG-4 tools) - stále ve vývoji
&
ISO/IEC 14496-8 (4 on IP framework) - stále ve vývoji
MPEG-4 popisuje složky sluchové, vizuální a audiovizuální, nazývané ”media objects”.
Tyto mediální objekty mohou mít p írodní nebo um lý p vod, ímž se myslí, že mohou být
uloženy pomocí kamery nebo mikrofonu, nebo generované po íta em. Spojením t chto
objekt vznikají ucelené celky, které popisují audiovisuální scénu. Generování scény m že
vypadat nap íklad takto:
&
&
&
&
&
umíst ní mediálních objekt kamkoliv na scénu vymezenou sou adnicovým systémem
aplikace transformací pro zm nu geometrických a akustických vlastností objektu
spojení primitivních mediálních objekt a tím i vytvo ení ucelen jšího objektu
aplikace datového toku na mediální objekty pro zm nu jejich vlastností (nap íklad
zvuk, pohyblivou texturu náležící objektu, anima ní parametry ídící um lou tvá atd.)
m ní se interaktivn sm r pohledu uživatele a poloha zdroje zvuku kdekoliv ve scén .
Dále je zabezpe en výb r a synchronizaci dat, spojených s t mito objekty. Umož uje
navíc r zné zp soby interaktivity a obsahuje podporu pro správu a ochranu duševního
vlastnictví.
8.9 P íklady formát digitálního videa
8.9.1 DivX 3.11a Alpha
V roce 1999 vytvo il MS Windows Media Tools 4, které obsahovaly t i kodeky MPEG4 ozna ené V1, V2, V3. V p vodní beta verzi bylo možné používat .avi soubory, ve finální
pouze nový formát ASF. DivX 3.11a Aplha je nelegální a upravená verze kodeku ASF MSMPEG4v3, kde je povolené op tné užívání AVI soubor . Vznikly dva kodeky Slow motion a
Fast motion. Jak již název napovídá, byla pouze zm n na distribuce bitratu. U Fast motion se
61
u scén s malým pohybem snižoval bitrate daleko více, takže u rychlých scén bylo možné
použít v tší a tím i zvýšit kvalitu.
8.9.2 DivX 5.x
V roce 2000 se p vodní autor DivX 3.11a s n kolika dalšími programátory vytvo il
projekt OpenDivX (nazývaný také Project Mayo), který m l nahradit dosavadní nelegální
DivX a vytvo it kodek MPEG-4, který bude open source a do jeho vývoje se mohl zapojit
kdokoliv. Postupem asu založili vlastní firmu DivX Networks, jejíž výsledkem byl vlastní
kodek DivX 4, založený na OpenDivX, kompatibilním se starým DivX 3, již ale nebyl open
source. Jeho kvalita byla o n co horší, než DivX 3, šlo ale o pln legitimní projekt. Další
verze p išly s výrazným zlepšením enkódování a kvalitativn se dostaly až na úrove DivX3
(a tedy MS MPEG-4 V3), kodek byl stále freeware.
Za átkem b ezna 2002 pak p išla verze 5.0, která má další vylepšení v kvalit , ovšem
vlastn jen v placené verzi DivX Pro. Základní verze je stále zdarma, z stává však
kvalitativn na úrovni p edchozí, obsahuje ale r zné optimalizace pro zvýšení rychlosti plus
pár v cí navíc. Novinkou je také nový formát soubor DivX, který by m l ešit problémy se
synchronizací zvuku v AVI.
8.9.3 XviD
Open source kodek, p vodn vycházející z DivX (pozpátku XviD). Jakmile byl projekt
OpenDivX p eveden do komer ní báze, jejímž výsledkem byl kodek DivX4, skupina open
source vývojá se rozhodla opustit OpenDivX a založit vlastní kodek, zp tn kompatibilní
s DivX.
8.9.4 MJPEG
Na rozdíl od MPEG formátu se jedná pouze o sekvenci snímk pop ípad p lsnímk ,
které jsou nezávisle na sob komprimovány pomocí stejným principem, jako snímky u
MPEG-1.
8.9.5 ASF
ASF je zkratka pro Advanced Streaming Format. Jedná se o chrán ný formát vyvinutý
firmou Microsoft pro streaming videa podporující DRM. V tšina ASF soubor je založena na
Microsoft MPEG-4 V2 technologii. Maximální rozlišení je 352x288 bod .
8.9.6 QuickTime
Nejedná se jen o formát, ale o vlastní video platformu (založenou na MPEG-4),
vytvo enou firmou Apple. Oblíben na internetu, umož uje streaming.
8.9.7 VCD (video CD), SVCD (super video CD)
Formáty ur ené k ukládání videa na CD.
VCD využívá MPEG-1 p i rozlišení 352x280a konstantním datovém toku. Maximální
délka videa uložená na VCD je cca. 74minut.
62
SVCD využívá MPEG-2 p i rozlišení 480x576 a variabilní datový tok. Maximální délka
videa uložená kolísá mezi 35 – 70 minutami. SVCD umož uje uložit šesti-kanálový zvuk.
(5+1).
Oba formáty umož ují definovat interaktivní nabídky (menu).
8.9.8 DVD (digital versatile disc)
Využívá formát MPEG-2 ale navíc definuje strukturu adresá a další vlastnosti
(zvukové a titulkové stopy, menu) kterými je samotné MPEG stream “obalen”. Celé DVD
tedy neobsahuje žádný soubor .MPG, ale pouze soubory : .IFO, .VOB, .BUP.
8.9.9 Blue-Ray, HD DVD, VMD
Využití laserového paprsku o kratší vlnové délce, umožnilo navýšit, kapacitu nových
datových medií oproti DVD a umožnilo ukládat HD (High Definition) video (1920x1080).
Kapacita nových medií dosahuje 25-50Gb. V sou asné dob jsme sv dky boje standard
Blue-Ray (Sony), HD DVD (Toshiba). Další alternativou je VMD (Versatile multilayer disc).
9 Morfologie obrazu (Horák)
63
64
10 Detekce a parametrizace geometrických tvar (Kalová)
10.1 Houghova transformace
Jedná se o metodu pro nalezení objekt v obraze, u níž je t eba je t eba znát analytický
popis tvaru hledaného objektu – detekce známého jednoduchého tvaru (p ímka, kružnice,
elipsa, trojúhelník). Lze ji ale použít i tam, kde není možný jednoduchý, analytický popis
objektu – detekce libovolného tvaru – zobecn ná Houghova transformace (generalized HT).
- vyhledávání hranic nebo ur ování orientace objek
- nejvhodn jší aplikace na binární (naprahovaný) vyhranovaný snímek
- mapování bod na k ivky (do prostoru p íznak a naopak); s ítací bu ky : s ítají kolik
bod pat í k p ímce.
Výhody:
- málo citlivý na šum
- necitlivý k porušení hranic
- použitelné i p i áste ném zakrytí objekt
Nevýhody:
- problém p esnosti – blízké rovnob žné áry m žou vlivem diskretizace vytvo it jen jedno
maximum
- zkreslení „zak iví“ p ímky ve výsledku n kolik maxim = n kolik p ímek.
- ne íká nic o po átku a konci k ivek, nap . získáváme p ímky místo úse ek
- rychlost, pracnost – vícenásobné vno ené cykly – snaha snížit výpo etní náro nost
– RHT (randomized HT) Monte Carlo – náhodný výb r bod
– pyramidy – postupné zp es ování (v „zajímavých“ oblastech) – každá další má
polovi ní rozlišení, kvadrantové stromy
10.1.1 Detekce p ímek
Rovnice p ímky nap íklad ve sm rnicovém tvaru y k x q je mén vhodná, protože
intervalem možných hodnot parametru k (sm rnice) je celá množina reálných ísel, p ímka se
mapuje na bod, bod na p ímku.
Obr. 10.1. Reprezentace p ímky v prostoru (x,y) a prostoru (k,q)
65
Rovnice v normálovém tvaru r x cos
y sin , kde r je délka normály p ímky od
po átku, je úhel mezi normálou a osou x, p ímka se mapuje na bod, bod na k ivku; interval
hodnot nap .
;0;360 <) a r ;0;velikost úhlop í ky obrázku):
Obr. 10.2. Reprezentace p ímky v prostoru (x,y) a prostoru ( ,r)
Algoritmus:
1.
Pro všechny body binárního snímku hran I, pro které I(x, y) = 1 a pro úhly
x cos
y sin
- ur i r : r
- do akumulátoru H o rozm rech
2.
=0 : 359;0 :
x2
y2
>
od 0 do 359:
na pozici ,r p i ti jedni ku
Nalezni maximum (maxima) akumulátoru H
Obr. 10.3. Originální snímek a snímek hran jako vstup HT
Obr. 10.4. Hough v prostor maxim a p vodní snímek s nalezenými p ímkami
66
10.1.2 Detekce kružnic
Nej ast ji pracuje s rovnicí: ( x a ) 2 ( y b) 2
x a r cos1
kružnice:
y b r sin 1
r 2 nebo parametrickým vyjád ením
Hledané parametry jsou a, b a r => Hough v prostor má dimenzi 3, ímž vzr stá
výpo etní náro nost. Výhodou je apriorní znalost alespo jednoho parametru (nebo odhad =
omezení intervalu hledání).
Obr. 10.5. Detekce kruhových objekt (r=50 pxl) pomocí HT
10.1.3 Zobecn ná Houghova transformace
Zobecn ná Houghova transformace je ur ena pro objekty, které není možné jednoduše
analyticky popsat. Popis hranice hledaného vzoru je realizován pomocí explicitního seznamu
(LUT – look up table) všech bod hranice (tvaru) – pozice všech pixel relativn k n jakému
referen nímu bodu (p . t žišt ).
Obr. 10.6. Popis hranice obecného tvaru polohovými vektory
Algoritmus:
1. Pro všechny body binárního snímku I, pro které I(x, y) = 1 a pro každý pixel pi hranice vzoru:
2.
- ze seznamu získej relativní pozici bodu pi od referen ního bodu
- p idej tento offset k pozici pi
- inkrementuj tuto pozici v akumulátoru
Ur i lokální maxima v akumulátoru
Obr. 10.7. Sestavování Houghova prostoru
67
Obrázek nazna uje jednoduchý p ípad, kdy je uvažována pouze translace vzoru, pokud
chceme ešit i zm nu m ítka a rotaci, musíme p idat další dva parametry (dimenze, vno ené
cykly) – s (scale), 1 (nato ení – celého objektu).
10.2 Další segmenta ní metody
10.2.1 Vypl ování oblastí
Definice oblasti souvisí s popisem její hranice:
&
&
geometricky ur ená hranice – posloupnost bod definující mnohoúhelník
hranice nakreslená v rastru – libovolný tvar, nutná znalost barvy hranice nebo
vnit ních bod
Barevný p echod dvou barev, vypl ování vzorem, šrafování, vypl ování texturou.
10.2.1.1 Vypl ování geometricky ur ené hranice – ádkové vypl ování
Každým ádkem je vedená pomyslná ára a jsou hledány její pr se íky s hranicí oblasti,
nalezené pr se íky se se adí podle sou adnic x – dvojice pr se ík ur uje úse ky ležící uvnit
oblasti.
Obr. 10.8. Geometricky ur ená hranice objektu
Problémy s vrcholy a vodorovnými hranicemi, proto vhodn jší algoritmus:
1.
2.
3.
Pro všechny hrani ní úse ky ov :
a. je-li vodorovná, tak ji vynechej
b. uprav orientaci shora dol
c. zkra hranice zdola o jeden pixel
d. ur i mezní sou adnice celé hranice ymax a ymin
Pro všechna y od ymin do ymax prove :
a. nalezni pr se íky hrani ních úse ek s ádkem y
b. uspo ádej všechny pr se íky podle sou adnice x
c. vykresli úseky mezi lichými a sudými pr se íky
Vykresli hranici oblasti
Obr. 10.9. Kroky 1a, 1b a 1c algoritmu vypl ování oblasti
68
Obr. 10.10. Kroky 2a, 2b+c a 3 algoritmu vypl ování oblasti
10.2.1.2 Vypl ování hranice nakreslené v rastru – semínkové vypl ování
Základem je semínko – libovolný vnit ní bod (ur í uživatel nebo dané znalostmi o
oblasti). Hranice není jasn definována, všechny informace o oblasti se získávají pouze
z obrazu (z obrazové = rastrové pam ti). Od semínka se postupn rozši uje prohledávání
obrazové pam ti a nalezeným vnit ním bod m je p i azena nová barva. 4-spojitá x 8-spojitá
oblast, 4-spojitá x 8-spojitá hranice.
Obr. 10.11. Semínkové vypl ování – po áte ní body
&
&
&
Hrani ní vypl ování = bod je vnit ní, pokud má jinou barvu než hranice
Záplavové vypl ování (lavinové, p ebarvování) = bod je vnit ní, pokud má stejnou
barvu jako semínko
M kké vypl ování = bod je vnit ní, pokud má výrazn jinou barvu než hranice
(hranice byla vyhlazena a má nestejnou barvu)
a) Jednoduché semínkové vypl ování
Rekurzivní algoritmus – ší ení semínka do všech stran => prakticky nepoužitelné –
každý pixel je testován n kolikrát, mnohonásobné zano ení rekurze - možné ešit pomocí
zásobníku. Algoritmus – rekurze:
Seminko(x,y)
Je-li bod [x,y] vnit ní, pak:
1. obarvi bod [x,y] požadovanou barvou
2. prove Seminko(x+1,y)
3. prove Seminko(x-1,y)
4. prove Seminko(x,y+1)
5. prove Seminko(x,y-1)
b) ádkové semínkové vypl ování
Vyhledávání sousedních bod je provád no v jednom ádku pixel
bezprost edn nad ním a pod ním má smysl hledat nová semínka.
(úsek), pouze
69
Algoritmus – zásobník:
1.
2.
Vlož první semínko do zásobníku
Dokud není zásobník prázdný, opakuj:
a. vyjmi semínko se sou adnicemi [x,y] ze zásobníku
b. nalezni hranici xL a xR na ádku y v nejbližším okolí bodu [x,y]
c. nakresli úse ku [xL,y],[y,xR]
d. na vyšší úse ce [xL,y-1], [xR,y-1] hledej souvislé nevypln né vnit ní úseky a pro každý z nich
vlož do zásobníku sou adnici jednoho vnit ního bodu
e. na nižší úse ce [xL,y+1], [xR,y+1] hledej souvislé nevypln né vnit ní úseky a pro každý z nich
vlož do zásobníku sou adnici jednoho vnit ního bodu
Obr. 10.12. Postup ádkového semínkového vypl ování
10.2.1.3 Barvení oblastí
Obvyklá metoda – každou samostatnou souvislou oblast opat íme neopakujícím se
p irozeným íslem – pozadí má íslo 0, oblastem jsou p i azena ísla postupn od 1. Nejv tší
identifika ní íslo oblasti tedy udává po et oblastí v obraze.
Jiná možnost – použijeme menší po et identifika ních ísel – pouze zajistíme, aby
žádné dv sousední oblasti nem ly stejné identifika ní íslo. Teoreticky sta í ty i barvy
(resp. ísla). Pro identifikaci oblastí je pak t eba mít pro každou oblast uloženou informaci o
poloze n kterého jejího bodu.
Algoritmus:
1.
procházíme obraz po ádcích a každému nenulovému obrazovému elementu p i adíme hodnotu podle
hodnoty všech jeho již obarvených soused
- jsou-li všechny nulové, p i adíme bodu dosud nep id lenou barvu
- pokud je jeden nenulový, nebo je více nenulových, ale se stejnou barvou, p i adíme bodu tuto
jeho/jejich barvu
- pokud je více nenulových s r znou barvou, p i adíme bodu jednu z t chto barev a zaznamenáme
barvy do tzv. tabulky ekvivalence barev (došlo k tzv. kolizi barev)
Obr. 10.13. Sledované pixely pro 4 okolí a 8 okolí
Obr. 10.14. Kolize barev 4 okolí
Obr. 10.15. P íklady kolizních objekt
2.
projdeme znovu celý obraz po ádcích a p ebarvíme obrazové body kolizních barev podle tabulky
ekvivalence barev P .: kolize barev 7 a 9 = všechny pixely s barvou 9 p ebarvíme na 7 (po et oblastí
70
bude od zjišt ného ísla po prvním pr chodu o jednu nižší). Chceme-li aby žádná barva nebyla
vynechána (barva 9), musíme zbytek oblastí p e íslovat (p ebarvit).
Obr. 10.16. P vodní a prahovaný obraz (vlevo), první a druhý pr chod algoritmu (vpravo)
10.2.2 Aktivní kontury (snakes, active contours)
Metoda ur ování hranic mezi oblastmi, metoda postupného tvarování kontur až ke hran
objektu v obraze. Aktivní kontura je ízená uzav ená kontura, která se deformuje vlivem tzv.
vnit ních, obrazových a vn jších sil. Vnit ní síly kontrolují hladkost pr b hu, obrazové síly
sm rují tvarování kontury sm rem ke hran objektu a vn jší síly jsou výsledkem po áte ního
umíst ní kontury.
M jme konturu reprezentovanou diskrétn jako sadu bod :
pn
x n , y n , pro n
0,1,...N
Výsledná pozice aktivní kontury koresponduje s lokálním minimem energie kontury:
Es
N
EN pn
n 1
N
n 1
E I pn
N
ET p n ,
n 1
kde EN je vnit ní energie kontury (ohyb, zlom), EI reprezentuje energii obrazu a ET
energii omezení. Existuje mnoho navržených postup m ení výše uvedených energií.
Obr. 10.17. Aktivní kontury – po áte ní stav, standardní postup a modifikovaná verze
10.2.3 Level-set
Metoda ur ování hranic mezi oblastmi, obdobný p ístup jako aktivní kontury. K ivka je
reprezentována tzv. nulovou hladinou – ezem v rovin xy (zero level set) n jakou
vícedimenzionální funkcí. Tato funkce se nazývá level set function a každému bodu roviny xy
p i azuje jeho výšku u nad nulovou hladinou (viz obrázek). Povrch funkce se postupn
adaptuje vzhledem k zadaným metrikám k ivosti a obrazovým gradient m. Základní rozdíl
level-set metody proti klasickým aktivním konturám je ten, že tvar k ivky nem níme p ímo,
ale prost ednictvím level-set funkce.
71
Obr. 10.18. Level-set funkce pro uzav enou 2D k ivku C
Level-set segmentace je efektivn jší pro komplexní objekty se složitými tvary, vyžaduje
manuální inicializaci, která p ibližn odpovídá cílovému tvaru k ivky.
Obr. 10.19. Po áte ní, pr b žný a koncový stav segmentace metodou Level-set
10.2.4 Watershed
Metoda vycházející z oblastí, watershed = rozvodí, povodí i vodní p ed l, segmenta ní
metoda vycházející z geografie – obraz je chápán jako terén nebo topografický reliéf, který je
postupn zaplavován vodou – jas vstupního obrázku ur uje výšku terénu ( erná nejníže, bílá
nejvýše). Algoritmus v prvním kroku nalezne nejnižší body (lokální minima obrazu). Potom
se povodí za nou z t chto po áte ních bod zapl ovat vodou – hladina stoupá. V místech,
kde by se voda ze dvou r zných povodí mohla slít jsou vytvo eny hráze. Proces zaplavování
je zastaven až ve chvíli dosažení nejvyššího bodu terénu (maxima obrazu). Výsledkem je
obraz rozd lený do region , jednotlivých povodí odd lených hrázemi.
- všechny body daného povodí jsou ozna eny stejným unikátním indexem
- pro obrazy obsahující šum vytvá í p íliš mnoho oblastí – ešení:
o vždy je nutná vhodná p ed-p íprava obrázku
o povolení hráze až ur ité prahové výšky
o regiony pat ící do stejné oblasti lze pozd ji spojit jinými metodami
Obr. 10.20. áry reprezentující hráze (watershed lines)
72
10.2.5 Shluková analýza
P edevším statistická klasifika ní metoda, ale základní postupy lze využít i pro
segmentaci. Shlukování pixel nebo ur itých ástí obrazu podobných vlastností. Každý pixel
( ást obrazu) je reprezentován vektorem obsahujícím výsledky jednotlivých m ení –
charakteristickými rysy – p íznaky: x x1 , x2 ,...x N Nap . jas (pr m rný jas), barva,
vlastnosti okolí – st ední hodnota okolních pixel , rozptyl, apod.
-
p íznaky musí být voleny tak, aby pixely z jedné oblasti byly ohodnoceny podobn a z r zných
oblastí rozdíln = data by m la být v pevném shluku v N-rozm rném prostoru.
ne ízená = bez u itele – sama ur í po et t íd a hranice mezi nimi
Obr. 10.21. P íklad shlukování dvou p íznak ve 2D prostoru
Obr. 10.22. Detekce registra ních zna ek pomocí shluku vertikálních ar
10.3 Úpravy obrazu
10.3.1 Transformace barev – omezení barevného prostoru
&
&
&
&
&
Typy snímk :
binární – výhodou je snadn jší vyhodnocení, nevýhodou je nižší p esnost
šedotónový – náro n jší a delší výpo ty, dosahuje se v tší p esnosti
binární + šedotónový – ernobílý obraz se p evede na binární, tam se „hrub “ nalezne tvar
a v p vodním obraze se provede up esn ní
barevný – ada možností pro další zp esn ní (rozd lit na složky a každou složku zvláš ,
vybrat pouze nejvýznamn jší barevnou složku, komplexní ešení ve všech složkách,
p evést na jiný-vhodn jší barevný formát (RGB, CMYK, HSL, …), kde vyniknou
požadované vlastnosti
p evod na vhodný typ je dobré ud lat v HW – jednoduché algoritmy
10.3.2 Barevný
&
Šedo-tónový
z hlediska dalšího zpracování obrazu
73
-
&
m žeme každé složce barevného obrazu p i adit stejnou váhu
Iz 0, 33R 0, 33G 0, 33B
- m žeme pracovat pouze s jednou dominantní složkou
z hlediska vnímání obrazu lov kem – využívá se r zné citlivosti oka na r zné složky
Io 0,299 R 0,587G 0,114 B
Obr. 10.23. P evod barevného obrazu na šedo-tónový
Obr. 10.24. R,G a B složky barevného obrazu
10.3.3 Šedo-tónový
&
binární
z hlediska dalšího zpracování
- prahování - zvolení vhodného prahu vzhledem ke snímané scén
- bu plochy nebo hrany – bu aplikujeme p ímo na p vodní snímek nebo na
nahranovaný (hranové filtry)
Obr. 10.25. Prahovaný šedo-tónový snímek a snímky hran (Sobel, Canny)
&
z hlediska vnímání obrazu lov kem
- p i snaze o zachování barevného vjemu i u ernobílého obrazu se využívá schopnosti
lidského oka vytvá et z n kolika blízkých barevných paprsk vjem paprsku jediného,
jehož barva je dána aditivním složením barev p vodních paprsk = rozptylování
74
10.3.3.1 Náhodné rozptýlení
Algoritmus: Cyklus p es všechny sou adnice obrazu x,y: Pokud Cin > random(0:255),
tak Cout = 1, jinak Cout = 0.
10.3.3.2 Pravidelné (maticové) rozptýlení
P edem vytvo eny vzory erných a bílých bod , které budou zastupovat jednotlivé
odstíny v originálním obraze.
&
&
zv tšování obrazu – místo p vodního pixelu vložíme celou vybranou masku
zachování velikosti obrazu – místo p vodního pixelu vložíme jen odpovídající pixel
masky:
Pokud Cin > M[(X mod XmaskSize),(Y mod YmaskSize)], tak Cout = 1, jinak Cout = 0
$0 0! $0 0!
"0 0
"0 1
#
#
Cin 0 Cin 1
M display
$0 0!
"1 1
#
Cin
$ 0 12 3 15!
" 8 4 11 7
"
" 2 14 1 13
"
#10 6 9 5
$0 1!
"1 1
#
2 Cin
M tisk
$1 1!
"1 1
#
3 Cin
4
$1 5 9 2 !
"8 12 13 6
"
"4 15 14 10
"
#0 11 7 3
10.3.3.3 Distribuce zaokrouhlovací chyby
Algoritmus Floyd-Steinberg, Burkes, Stucki.
Obr. 10.26. Náhodné rozptýlení, maticové rozptýlení
10.3.4 Geometrické transformace obrazu
Transformace obecn nep i adí diskrétním celo íselným sou adnicím pixelu ve
vstupním obraze diskrétní celo íselné sou adnice v obraze výstupním – díry nebo naopak
n kolik pixel mapovaných na totéž místo.
10.3.4.1 Zm na rozlišení
-
zmenšení i zv tšení
n kolik r zných algoritm lišících se v kvalit rekonstrukce a v asové náro nosti
v tšinou separabilní operace – možné aplikovat na ádek a pak na sloupec zvláš –
konvoluce
a) Interpolace nejbližším sousedem
-
75
nejjednodušší – nearest neighbour interpolation, point shift, sample and hold
výpo et spojité funkce g(x) z diskrétní funkce f(xk) definované v diskrétních bodech xk, k =
1,…n:
1 pro : 0 x : 0.5
xk 1 xk
xk xk 1
g ( x ) f ( xk );
, konvolu ní jádro h( x) {
:x
0 pro : 0.5 x
2
2
b) Bilineární transformace
- postupná aplikace lineární interpolace
- dva sousední vzorky v bodech x0 a x1 s hodnotami f0 a f1, body se proloží úse kou a
hledaná hodnota v bod x se vypo te jako
1 x pro : 0 x : 1
!
$ x x0
= f1 f 0 > , konvolu ní jádro h( x) {
f ( x) f 0 "
0 pro :1 x
# x1 x0
Obr. 10.27. Zm na rozlišení
c) Další metody
- využívají více informací z p vodní p edlohy
- aproximace složit jšími funkcemi – polynomiální, goniometrické, exponenciální
- výpo etn náro n jší
Parzenovo okno – aproximace okolí bodu B-spline plochou
h( x)
1
{
6
3x
3
x
3
6x
2
4
6x
2
12 x 8
0
pro : 0
pro : 1
pro : 2
x :1
x :2
x
10.3.4.2 Otá ení diskrétního obrazu
-
-
násobky devadesáti stup – zám na pixel na p íslušných pozicích v matici
transformace otá ení – u,v sou adnice vstupního obrazu; x,y sou adnice výstupního obrazu
x u cos 1 v sin 1
y u sin 1 v cos 1
otá ení o obecný úhel – dvoupr chodový algoritmus (two-pass algoritm)
1.
pr chod – na všechny ádky
y
2.
meziobraz I = x, v >
chod – nelze aplikovat transformaci x u cos 1 v sin 1 , protože ta je funkcí u, se kterým již bylo
u sin 1 v cos 1
pr
po ítáno. Proto u vyjád íme jako funkci x a v a dosadíme do p edchozího:
76
x sin 1 v
cos 1
výpo et hodnoty, která se bude mapovat do výstupního obrazu, lze použít libovolnou
metodu p evzorkování v okolí bodu [u,v]
y
-
10.3.4.3 O ezávání
-
p i kreslení do okénka nebo do zobrazovacího pole je nutno zrušit ásti grafických prvk ,
které leží mimo ur enou oblast
dále popsané metody (krom e)) p edpokládají obdélníkovou oblast ur enou body:
xwmin, xwmax, ywmin, ywmax
a) O ezávání bod – test polohy bodu
- jednoduché porovnání sou adnic
- bod na pozici (x,y) pat í do okénka, pokud spl uje nerovnosti
x 9 xwmin ; x xwmax ; y 9 ywmin ; y ywmax
b) O ezávání úse ky
- nejd íve se ur í, zda úse ka zcela pat í nebo nepat í do okénka. Zbylé úse ky musí být
o ezány áste n – ur ení pr se ík s hranicemi okénka
kódování – každému vrcholu úse ky je p i azen tyrmístný dvojkový kód – jednotlivé bity
znamenají:
Obr. 10.28. Okénko vyty ující oblast pro o ezání
P .: bod uvnit okénka
Algoritmus:
; bod pod okénkem a sou asn vlevo od n j
1.
Pokud oba vrcholy úse ky mají kód
2.
Pokud logický sou in (and) kód vrchol je r zný od
3.
, leží celá úse ka uvnit okénka
, leží celá úse ka vn okénka.
P .: vrcholy mají kódy
, tedy oba leží vlevo od okénka
Ostatní p ípady – úse ka prochází n kolika oblastmi a je t eba ji o íznout
a. nalezneme pr se ík s jednou z hrani ních ar okénka, ímž ur íme, která ást úse ky má být
odstran na.
Pozn.: u obdélníkové oblasti je jedna ze sou adnic pr se íku totožná
s mezní sou adnicí okénka
b. pro nový konec úse ky ur íme kód a vyhodnotíme polohu úse ky
c. opakujeme pro ostatní hranice tak dlouho, až zbytek úse ky leží celý uvnit nebo vn okénka
c) O ezávání mnohoúhelníku
- metoda Sutherlanda a Hogmana – postupné o ezávání mnohoúhelníku ur eného
posloupností vrchol jednotlivými hranicemi okénka
77
Obr. 10.29. O ezávání obdélníku – postup
Algoritmus:
1.
2.
Pro každý vrchol (vycházíme z S a zpracováváme P). Mohou nastat ty i možné situace (viz p edchozí
obrázek):
a. S je uvnit a P také => P je uschován
b. S je uvnit a P je vn => vypo ítáme pr se ík I a uschováme jej, vrchol P je vylou en
c. S je vn a P také => P je vylou en
d. S je vn a P je uvnit => vypo ítáme pr se ík I a uschováme jej spolu s vrcholem P
Zopakujeme pro další hranici (viz následující obrázek)
Obr. 10.30. O ezávání obdélníku – výsledek
d) O ezávání textu
- metoda „vše nebo nic“ - Je-li celý et zec uvnit okénka, je ponechán, jinak je celý
vypušt n
- metoda „celý nebo žádný znak“ - z et zce jsou vynechány jen ty znaky, které neleží celé
uvnit okénka
- metoda „o ezání jednotlivých znak “ - se znaky zacházíme stejn jako s mnohoúhelníky
e) O ezávání obecným nekonvexním oknem
- nap . obecný Weiler-Atherton v algoritmus pro o ezávání libovolného polygonu
nekonvexním oknem.
78
11 Klasifikátory a automatické t íd ní (Petyovský)
11.1 Pojmy
Strojové u ení – Strojová klasifikace “pattern recognition“ – nauka o získávání a
zpracování znalostí.
Obr. 11.1. P ístup klasického zpracování dat (vlevo) a strojové klasifikace (vpravo)
Znalost – informace o dané problematice. Další rozd lení:
M lká znalost – vychází z pozorování skute nosti, povrchní popis jev .
Hloubková znalost – vyjad uje vnit ní zákonitosti jev (nap . Ohm v zákon).
Deklarativní znalost – lze formáln zapsat jako pravidla (nap . pravidla pro hraní
šachu).
Procedurální znalost – znalost získaná opakovaným provád ním cvi ením (nap . hraní
šachu, ízení vozidla). Taková znalost obsahuje mnoho aspekt , pro pot eby strojového u ení
obtížn využitelné. (strategie, typické varianty atd.)
Inference: postup k dosažení výsledku – odvození. Základní typy jsou dedukce,
abdukce, indukce.
T
F?
?
C.
Dedukce – pokud známe F, T a ur ujeme C. Vždy jistý správný výsledek (s ohledem na
správné T) nap . T: y=x^2; F:x=2; C:y=??).
Abdukce – proces, kdy známe C, T a hledáme F. Není zaru en správný výsledek (nap .
T: y=x^2; C:y=9; F:x=3 nebo x=-3 ?).
Indukce – proces, kdy známe F, C a hledáme T. Není zaru en správný výsledek (nap .
F:x=3; C:y=9; T: y=x^2 nebo y=x*3, atd..??).
Strojové u ení tedy p edstavuje proces hledání (inference) znalosti pomocí mechanism
indukce.
Klasifikátor: je algoritmus, který p i vhodné množin znalostí je schopen úsp šn
rozd lovat vstupní data s hodnotami atribut (p íznak ), do výstupních p edem zvolených
skupin (t íd). Vhodná volba klasifika ního algoritmu p edstavuje nutnou podmínku k úsp šné
klasifikaci.
79
Obr. 11.2. Vstupy a výstupy klasifikátoru
Pozn.: v p ípad že po et výstupních t íd klasifikátoru je roven dv ma (ano / ne), jedná
se o tzv. úlohy dichotomické klasifikace.
-
Úkolem strojového u ení je zvolit:
Vhodné p íznaky
Klasifika ní metodu
Metodu u ení, vyhodnocení chyb klasifikace
Interpretace výsledk u ení
Implementace klasifikátoru do cílové aplikace
Postup použití klasifika ní metody:
U ení – generování znalostí (modelu) s ohledem na typ klasifikátoru.
Ov ování – verifikace znalostí na jiných datech, než byly použity p i u ení a výpo et
p esnosti klasifikace. Klasifikace – b žný provoz nau eného klasifikátoru.
Ur ení p esnosti klasifikace – lze ji vyjád it jako procentuální pom r mezi po tem
správn za azených vzor ku po tu všech p edložených vzor v testovací množin .
klas
100
N ok
N celk
[%]
Pozn.: pro dichotomické úlohy p edstavuje chyba klasifikace 50% tzv. nenau ený
klasifikátor (Tj. klasifikátor odpovídající naprosto náhodn na p edložené vzory).
Kompletní a konzistentní model znalostí klasifikátoru – tyto pojmy p edstavují popis
modelu vzhledem k ur ité t íd :
Kompletní model – u ením vzniklá množina znalostí pokrývá všechny pozitivní
p ípady (ale možná i n které negativní).
Konzistentní model – u ením vzniklá množina znalostí nepokrývá žádný negativní
p ípad (ale možná nepokrývá i n které pozitivní.
Obr. 11.3. Kompletní a konzistentní model znalostí
80
Obr. 11.4. P etrénování (over-fitting) klasifikátoru
Na obrázku je patrný problém p etrénování klasifikátoru. Proto je lépe netrvat na
konzistenci p ípadn úplnosti popisu pokud to není nutné (brát ohled na aplikaci). P íliš
p esný popis vzhledem k trénování množin má velmi asto nižší p esnost vzhledem
k reálným dat m.
11.2 Rozd lení klasifikátor :
Podle použitých metod klasifikace:
Symbolické – metody založené na rozhodovacích stromech (nap . ID3).
Sub-symbolické – nebo také “biologicky inspirované” metody (nap . neuronové sít ,
genetické algoritmy).
Statistické – využívající regresní nebo jiné statistické metody (nap . Bayes v odhad).
Pam ové – metody založené na ukládání instancí t íd (nap . IBL).
Podle charakteru u ení:
Dávkové – zpracuje vždy celou cvi nou množinu naráz. Typické pro symbolické
metody klasifikace.
Inkrementální – cvi né p íklady lze dodávat postupn , nau ená znalost se podle nich
pr b žn aktualizuje. Typické pro statistické metody klasifikace.
Inkrementální se zapomínáním – zapomínání ástí znalostí se muže jevit jako
výhodné v p ípad , kdy je n který významný atribut skryt nebo jsou n které hodnoty atribut
cvi né množiny zatíženy šumem více než jiné.
11.3 Lineární klasifikátor
P edstavuje jednoduchou klasifika ní metodu založenou na rozd lení prostoru p íznak
pomocí po ástech lineárními úseky. Prostor p íznak je obecn prostor s mnoha dimenzemi,
proto hovo íme o separaci prostoru p íznak nad-rovinami (pop . nad-plochami).
81
Obr. 11.5. Lineárn separabilní prostor p íznak
Obr. 11.6. Schéma lineárního klasifikátoru
sr g1 X 1 g 2 X 2 .... g n X n
Úkolem u ení klasifikátoru je zvolit vhodné konstanty g (p ípadn parametry funkce
sign). Pokud lze tuto podmínku separace prostoru splnit p i chyb klasifikace 0%, hovo íme o
lineární separabilit prostoru p íznak .
Návrh lineárního klasifikátoru je možné si také p edstavit jako výb r vhodného
reprezentanta t ídy v prostoru p íznak (tzv. etalon, normál). Proces u ení potom p edstavuje
výb r vhodného etalonu zastupujícího celou t ídu. Proces klasifikace neznámého vzoru lze
v tomto p ípad p evést na hledání nejmenší vzdálenosti neznámého vzoru od n kterého
z etalon t íd. Neznámý vzor je následn klasifikován do té t ídy, od které má nejmenší
vzdálenost. Funkce pro ur ení míry vzdálenosti se nazývá diskrimina ní funkce, a má
nej ast ji tvar eukleidovské vzdálenosti.
Vs
X
(Vs
X )T (VS
X)
Kde Vs p edstavuje informaci o poloze s-tého etalonu v prostoru p íznak . X
p edstavuje informaci o poloze klasifikovaného vzoru. Úkolem je nalézt minimum
vzdálenosti od n kterého z etalon .
min Vs
XT X
X
2
min( VsT Vs
2 max(VST X
2 VST X
1
2
VsT Vs )
XT X)
82
Výraz XT X má pro každý z etalon konstantní hodnotu, proto ho lze p i výpo tu
maxima odstranit (pozn. Stejn jako násobení výsledku konstantou). Výsledná diskrimina ní
funkce lze tedy zapsat ve tvaru:
(V ST X
1
2
V sT V s )
Hodnota výrazu (1/2 VsT Vs) závisí pouze na poloze daného etalonu, proto je možné ji
v rámci zrychlení klasifikace vypo ítat dop edu a uložit spole n s informacemi o poloze
etalonu v prostoru p íznak .
Pozn. Pro dichotomické úlohy klasifikace není nutné vyhodnocovat hodnoty
diskrimina ní funkce vždy pro oba etalony, sta í vyhodnotit rozdíl obou diskrimina ních
funkcí a klasifikovat vzor na základ znaménka toho rozdílu.
=
sign (V0T
V1T ) X
1
2
(V0T V0 V1T V1 )
>
11.4 Bayes v klasifikátor
Pat í do skupiny statistických klasifikátor , umož uje inkrementální i dávkové u ení.
Nau ená znalost (model) je reprezentován pravd podobnostním rozložením t íd. P i
klasifikaci je zvolena t ída s nejvyšší pravd podobností.
Podmín ná pravd podobnost závislá na konjunkci jev se nahradí funkcí podmín ných
pravd podobností jednoduchých jev . Proto metoda požaduje úplnou vzájemnou statistickou
nezávislost atribut .
U ení – pro t ídy Ci, p íznaky A j a jejich hodnoty Vjk (tzn. k-tá hodnota j-tého p íznaku)
se zaznamenává do tabulky, kolikrát se ve cvi né množin :
Ni,j,k – vyskytl jev, kdy sou asn : t ída Ci a hodnota Vj,k, p esn ji A j = Vj,k
Pro klasifikaci jsou dále ukládány tyto hodnoty:
Ti
- po et p ípad t ídy Ci
Tj,k - po et p ípad , kdy Aj = Vj,k
T
- celkový po et p íklad .
Klasifikace - za p edpokladu, že neznámá instance má hodnoty V1,a,V2,b,...,VN,q, je
pravd podobnost, že instance pat í do t ídy C , ur ena podmín nou pravd podobností
i
P(C |V , V , ..., V ). Pro empirické získání této pravd podobnosti obvykle nejsou k
i 1,a 2,b
N,q
dispozici pot ebná trénovací data. Proto se tato pravd podobnost vypo ítá na základ díl ích
empirických pravd podobností P(C |V ), resp. P(V |C ).
i jk
jk i
Pro dosti vysoká ísla T, N
ijk
,T
P(C ) = T / T
i
i
(1)
P(V ) = T / T
jk
jk
(2)
P(C |V ) = N / T
i jk
ijk jk
(3)
jk
,T :
i
83
P(V |C ) = N / T
jk i
ijk i
(4)
Za p edpokladu nezávislosti p íznak lze dosadit :
P(C |V ,V ,...,V ) = P(C ) *
i 1,a 2,b
N,q
i
j=1
N
( P(C |V ) / P(C ) ),
i j,k
i
(1.1)
nebo do
P(C |V ,V ,...,V ) = P(C ) *
i 1,a 2,b
N,q
i
j=1
N
( P(V
j,k
|C ) / P(V )),
i
j,k
kde N je po et p íznak .
Varianta:
Obecn ji lze (1) a (3) nahradit heuristikami (dle Cestnik, ECAI-90):
P(C ) = (T + 1) / (T + M),
i
i
N
ijk
+ M * P(C )
i
P(C |V ) = ---------------------- ,
i j,k
T
j,k
+M
Vhodné pro p ípady, kdy v trénovací množin není zastoupena n jaká t ída, hodnota
p íznaku nebo t ída s hodnotou p íznaku. M se volí uživatelsky, doporu ováno M=2.
P íklad:
baterie: P,W {silná (power), resp. slabá (weak)}
kontakty: C,D { isté (clean), resp. zne išt né (dirty)}
t ída: +,- (startuje, nestartuje)
Trénovací množina:
baterie kontakty | t ída
====================================
P
C
| +
P
D
| +
P
C
| -
W
C
| +
P
D
| +
W
C
| +
P
D
| -
P
D
| +
W
D
| -
W
C
| +
U ením získané tabulku:
84
| Ni,j,k
|
| t ídy:
| Tj,k:
| +
-
| (hodnota)
-----------
|---------- |------------
baterka P
| 4
2
| 6
baterka W
| 3
1
| 4
|
|
kontakty C
| 4
1
| 5
kontakty D
| 3
2
| 5
-----------
|---------- |------------
Ti (t ídy)
| 7
3
| 10
Použití nap .:
Jaká je šance nastartování v p ípad , že baterie je slabá (W) a kontakty jsou zne išt né
(D) dle (1.1):
P(+ | W,D) = P(+) * P(+ | Vbat,W)/ P(+) * P(+ | Vkont,D)/ P(+) = ... = 64.3%
P( - | W,D) = ... = 33.3%
Pozn.
Z výsledk pravd podobnosti opa ných jev je patrné, že trénovací množina nespl uje
dokonale podmínku statistické nezávislosti p íznak .
11.5 Zlepšení p esnosti klasifikace – Boosting
Boosting metody p edstavují tzv. meta algoritmy u ení tj. metody jak co nejlépe u it
klasifikátory. Boosting zavádí pojem weak learner (špatný žák) tj. klasifikátor který má jen o
“trochu” lepší úsp šnost klasifikace než klasifikátor který klasifikuje naprosto nahodile
(nenau ený klasifikátor). Boosting metody jak spojit více špatných klasifikátor jednoho tzv.
úsp šn jšího klasifikátoru (tzv. Strong classifier). Metoda tedy p edstavuje “vylepšené” u ení
využívající obecn mnoha klasifikátor u ených nad stejnými vstupními daty.
Metoda AdaBoost:
“Adaptive Boosting”, auto i: 1999 – Yoav Freund, Robert Schapire, (obdrželi v roce
2003 Gödel prize). Metoda je ur ena pro dichotomické úlohy klasifikace.
Je definována trénovací množina:
( x1 , y 1 ),........ , ( x m , y m ); xi
X , yi
Y
Je definována množina špatných žák (klasifikátor )
ht : X
ht
@
{ 1, 1}
{ 1, 1}
85
Hledáme výsledný klasifikátor K(x) (Strong classifier) ve tvaru:
. T
+
sign, 1 t ht = x >)
-t1
*
K ( x)
-
Výhody:
Jednoduchá metoda
Lze implementovat v HW
Neklade “prakticky” žádné požadavky na klasifikátory (jen weak learner)
Nevýhody:
-
Velká citlivost na šum
Citlivost na over-fitting
Popis algoritmu metody AdaBoost:
0) Inicializace:
1
; i 1,....., m
m
t 1,.....,T
D1 (i )
1) Hledám klasifikátor
ht : X
{ 1, 1}
@
ht
Který vykazuje nejmenší chybu klasifikace vzhledem k váhám Di
trénovací množiny tj.
ht
7j
p íklad
arg min 7 j
hj @
m
Dt (i )bool = yi A h j ( xi )>
i 1
Pozn.: Kde bool() p edstavuje funkci vracející 1 nebo 0 dle
podmínky (platí/neplatí).
2) Pokud 7t < 0,5 pokra uj, jinak ukon í u ení.
3) Ur i váhu klasifikátoru 1t , dle
1 ln ., 1 7 t
2 , 7
- t
1t
+
))
*
1t
4) P epo ítej váhy trénovací množiny
Dt 1 =i >
Zt
m
i 1
Dt =i >e 1 t yiht = xi >
Zt
Dt =i >e
1t yi ht = xi >
vyhodnocené
86
5) Opakuj, dokud platí podmínka 2
11.6 Markovovy modely
Autor: 1865 – 1922 Andrej Andrejevi Markov. Pojem kone ný stavový automat.
Metoda pro detekci a vyhodnocení zm n stavu systému popsaného pomocí
pravd podobnostního modelu. P edpokládá omezené podmínky pro zm nu stavu kone ného
stavového automatu.
Markov v p edpoklad – v teorii pravd podobnosti je ozna en náhodný proces jako
Markov v, pokud následující stav závisí pouze na nyn jším stavu a nezávisí na stavech
d ív jších.
Markov v proces – je stochastický proces, který má Markovovu vlastnost, tj.
Markovovy modely (MM – Markov Models) – jsou modely s kone ným po tem stav ,
kde p echod mezi stavy je vyjád en pravd podobností. Mimo modely s diskrétním asem
existují také modely se spojitým asem.
Ergodické – Všechny stavy jsou mezi sebou propojené p echody.
Obr. 11.7. Ergodický Markov v model
Levo-pravé – v n kterých p ípadech lze použít jednodušší model, kde nelze p echázet
mezi všemi stavy, ale pouze mezi vedlejšími stavy v jednom sm ru. Tento model se používá
nap . p i rozpoznávání e i.
Obr. 11.8. Levo-pravý Markov v model
11.7 Skryté Markovovy modely (HMM)
Jde o kone ný stavový automat formáln zapsaný p ticí = (N, M, A, B, ), kde
N – skryté stavy (vektor)
M – pozorovatelné stavy (vektor)
A – pravd podobnosti p echodu mezi skrytými stavy (matice)
B – pravd podobnosti p echod ke pozorovatelným stav m (matice)
– po áte ní pravd podobnosti stav (vektor)
87
P íklad: Model po así – vytvo me jednoduchý model po así. Kterýkoliv den m žeme
popsat jedním ze t í stav :
stav 1: deštivo
stav 2: zataženo
stav 3: slune no
Obr. 11.9. Model po así
P echody mezi stavy lze popsat maticí p echod s hodnotami pravd podobnost:
[
0,4 0,3 0,3
A= {a j }= 0,2 0,6 0,2
0,1 0,1 0,8
]
Sou et ádk je jedna. Základní možné výpo ty:
Jaká je pravd podobnost, že následujících osm dní bude následující pr b h po así:
slune no, slune no, slune no, deštivo, deštivo, slune no, zataženo, slune no?
11.8 Principal components analysis (PCA, LDA)
Pat í do skupiny statistických klasifikátor , využívá faktorovou analýzu dat, definuje
pojmy: eigenspace, eigenvector. Principem metody je volba nejd ležit jších prom nných
popisující dostate n dané t ídy. Na základ hledání vhodných statických veli in. P íklad:
Obr. 11.10. Dv t ídy vzork v p íznakovém prostoru
88
Na obrázku vidíme závislost X1 a X2 pro dv odlišné t ídy. Pro daná X1 a X2 je
vícemén jednozna n patrná t ída, ale pro správné p i azení je pot ebná znalost obou
prom nných.
Správnou volbou sou adnicového systému dokážeme získat informaci, zda daný prvek
pat í do té i oné t ídy již z jedné prom nné nebo naopak dokážeme uchovat v jedné
prom nné maximum dat.
Obr. 11.11. Zm na sou adnicového systému p íznakového prostoru
Dv možnosti jak poto it sou adnicový systém tak, aby:
a) byl sm rodatný pro klasifikaci
b) uchoval nejv tší rozptyl hodnot
Je t eba si uv domit, že ást informace byla nenávratn ztracena. V našem p ípad
bychom pro pot eby rozd lení do t íd ukládali pouze osu X1 Ale to neznamená, že osa X2
nemá žádnou informa ní hodnotu. Záleží na konkrétním využití, zda tuto informaci m žeme
postrádat.
Obr. 11.12. Metoda LDA a PCA
LDA zohled uje pouze celkové rozložení dat, využívá informaci o t íd , (do které
prvky náleží). Maximalizuje rozdíl mezi t ídami a naopak minimalizuje rozdíl v rámci
skupiny. Vhodné pro klasifikaci.
PCA minimalizuje rozdíly mezi t ídami a maximalizuje rozdíly v rámci skupiny.
Vhodné nap . pro kompresi dat.
89
12 Popis objekt (Horák)
12.1 Co se rozumí popisem objektu?
Popis objekt segmentovaných z p edzpracovaného obrazu je p edposledním lánkem
v et zci zpracování obrazu (viz obrázek 1) a rozumí se jím získání p íznak ze
segmentovaných dat. P íznaky slouží pro klasifikaci objekt , a proto musí p esn vystihovat
charakteristické rysy objekt .
Obr. 12.1. Sekvence zpracování obrazu
Na p íznaky jsou sou asn kladeny asto protich dné požadavky. Mezi základní
požadavky pat í:
- Invariantnost – na zm n jasu, kontrastu, na translaci, rotaci a zm n m ítka.
-
Spolehlivost – podobné hodnoty p íznaku pro týž objekt.
-
Diskriminabilita – r zné hodnoty p íznaku pro r zné objekty.
-
Efektivita výpo tu – dobrá detekovatelnost.
-
asová invariance – v p ípad zpracování dynamických obraz .
Hlavním problémem popisu segmentovaných dat je volba p íznak . Oproti
po íta ovému vid ní není rozpoznávání objekt lidským organismem postaveno na výpo tu
p íznak a klasifikaci konkrétních hodnot, ale na využití nau ených analogií rozsáhlou
paralelní neuronovou sítí. P es 80 % všech p íchozích informací je v mozku zpracováváno
kv li vid ní. Mnoho p edm t reálného sv ta je snadno rozpoznatelných lidským mozkem a
p itom nejsou matematicky formáln definovatelné nap . objekty jako lampa, ruka, strom
apod.
Obr. 12.2.: Jednoduchá klasifika ní úloha „n žky – klešt “
90
Na výše uvedeném ilustrativním obrázku lov k velmi snadno klasifikuje objekty
odpovídající kleštím a objekty odpovídající n žkám. Pro po íta ové vid ní p edstavuje i
takovýto triviální p íklad zna ný problém z hlediska segmentace a popisu detekovaných
objekt .
Pro tedy nerealizovat rozpoznávací systém neuronovou sítí obdobnou jako u lov ka?
- Neznámý komplexní model mozku – máme dosud jen áste né znalosti topologie,
p enosových funkcí neuron , vnit ních vazeb, zp sob u ení, pamatování atd.
-
Nedostate ná výpo etní kapacita sekven ních po íta
-
Nedostate ná pam ová kapacita po íta
oproti paralelní neuronové síti.
oproti pam ové kapacit mozku.
12.2 P íprava obrazu pro popis
Segmentovaná data p ipravená pro popis m že p edstavovat binární obraz, v n mž
hodnoty 1 ur ují objekty a hodnoty 0 pozadí. V nejjednodušším p ípad je binární obraz
získán prostým prahováním.
Obr. 12.3.: P íprava binárního obrazu pro popis
Segmentovaná data ur ená k popisu mohou být také tvo ena p ímo obrazovými
hodnotami pixel p vodního obrazu. Hodnoty pixel p íslušejících objektu jsou ur eny
korespondencí z binárního obrazu nebo ze znalosti hranice objektu získané nap . hranovým
detektorem.
Obr. 12.4.: P íprava obecného obrazu pro popis
91
12.3 P íznakový vektor
Cílem popisu je reprezentovat obrazové objekty matematicky souborem íselných
charakteristik nebo symbol zvolené abecedy. Z obrazu segmentovaných objekt jsou
vypo ítány p íznaky xi (viz obrázek), ze kterých je sestaven p íznakový vektor X.
P íznakový vektor m že v obecném p ípad obsahovat vysoký po et zcela odlišných
charakteristických rys objektu (p íznak ) bez ohledu na jejich konkrétní diskriminabilitu –
rozlišovací schopnost.
Obr. 12.5. Výpo et p íznakového vektoru X
Vzhledem k tomu, že ze segmentovaného obrazu lze velmi asto separovat nep eberné
množství p íznak , je nutné provést redukci dimenze p íznakového prostoru. K tomu ú elu
lze využít dva základní p ístupy:
1. Extrakce p íznak – transformace p vodního p íznakového vektoru na vektor
s nižším po tem len , p i emž nov vybrané p íznaky mají odlišný význam od
p vodních. P íkladem metody extrakce p íznak je nap . Karhunen-Loevova
transformace (KLT).
2. Selekce p íznak – výb r podmnožiny p íznak z p vodního p íznakového vektoru,
které vykazují nejvyšší diskriminabilitu. Výhodou je, že vybraným p íznak m z stává
jejich p vodní význam, naopak nevýhodou je ztráta informací o objektu vlivem
nevyužitých p íznak .
Každý prvek ( len) p íznakového vektoru X tvo í jednu dimenzi p íznakového prostoru.
Na p íznakový prostor lze tedy nahlížet jako na grafické vyjád ení hodnot p íznakových
vektor segmentovaných dat.
92
Obr. 12.6. P íznakový prostor X | dim(X)=3
12.4 D lení p íznak
P íznaky (deskriptory segmentovaných objekt ) lze d lit podle mnoha hledisek. Mezi
základní t i pat í doména popisované vlastnosti, oblast výpo tu a oblast popisu.
Podle domény popisované vlastnosti objektu mohou být deskriptory:
1. Fotometrické – odráží optické vlastnosti objektu nap . pr m rná jasová úrove ,
diference pr m rné jasové úrovn objektu od pr m rné jasové úrovn blízkého okolí,
rozptyl jasových hodnot objektu apod.).
2. Radiometrické – odráží geometrické vlastnosti objektu nap . velikost, délka hlavní a
vedlejší osy, obvod apod.
Podle oblasti výpo tu lze rozeznávat deskriptory:
1. založené na regionech – nutná znalost jasových hodnot pixel objektu.
2. založené na hranicích – nutná znalost hranice objektu ur ená bu implicitn
indexovaným seznamem pixel objektu, nebo explicitn funk ním p edpisem (mén
astá varianta).
Podle oblasti popisu jsou deskriptory:
1. Globální deskriptory obrazu – lineární integrální transformace (FT, DCT, Wavelet),
nevýhodou je nep ítomnost individuálních znak objekt .
2. Globální deskriptory objektu – jeden p íznak je p i azen celému objektu, jedná se o
jednoduché deskriptory jako nap . velikost, podlouhlost, konvexnost, geometrické
momenty, Euler-Poincaré charakteristika aj. Nevýhodou je nutnost precizní
segmentace objektu a citlivost p íznak na aditivní šum.
3. Lokální deskriptory objektu – výpo et p íznak je proveden jen z ur ité lokální ásti
objektu, není tedy t eba jeho d ív jší segmentace. Využívají se význa né body jako
rohy, struktury, textury, p ímost nebo zak ivení objektu apod.
93
Pozn.: Lokální deskriptory celého obrazu nejsou ve vý tu pochopiteln uvažovány, nelze je
logicky nijakým zp sobem sestavit.
12.5 Identifikace oblastí
Segmentací vzniká v nejjednodušším p ípad binární obraz. Tento obraz obsahuje
oblasti vyzna ující se spojitostí ve ty nebo osmi okolí, které je t eba indexovat (ozna it
unikátním symbolem). Po et zna ených oblastí (obrázek 7) je pak dán celkovým po tem
použitých indexovacích symbol nebo v p ípad p ímého íslování nejvyšší hodnotou indexu.
Obr. 12.7. íselné indexování objekt
Vstupem identifikace je binární obraz obsahující objekty (hodnoty 1) na pozadí
(hodnoty 0), výstupem jsou pak zna ené oblasti (nap . indexy 1 až N). Výpo et index
(zna ek, štítk ) pro obrazová data lze provést dv ma zp soby:
1) Dvoupr chodový algoritmus
První pr chod realizuje zna ení spojených ástí objektu pomocí posunu masky
kontrolující pouze lokální okolí vyšet ovaného pixelu. Algoritmus zna ení lze
popsat následovn :
Posu se v obraze na následující (v p ípad za átku na první) pixel.
I.
II.
Pokud nemá aktuální pixel hodnotu jedna (nejde o objekt), pokra uj znovu
od bodu I.
III.
Jestli je alespo jeden pixel obrazu odpovídající masce (viz obrázek 8) již
opat en indexem i, použij tento index i pro aktuální pixel. Pokud není,
použij nový index imax+1.
IV.
Pokra uj od bodu I. dokud nejsou zpracovány všechny pixely obrazu.
Obr. 12.8. Maska ty a osmi okolí pro identifikaci oblastí
Druhý pr chod eší problém konfliktu zna ení oblastí, kdy je ozna eno více
pixel v rámci masky r znými indexy.
94
Obr. 12.9. Konflikt index p i zna ení oblastí
Algoritmus není v prvním pr chodu schopen rozhodnout, jestli pro pole ozna ené
„?“ z obrázku 9 použít index m nebo n. ešením je apriorní stanovení priorit pozic v masce
podle které se v prvním pr chodu p i adí konfliktnímu pixelu jeden z p ilehlých index a
sou asn se do pam ti zaznamenají zbylé nepoužité indexy. V druhém pr chodu pak dojde k
p ezna ení zbylých index vybraným indexem (indexem s nejvyšší prioritou).
2) Rekurzivní vypl ování oblastí
I. Semínkové hrani ní vypl ování – rekurzivní vypln ní oblasti od zvoleného
semínka až po hranici ur ené barvy.
II. Semínkové záplavové vypl ování – rekurzivní vypln ní spojité oblasti
ur ené barvy od zvoleného semínka.
III. Ostatní pokro ilé metody po íta ové grafiky – optimalizace algoritmu
vypl ování odstran ním rekurzivního výpo tu.
12.6 Radiometrické deskriptory založené na regionech
Radiometrické deskriptory založené na regionech popisují metrické vlastnosti objekt
vypo ítané z plošného rozložení pixel objektu. Mezi základní deskriptory této t ídy pat í:
1. Velikost = po et pixel spojité oblasti ur ující plochu objektu. S rostoucím
rozlišením obrazu se p íznak velikosti blíží skute né hodnot obsahu fyzického objektu v m2
(p i použití normaliza ní konstanty m ítka snímání).
Obr. 12.10. P íznak Velikost dvou r zných objekt
2. Obvod = po et hrani ních pixel . Lze stanovit bu to ve smyslu ty nebo osmi
okolí. Zrovnoprávn ní míry ty a osmi okolí lze vy ešit koeficientem 2 u 8 okolí (délka
diagonálního p echodu mezi pixely). Deskriptor závisí na rozlišení snímku, proto se
vzr stajícím rozlišením roste obvod k nekone nu (nap . délka hranice R neustále roste se
zmenšujícím se m ítkem vzdálenosti, ili s rostoucí rozlišovací schopnosti).
95
Obr. 12.11. P íznak Obvod dvou r zných objekt
3. Nekompaktnost = Obvod2 / Velikost. Jde o míru podobnosti oblasti k ideálnímu
kruhu, který má minimální možnou nekompaktnost (nebo obrácen maximální kompaktnost)
o hodnot 4 . ím nižší je hodnota p íznaku nekompaktnosti, tím vyšší je podobnost objektu
s ideálním kruhem.
Obr. 12.12. P íznak Nekompaktnost dvou r zných objekt
4. Konvexnost = Velikost / Plocha konvexního obalu. Udává míru podobnosti objektu
ke své konvexní schránce. P íznak m že nabývat hodnot v intervalu <0;1>, p i emž
maximální hodnota 1 je platná pro konvexní (vypouklé) objekty a klesá k hodnot 0 s rostoucí
konkávností (vydutostí) objektu.
Obr. 12.13. P íznak Konvexnost dvou r zných objekt
96
5. Hlavní osa = délka hlavní osy elipsy v pixelech, jejíž centrální moment druhého ádu
má stejnou hodnotu jako centrální moment druhého ádu segmentovaného objektu.
Obr. 12.14. P íznak Hlavní osa dvou r zných objekt
6. Vedlejší osa = délka vedlejší osy elipsy v pixelech, jejíž centrální moment druhého
ádu má stejnou hodnotu jako centrální moment druhého ádu segmentovaného objektu.
Obr. 12.15. P íznak Vedlejší osa dvou r zných objekt
7. Orientace = úhel hlavní osy objektu s n kterou sou adnicovou osou, zpravidla osou
x. Vzhledem k tomu, že v tšina rozpoznávacích systém sm uje k invariantnosti p íznak na
translaci, rotaci a zm n m ítka se používá jen ve specifických p ípadech, kdy lze z nato ení
objektu usuzovat na n jaký charakteristický rys (nap . hlídání správnosti uložení výrobku na
transportním pásu).
Obr. 12.16. P íznak Orientace dvou r zných objekt
8. Výst ednost = excentricita elipsy, jejíž centrální moment druhého ádu má stejnou
hodnotu jako centrální moment druhého ádu segmentovaného objektu. Formáln je rovna
pom ru vzdáleností ohnisek elipsy a délky její hlavní osy.
97
Obr. 12.17. P íznak Výst ednost dvou r zných objekt
9. Podlouhlost = pom r stran obdélníku opsaného objektu. Opsaný obdélník musí
spl ovat podmínku minimálního obsahu. Nalezení optimální hodnoty oto ení opisujícího
obdélníku z hlediska minimálního obsahu je ešeno postupným natá ením v diskrétních
krocích.
10. Pravoúhlost = maximální pom r Velikost / Plocha opsaného obdélníku. Postupným
otá ením objektu se hledá minimální plocha jemu opsaného obdélníka. ím se pom r plochy
oblasti ke ploše obdélníka blíží hodnot jedna, tím vyšší je pravoúhlost.
Obr. 12.18. P íznak Pravoúhlost dvou r zných objekt
11. Eulerovo íslo (genus) = po et souvislých ástí objektu ( erná barva na obrázku) –
po et d r (bílá barva na obrázku). Jde o topologicky invariantní p íznak objektu, ili nem ní
se s geometrickými transformacemi obrazu.
Obr. 12.19. P íznak Genus dvou r zných objekt
12. Vektor tvaru – z t žišt objektu jsou vysílány paprsky všemi sm ry a jejich délky
k hranici objektu tvo í vektor, který je nezávislý na rotaci. Pokud je vektor normován
nejdelším paprskem na hodnotu jedna, je zaru ena nezávislost i na zm n m ítka.
98
12.7 Radiometrické deskriptory založené na hranicích
Radiometrické deskriptory založené na hranicích op t popisují metrické vlastnosti
objekt , ovšem výpo et se provádí ze znalosti hranice objektu. Ta m že být definována
implicitn seznamem hrani ních pixel (nap . binárním obrazem) nebo explicitn pomocí
geometrických entit (úse ky, k ivky apod.). Mezi základní deskriptory založené na hranicích
pat í:
1. et zový kód – popisuje hranici objektu et zcem symbol s ur enými sm ry.
Mohou být stanoveny ty i symboly pro ty okolí nebo osm pro osmi okolí.
Obr. 12.20. Hranice objekt popsaná et zovým kódem ve ty okolí
Pro klasifikaci (rozpoznávání) objekt se využívá korela ní funkce et zového kódu
vzoru (reprezentanta t ídy) s et zovým kódem vyšet ovaného objektu. Míra souhlasu kód
pak udává míru souhlasu hranic obou objekt .
Obr. 12.21.: Hranice objektu popsaná et zovým kódem v osmi okolí
Z et zového kódu lze jednoduchým zp sobem ur it délku hranice stanovením po tu
symbol kódu. V p ípad osmi okolí je pak nutné použít normaliza ní koeficient 2 u sm r
1,3,5 a 7.
99
2. Fouriérovy deskriptory – z obrazu hranice objektu je sestavena sekvence
komplexních ísel vyjad ující sou adnice pixel od vztažného bodu nap . t žišt objektu,
která se nazývá radiální funkce s(n).
s (n)
x( n)
j = y (n)
xt
y t >, n 1..N
Tato funkce je periodická s periodou 2 , lze tedy na ni aplikovat diskrétní Fouriérovu
transformaci, kterou jsou získány koeficienty z(u):
z (u )
N
1
N
s( n ) e
jun
N
, u 1..N
n 1
Absolutní hodnoty koeficient z(u) tvo í p íznaky nezávislé na rotaci, protože oto ením
obrazu objektu dochází pouze k posunu radiální funkce a tím se zm ní pouze fáze koeficient
Fouriérovy transformace, nikoliv jejich amplituda.
Z koeficient z(u) lze sestavit Fouriérovy deskriptory F(u), které jsou navíc invariantní i
v i translaci a m ítku.
z (u )
, u 2..N
F (u 2)
z (1)
3. B-spline deskriptory – hranice objekt je vyjád ena koeficienty k ivek, které
aproximují skute nou hranici objektu. Celá hranice je sestavena z n kolika po ástech
spojitých k ivek, nej ast ji t etího stupn . Rozpoznávání pak probíhá na základ korelace
koeficient k ivek vzoru a vyšet ovaného objektu.
12.8 Fotometrické deskriptory
Fotometrické p íznaky pracují oproti radiometrickým p íznak m p ímo s jasovými
hodnotami segmentovaných dat. Vstupem výpo t tedy nejsou binární obrazy, ale
segmentovaná data obsahující informace o jasové složce. Mezi základní p íznaky této t ídy
pat í:
- Pr m rná jasová úrove objektu.
- Maximální (Jmax) nebo minimální (Jmin) jasová úrove objektu pop . rozdíl Jmax-Jmin.
- Diference pr m rného jasu objektu a blízkého okolí.
- Deskriptory histogramu – histogram h(q) udává etnosti zastoupení jasových úrovní q
v obraze. Ve spojité oblasti se jedná o statistickou veli inu hustoty pravd podobnosti p(q),
udávající pravd podobnost, že náhodn vybraný pixel se vyzna uje jasovou úrovní q. Pro
rozpoznávání obraz objekt lze mimo jiné použít p íznaky histogramu:
a) pr m rná hodnota:
1
N
H mean
N
q h( q )
q 1
b) kontrast:
H mean
1
N
N
q 1
=q
h(q ) H mean >
2
100
c) energie:
1
N
H energy
N
h( q) 2
q 1
d) entropie:
1
N
H entropy
N
q 1
h(q ) log 2 h(q )
12.9 Geometrické momenty a momentové invarianty
Geometrické momenty jsou fotometrické p íznaky založené na regionech, jejich
výpo et tedy vychází z tvaru objektu a jasových hodnot jeho pixel . Geometrických moment
je pro každý objekt možné sestavit teoreticky nekone n mnoho a ím více moment popisuje
daný objekt, tím je tento objekt popsán v rn ji (je p esn ji rekonstruovatelný). Základní
geometrický moment ádu p+q se stanoví podle vzorce:
x p y q s ( x , y ).
m pq
Y
X
Pro výpo et momentových invariant
segmentovaných objekt
centralizované geometrické momenty, vztažené zpravidla k t žišti objektu:
C pq
xt ) p ( y
(x
Y
se používají
y t ) q s ( x , y ).
X
T žišt objektu lze vypo ítat p ímo z obrazových dat za použití základních
geometrických moment nultého a prvního ádu. Moment nultého stupn m00 je prostý sou et
jasových hodnot segmentu, jehož mocnina slouží jako normaliza ní konstanta pro ostatní
momenty. Normalizované momenty prvního stupn ur ují hodnoty sou adnic t žišt objektu.
Pro sou adnici xt t žišt platí vztah:
x s ( x, y )
xt
Y
X
s ( x, y )
Y
m10
.
m00
X
Pro sou adnici yt platí analogický vztah:
y s ( x, y )
yt
Y
X
s ( x, y )
Y
m01
.
m00
X
Pro spolehlivé rozpoznávání je nutná normalizace hodnot geometrických moment
z hlediska velikosti objekt . Normalizovaný geometrický moment Bpq stupn p+q je pak dán
vztahem:
101
B pq
m pq
m 00
p q
2
1
.
Základní i centrální geometrické momenty jsou deskriptory popisující jasové rozložení
hodnot objekt , samy o sob však nejsou nezávislé na obecn afinní transformaci. Z toho
d vod se používají pro kompozici složit jších struktur zvaných momentové invarianty,
kterých je celá ada pro širokou škálu úloh. Nejstarší a nejznám jší je sada sedmi
momentových invariant
1 až
7 sestavených z hlediska nezávislosti na rotaci, translaci
(dána p esnou segmentací objektu) a zm n m ítka (dána normalizací geometrických
moment ):
D1
C 20
D2
=C 20 C 02 >2 4 C 2 .
=C 30 3C 12 >2 =3C 21 C 03 >2 .
=C 30 C 12 >2 =C 21 C 03 >2 .
=C 30 3C 12 > =C 30 C 12 > =C 30 C 12 >2 3
=3C 21 C 03 > =C 21 C 03 > 3 =C 30 C 12 >2
=C 20 C 02 > =C 30 C 12 >2 =C 21 C 03 >2
4 C 2 =C 30 C 12 > =C 21 C 03 >.
=3C 21 C 03 > =C 30 C 12 > =C 30 C 12 >2 3
=C 30 3C 12 > =C 21 C 03 > 3 =C 30 C 12 >2
D3
D4
D5
D6
C 02 .
11
=C 21 C 03 >2
=C 21 C 03 >2 .
11
D7
=C 21 C 03 >2
=C 21 C 03 >2 .
Pro rozpoznávání objekt se pak používá skupina vybraných momentových invariant
s vysokou diskriminabilitou vzhledem ke zpracovávané úloze, asto v kombinaci s n kterými
z jednodušších radiometrických nebo fotometrických deskriptor obrazu.
102
13 Lokální p íznaky a korespondence (Horák)
Korespondence
103
14 Strojové u ení (Horák)
14.1 Klasifikace p íznak obrazu
P íznaky pro samotnou klasifikaci jsou získány metodami zpracování obrazu, jak byly
uvedeny v p edchozích kapitolách nap . prahování, detekce hran, shluková analýza, analýza
ve spektrální oblasti, korelace, morfologie atd. Klasifikace m že probíhat nad íselnými nebo
symbolickými p íznaky nebo p ímo nad obrazovými daty.
P i návrhu mechanismu klasifikátoru nastává problém tzv. relevantních p íznak , ili
sestavení odpov di na otázku jak ze všech možných p íznak vybrat jen ty, které se pozitivn
podílejí na správné klasifikaci?
Obr. 14.1. Mechanismus rozpoznávání z hlediska klasifikace
Pro úlohy s neznámým rozložením nebo vysokým po tem p íznak lze použít
klasifikátor na bázi neuronové sít . Jedná se o pseudo-symbolickou metodu klasifikace
obdobn jako p i použití genetických algoritm .
Efektivita klasifikace je odvozena jak z množství dat tak i jejich struktury nap .
trénovací množina sestavená vysokým po tem prvk jen z n kolika málo t íd je nevhodná.
Vhodný je rovnom rný výb r mén prvk ze všech t íd, nejlépe tzv. etalony obsahující
charakteristické rysy každé t ídy.
Obr. 14.2. Metody realizace klasifika ních mechanism
104
14.2 Neuronové sít pro klasifikaci obrazu
Klasifikátory nejen obraz založené na neuronových sítích jsou inspirované
biologickými prvky – lidský mozek, klasifikace podle znalostí a zkušeností. Biologická
podstata rozpoznávání spo ívá v rozm rné síti paraleln propojených entit pam ti – neuron .
Spojení neuron (elementárních výpo etních prvk ) je realizováno axony resp. dendrity, které
tvo í výstupy resp. vstupy bun k.
Obr. 14.3. Biologická neuronová sí
Podle konkrétního typu ešené aplikace rozpoznávacího systému se používá n kolik
základních typ neuronových sítí, které se liší svými parametry jako nap . typ vstup , u ící
metoda apod.
Obr. 14.4. Hierarchické rozd lení sítí
Definice: Um lá neuronová sí (UNS) je paralelní distribuovaný systém výkonných
prvk modelujících biologické neurony ú eln uspo ádány tak, aby byl tento systém schopen
105
požadovaného zpracování informací. UNS realizuje podle následujícího
transforma ní funkci T zobrazující množinu vstup {N} na množinu výstup {M}.
obrázku
Obr. 14.5. Transforma ní funkce UNS
U NS-klasifikátor zpravidla nejde o dichotomické úlohy, ili klasifikace probíhá do
více, než dvou t íd.
14.2.1 Model neuronu
Pro výpo etní ú ely se používá aproximace biologického neuronu, p íkladem je
p vodní model neuronu podle autor McCullocha a Pittse.
Obr. 14.6. Model neuronu
První stupe zpracování vstupních informací realizuje vážený sou et vstup vztažený
k tzv. prahové hodnot nebo zjednodušen prahu E.
s
R
X (i ) W (i ) E
i 1
Práh neuronu E ur uje míru aktivace p enosové funkce a n kdy se zavádí jako nultý
prvek vstupního vektoru X(0) s vahou W(0). Aktivace výstupu neuronu je dána jeho
p enosovou funkcí f:
Y
f ( s)
. R
+
f , X (i ) W (i ) E )
-i 1
*
106
P enosové funkce se volí zpravidla pro všechny neurony jedné vrstvy stejné, nicmén
každý jednotlivý neuron m že mít individuální typ p enosové funkce. Pr b h p enosové
funkce je jedna ze základních záležitostí nastavení sít a zásadn ur uje chování UNS.
Obr. 14.7. Typy základních p enosových funkcí
Aktivace p íslušných výstupních neuron p edstavuje míru p íslušnosti ke t íd . Podle
hodnoty aktivity (pokud nejde o binární nebo bipolární hodnoty) lze navíc usuzovat na míru
správnosti.
14.2.2 U ení
Jedná se o proces samo inné optimalizace systému klasifikátoru p i postupném
p edkládání u ících vzor .
Obr. 14.8. Princip u ení znalostí klasifikátoru
Trénovací množinu p i u ení tvo í skupina p íznak , u nichž apriorn známe p íslušnost
ke t íd – objektu v obraze. B hem trénování nelze p edložit síti k nau ení všechny možné
existující obrazy – p i procesu klasifikace se projeví schopnost generalizace sít – základní
schopnost UNS.
Metoda pro nastavení (trénování) klasifikátoru musí být induktivní, tzn., že informace
obsažené v obrazech trénovací množiny budou inferen ním mechanismem klasifikátoru
zobecn ny na celý obrazový prostor.
107
Fáze klasifikace: ur ení typu a topologie sít , stanovení p enosových funkcí neuronu,
stanovení trénovacích a testovacích dat, u ení, verifikace, klasifika ní proces.
Cílem u ení je minimalizovat celkovou chybu sít , k emuž je zapot ebí p edem
stanovit tzv. optimaliza ní kritérium. U ící algoritmus pak minimalizuje chybovou funkci EC,
tzn. hledá extrém funkce podle p edpisu:
wik
1
wik
1
2wik : min
EC
P
1
2
S
=Y (i, s)
B ( i, s ) >
2
i 1 s 1
kde symboly mají následující význam:
wik-1 váha i-tého neuronu v k-1 kroku
EC
chybová funkce výstupu sít
S
po et výstupních neuron , které se podílí na chyb
P
po et p edkládaných vzor v jedné epoše u ení
14.2.3 Aproximátory – aproxima ní klasifikátory
Vytvá í vlastní model vzor – t ídící informaci nelze jednoduše dohledat, je
rozprost ena ve všech vahách sít . P íkladem je nap . jednoduchý nebo vícevrstvý perceptron.
Obr. 14.9. Topologie p íkladu aproxima ního klasifikátoru
14.2.4 Asociativní pam ti – Hopfieldova sí
Ve vahách sít jsou „zapamatovány“ obrazy p edložených vzor . Klasifikátor na bázi
asociativní pam ti aktivuje pouze jeden výstup odpovídající dané t íd , ostatní jsou v nule.
Klasické lineární pam ti: klí em k vyhledání položky v pam ti je adresa.
Asociativní pam ti: dochází k vybavení informace (pam ) na základ její áste né
znalosti, ili na základ lineárních kombinací vstup (ne afinních kombinací).
Auto-asociativní pam ti: vstupní i výstupní vzor je podobný, ili jde o up esn ní
vstupní informace. Lze využít k rozpoznávání poškozených vzor (mimo klasifikaci také
k reparaci).
108
Hetero-asociativní pam ti: vstup i výstup jsou r zné. Na vstupní vzor (podn t) sí
reaguje odlišným výstupním vzorem – tzv. sdruženou informací. Tato souvisí se vstupem
n kterou lineární kombinací vstup , ne obecn afinních.
Obr. 14.10. Topologie Hopfieldovy sít
Mechanismus vybavování si informace na výstupu z pam ti Hopfieldovy sít se ídí
následující relací:
bi
F 1
F 1
N
=a
i
wi
ci
i 1
>
i
jinak
Vlastnosti sít :
- bez u ení – jednorázové nastavení sít
- klasifikátor asociativní pam tí
- binární (0,1) nebo bipolární (-1, +1) vstupy a výstupy
- kapacita pam ti mén , než 15 % po tu neuron
14.2.5 Realizovatelnost klasifikátoru
Pokud je konkrétní proces klasifikace realizovatelný kone nou posloupností
symbolických klasifika ních postup , pak je tento problém matematicky popsatelný po
ástech spojitou funkcí s kone ným po tem prom nných. D kaz Kolmogorova ukazuje, že
lze takovou spojitou funkci kone ného po tu prom nných rozložit na n funkcí jedné
prom nné. Transforma ní funkci klasifikace lze pak aproximovat pomocí neuronové sít ,
bude-li tato mít alespo t i vrstvy a p íslušný kone ný po et neuron .
109
14.3 Klasifika ní úlohy
14.3.1 Klasifikace obrazu íslice
Tvar íslice je popsán binárním obrazem, jehož každý jeden pixel odpovídá jednomu
vstupu neuronové sít . Vstupní vrstva má tedy dimenzi rovnou rozlišení snímku.
Obr. 14.11. Reprezentace obrazové informace v síti
P i použití asociativní pam ti samoz ejm není zaru ena invariantnost v i zm n
m ítka, oto ení, zm n fontu, šumu apod. Takové nezávislosti lze docílit použitím
aproxima ních klasifikátor UNS s vhodn vybranou trénovací množinou.
Obr. 14.12. Trénovací množina ru n psaných znak
Z možných typ sítí (Hammingova, Hopfieldova, LVQ, Perceptron, ML Perceptron,
Kohonenova samo-organizující se atd.) se jako možná vhodná rýsuje sí Kohonenova
s kompetitivním u ením nebo obecná ML perceptron sí typu Feed-forward, sí dop edná.
Tento typ sít (ML) se s výhodou používá mimo jiné pro rozpoznávání znak v abeced , což
je velmi d ležitý aspekt pro ur ení míry vhodnosti tohoto typu sít pro rozpoznávání vad na
transparentním materiálu.
Znak nebo p esn ji jeho p esný vzor (p edpis) je reprezentován maticí pro jednoduchost
nul a jedni ek (tedy pouze binárn , úpln vlevo). Každý takový binární p edpis znaku je
ideálním p ípadem skute ného obrazu znaku (uprost ed), který je už ale konkrétním p ípadem
libovolného obecného obrazu (vpravo).
110
Obr. 14.13. Zobecn ní obrazového vzoru
P izp sobením vstupního obrazu parametr m sít zpravidla dojde ke snížení po tu
kvantiza ních úrovní (nej ast ji na dv p edstavující binární obraz) a rozlišení, což ur uje pro
použití takové sít p i zpracování obrazu s nepom rn vyšším rozlišením pot ebné výpo etní
nároky, ale nezamítá její použitelnost.
V úloze rozpoznání znak jsou jednotlivé ádky vzoru znaku se azeny za sebou a
p edstavují jeden ádkový vzor. Obdobn lze takto sestavit vzor libovoln velkého obrazu,
samoz ejm s úm rn vyšší dobou výpo tu. Pro každý takový vzor je ur en v rámci u ení
jediný výstupní parametr a to 0 nebo 1 podle toho, zda je na snímku vada nebo ne.
14.3.2 Klasifikace obrazu vady
Na homogenním snímku materiálu se v p ípad jeho poškození objeví nehomogenní
oblast, která je nejd íve segmentována a následn popsána pro jednoduchost dv ma p íznaky
ur ujícími rozm r nehomogenity – vady.
Klasifika ní prostor je tedy dvou dimenzionální, jednotlivé dimenze jsou totožné
s dimenzemi obrazu segmentované vady – ší ka a výška.
Klasifika ní t ídy jsou indexovány a jejich verbální popis je následující:
1. velká vada
2. malá vada
3. šum
4. vertikální tenká vada
5. horizontální tenká vada
Trénovací množinu tvo í N vzor , u nichž jsou segmentací a popisem známy parametry
ší ka a výška a expertem ur ená správná klasifika ní t ída.
Tabulka 14.1. Trénovací množina systému rozpoznávání vad
íslo vzoru
Ší ka nehomogenity [mm]
Výška nehomogenity [mm]
Klasifika ní t ída
1
30
40
2
2
80
50
1
3
90
20
5
4
15
20
3
5
60
70
2
…
…
…
…
…
…
…
…
N
20
80
4
111
Obsazení t íd ve dvourozm rném klasifika ním prostoru s ostrými hranicemi t íd
ur enými nastavením vah neuron sít lze vizualizovat pomocí postupného dosazení všech
p ípustných hodnot na vstup sít a stanovením aktivovaného výstupu. Stejným zp sobem lze
obdržet podobu klasifika ního prostoru s pravd podobnostními p echody mezi jednotlivými
t ídami (pravd podobnost správnosti klasifikace na pomezí).
Obr. 14.14. Rozd lení klasifika ních t íd s ostrými a pravd podobnostními p echody
14.3.3 Klasifikace obraz znak
Úloha rozpoznávání obrazc a symbol nap . na bankovních poukázkách, kde je
požadována obecn vyšší rychlost zpracování a nižší náklady. Úloha je definována tak, že
rozpoznávací systém má rozeznávat navzájem 26 písmen latinské abecedy.
Vstupní data lze realizovat dostupným systémem pro digitalizaci vzor (písmen)
vyst ed ného ve snímacím poli, kde každý znak je reprezentován binární maticí o rozm rech
5x7 bod . Systém pro p evod znak do íslicové podoby ale není ideální, obrazy znak jsou
tedy zašum né. Diference velikosti polí ka od st ední velikosti ur uje míru p ítomného šumu.
Obr. 14.15. Reprezentace ideáln (vlevo) a reáln (vpravo) snímaného znaku A
Na rozpoznávací systém jsou kladeny dva proporcionální požadavky: zcela bezchybné
t íd ní (klasifikace) p esn snímaných vzor a relativn p esné t íd ní i vzor se šumem.
Etalony znak jsou definovány ve 26 maticích nazvaných abeceda, každá o rozm ru
5x7, ili 35 obrazových bod . Matice jsou pro práci se sítí p evedeny na vektorový formát o
délce 35 len .
112
Cílové vektory – vektory s ur enými správnými t ídami klasifikace (znaky) jsou
nazvány cíl. Každý vektor cíl má 26 prvk s hodnotou 1 na míst znaku, který reprezentuje a
hodnotou 0 na ostatních pozicích (nap . vektor znaku “A” má hodnotu 1 na prvním míst a na
zbylých 25 pozicích hodnotu 0). Systém je realizován sítí s BP (back-propagation)
algoritmem – zp tné ší ení chyby.
Neuronová sí :
-
vstupy sít jsou tvo eny vektory s 35 prvky
-
úkolem je najít korespondující hodnoty a vrátit 26 prvkový vektor cíl
-
sí by m la správn vyhodnocovat i zašum ná data
Architektura sít :
-
35 vstupních neuron pro matici 5x7 vstupních vzor
-
26 neuron ve výstupní vrstv pro vektor cíl ur ující znak abecedy
-
sí má jednu skrytou vrstvu
-
p enosové funkce neuron
logaritmické sigmoidy
jak ve skryté tak i výstupní vrstv
mají tvar
P enosová funkce logaritmická sigmoida (log-sig) byla zvolena, protože je z hlediska
binárních výstup (0,1) vhodná pro reprezentaci vektoru výstupu cíl.
Obr. 14.16. Architektura sít
Skrytá vrstva má 10 neuron – po et zjišt n experimentáln , v p ípad špatného u ení
sít lze do skryté vrstvy p idávat další neurony.
Inicializace:
Dvouvrstvá sí (vstupní vrstva se nepo ítá) je vytvo ena v Matlabu funkcí newff.
S1 = 10;
[R,Q] = size(abeceda);
[S2,Q] = size(cíl);
P = abeceda;
net = newff(minmax(P),[S1 S2],{'logsig' 'logsig'},'traingdx');
Trénování:
Trénovací množina je tvo ena ideálními i zašum nými daty. Sí je nejprve u ena na
ideální vzory, dokud chyba u ení neklesne pod stanovenou hladinu. Poté jsou síti p edkládány
ideální i zašum né vzory, tím je podpo ena schopnost sít generalizovat získané znalosti i na
113
reálných datech, které nutn obsahují šum. Trénování sít vzory bez šumu je omezeno 5000
epochami nebo poklesem chyby pod hodnotu 0.1.
P = abeceda;
T = cíl;
net.performFcn = 'sse';
net.trainParam.goal = 0.1;
net.trainParam.show = 20;
net.trainParam.epochs = 5000;
net.trainParam.mc = 0.95;
[net,tr] = train(net,P,T);
Trénování sít vzory se šumem je omezeno 300 epochami nebo poklesem chyby pod
hodnotu 0.6. Vzory obsahují 10 % a 20 % šumu.
netn = net;
P = abeceda
T = cíl;
netn.trainParam.goal = 0.6;
netn.trainParam.epochs = 300;
[netn,tr] = train(netn,P,T);
Obr. 14.17. Rozpoznávání znak bez a se šumem
P íklad vstupního obrazu znaku se šumem (vlevo) do rozpoznávacího systému a
výsledného klasifikovaného znaku NS-klasifikátorem (vpravo) je ukázán na následujícím
obrázku. Znak napravo byl získán vyhledáním shody vektoru cíl v poli etalon .
Obr. 14.18. Rekonstrukce zašum ného obrazu znaku
114
15 Analýza dynamických obraz (Horák)
15.1 Pohyb v obraze
Prostorový pohyb bod objekt v reálném sv t je p i zpracování reprezentován 2D
obrazem – rychlostním polem. Každý bod obrazu rychlostního pole má p i azen
dvousložkový vektor rychlosti v = (sm r; amplituda).
obrazová rovina
(rychlostní pole)
pohyb bodu
v prostoru
zobrazovací
soustava
ohnisková
vzdálenost
P
r
r
P
i1
P
i2
r
1
dr = r - r = v . dt
i i2
i1 i
Wy
1
z
z0
i2
dr = r - r = v . dt
2 1
P
2
r
i1
2
Wz
Wx
Obr. 15.1. Zobrazení prostoru na pohybové pole
Bod na povrchu objektu se p emístí z bodu P1 popsaného polohovým vektorem r1 do
bodu P2 s polohovým vektorem r2. Jeho zm nu polohy dr=r2-r1 v prostoru lze vyjád it jako
pohyb rychlostí GvG ve sm ru v za as dt. Z podobnosti trojúhelník lze odvodit obdobný vztah
pro zm nu hodnoty sm ru a amplitudy vektoru rychlosti v rychlostním poli dri=ri2-ri1=vi dt.
Aperturní problém = z hlediska obrazu nejednozna ný pohyb zp sobený kone nými
rozm ry snímacího ipu a objektivu (apertury). Prostorov omezená projekce nenese
informace o sm ru skute ného pohybu.
Projek ní problém = nejednozna ný pohyb – objekt se p ibližuje, resp. oddaluje od
obrazové roviny, tj. kone ný úsek objektu ve scén se postupn zv tšuje, resp. zmenšuje.
Obr. 15.2. Jednozna né zobrazení pohybu – segment nem ní vzdálenost od objektivu
115
Obr. 15.3. Nejednozna né zobrazení pohybu – segment se p ibližuje k objektivu
Zjednodušující p edpoklady o pohybu tuhých t les:
& Omezení maximální rychlosti (a) – na následujícím obraze se pixel m že zobrazit
jen do omezeného okolí jeho p edchozí polohy – do kruhu o polom ru v dt se st edem
v p vodní poloze.
& Omezení akcelerace (b) – velikost zm ny polohy mezi okamžiky t1 a t2 je omezeno
velikostí zm ny polohy mezi okamžiky t0 a t1 – nenulová hmotnost objektu ur uje
malé (kone né) zrychlení.
& Pohybová korespondence (c) – topologické vlastnosti se nem ní – nezávislost na
homeomorfní transformaci – tuhá t lesa mají stabilní konfiguraci bod pohybujících
se stejným sm rem.
Obr. 15.4.: Zjednodušující p edpoklady analýzy pohybu
15.2 Obrazová sekvence
Zpracování statických obraz je odkázáno pouze na informace obsažené v jednom
obrazu bez vazby na p edchozí nebo/a následující d ní ve scén . ada úloh ale vyžaduje pro
kvalitní analýzu a porozum ní obsahu dynamické scény obrazové informace nejen
v prostorových dimenzích x a y, ale navíc i v dimenzi asové, ili vyžaduje sekvenci obraz .
Na tuto sekvenci snímk jsou pak aplikovány algoritmy odlišující pop edí (pohyblivé
objekty) a pozadí (nem nnou scénu). Mezi takové motiva ní úlohy lze za adit:
-
Analýza pohybu o í pro automobilové koncerny vyvíjející systémy zabra ující
usnutí idi e za jízdy, pro dálkové ovládání po íta e nevidomými apod.
116
-
Analýza pohybu lov ka pro bezpe nostní služby, rehabilita ní programy
zdravotnických za ízení nebo pro identifikaci osoby v uzav ených prostorech.
-
Lokalizace pohybu vozidel pro automatickou kontrolu dodržování dopravních
p edpis (p ekro ení maximální povolené rychlosti, jízda v k ižovatce na
ervenou).
-
Rekonstrukce tvaru z pohybu pro identifikaci p edm t .
Z technického hlediska je analýza dynamických obraz (sekvencí) zpracování série
snímk , p i emž pro zpracování mají nemalý význam vzájemné vazby mezi nimi. Oproti
statickému obrazu g(x,y) ur enému dvourozm rnou jasovou funkcí je dynamický obraz ur en
funkcí f(x,y,t) závislou na asové složce.
Obr. 15.5.: Obrazová sekvence jako trojrozm rný signál
Obrazy sekvence jsou obvykle snímány v ekvidistantních krocích 2 t dostate n
krátkých tak, aby byly zaznamenány i nejrychlejší pohyby v obraze. Sou adnice x a y
reprezentují polohu bodu v jednom obraze, sou adnice t ur uje po adí obrazu v sekvenci.
V reálném sv t mohou nastat obecn ty i následující situace podle relativního pohybu
snímací soustavy a snímané scény, p i emž o pohybu v obraze mluvíme v posledních t ech
p ípadech:
kamera v klidu, objekty v klidu
1.
2.
kamera v pohybu, objekty v klidu
3.
kamera v klidu, objekty v pohybu
4.
kamera v pohybu, objekty v pohybu
Každá kombinace relativního pohybu kamery a objektu je vhodná pro ur itou t ídu
systém zpracování dynamických obraz nap . dozor í systémy mají zpravidla pevn
umíst nou kameru a detekují pohyb lidí nebo vozidel v obraze (p estože m že být kamera
umíst na na rotujícím kloubu, pak je horizontální pohyb kloubu algoritmicky eliminován).
117
Obr. 15.6.: Sekvence snímk s ekvidistantním asováním a kamerou v klidu
15.3 Analýza pohybu
V praxi je analýza pohybu provád na na t ech základních typech úloh:
1. Detekce pohybu.
2. Lokalizace a popis pohybujících se objekt – predikce trajektorie.
3. Stanovení vlastností objekt v prostoru.
Nejjednodušší úlohou zpracování dynamických obraz je prostá detekce pohybu (ad
1). Jde o zaznamenání libovolného pohybu v obraze bez nutnosti hledání popisných informací
objekt v n m obsažených. S výhodou lze využít metodu rozdílových snímk . Složit jší
úloha (ad 2) eší rozpoznávání pohybujících se objekt a nalezení jejich polohy. Vysokým
stupn m v pomyslné škále porozum ní dynamickým obraz m je hledání trajektorie
pohybujících se objekt , na jejímž základ lze predikovat nap . dráhu objektu v obraze.
K takové predikci se zpravidla používají metody hledání významných bod a jejich
korespondence. Poslední skupinu úloh (ad 3) p edstavuje stanovení fyzických vlastností
objekt
v reálném prostoru,
ili stanovení geometrických vlastností t lesa
v t ídimenzionálním prostoru ze série snímk – dvourozm rných projekcí. Obvykle jsou tyto
metody aplikovány jen na n kolik málo obraz sekvence, z nichž jsou klasickými postupy
zpracování statického obrazu získány p íznaky, ve kterých pak vyšší vrstva nalezne
korespondenci nebo jinou metriku podobnosti v obraze.
Analýzu pohybu v obraze lze provést také pomocí výpo tu tzv. optického toku.
D ležitou podmínkou pro použití metody výpo tu optického toku je absence výrazných
zm n v bezprost edn po sob jdoucích snímcích. Podmínku lze zajistit krátkou dobou
vzorkování mezi snímky. P i výpo tu optického toku se stanoví pro každý bod obrazu vektor
rychlosti ur ující sm r a rychlost pohybu daného bodu. Pokud nejsou intervaly mezi
jednotlivými obrazy zanedbatelné z hlediska zm n v obraze, jde o výpo et tzv. rychlostního
118
pole, což je kompromisní metoda mezi koresponden ními technikami a metodou výpo tu
optického toku.
Analýza pohybu m že být bu závislá, nebo nezávislá.
&
Nezávislá analýza pohybu je provád na bez ohledu na polohu pohybujících se objekt
v obraze a m že být:
o Bodov (pixelov ) orientovaná.
o Blokov orientovaná.
&
-
Závislá analýza pohybu je provád na za pomoci detekce objekt a lze využít
p edpoklad o pohybu tuhých t les (viz zjednodušující p edpoklady pohybu):
rychlostní pole
rozdílové metody
Analýza dynamických obraz má dva komplementárn spojené cíle:
a) Detekovat smysluplný (významný) pohyb.
b) Vyhnout se falešné detekci pohybu (šum, stíny, zm na osv tlení scény apod.).
Základní problémy – výzvy analýzy pohybu v obraze:
a) Nerelevantní pohyb v obraze – rozpoznání od významných pohyb .
b) Zm na vzhledu objektu nap . oto ením na jednom míst .
c) Stíny – rozpoznání objektu a jeho stínu.
d) Lokalizace do asn stojících objekt .
e) P ekrývající se objekty.
f) Dynamické snímání dynamické scény – pohybující se kamera.
15.4 Rozdílové metody
Jedná se o jednoduché metody detekce pohybu v obraze založené na zjišt ní rozdíl
obraz po ízených v r zných asových okamžicích. Pokud se odpovídající obrazové body liší
rozdílem jasových hodnot o více, než stanovenou mez 7, je na p íslušnou pozici binárního
rozdílového obrazu zanesena hodnota 1. Pokud snímané obrazy ozna íme f1(x,y) a f2(x,y) a
zavedeme hodnotu 7 ur ující práh rozdílnosti bod , lze výsledný binární rozdílový obraz d
definovat:
d ( x, y )
0
f 1 ( x, y )
f 2 ( x, y ) : 7
1
f 1 ( x, y )
f 2 ( x, y ) 9 7
Jednotková hodnota (oblast pohybu) s koordináty x a y ve výstupním binárním obraze
m že být zp sobená n kolika stavy:
& f1(x,y) je element pohybujícího se objektu a f2(x,y) je element nepohybujícího se pozadí
nebo obrácen .
& f1(x, y) je element pohybujícího se objektu a f2(x,y) je element jiného pohybujícího se
objektu.
& f1(x, y) a f2(x,y) jsou elementy stejného pohybujícího se objektu v místech r zného jasu.
& vlivem šumu a jiných nep esností p i snímání.
119
Jak je patrné z obrázku, lze z rozdílového obrazu relativn jednoduchým zp sobem
detekovat p ítomnost pohybu v obraze, ne už však jeho sm r a velikost.
Obr. 15.7.: Rozdílová metoda neur uje sm r pohybu
Výpo et rozdílového snímku lze realizovat jako jednosm rný nebo obousm rný.
Jednosm rný uvažuje pouze kladné zm ny jasových hodnot na prvním snímku oproti
snímku následujícímu, ili z defini ního vzorce je odstran na absolutní hodnota a výsledné
záporné hodnoty jsou nulovány.
Obr. 15.8.: Jednosm rné rozdílové obrazy po sob jdoucích snímk
Sekvence obraz s detekovaným pohybem objektu pomocí jednosm rných rozdílových
snímk ukazuje nevýhodu metody: ást objektu není detekována, protože byla do zna né míry
(dáno parametrem 7) spole ná dv ma po sob jdoucím obraz m a tak byla p íslušná obrazová
data ode tena.
Obousm rný je pak po ítán p ímo z defini ního vzorce pro výpo et rozdílového
snímku v etn absolutní hodnoty.
120
Obr. 15.9.: Obousm rné rozdílové obrazy po sob jdoucích snímk
Libovolný rozdílový snímek však nikdy neobsahuje informaci o sm ru pohybu. Tuto
principiální nevýhodu metody áste n stírá použití modifikované metody výpo tu
kumulovaného rozdílového obrazu.
První snímaný obraz je ozna en za referen ní a na všech následujících obrazech se
provede operace rozdílu s tím, že výsledný kumulativní rozdílový snímek je sou tem všech
rozdílových snímk p edchozích. Pro druhý snímek v sérii se tedy jedná o prostý
diferenciální obraz, jak bylo popsáno výše. Až pro t etí a další obraz je výpo et odlišný.
Stejn jako v prvním p ípad se stanoví rozdílový obraz vzhledem k referen nímu snímku,
výsledek je ale se ten s rozdílovým obrazem druhého snímku. Tímto se získá kumulativní
rozdílový snímek pro t etí obraz. Obdobn se postupuje i pro další obrazy, jejichž p ísp vky
rozdílových snímk do kumulativního rozdílového snímku mohou mít r zné váhy wi. Vztah
pro výpo et kumulativního rozdílového snímku z N obraz je:
d kum ( x, y )
N
i 1
wi d i
N
i 1
wi f 1 ( x, y )
f 2 ( x, y )
Pokud jsou váhy jednotkové, pak hodnoty kumulativního rozdílového snímku ur ují,
kolikrát se daný obrazový bod zm nil oproti referen nímu snímku, ímž je v obraze zanesena
informace i o sm ru pohybu.
Obr. 15.10. Snímky sekvence
121
Obr. 15.11. Kumulativní rozdílový snímek
Obr. 15.12. Detekce pohybu pomocí jednosm rných rozdílových obraz
Vlastnosti rozdílových metod:
1. Pohyb detekován pouze v místech, kde se objekt vyskytl nebo zmizel, nikoliv v míst
kde se pohybuje, ale nedošlo v n m k výrazným jasovým zm nám (viz obrázek 8 a 9).
2. Zm na osv tlení zp sobuje zm ny v rozdílovém snímku – ešeno pomocí aktualizace
referen ního snímku spolu se zapomínáním (ode ítáním nejstarších snímk v bufferu).
15.5 Estimace modelu prost edí
Detekci ástí pohybujících se objekt i v místech, kde se nem ní jejich jasová úrove
(nap . uvnit relativn jednobarevného objektu) nelze provést pouze pomocí rozdílových
snímk . V t chto p ípadech lze použít odhad nejpravd podobn jšího modelu pozadí, ili
sestavení statické ásti scény. V nejjednodušším ideálním p ípad by šlo o ernou jednolitou
plochu. Každý pixel je pak porovnávám s tímto modelem a na základ tolerancí je rozhodnuto
o p íslušnosti k objektu. Referen ní model pozadí je podobn jako referen ní snímek
122
pr b žn aktualizován. Obrazový bod o sou adnicích x a y je považován za bod objektu,
spl uje-li rovnici:
d ( x, y )
0
f ( x, y ) b( x, y ) : 7
1
f ( x, y ) b( x, y ) 9 7
V uvedené rovnici je f(x,y) obrazová funkce aktuálního snímku a b(x,y) obrazová funkce
modelu prost edí. Pro jeho sestavení je t eba použít jednu z možností:
1. Po ídit obraz istého prost edí.
2. Po ídit sérii obraz prost edí a vypo ítat pr m rný snímek.
Pro nalezení modelu prost edí existuje tzv. naivní ešení, kdy první snímek sekvence je
považován za obrazovou funkci modelu prost edí tj. platí:
b( x, y )
f 1 ( x, y )
Na libovolném dalším snímku ft je obrazový bod (x,y) pokládán za bod prost edí, pokud
spl uje podmínku:
f t ( x, y ) b( x, y ) : 7
Hlavním problémem p i sestavení obrazové funkce modelu prost edí je šum – i stabilní
obraz statické scény je ovlivn n šumem m nícím hodnoty obrazových dat:
1. Model prost edí stanovený z jednoho snímku není spolehlivý – lze použít pr m r n
prvních snímk , dovoluje-li to úloha.
2. Míra šumu v obraze je závislá na použité kame e a osv tlení – je t eba otestovat
významnost prahu 7 vzhledem k šumu – lokální práh 7 pro každý pixel nebo globální pro celý
obraz nebo jeho ásti?
Obr. 15.13. Pr m rný obraz prost edí prázdné scény (vlevo) a zm na scény (vpravo)
Zm na v obraze na úrovni globálních objekt je pak snadno detekovatelná, aniž by
nastávaly problémy s filtrací šumu.
123
Obr. 15.14. Objekty v pohybu nalezené rozdílem oproti modelu prost edí
Z pochopitelných d vod stále ale z stávají problémy s filtrací stín objekt . Ty
p edstavují v diferen ním obrazu jasovou zm nu obdobn jako objekt samotný a pro jejich
eliminaci se používají r zné složit jší metody závislé na konkrétní aplikaci.
15.6 Optický tok
Metoda výpo tu optického toku zachycuje všechny zm ny obrazu za asový interval dt.
Každému bodu obrazu odpovídá dvojrozm rný vektor rychlosti, vypovídající o sm ru a
velikosti rychlosti pohybu v daném míst obrazu. Optický tok lze využít v situacích, kdy je
pozorovaná scéna statická a pohybující se je pozorovatel (kamera), statický pozorovatel a
pohybující se scéna anebo v p ípad sou asného pohybu objekt i kamery.
Nevýhodou je, že optický tok je závislý na aperturním problému, na zm n osv tlení
scény a na pohybu nevýznamných objekt . Výpo et optického toku se zpravidla provádí pro
následující složit jší zpracování obrazové informace.
Obr. 15.15. Optický tok vypo ítaný ze dvou snímk obrazové sekvence
Dynamický obraz lze popsat jako jasovou funkci polohy a asu – f(x,y,t), která ur uje
hodnotu jasu v míst (x,y) a ase t. Hodnota jasu v jeho blízkém okolí je ur ena vztahem (po
rozvinutí do Taylorovy ady a p i zanedbání len vyšších ád ):
f ( x dx, y dy , t
dt )
f ( x, y, t )
/f
dx
/x
/f
dy
/y
/f
dt
/t
f ( x, y , t )
f x dx
f y dy
f t dt
Pro nalezení polohy daného bodu na p edcházejícím snímku platí p edpoklad jeho
konstantní jasové hodnoty:
f ( x dx, y dy, t dt ) f ( x, y , t )
124
Z p edchozích dvou rovnic pak vyplývá vztah pro složky vektoru optického toku:
dx
dy
ft 0
f x dx f y dy f t dt 0 8 f x
fy
dt
dt
Cílem výpo tu je ur it rychlost r=(dx/dt,dy/dt)T. Všechny zm ny v dynamických
obrazech lze popsat jako kombinaci ty základních typ pohybu, které lze analýzou pomocí
optického toku dob e rozeznat.
Obr. 15.16. Typ pohybu v dynamickém obraze
(a)
(b)
(c)
(d)
Transla ní pohyb v rovin kolmé na osu pohledu.
Translace do dálky (p iblížení nebo oddálení).
Rotace kolem osy pohledu.
Rotace kolmá na osu pohledu.
Algoritmus výpo tu optického toku je výpo etn náro ný, proto se využívá rozdílových
metod pro zjišt ní jen t ch míst, kde došlo k pohybu. Pro každý bod, kde došlo k pohybu je
stanoveno okolí, které je postupn prohledáváno a bod, jehož jasová hodnota je nejblíže
jasové hodnot aktuálního bodu je prohlášen za jeho p edchozí výskyt. Ze známých
sou adnic bodu v p edchozím a aktuálním obraze je ur en vektor rychlosti optického toku.
Obr. 15.17. Výpo et optického toku pro horizontální pohyb kamery
15.7 Detekce významných bod
Tuto metodu lze použít v p ípadech, kdy asové intervaly mezi snímky nelze považovat
za velmi malé vzhledem k asovým konstantám ur ující pohyb v obraze. Aplika ní postup
125
metody se skládá ze dvou krok . Prvním je samotné nalezení významných bod obrazu
(nap . hrani ní body, jasov odlišné plochy apod.) a druhým je nalezení korespondence
t chto bod mezi jednotlivými obrazy.
Ve všech obrazech posloupnosti (sekvence) je t eba nalézt taková místa, která jsou
n jakým zp sobem významná, tj. jsou co nejmén podobná svému okolí, p edstavují
vrcholy i hranice objekt . Pro tento ú el lze použít hranové detektory nebo Moravc v
operátor, který ur uje významnost bodu na základ co nejv tší odlišnosti malé ásti obrazu od
jejího okolí a je definován takto:
f (i , j )
1k
8k
i 1 j 1
g ( k , e) g ( i , j )
i 1e j 1
Vzhledem ke zpracování dynamických obraz , tedy kvalitativnímu popisu pohybu
v obraze jsou podstatné a za významné ozna eny jen ty body, jejichž poloha se v ase m ní.
K jejich prvotní detekci lze použít již popsané rozdílové metody.
Stanovením a nalezením polohy významných bod je spln na pouze polovina úkolu.
Pomocí postup srovnávání je nutné ur it korespondenci nalezených významných bod mezi
jednotlivými snímky. Po ur ení korespondence je již snadné ur it rychlostní pole.
Hledání korespondence je itera ní proces a za íná ur ením všech potenciálních
korespondencí mezi dvojicemi bod dvou po sob jdoucích obraz . Každá dvojice bod je
ohodnocena pravd podobností udávající v rohodnost korespondence, vy azeny jsou
korespondence porušující p edpoklady pohybu tuhých t les nap . p edpoklad maximální
rychlosti. Na základ principu spole ného pohybu bod tuhého t lesa jsou pravd podobnosti
iterativn up es ovány. Existuje-li pro každý významný bod práv jeden významný bod v
následujícím obraze, jejichž pravd podobnost vzájemné korespondence je výrazn v tší, než
u ostatních korespondencí, itera ní proces je ukon en.
15.8 Komprese videa
Metody pro zpracování dynamických obraz se používají i pro komprimaci videa.
Vzhledem k tomu, že se neustále zvyšují požadavky na kvalitu zpracovávaného obrazu a
zvuku sou asn p i co nejmenších nárocích na p enosovou kapacitu a úložné místo je jednou
z metod snížení pot ebného datového toku i úložného místa kompenzace pohybu objektu na
snímcích sekvence.
Obr. 15.18. Struktura (de)kódování videa využívající metodu kompenzace pohybu objekt
126
Pro kompresi videa se tém výhradn používají blokov orientované metody, u nichž
se obraz rozd lí do blok typicky velikosti 8x8 i 16x16 pixel . Úkolem výpo etní metody
pak je nalézt odpovídající pohybové vektory pro všechny bloky mezi p edchozím a
aktuálním snímkem. Nejlepší pohybový vektor je nalezen postupným porovnáváním každého
bloku s bloky p edchozího snímku podle p edem dané specifické strategie za použití kritéria
ur ujícího míru podobnosti blok .
15.9 Metoda RANSAC
Metoda vybírající náhodnou skupinu dat ze všech m ení, která eší mimo jiné i
koresponden ní problém. Její algoritmus byl poprvé publikován Fischlerem a Bollesem v roce
1981 a je ur ena pro odhad parametr matematického modelu ze sady sledovaných dat.
D ležité je uv domit si, že libovolná obrazová data obsahují chyby stejn jako kterékoliv
jiné m ení – snímání.
Základní p edpoklad metody spo ívá v tom, že nam ená data jsou složena ze vzork
odpovídající m enému modelu a ze vzork odpovídající m icím chybám. Ob skupiny
vzork mohou být navíc zatíženy šumem neznámého rozložení a parametr .
Chyba jednoho vzorku m že být zp sobena šumem, chybným m ením nebo špatnou
interpretací dat. Metoda RANSAC automaticky p edpokládá ást chybných dat a na základ
v tšinou malého souboru vybraných dat ur uje správné parametry modelu. Výhodou metody
je možnost robustního ur ení parametr modelu, jelikož lze ur it parametry modelu s vysokou
p esností díky úplnému vy azení chybných dat. Nevýhodou metody je, že neexistuje horní
asová hranice ur ující dobu trvání výpo tu. Pokud je pevn stanovena, výsledný model
nemusí být nutn ten nejlepší ze všech možností.
Vlastnosti metody:
1. K dispozici je celkem M vzork m ených dat.
2. Parametry modelu mohou být odhadnuty z NHM vzork .
3. Pravd podobnost náhodného výb ru skupiny dat, která práv náleží správnému
modelu je pg.
4. Pravd podobnost ukon ení výpo tu za p edpokladu existence alespo jednoho
vyhovujícího modelu, aniž by byl nalezen jakýkoliv jiný dosta ující model je pfail.
Formální vstupy:
data – sada pozorovaných vzork
model – model, který m že odpovídat vzork m
N – minimální po et vzork pot ebných pro ur ení modelu
L – maximální po et povolených iterací
T – hodnota prahu ur ující p esnost dat s modelem
D – po et vzork pot ebných ke konstatování, že model dob e odpovídá dat m
Formální výstupy:
– parametry modelu, který nejlépe vyhovuje dat m pop . nula, pokud není nalezen
žádný vhodný model.
127
Postup výpo tu:
1. Náhodný výb r N vzork .
2. Výpo et parametr
modelu.
3. Stanovení po tu K vzork z M, jež vyhovují vypo tenému modelu s parametry a s
p edem stanovenou tolerancí T.
4. Pokud je po et vyhovujících vzork K dostate n vysoký (je spln na podmínka K>D),
je p ijat aktuáln vypo teny model výpo et úsp šn ukon en.
5. Opakování krok jedna až ty i L-krát a poté ukon ení výpo tu neúsp šn .
Vstupem pro algoritmus je tedy sada sledovaných dat, parametrizovaný model a známé
d v ryhodné parametry. Algoritmus dosáhne svého cíle iterativním p edkládáním náhodné
podskupiny z celé skupiny vstupních dat pro verifikaci modelu. Tyto vzorky mohou být
hypoteticky bezchybné a tato hypotéza se testuje. Model je nastaven na hypoteticky
bezchybná data, ili všechny volitelné parametry jsou rekonstruovány podle vybraných
vzork . Všechny další vzorky jsou pak testovány vzhledem k novému modelu, tzn. pro každý
vzorek je ur ena míra shodnosti s modelem. Pokud vzorek dob e odpovídá modelu, je za azen
jako hypoteticky bezchybný (p ispívá k hodnot K). Proces je n kolikrát opakován (p edem
daný maximální po et opakování L) a vždy je vyprodukován bu to model x, který je
zamítnut, protože bylo p íliš málo bod vyhodnoceno jako bezchybných nebo je vytvo en
vyhovující model i s odpovídajícími velikostmi chyb. Nakonec je získán nejlepší model, pro
n jž je chyba minimální. Volba parametru K závisí na pom ru bezchybných dat z celkového
po tu M.
Pravd podobnost, že ani po L opakováních nebude nalezeno N vzork
odpovídajících modelu:
dostate n
=1 = p > >
N L
p fail
g
Z ehož plyne maximální po et povolených opakování L:
log = p fail >
L
N
log 1 = p g >
=
>
Rychlost výpo tu závisí:
- na velikost chybové kontaminace dat, která ovliv uje nutný po et vybíraných bod N
- na po tu požadovaných správných bod K pro odsouhlasení modelu
- na celkovém po tu m ených dat M
P íklad 1 – ur ení parametr p ímky
P íkladem m že být ur ení parametr p ímky, jestliže jsou k dispozici data složená
z bod náležející hledané p ímce a bod chybných. Použijeme-li metodu nejmenších
tverc , získáme rovnici p ímky, která nebude p esn odpovídat hledané, protože metoda
pracuje se všemi body a tedy i s t mi chybnými. Naopak použijeme-li RANSAC metodu,
m žeme vytvo it model, jenž bude ur en pouze z bezchybných dat. To platí za p edpokladu,
že pravd podobnost výb ru pouze bezchybných dat ze souboru všech dat je dostate n velká.
Tato situace však není garantována a navíc je zde mnoho parametr , které se musí pe liv
nastavit, aby pravd podobnost správného výb ru byla dostate ná.
128
Lineární (LMS)
y
Lineární (RANSAC)
3
2,5
2
1,5
y = 0,4231x + 0,3846
y = 0,5x
1
0,5
0
0
1
2
3
4
5
x
6
Obr. 15.19. Srovnání RANSAC a metody nejmenších tverc
P íklad 2 – koresponden ní problém
Na dvojici stereo-snímk jsou nalezeny významné body – rohy, hrany apod. pomocí
lokální korelace. V okolí každého významného bodu prvního snímku je hledána poloha
nejpodobn jšího segmentu ze snímku druhého. Metodou RANSAC jsou z množiny všech
nalezených možných korespondencí odstran ny ty, které nevyhovují nalezenému modelu
(jsou chybné).
Obr. 15.20. Detekce párových významných bod na stereo-snímcích
Obr. 15.21. Nalezené korespondence ( ervená) a vylou ené korespondence (zelená)
129
16 Dodatky
16.1 Vstupní test
16.1.1 Vstupní test – zadání
1. Jak lze charakterizovat diskrétní obraz z hlediska teorie signálu?
2. Co o diskrétním signálu vypovídá charakteristika nazývaná histogram?
3. Co se rozumí filtrací obrazového signálu v prostorové a co ve frekven ní oblasti?
4. K emu se používá Fouriérova transformace?
5. Co je to topologie objektu?
16.1.2 Vstupní test – ešení
1. Obraz je p eveden z analogové podoby do íslicové vždy p i po ízení/snímání obrazu.
Samotné vzorkování reálného kontinuálního obrazu probíhá mimod k p ímo na ploše
snímacího ipu (nap . CCD nebo CMOS), kvantování pak v A/D p evodníku
digitaliza ní karty nebo fotoaparátu. Prostorová frekvence vzorkování, ili po et
bun k ipu v prvním resp. druhém rozm ru analogového obrazu udává po et ádk
resp. sloupc výstupního diskrétního obrazu. Rozsah A/D p evodníku pak ur uje po et
kvantiza ních úrovní a tím výslednou barevnou hloubku obrazu, nej ast ji 8 bit pro
šedo-tónové snímky a 24 bit pro barevné.
2.
etnost jasové hodnoty v diskrétním obrazovém signálu udává celkový po et výskyt
této konkrétní hodnoty. Pokud se hodnoty se adí vedle sebe vzestupn podle jaspové
hodnoty, vytvo í charakteristiku zvanou histogram.
3. Filtrací obrazového signálu v prostorové oblasti se rozumí potla ení i jiné ovlivn ní
obrazových bod p ímo v nativní domén obrazových dat nap . operace prahování i
filtrace binární maskou. Naopak filtrací ve frekven ní oblasti se chápe odstran ní,
zvýrazn ní nebo jiná zm na n kterých frekven ních složek obrazu. Rozmazání hran
resp. ost ení obrazu lze nap . provést potla ením resp. zvýrazn ním vysokých
frekvencí ve spektru obrazového signálu.
4. Fouriérova transformace p i zpracování obrazu se využívá stejným zp sobem jako p i
zpracování jednorozm rného signálu, jen je formáln uzp sobena dvourozm rnému
signálu. Lze tedy pomocí ní analyzovat a modifikovat signál ve spektrální oblasti.
5. Topologie objektu p edstavuje takové jeho vlastnosti, které se netýkají metrických
vzdáleností, ale jsou naopak ur eny vzájemným uspo ádáním jednotlivých bod
tvo ících objekt. Pokud je na obraz aplikována libovolná homeomorfní transformace
nap . oto ení nebo zm na m ítka, topologické vlastnosti objektu z stávají zachovány.
130
16.2 Obrazová galerie
131
17 Seznam použité literatury
[ 1 ] Computer
Vision
online
–
http://homepages.inf.ed.ac.uk/rbf/CVonline.
soubor
odkaz
a
lánk :
[ 2 ] CROWLEY, J.L., CHRISTENSEN, H.I. Vision as Process. Springer-Verlag. 1995.
ISNB 3-540-58143.
[ 3 ] DAVIES, E.R. Machine Vision : Theory, Algorithms, Practicalities. Morgan Kaufmann.
2005. ISBN 0-12-206093-8.
[ 4 ] DUDA, R.O., HART, P.E. Pattern Classification and Scene Analysis. John Willey &
Sons New York, 1982. 482 pages. ISBN 978-0471223610.
[ 5 ] FLUSSER, J., SUK, T. Construction of Complete and Independent System of Rotation
Moment Invariants. Petrov & Westenberg Editors, Springer-Verlag Berlin Heidelberg.
2003.
[ 6 ] FORSYTH, A.D., PONCE, J. Computer Vision, A Modern Approach. Prentice Hall
International Ltd.. 2003. ISBN 0-12-379777-2.
[ 7 ] GALBIATI, L.J. Machine Vision and Digital Image Processing Fundamentals. Prentice
Hall International Ltd., 1997. ISBN 978-0135420447.
[ 8 ] GERLA, V., HOZMAN, J., POP, M. MIPS 2.0 - Microscopy Image Processing
Software http://mips.ic.cz/Pages/01.htm
[ 9 ] GONZALES, R.C., WINTZ, P. Digital Image Processing. Addison-Wesley,
Massachusetts. 1987. ISBN 0-201-11026-1.
[ 10 ] HIPR2 – jednoduchý a názorný materiál pro demonstraci základních operací nad
obrazem: http://homepages.inf.ed.ac.uk/rbf/HIPR2.
[ 11 ] HLAVÁ , V., SEDLÁ EK, M.: Zpracování signál a obraz . Skriptum VUT, 2000.
ISBN 80–01-02114-9.
[ 12 ] HLAVÁ , V., ŠONKA, M.: Po íta ové vid ní, Grada 1992, ISBN 80–85424-67–3
[ 13 ] HU, M.K. Visual pattern recognition by moment invariants. IRE Trans. Information.
1962, 179-187.
[ 14 ] JAN, J.: Poznámky ke kurzu Digitální zpracování a analýza obrazového signálu, FEKT
1999.
[ 15 ] JAN, J. Dub P.: Poznámky ke kurzu: Vyšší metody íslicového zpracování obrazu,
FEKT 2001.
[ 16 ] JAN, J. íslicová filtrace, analýza a restaurace signál . VUTIUM. 2002. ISBN 80-2142911-9.
[ 17 ] JÄHNE, B.: Digital Image Processing. Springer. 2002. ISBN 3-540-67754-2.
[ 18 ] JÄHNE, B.: Handbook of Computer Vision and Applications I, II, III. Academic Press,
San Diego, 1999. ISBN 0-12-379770-5.
[ 19 ] KOTEK, Z. Metody rozpoznávání a jejich aplikace. Academia Praha, 1993.
[ 20 ] LIŠKA, A., VOLF, P., KOŠEK, M. Zpracování obrazu a jeho statistická analýza.
132
[ 21 ] MARR, D. Vision. W. H. Freeman and Company. 1982. ISBN 0-7167-1284-9.
[ 22 ] MUHARREM, M., KAYHAN, G., TARIK, V.M. Real object recognition using
moment invariants. Sahana, vol. 30. 2005.
[ 23 ] PRATT, W.K. Digital Image Processing. John Wiley & Sons, New York. 1991. 720
pages. ISBN 987-0471857662.
[ 24 ] ROSENFELD, A., KAK, A.C. Digital Picture Processing. Academic Press, New York.
1982. ISBN 0-12-597301-2.
[ 25 ] RUSS, C. The Image Processing Handbook. CRC Press, 1994. 674 pages. ISBN 08493-2516-1.
[ 26 ] SHAPIRO, L.G., STOCKMAN, G.C. Computer Vision. Prentice Hall International Ltd..
2001. ISBN 0-13-030796-3.
[ 27 ] SCHLESINGER, M.I., HLAVÁ , V. Deset p ednášek z teorie statistického a
strukturního rozpoznávání. Vydavatelství VUT Praha, 1999.
[ 28 ] SKALA V.: Sv tlo, barvy a barevné systémy v po íta ové grafice; Academia 1993;
ISBN 80-200-0463-7.
[ 29 ] SLOWINSKI, R. Intelligent Decision Support – Handbook of Applicationsand
Advances of the Rough Sets Theory. KLUWER ACADEMIC PUBLISHERS. 1992.
ISBN 0-7923-1923-0.
[ 30 ] ŠONKA, M., HLAVÁ , V., BOYLE, R. Image Processing, Analysis, and Machine
Vision. PWS Publishing. 1999. ISBN 0-534-95393-X.
[ 31 ] TEAGUE, M.R. Image analysis via the general theory of moments. Optical Society of
America, JOSA Communications. 1980. 920-930.
[ 32 ] TEKALP, M. Digital Video Processing. Prentice Hall International Ltd., 1995. 526
pages. ISBN 01-13-190075-7.
[ 33 ] TRUCCO, E., VERRI, A. Introductory Techniques for 3-D Computer Vision. Prentice
Hall International Ltd.. 1998. ISBN 0132611082.
[ 34 ] VERNON, D. Machine Vision, Automated Visual Inspection and Robot Vision. Prentice
Hall International Ltd., 1991. 259 pages. ISBN 0-13-543398-3.
[ 35 ] Wikipedia, The free encyklopedia: HLS color space, http://en.wikipedia.org/wiki/HLS.
[ 36 ] WILEY InterScience: Encyclopedia
http://www3.interscience.wiley.com.
of
Imaging
Science
and
Technology,
[ 37 ] WONG, W.H., SIU, W.C., LAM, K.M. Generation of moment invariants and their uses
for character recognition. Pattern Recognition Letters 16. 1995. 115-123.
[ 38 ] ŽÁRA, J. a kol.: Moderní po íta ová grafika, Computer Press 1998, ISBN 80–7226049–9
[ 39 ] ŽÁRA, J. a kol.: Po íta ová grafika - Principy a algoritmy, Grada 1992, ISBN 8085623-00-5.

Počítačové vidění - Vysoké učení technické v Brně

Transkript

Podobné dokumenty

ZPRACOVÁNÍ DLOUHODOBÝCH EEG ZÁZNAMŮ

Nephele: Databáze restaurátorských zpráv s možností vyhledávání

Komprese digitálního videa

dalibor bartoněk počítačová grafika i

Sborník anotací Studentská tvůrčí a odborná činnost STOČ `2006

průmyslové pece - FMMI

Zpracování dat

Aktualni trendy vyssi nadmorska vyska korekce dovalil leden

Optické přístroje 1

net,Y

Slidy ke cvičení včetně zadání úloh k procvičení.

StaTect - El Tekto

EU ceník GeoVision 2011

P6 NTC Plzeň anotace stud. plánu

prezentace 11