Kódování

Transkript

Kódování

Kdovn
Jan Paseka
12. kvtna 1999
2
2
Pedmluva
Teorie kdovn je interdisciplinrn teorie, kter v sob spojuje metody a postupy
informatiky, matematiky a spojovac techniky. Teorie kdovn pitom stle vce a
vce nachz bezprostedn aplikaci v praxi vlivem novch technologickch zmn.
To, co je na teorii kdovn tak strhujc, je z jedn
strany tsn souvislost teorie
s prax a ze strany druh
pak mnohostranost pouvanch matematickch metod.
lohou teorie kdovn je tvorba postup a metod, kter
nm zajist bezpen
penos zprv komunikanm syst
mem. Z dvod technick
realizovatelnosti se zprvy
pevedou nejprve do ady znak nad njakou konenou abecedou (nejl
pe nad konenm tlesem). Tato ada znak se pak rozlo do blok pokud mono stejn
d
lky k.
Kdovac zazen nm pak utvo z kad
ho bloku d
lky k blok d
lky n,kde n k.
Redundance zskan v ppad kdy n > k slou pozdji k rozpoznn a ppadn
oprav pokud mono co nejvce penosovch chyb. Penos blok d
lky n pomoc spojovacho syst
mu, kter
reprezentuj kdovan
zprvy a kter
se jako celek oznauj
blokov
kdy d
lky n, si lze pedstavit bu prostorov (pes satelit, telefonem, televiz, rdiem atd.) nebo tak
v ase (CD, gramodeska, magnetofonov pska atd.).
Podl k=n se nazv mra informace blokov
ho kdu a reprezentuje mnostv energie
potebn
k penosu kdovanch zprv.
V ruen
m spojov
m kanlu se mohou pi penosu kdovanch zprv vyskytnout
chyby dvojho typu. Nejprve je mysliteln
, e nkter
z vyslanch zprv nedojdou
vbec k pjemci nebo e je pjemce obdr nepln
. Druhou monost je, e se mohou
vyskytnout rovn penosov
chyby, tj. vyslan znak 0 se nap. pijme jako 1 v teorii
kdovn se zabvme zejm
na s druhm ppadem.
Pro opravu eventuln se vyskytujcch se penosovch chyb jsou rozhodujc dv
veliiny:
mra opravitelnosti chyb, kter nm udv v kad
kdovan
zprv podl opravitelnch chyb, a
komplexita dekderu, kter m za lohu pro pijatou kdovanou zprvu zjistit
vyslanou zprvu.
Hlavnm clem teorie kdovn je tvorba kdu s pokud mono co nejvt mrou
informace a s co mon nejvt mrou opravitelnosti chyb pi souasn co mon
3
4
nejmen komplexit dekd
ru.
Shannonova vta o kapacit kanlu nm zaruuje existenci blokovch kd s mrou
informace libovoln blzce pod kapacitou kanlu, tzn. s mrou informace, kter je
tak vysok jak nm to pouvan kanl vbec dovol a s libovoln velkou mrou
opravitelnosti chyb. Nekonstruktivn charakter t
to skutenosti byl zrodem teorie
kdovn.
V mnoha ppadech je vak asov nronost pro dekdovn kdu tak velk, e
nepln
vyuit kapacity kanlu m mnohem men dleitost ne pli komplikovan
dekdovac postup. Z tohoto dvodu se v teorii kdovn zkoumaj znan kdy s
relativn jednoduchm realizovatelnm dekdovacm algoritmem.
Pro uren vlastnost opravujcch se chyb dan
ho kdu se ukzala dleit dodaten znalost jeho struktury. Proto se v teorii kdovn zkoumaj blokov
kdy
opaten
dodatenou algebraickou strukturou, u kterch lze doufat, e budou mt v
praxi pouiteln
teoretick
vlastnosti.
Linern kdy reprezentuj jistou tdu blokovch kd a jsou opateny dodatenou algebraickou strukturou { strukturou vektorov
ho prostoru. Pak linern kd nad
konenm tlesem K je reprezentovn jako k-rozmrn podprostor n-rozmrn
ho vektorov
ho prostoru nad K . Strukturu linernch kd lze pak analyzovat prostedky a
metodami linern algebry. K nejznmjm pkladm praktick
ho pouit linernch
kd pat
binrn Reed-Mullerovy kdy { vesmrn sonda Mariner pouila binrn ReedMullerv kd prvnho du d
lky 32 pro penos datov
ho materilu fotodokumentace planety Mars, a rovn
Reed-Solomonovy kdy { nap. se pouvaj pro ukldn opticky kdovanch
zvukovch signl na CD dva linern kdy, kter
byly odvozeny zkrcenm
Reed-Solomonova kdu d
lky 255 nad tlesem GF(28).
Tento uebn text je zaloen na monograi Codes and Cryptography D. Welshe. Zrove vyuv texty eskch autor jako je nap. Kdovn Jiho Admka.
Text je zpstupnn vem studentm (a uivatelm INTERNETu) pomoc anonymnho FTP pstupu na pota ftp.muni.cz. Adres /pub/math.muni.cz je jeden z
disk potae king.math.muni.cz. Tento adres obsahuje adrese lectures, papers,
software. Na potai v adresi lectures je zzen adres pro ukldn materilu pro
pednky/semine.
4
Obsah
1 Entropie = neuritost = nejistota = informace
1
2
3
4
5
Nejistota . . . . . . . . .
Entropie a jej vlastnosti
Podmnn entropie . . .
Informace . . . . . . . .
Zvr . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2 Vta o kdovn bez umu pro zdroje bez pamti
1
2
3
4
5
Zdroje bez pamti . . . . . . . . . . . . . . . . . .
Prexov
a jednoznan dekdovateln
kdy . . .
Kraftova a McMillanova nerovnosti . . . . . . . .
Vta o kdovn bez umu pro zdroje bez pamti
Konstruovn kompaktnch kdovn . . . . . . .
3 Komunikace kanly se umem
1
2
3
4
5
6
7
Komunikan syst
m . . . . . . . . . . . . .
Diskr
tn kanl bez pamti . . . . . . . . . .
Spojen zdroje s kanlem . . . . . . . . . . .
Kdovn a dekdovac pravidla . . . . . . .
Kapacita kanlu . . . . . . . . . . . . . . . .
Vta o kdovn se umem . . . . . . . . . .
Kapacita jako hranice spolehliv
komunikace
4 Kdy opravujc chyby
1
2
3
4
5
6
7
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Kdovn a odhady . . . . . . . . . . . . . . . . .
Ekvivalence kd a konstrukce novch kd . . .
Hlavn probl
m teorie kdovn . . . . . . . . . .
Doln a horn hranice Aq (n d) perfektn kdy . .
Linern kdy . . . . . . . . . . . . . . . . . . . .
Pouit linernch kd . . . . . . . . . . . . . . .
Pravidlo minimln vzdlenosti pro linern kdy
5
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
7
11
14
17
19
23
23
24
26
28
30
37
37
38
41
43
47
49
55
59
59
66
69
71
75
77
79
OBSAH
6
8 Binrn Hammingovy kdy . . . . . . .
9 Cyklick
kdy . . . . . . . . . . . . . .
10 Marinerv kd a Reed-Mullerovy kdy
10.1 Hadamardovy kdy . . . . . . .
10.2 Reed-Mullerovo kdovn . . . .
A Nhodn jevy a nhodn veliiny
1
2
3
4
5
6
7
8
9
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Miteln prostor a vztahy mezi nhodnmi jevy . . . . . . . . . . . .
Pravdpodobnostn prostor . . . . . . . . . . . . . . . . . . . . . . . .
Klasick pravdpodobnost . . . . . . . . . . . . . . . . . . . . . . . .
Podmnn pravdpodobnost . . . . . . . . . . . . . . . . . . . . . . .
Stochasticky nezvisl
nhodn
jevy . . . . . . . . . . . . . . . . . . .
Borelovsk
mnoiny a nhodn
veliiny . . . . . . . . . . . . . . . . .
Nhodn
vektory . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Stedn hodnota, rozptyl, kovariance a koecient korelace nhodnch
veliin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Cauchy-Schwarz-Bu akovsk
ho nerovnost, Markovova a &ebyevova
nerovnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
83
84
87
87
89
93
93
94
94
94
95
96
97
99
99
Kapitola 1
Entropie = neuritost = nejistota
= informace
1 Nejistota
Uvame nsledujc tvrzen.
A Vsledek bhu mezi dvma si rovnmi zvodnky je m
n nejist ne vsledek
bhu mezi esti si rovnmi zvodnky.
B Vsledek rulety je vce nejist ne vrh kostkou.
C Vsledek vrhu ideln kostkou je vce nejist ne vsledek vrhu falenou kostkou.
Zejm s ve uvedenmi tvrzenmi lze okamit souhlasit. Obtn
vak bude
denovat, co je to vlastn nejistota. Podvejme se na dv rzn
nhodn
veliiny X
a Y . Nech'
P (X = 0) = p P (X = 1) = 1 ; p
a
P (Y = 100) = p P (Y = 200) = 1 ; p
pim 0 < p < 1:
Zejm by nm denice nejistoty mla zajistit, e X a Y jsou stejn nejist
. Tedy
nejistota X a tedy i Y by mla bt funkc pouze pravdpodobnosti p: Tato vlastnost
nejistoty mus bt roziiteln i na nhodn
promnn
, kter
nabvaj vce ne dvou
hodnot. Tedy:
Nejistota nhodn
promnn
Z , kter nabv hodnoty ai s pravdpodobnost
pi, (1 i n), je funkc pouze pravdpodobnost p1 : : : pn:
Proto zname takovouto funkci jako H (p1 : : : pn), piem pedpokldme splnn nsledujcch pirozench podmnek:
7
8 KAPITOLA 1. ENTROPIE = NEURITOST = NEJISTOTA = INFORMACE
(A1) H (p1 : : : pn) je maximln, kdy p1 = p2 = : : : = pn = 1=n:
(A2) Pro kadou permutaci na f1 : : : ng plat
H (p1 : : : pn) = H (p(1) : : : p(n) ):
Tedy H je symetrick funkce svch argument tj. jej vsledek nezvis na
poad.
(A3) H (p1 : : : pn) 0 a rovnost nastv prv tehdy, kdy pi = 1 pro njak
i:
Nejistota m tedy vdy nezpornou hodnotu a je nulov prv tehdy, kdy je
jakkoliv nhoda vylouena.
(A4)
H (p1 : : : pn 0) = H (p1 : : : pn):
Nejistota vrhu estibokou ideln kostkou je tat jako nejistota vrhu sedmibokou kostkou, u kter
je nemon
aby padla 7 ale ostatn ppady jsou si
rovnocenn
.
(A5)
H (1=n : : : 1=n) H (1=n + 1 : : : 1=n + 1):
Vsledek bhu mezi dvma zvodnky je m
n nejist ne vsledek bhu mezi
vce zvodnky.
(A6) H (p1 : : : pn) je spojit funkce svch parametr. Mal
zmny na vstupu daj
mal
zmny na vstupu.
(A7) Jsou-li m n 2 N, pak
H (1=m n : : : 1=m n) = H (1=m : : : 1=m) + H (1=n : : : 1=n):
Tato podmnka k, e nejistota vrhu m n;strann
kostky je obsaena ve
vrhu m-strann
kostky nsledovan vrhem n-strann
kostky, a je rovna soutu
individulnch nejistot.
(A8) Nech' p = p1 + : : : + pm a q = q1 + : : : + qn, pi qj jsou neznm
. Jsou-li p a q
kladn sla, p + q = 1, pak plat
H (p1 ::: pm q1 : : : qn) = H (p q)+ p H (p1=p : : : pm =p)+ q H (q1=q : : : qn=q):
Pedstavme si, e mme n + m uchaze na msto v konkurzu - z toho je m
mu a n en, s pravdpodobnostm pi qj vtzstv v konkurzu. Pak nejistota
vsledku konkurzu je nejistota, e vyhraje mu nebo ena plus ven souet,
nejistot vhry mezi mui a enami.
8
1. NEJISTOTA
9
Vta 1.1 Bu H (p1 : : : pn) funkce denovan pro kad pirozen slo n a pro
vechny hodnoty p1 : : : pn tak, e pi
0a
n
X
i=1
pi = 1:
Pokud H spluje aximy (A1)-(A8), pak plat
H (p1 p2 : : : pn) = ;
X
k
pk log pk (1.1)
kde je libovoln kladn konstanta a sumuje se pes vechna k takov,e pk > 0:
Dukaz. Nech' H spl uje aximy (A1)-(A8). Denujme
(1) g(n) = H (1=n : : : 1=n) pro n 2 N: Z (A7) pak
g(nk ) = g(n) + g(nk;1)
a tedy
(2) g(nk ) = k g(n): Bu dle r s 2 N ; f1g n 2 N a m = m(n r s) 2 N tak, e
(3) rm sn rm+1 pak dle (2) a monotonie g (dle (A5)) mme
g(rm) g(sn) g(rm+1)
tedy
Z (3) pak mme
a tedy
m g(r) n g(s) (m + 1) g(r):
m ln(r) n ln(s) (m + 1) ln(r)
g(s) ; ln(s) 2 :
g(r) ln(r) n
Protoe n bylo libovolnou pirozen
slo, je
g(s) = g(r) = A
ln(s) ln(r)
kde A je njak konstanta. Tedy
9
(5)
(6)
(7)
g(s) = A ln(s):
Bu 0 < p < 1 racionln, p = t=n, t n 2 N: Polome q = (n ; t)=n: Z (A8)
pak
g(n) = H ( n1 : : : n1 ) = H ( nt n n; t ) + nt g(t) + n n; t g(n ; t):
Z (5) pak jednoduchou pravou
H ( nt n n; t ) = A ( nt ) ln nt + A ( n n; t ) ln n n; t :
Zejm
na pak
H (p 1 ; p) = A p ln p + A (1 ; p) ln(1 ; p)
a to pro kad
racionln slo p mezi 0 a 1: Ze spojitosti H plat (6) pro vechna
0 < p < 1: Dokame, e pro kad
N 2 N plat
H (p1 : : : pN ) = A N
X
i=1
pi ln pi
piem pi > 0 a p1 + : : : + pN = 1 a to indukc podle N . Z (6) vme, e (7) plat
pro N = 2: Pedpokldejme, e (7) plat pro N a uvaujme H (p1 : : : pN +1):
Polome p = p1 + : : : + pN q = pN +1 a pouijme (A8). Mme pak
H (p1 : : : pN +1) = H (p q) + p H ( pp1 : : : ppN ) + q H (1)
N
X
= A p ln p + A q ln q + p A ppi ln ppi i=1
z induknho pedpokladu. Upravme-li posledn rovnost na tvar
H (p1 : : : pN +1) = A p ln p + A pN +1 ln pN +1 + A N
X
i=1
pi (ln pi ; ln p)
a vzpomeneme-li si, e PNi=1 pi = p obdrme hledanou rovnost
H (p1 : : : pN +1) = A Na zklad ve uveden
vty pak denujeme
10
NX
+1
i=1
pi ln pi:
2. ENTROPIE A JEJ VLASTNOSTI
11
Denice. Bu X nhodn promnn s konenm oborem hodnot s odpovdajcmi
pravdpodobnostmi p1 p2 : : : pn. Pak denujeme nejistotu neboli entropii nhodn
veliiny X jako
X
H (X ) = ; pk log2 pk (1.2)
k
kde suma se bere pouze pes ta k, pro kter je pk > 0:
Poznmka 1.2 Nadle budeme vdy (bez jmy na obecnosti) pedpokldat, e pro
vechny leny prav strany (1.2) jsou pravdpodobnosti pk nenulov.
Poznmka 1.3 Podmnky (A1)-(A8) odpovdaj axiomm pro entropii navrenm
Shannonem.
Cvien 1.4
1. Kter dostih m vt entropii: handikap, ve kterm je sedm okej, ti z nich
vyhraj s pravdpodobnost 61 a tyi z nich s pravdpodobnost 81 nebo dostih, v
nm mus bt vtz prodn za pedem stanovenou cenu a ve kterm je 8 okej
s dvma koni s pravdpodobnost vhry 41 a est kon s pravdpodobnost vhry
1
12 ?
2. Ovte, e ve denovan funkce entropie spluje podmnky (A1)-(A8).
2 Entropie a jej vlastnosti
*ekli jsme, e pro nhodnou promnnou X s konenm oborem hodnot a s pravdpodobnostmi p1 : : : pn tak, e
X
pi = 1 a pi > 0(1 i n)
denujeme entropii X jako
H (X ) = ;
n
X
k=1
pk log2 pk :
Analogicky pak pro nhodn vektor X, kter nabv pouze konen mnoha hodnot
u1 : : : um demujeme jeho entropii nhodn
ho velktoru jako
H (X) = ;
m
X
k=1
p(uk ) log2 p(uk ):
Je-li napklad X 2-dimenzionln nhodn vektor, X = (U V ) s
pij = P (U = ai V = bj )
11
(1.3)
budeme asto pst
X
H (X) = H (U V ) = ; pij log2 pij:
Zcela obecn, jsou-li X1 : : : Xm nhodn
promnn
tak, e kad z nich nabv
pouze konen mnoha hodnot, lze pak povaovat X = (X1 : : : Xm) za nhodn
vektor a denovat souhrnou entropii X1 : : : Xm jako
X
H (X1 : : : Xm) = H (X) = ;
p(x1 : : : xm ) log2 p(x1 : : : xm) (1.4)
(x1 :::xm )
kde p(x1 : : : xm ) = P (X1 = x1 X2 = x2 : : : Xm = xm ). Snadno se ov, e:
H (X) = 0 prv tehdy, kdy X je konstantn.
(1.5)
Horn hranice pro H je urena nsledujc vtou:
Vta 2.1 Pro kad pirozen slo n mme
H (p1 : : : pn) log2 n
pi
em rovnost nastv prv tehdy, kdy p1 = p2 = : : : = pn = n;1:
Dukaz. Zejm
log2 x = log2 e loge x:
Protoe logaritmus je konvexn funkce tj. le cel pod tenou, mme
loge x x ; 1
piem rovnost nastv prv tehdy, kdy x = 1: Tedy, je-li (q1 : : : qn) libovoln
pravdpodobnostn rozdlen, pak mme
loge (qk =pk ) (qk =pk ) ; 1
s rovnost prv tehdy, kdy qk = pk : Tud,
X
a z toho pak
pi loge(qi =pi) X
qk ;
X
pk = 0
X
X
pi log2 qi pi log2 pi:
Polome-li qi = 1=n, obdrme dosazenm
X
H (p1 : : : pn) = ; pi log2 pi log2 n
co se mlo dokzat. Zbytek tvrzen o rovnosti plyne bezprostedn z dkazu.
12
2. ENTROPIE A JEJ VLASTNOSTI
13
Poznamenejme, e jsme dokzali velmi uitenou nerovnost a to:
Lemma 2.2 Je-li (pi : 1 i n) dan pravdpodobnostn rozdlen, pak minimum
funkce
X
G(q1 : : : qn) = ; pi log2 qi
pes vechna pravdpodobnostn rozdlen (q1 : : : qn) nastv, pokud qk = pk (1 k n):
Vta 2.3 Jsou-li X a Y nhodn promnn s kone
nm oborem hodnot, plat pak
H (X Y ) H (X ) + H (Y )
pi
em rovnost nastv tehdy a jen tehdy, kdy X a Y jsou nezvisl.
Dukaz. Pedpokldejme, e
ri = P (X = ai) (1 i m) sj = P (Y = bj ) (1 j n)
Pak
tij = P (X = ai Y = bj ) (1 i m 1 j n):
0
1
X
X
H (X ) + H (Y ) = ; @ ri log2 ri + sj log2 sj A
j
0i
1
X
X
= ; @ tij log2 ri + tij log2 sj A ij
protoe
Odtud pak
X
j
ji
tij = ri
H (X ) + H (Y ) = ;
;
X
X
ij
X
ij
i
tij = sj :
tij log2(ri sj )
tij log2(tij ) = H (X Y )
dle pedchozho lemmatu. Rovnost nastane prv tehdy, kdy
ri sj = tij :
Ale to je prv podmnka nezvislosti X a Y:
13
Jednoduchm rozenm t
to metody lze dokzat:
H (X1 : : : Xn) H (X1) + : : : + H (Xn)
(1.6)
piem rovnost nastv prv tehdy, kdy X1 : : : Xn jsou navzjem nezvisl
H (U V) H (U) + H (V)
(1.7)
pro kadou dvojici nhodnch vektor U V, piem rovnost nastv prv tehdy,
kdy U a V jsou nezvisl
nhodn
vektory.
Dkazy (je lze dokzat pesn stejnm zpsobem jako vtu 1.2 z pedchozho
lemmatu) jsou ponechny teni.
Cvien 2.4
1. Dv ideln kostky jsou vreny X ozna
uje hodnotu zskanou prvn kostkou,
Y hodnotu zskanou druhou kostkou. Dokate, e H (X Y ) = H (X ) + H (Y ).
Dokate, e je-li Z = X + Y , pak
H (Z ) < H (X Y ):
2. Dokate, e pro kadou nhodnou promnnou X ,
H (X X 2) = H (X ):
3. Dokate, e pro kadou posloupnost nhodnch promnnch (Xi : 1 i < 1)
H (X1 : : : Xn) H (X1 : : : Xn+1):
3 Podmnn entropie
Pedpokldejme, e X je nhodn promnn na pravdpodobnostnm prostoru + a A
je udlost z +. Nabv-li X konen
mnoiny hodnot fai : 1 i mg, je pirozen
denovat podmnnou entropii nhodn
promnn
X urenou udlost A jako
H (X jA) = ;
m
X
k=1
P (X = ak jA)logP (X = ak jA):
pln stejn, je-li Y jin nhodn promnn nabvajc hodnot bk (1 k m),
denujeme podmnnou entropii nhodn
promnn
X urenou nhodnou promnnou
Y jako
X
H (X jY ) = H (X jY = bj )P (Y = bj ):
j
14
3. PODMNN
ENTROPIE
15
Povaujeme H (X jY ) za entropii nhodn
promnn
X urenou jistou hodnotou
Y zprmrovanou pes vechny hodnoty, jich me Y nabvat.
Zcela triviln dsledky denic jsou:
H (X jX ) = 0
H (X jY ) = H (X ) jsou-li X a Y nezvisl
:
(1.8)
(1.9)
Pklad 3.1 Bu X nhodn promnn zskan vrhnm ideln kostky. Bu dle
Y jin nhodn promnn ur
en tmt experimentem, pi
em Y se rovn 1, je-li
vren hodnota lich a 0 v ostatnch ppadech. Protoe kostka je ideln,
H (X ) = log6 H (Y ) = log2
a
H (X jY ) = log3:
Jsou-li U a V nhodn
vektory, pirozen rozme denici podmnn
entropie
nsledovn
X
H (UjV) = H (UjV = vj )P (V = vj )
(1.10)
j
piem se st, jako obvykle, pes (konen) obor hodnot vj tak, e odpovdajc
pravdpodobnost je kladn.
Jako prvn pklad, jakm zpsobem entropie H (UjV) m nejistotu o U obsaenou ve V, dokeme:
H (UjV) = 0 prv tehdy, kdy U = g(V) pro njakou funkci g:
(1.11)
Dukaz. Prav strana z denice podmnn
entropie je souet konen
ho potu nezpornch veliin. Tud, aby byla nulov, potebujeme H (UjV = vj ) = 0 pro vechna
j . Ale opt kad z tchto nezpornch veliin je nulov prv tehdy, kdy U je
jednoznan uren V.
Ponkud vce nm dv nsledujc vsledek, kter matematicky vyjaduje ideu,
e nae denice podmnn
entropie X pi dan
m Y korektn m zbvajc nejistotu.
Vta 3.2 Pro kadou dvojici nhodnch promnnch X a Y , kter nabvaj pouze
kone
n mnoiny hodnot, plat
H (X Y ) = H (Y ) + H (X jY ):
15
Dukaz. Bez ztrty na obecnosti lze pedpokldat, e X a Y nabvaj pouze celoselnch hodnot a, kde to bude nutn
, e pij = P (X = i Y = j ). Nyn
H (X Y ) = ;
= ;
=
=
=
=
XX
i
j
i
j
XX
P (X = i Y = j )logP (X = i Y = j )
P (X = i Y = j )logP (X = ijY = j )P (Y = j )
XX
XX
;
pij logP (X = ijY = j ) ;
pij logP (Y = j )
i j
i j
XX
;
P (X = ijY = j )P (Y = j )logP (X = ijY = j ) + H (Y )
i j
X
X
; P (Y = j ) P (X = ijY = j )logP (X = ijY = j ) + H (Y )
i
Xj
P (Y = j )H (X jY = j ) + H (Y )
j
= H (X jY ) + H (Y ) co bylo teba dokzat
Vta 3.3 Jsou-li U a V nhodn vektory, kter nabvaj pouze kone
n mnoiny
hodnot, plat
H (U V) = H (V) + H (UjV):
Dukaz. Prochzme dkazem pedchoz vty, ale namsto X a Y nabvajch pouze
celoselnch hodnot i a j mme U a V nabvajch hodnot ui a vj , kde ui a vj jsou
zadan
vektory.
Nsledujc vsledek je bezprostedn dsledek.
Dusledek 3.4 Pro kadou dvojici X a Y nhodnch vektor je H (XjY) H (X) a
rovnost nastv prv tehdy, kdy X a Y jsou nezvisl.
Dukaz.
H (XjY) = H (X Y) ; H (Y):
Ale H (X Y) H (X) + H (Y) s rovnost prv tehdy, kdy X a Y jsou nezvisl
.
Cvien 3.5
1. Ukate, e pro kadou nhodnou promnnou X plat
H (X 2jX ) = 0
ale uvete pklad, e H (X jX 2) nen vdy nulov.
16
4. INFORMACE
17
2. Nhodn promnn X nabv celo
selnch hodnot 1 : : : 2N se stejnou pravdpodobnost. Nhodn promnn Y je denovan Y = 0, je-li X sud, ale
Y = 1, je-li X lich. Ukate, e
H (X jY ) = H (X ) ; 1
ale e H (Y jX ) = 0:
4 Informace
Zd se, e R.V.L. Hartley byl v r. 1928 prvn, kdo se pokusil piadit kvantitativn mru
k pojmu informace. Racionln pinu za tmto pokusem meme sten popsat
nsledovn.
Pedpokldejme, e E1 a E2 jsou dv udlosti v pravdpodobnostnm prostoru +
spojen
jistm experimentem a pedpokldejme, e funkce I je nae mra informace.
Maj-li E1 a E2 pravdpodobnosti p1 a p2, pak meme argumentovat tm, e kad
pirozen mra obsahu informace by mla spl ovat
I (p1p2 ) = I (p1) + I (p2)
na zklad toho, e, pro dv nezvisl
realizace experimentu, informace, pro kterou
vsledky tchto experiment dopadnou jako E1 nsledovno E2, by mla bt soutem
informac zskanch provedenm tchto experiment zvl'.
Pipustme-li, e ve uveden rovnost m jistou platnost, a pejeme-li si mt nai
mru nezpornou a spojitou v p, co jsou oba pirozen
pedpoklady, zbv nm s
malou alternativou denovat informaci I udlosti E kladn
pravdpodobnosti jako
I (E ) = ;log2 P (E )
piem jsme vybrali 2 jako zklad naich logaritm, abychom zachovali soulad s
modern konvenc. (Hartley pvodn pouil logaritmy o zkladu 10.) Plat toti nsledujc tvrzen
Vta 4.1 Funkce I (p), denovan pro vechna 0 < p 1, spluje podmnky I (p)
0, pro vechna 0 < p 1, I (p q) = I (p) + I (q) pro vechny 0 < p q 1 takov, e p
a q jsou pravdpodobnosti navzjem nezvislch jev, a podmnku spojitosti vzhledem
k p prv tehdy, kdy je tvaru
I (p) = ;log2 p
kde je kladn konstanta.
17
Dukaz. Ponechme za cvien ukzat, e kad funkce ve uveden
ho tvaru spl uje
vechny ti podmnky.
Abychom dokzali obrcen
tvrzen, pipome me, e z vlastnosti I (p q) = I (p) +
I (q) mme I (pn) = nI (p) pro vechna kladn pirozen sla n. Speciln tedy plat
I (p n1 ) = n1 I (p):
Odtud pak mme
n I (p)
I (p mn ) = nI (p m1 = m
tj. plat I (pq ) = qI (p) pro vechna kladn racionln sla q. Ze spojitosti umoc ovn
a funkce I mme, e pro vechna kladn reln sla r mus platit
I (pr ) = rI (p):
Bu nyn p libovoln
, pevn zvolen
slo, 0 < p < 1. Protoe kad
slo q, 0 < q < 1
lze pst ve tvaru q = plogpq , mme pak
log2q = ;log q
I (q) = I (plogpq ) = I (p)logpq = I (p) log
2
2p
I (p) . Ze spojitosti funkce I plyne I (1) = 0.
pro vhodnou kladnou konstantu = ; log
p
2
Pklad 4.2 Pedpokldejme, e mme zdroj, kter emituje etzec binrnch slic
0 a 1, kadou se stejnou pravdpodobnost a nezvisle pro po sob jdoucch slicch.
Bu E udlost, e prvnch n slic jsou stdav nuly a jedni
ky. Pak evidentn
I (E ) = ;log2 21n = n
a tot plat pro kadou pedepsanou posloupnost slic dlky n.
Tedy "informan-teoretick" jednotka informace, toti bit, odpovd pirozen
vyuit slova "bit", kter
znamen binrn slo v souasn
potaov
terminologii.
Rozme pojem informace na to, abychom pokryli nhodn
promnn
a vektory nsledovn. Pedpokldejme, e U je nhodn vektor, kter nabv hodnoty
u1 : : : um s pravdpodobnostmi p1 : : : pm: Pak kad z elementrnch udlost
U = uk (1 k m) obsahuje sdruenou informaci rovnou ;log2 P (pk ) a poznamenejme, e entropie vektoru U je urena vztahem
H (U) = ;
X
pk log2 P (pk ) =
18
X
pk I (U = uk )
5. Z
VR
19
tedy H (U) m pirozenou interpretaci jako stedn hodnota informace sdruen
s
elementrnmi udlostmi urenmi U:
Obecnji, jsou-li U a V dva nhodn
vektory, denujeme informaci o U poskytnutou V jako slo
I (UjV) = H (U) ; H (UjV):
Jinak eeno, I (UjV) vyjaduje mnostv nejistoty o U odstrann
V.
Zejm plat, e
I (UjU) = H (U)
I (UjV) = 0 prv tehdy, kdy U a V jsou nezvisl
.
Dukaz. Vsledek plyne bezprostedn z dvj poznmky, e H (U) = H (UjV)
prv tehdy, kdy U a V jsou nezvisl
.
Ponkud udivujc symetrie v I je nsledujc vsledek, kter zejm nem intuitivn vysvtlen.
I (UjV) = H (U) ; H (UjV)
= H (U) ; -H (U V) ; H (V)]
= H (U) + H (V) ; H (U V)
= I (VjU):
Cvien 4.3
1. Co m vt informa
n obsah: posloupnost deseti psmen nad abecedou o 26
psmenech nebo posloupnost 26 slic z mnoiny f0 1 : : : 9g? Pedpokldejte,
e vechny posloupnosti maj stejnou pravdpodobnost.]
2. Ideln kostka je vrena. Ukate, e informace o hodnot kostky dan znalost,
e se jedn o nesloen slo, m velikost log2 32 :
5 Zvr
Shrneme-li pedchoz odstavce, ukzali jsme, e nejistota a informace jsou tyt
veliiny a odstrann nejistoty je rovno podn informace. Ob veliiny jsou miteln
matematickm pojmem entropie, kter je jednoznan denovn (a na multiplikativn konstantu) veliinou
X
H = ; pi log pi:
Konvence si d, aby logaritmy byly brny o zkladu 2, v kter
mto ppad je
jednotka entropie bit.
19
Problmy 1.1
2.
3.
4.
5.
1. Diskokej m slovnk o kapacit 10 000 slov a pron 1000 slov
nhodn (opakovn je dovoleno). Ukate, e informa
n obsah jeho 1000 slov je
mnohonsobn men ne obrazovky televiznho pijma
e o 500 dcch a 600
sloupcch, pi
em kad pixel nabv jednu z 16 rovn jasu.
Jsou-li X a Y diskrtn nhodn promnn, kter nabvaj pouze kone
nho
po
tu hodnot, ukate, e
H (X + Y jX ) = H (Y jX ):
Ukate, e
H (g(X Y )jX ) = H (Y jX )
2
neplat obecn pro g : R ! R:
Je-li (Xi : 1 i < 1) posloupnost nhodnch promnnch a Y je njak jin
nhodn promnn, dokate, e
H (X1 : : : XnjY ) H (X1 : : : Xn+1jY )
pro kad pirozen slo n:
Statistick pehled enatch dvojic ukazuje, e 70% mu mlo tmav vlasy, 25%
en bylo blondnek a e 80% blondnek si bere tmavovlas mue. Kolik informace
o barv muovch vlas je sdleno barvou vlas jeho eny?
Jsou-li X, Y, Z nhodn vektory, pi
em kad z nich nabv pouze kone
n
mnoha hodnot, dokate, e
H (YjX) + H (ZjX) H (Y ZjX):
6. Dokate, e pro kad nhodn vektor Y a pro kadou mnoinu nhodnch promnnch X1 : : : Xn+1 plat
H (YjX1 : : : Xn) H (YjX1 : : : Xn+1):
7. Jsou-li X a Y dv nhodn promnn a f a g jsou libovoln dv funkce, dokate,
e
H (f (X ) g(Y )) H (X Y ):
8. Nhodn promnn X m binomiln rozdlen s parametry n a p a plat, pro
1 k n,
P (X = k) = (nk) pk qn;k kde 0 < p < 1 a q = 1 ; p:
Dokate, e
H (X ) ;n(plogp + qlogq):
20
5. Z
VR
21
9. Nhodn veli
ina X m geometrick rozloen a nabv celo
selnch hodnot
k = 0 1 2 : : : s pravdpodobnostmi
pk = P (X = k) = pqk kde 0 < p a p + q = 1: Ukate, e rozme-li pojem entropie a denujeme-li
H (X ) = ;
1
X
k=1
pk log pk kdykoliv prav strana konverguje, pak zejmna
H (X ) = ;(plogp + qlogq)=p:
10. Nazvme dv nhodn promnn X a Y ekvivalentn, jestlie H (X jY ) = 0 a
H (Y jX ) = 0: Dokate, e jsou-li X a Y ekvivalentn a Z a Y jsou ekvivalentn,
jsou i Z a X jsou ekvivalentn.
11. Denujme vzdlenost mezi dvma nhodnmi promnnmi X a Y jako
d(X Y ) = H (X jY ) + H (Y jX ):
Dokate, e pro vechny ti nhodn promnn X Y Z plat
d(X Y ) + d(Y Z ) d(X Z ):
12. Pedpokldejte, e X je nhodn promnn nabvajc hodnot v1 : : : vn : Ukate,
e je-li E (X ) = a X je nhodn promnn s maximln entropi vzhledem k
tmto omezenm, pak
pj = P (X = vj ) = Ae;vj P
kde A a jsou konstanty ur
en vztahy E (X ) = a pj = 1:
Poznmka: hoej pklad je ilustrac principu maximln entropie: jedn se
o rozen Laplaceova principu nedostaten
piny tento je asto uvn ve
statistick
mechanice, vytven obraz a podobn jako je princip pro vybrn
a priori distribuce vzhledem k rznm omezenm. Viz nap. Guiasu a Shenitzer
(1985).
e
en problmy 1.1 6. Mme ukzat, e
H (XjY Z) H (XjY):
21
Ta ale plat prv tehdy, kdy H (X Y Z) ; H (Y Z) H (XjY) () H (X ZjY) ;
H (ZjY) H (XjY) () H (X ZjY) H (XjY) + H (ZjY).
Sta tedy ovit, e
P H (X ZjY = b )P (Y = b )
H (X ZjY) = P
j
j
j
j H (XjY = bj )P (Y = bj ) + Pj H (ZjY = bj )P (Y = bj )
= H (XjY) + H (ZjY):
Denujme nhodn vektor (X0 Z0 ) pedpisem
P ((X0 Z0 ) = (ai cl)) = P ((X YP(ZY) == b(ai) bj cl )) :
j
Pak nhodn
vektory X0 a Z0 jsou denovan
pedpisy
= (bj cl )) :
P (X0 = ai) = P ((XP (YY) == b(a)i bj )) a P (Z0 = cl ) = P ((YP(ZY) =
bj )
j
Pak nutn H (X0 Z0 ) H (X0)+ H (Z0 ), co nm sumac pes j dv H (X ZjY) H (XjY) + H (ZjY).
11. Mme ukzat, e
d(X Y ) + d(Y Z ) d(X Z ):
Plat:
d(X Y ) + d(Y Z ) = H (X jY ) + H (Y jX ) + H (Y jZ ) + H (Z jY )
= H (X ) ; H (Y ) + 2H (Y jX ) + H (Y ) + H (Z ) + 2H (Z jY )
= H (X jZ ) ; H (Z jX ) + 2H (Y jX ) + 2H (Z jY )
d(X Z ) = H (X jZ ) + H (Z jX ):
To je ale ekvivalentn s nerovnost
H (Z jX ) H (Z jY ) + H (Y jX ):
Jejm rozepsnm obdrme H (Z X ) ; H (X ) H (Z Y ) ; H (Y ) + H (Y X ) ; H (X )
a tedy H (Z X ) H (Z Y ) ; H (Y ) + H (Y X ) = H (Y Z ) + H (X jY )
Mme pak
H (Z X ) H (Z Y X ) = H (X jY Z ) + H (Y Z ) H (X jY ) + H (Y Z ):
22
Kapitola 2
Vta o kdovn
bez umu pro
zdroje bez pamti
1 Zdroje bez pamti
V t
to kapitole dokeme prvn a snadnj ze dvou Shannonovch hlavnch vt pro
nejjednodu tdu zdroj.
Strun oxfordsk slovnk denuje zdroj jako pramen, vrchol zdla, ze kter
ho
proud vstupy. Ve sv
pln
obecnosti, je to pesn to, co uvaujeme v teorii informace,
akoliv typicky povaujeme zdroj za proud symbol jist
konen
abecedy. Zdroj m
obvykle njak nhodn mechanismus, kter je zaloen na statistice situace, kter je
modelovan. Tento nhodn mechanismus me bt pomrn dost komplikovan, ale
my se budeme pro okamik soustedit na nsledujc opravdu speciln a jednoduch
pklad. Zna-li Xi i-t symbol vytvoen zdrojem, dohodneme se pak, e, pro kad
symbol aj , pravdpodobnost
P (Xi = aj ) = pj
je nezvisl na i a tedy je nezvisl na vech minulch nebo v budoucnosti vyslanch
symbolech. Jinak eeno, X1 X2 : : : je prv posloupnost identicky distribuovanch,
nezvislch nhodnch veliin. Takovto zdroj nazveme zdrojem s nulovou pamt
nebo zdrojem bez pamti a jeho entropie H je denovna jako
X
H = ; pj logpj
kde stme pes mnoinu j takovch, e pj > 0:
Cvien 1.1
1. Je-li S zdroj bez pamti s abecedou /, roz
en du n S je zdroj bez pamti
S (n) s abecedou /(n) skldajc se ze vech etzc dlky n symbol ze / tak, e
23
24KAPITOLA 2. VTA O KDOV
N BEZ UMU PRO ZDROJE BEZ PAMTI
pravdpodobnost kadho etzce je ur
ena pravdpodobnost, e je to etzec
prvnch n symbol vyslanch S: Dokate, e S (n) m entropii
H (S (n)) = nH (S ):
2 Prexov
a jednoznan dekdovateln
kdy
Hlavn probl
m een v t
to kapitole je nsledujc. Pedpokldejme, e mme zdroj
bez pamti S , kter vysl symboly z abecedy W = fw1 : : : wng s pravdpodobnostmi fp1 : : : png: Z pedagogickch dvod budeme prvky W nazvat zdrojov slova
a ptt se na nsledujc otzku. Je-li / abeceda D symbol, jak meme zakdovat
zdrojov slova wi pomoc symbol z /, abychom dostali co mon nejekonomitj
zakdovn?
Pklad 2.1 Pedpokldejme, e zdroj S vysl tyi zdrojov slova a b c d s pravdpodobnostmi
pa = 0:9 pb = 0:05 pc = pd = 0:025:
Srovnme-li pak zakdovn
a
0 b
111 c
110 d
101
a
00 b 01 c 10 d 11
je evidentn prmrn dlka zakdovanho zdroje 1.2 v prvnm kdu a 2 v druhm
kdu.
a
Formlnji, kdovn nebo kd je zobrazen f z fw1 : : : wng do / , kde /
oznauje soubor konench etzc symbol z /: Zprva je kad konen etzec
zdrojovch slov a, je-li
m = wi1 : : : wik
a je-li f kdovn, pak rozen f k W je denovno obvyklm zpsobem pomoc
zetzen
f (m) = f (wi1 ) : : : f (wik ):
Kdovn f je jednozna
n dekdovateln, jestlie kad konen etzec z / je
obraz nejve jedn
zprvy. *etzce f (wi) se nazvaj kdov slova a pirozen sla
24
2. PREFIXOV A JEDNOZNAN DEKDOVATELN KDY
25
jf (wi)j jsou slovn dlky kdovn f: Prmrn dlka hf i kdovn f je denovan
jako
hf i =
m
X
i=1
pijf (wi)j:
Kdovn f se nazv bezprostedn dekdovateln nebo prexov, jestlie neexistuj rzn
wi a wj tak, e f (wi) je prex f (wj ): Zde pouvme, jak lze oekvat,
prex v obvykl
m smyslu, e pokud x y 2 / , pak x je prex y , jestlie existuje
z 2 / tak, e xz = z:
Prexov kdovn jsou jednoznan dekdovateln. Skuten, maj silnj vlastnost, e prexov kd me bt dekdovn òn line' bez pohledu do budoucnosti.
Pklad 2.2 Pedpokldejme, e / = f0 1g a mme tyi zdrojov slova w1 :: w4:
Prexov
kdovn je
f (w1) = 0 f (w2) = 10 f (w3) = 110 f (w4) = 1110:
Napklad zprvu 01101001010010 lze dekdovat jako w1w3w2w1w2 w2w1w2: (Toto je
pklad toho, co je znmo jako rkov kdovn, protoe evidentn pouvme nulu,
abychom signalizovali konec slova.)
Ne kad
jednoznan dekdovateln
kdovn je prexov
.
Pklad 2.3 Pedpokldejme, e W = fw1 w2g / = f0 1g a kdovn g je deno-
vno jako
g(w1) = 0 g(w2) = 01:
Toto kdovn nen evidentn prexov
, ale lze snadno ovit, e je jednoznan
dekdovateln
, pokud budeme postupovat zpt z konce zprvy.
Je zejm
, e jednoznan dekdovateln kdovn jsou o mnoho obtnj pojem,
ne prexov kdovn. Pekvapiv ukeme, e meme omezit pozornost na prexov kdovn v naem hledn jednoznan dekdovatelnch kdovn, kter maj
minimln prmrnou d
lku.
Poznmka 2.4 A
koliv jsme denovali kdovn jako zobrazen, asto ho identikujeme se souborem C kdovch slov.
Cvien 2.5
1. Ukate, e pro kad pirozen slo m existuje prexov kdovn nad f0 1g,
kter m slova vech dlek v mnoin f1 : : : mg:
25
3 Kraftova a McMillanova nerovnosti
V tomto odstavci dokeme dv zkladn nerovnosti, kter
ospravedl uj nai dvj
poznmku, e meme v podstat zapomenout na pojem jednoznan
dekdovatelnosti a omezit pozornost na prexov kdovn.
Nejdve vyslovme nerovnosti.
KRAFTOVA NEROVNOST
Je-li / abeceda mohutnosti D a W obsahuje N slov, pak nutn a dostaten
podmnka, e existuje prexov
kdovn f : W ! / se slovnmi d
lkami l1 : : : lN
je, e plat
N
X
i=1
D;li 1:
(2.1)
McMILLANOVA NEROVNOST
Je-li / abeceda mohutnosti D a W obsahuje N slov, pak nutn a dostaten
podmnka, e existuje jednoznan dekdovateln
kdovn f : W ! / se slovnmi
d
lkami l1 : : : lN je, e plat (2.1).
Kombinac tchto dvou nerovnost dostaneme:
Vta 3.1 Jednozna
n dekdovateln kdovn s pedepsanou dlkou slov existuje
prv tehdy, kdy existuje prexov kd se stejnou dlkou slov.
DKAZ KRAFTOVY NEROVNOSTI
Pedpokldejme, e mnoina fl1 : : : lN g spl uje
N
X
i=1
D;li 1:
Pepime nerovnost do tvaru
Xl
j =1
nj D;j 1
kde nj je poet li rovnch j a l = maxli:
Pepime tuto nerovnost opt do tvaru
nl Dl ; n1 Dl;1 ; : : : ; nl;1D:
(2.2)
Protoe nj jsou vechna nezporn, postupn dostaneme z (2.2) nerovnosti
26
3. KRAFTOVA A MCMILLANOVA NEROVNOSTI
27
nl;1 Dl;1 ; n1Dl;2 ; : : : ; nl;2 D
nl;2 Dl;2 ; n1Dl;3 ; : : : ; nl;3 D
n3 D3 ; n1 D2 ; : : : ; n2 D
n2 D2 ; n1 D
n1 D:
(2.3)
Tyto nerovnosti jsou kl ke konstrukci kdovn s danou d
lkou slov.
Nejdve vyberme n1 slov d
lky 1, piem pouijeme rzn psmena z /: Zbv
nm D ; n1 nepouitch symbol a meme vytvoit (D ; n1 )D slov d
lky 2 pidnm
psmena ke kad
mu z tchto symbol.
Vyberme naich n2 d
lky 2 libovoln z tchto slov a zbv nm pak D2 ; n1 D ; n2
prex d
lky 2.
Tyto lze ut pro vytvoen (D2 ; n1D ; n2 )D slov d
lky 3, ze kterch meme
vybrat n3 libovoln atd. Pokraujeme-li tmto zpsobem, pokad
je zachovna vlastnost, e dn
slovo nen prexem jin
ho.
V kad
m ppad zjistme, e nerovnosti (2.3) nm dovol prov
st tento vbr.
Tedy skonme s prexovm kdovnm s pedepsanou d
lkami kdovn.
Dokzali jsme, e numerick podmnka (2.1) je dostaten pro existenci prexov
ho kdovn. Akoliv Kraft rovn dokzal i nutnost podmnky (2.1), jedn se
o bezprostedn dsledek McMillanovy nerovnosti, kterou v dalm dokeme. Podan dkaz je o mnoho jednodu, ne McMillanv pvodn dkaz a pat Karushovi
(1961).
DKAZ McMILLANOVY NEROVNOSTI
Pedpokldejme, e mme jednoznan dekdovateln
kdovn C s d
lkami slov
l1 : : : lN :
Pokud l = maxli , pak, pro kad
kladn
cel
slo r, mme
rl
r X
D;l1 + : : : + D;lN = bi D;i
i=1
(2.4)
kde bi je nezporn
cel
slo. Ale cel sla bi jsou prv poet monost, kolika
zpsoby lze etzec d
lky i z symbol abecedy / utvoit konkatenac r slov z d
lek
vybranch z mnoiny fl1 : : : lN g:
Jeliko je kdovn C jednoznan dekdovateln
, kad etzec d
lky i tvoen
z kdovch slov mus odpovdat nejve jedn
posloupnosti kdovch slov. Musme
tedy mt
27
bi Di (1 i rl):
Dosadme-li do (2.4), obdrme
;l1
r
D + : : : + D;lN lr:
Proto
Xl
j =1
nj D;j l1=r r1=r a protoe r bylo libovoln
kladn
cel
slo, dostvme limitnm pechodem r ! 1
na prav
stran McMillanovu nerovnost.
Cvien 3.2
1. Jak je maximln po
et slov binrnho prexovho kdovn, ve kterm je maximln dlka slova 7?
4 Vta o kdovn bez umu pro zdroje bez pamti
Uvaujme nyn nsledujc situaci. Mjme zdroj S bez pamti, kter vysl slova
w1 : : : wm s pravdpodobnostmi p1 : : : pm, kad
vyslan
slovo je vybrno nezvisle
na vech jinch slovech. N probl
m je: je-li dn takovto zdroj spolen s abecedou
/, najdte jednoznan dekdovateln
kdovn, je m minimln prmrnou d
lku
slov. Takov
to kdovn nazvme kompaktn.
Heuristick pstup k tomuto probl
mu by mohl bt nsledujc. Zdroj S m entropii
X
H = ; pilogpi:
Maximln entropie v abeced o D psmenech je logD: Tedy poet symbol abecedy potebn v prmru na zakdovn slova ze zdroje by ml bt asi H=logD:
Tuto hrubou ideu nyn zprecizujeme.
Vta 4.1 M-li zdroj bez pamti entropii H , pak kad jednozna
n dekdovateln
kdovn pro tento zdroj v abeced o D symbolech mus mt dlku alespo H=logD:
Navc existuje takov jednozna
n dekdovateln kdovn, kter m prmrnou dlku
slov men nebo rovnu 1 + H=logD:
28
4. VTA O KDOV
29
Dukaz. Pedpokldejme, e mme jednoznan dekdovateln
kdovn C s d
lkami
slov l1 : : : lN : Pedpokldejme dle, e pravdpodobnosti emitovanch slov odpovdajcch tmto d
lkm jsou p1 : : : pm: Tedy
H=;
X
a prmrn d
lka kdovn C je dna
l(C ) =
pilogpi
X
pili:
Z Kraft{McMillanovy nerovnosti vme, e
G=
Denujme qi (1 i N ) jako
Xl
j =1
nj D ; j 1 :
qi = D;li =G
tedy je (q1 : : : qN ) pravdpodobnostn rozdlen. Aplikujme lemma 1.2.2 a obdrme
X
X
H = ; pilogpi ; pilogqi :
Ale
Tedy
logqi = ;li logD ; logG:
X X H
pili logD + pi logG:
Ale G 1 z Kraft-McMillanovy nerovnosti a tedy, jak je poadovno,
H l (C ) logD:
Abychom dokzali horn hranici, vybereme nae d
lky slov l1 : : : lN podle pravidla, e pro vechna i je d
lka li minimln pirozen
slo spl ujc
p;i 1 Dli :
Ale, protoe p1 + : : : + pN = 1, toto implikuje
N
X
D;li 1
i=1
(2.5)
tedy vme, e existuje jednoznan dekdovateln
(ve skutenosti prexov
) kdovn
s tmito slovnmi d
lkami.
29
Ale, protoe 2.5 je ekvivalentn s
li logD ;logpi
a li je minimln vzhledem k t
to vlastnosti, vme, e
Vme tedy, e
li < 1 ; logpi=logD:
l(C ) =
X
pili < 1 + H=logD:
Cvien 4.2
1. Zakdujeme-li n stejn pravdpodobnch slov nad binrn abecedou, vta o kdovn bez umu tvrd, e prmrn dlka slova l(C ) kadho kompaktnho jednozna
n dekdovatelnho kdovn spluje
log2n l(C )
pro kter hodnoty n plat rovnost?
2. Srovnejme hranice vty o kdovn bez umu s dlkou kompaktnho zakdovn
2k ; 1 stejn pravdpodobnch slov nad f0 1g:
5 Konstruovn kompaktnch kdovn
Pedpokldejme, e mme dn zdroj S bez pamti ze slov w1 : : : wN s pravdpodobnostmi p1 : : : pN a e si pejeme najt kompaktn kdovn C pro S nad abecedou
/: Z vty o kdovn bez umu vme, e prmrn d
lka mus spl ovat ohranien
H=logD l(C ) 1 + H=logD
(2.6)
ale snadno se vid, e doln hranice lze doshnout pouze, kdy pi jsou jist
celoseln
mocniny D: Z Kraft-McMillanovy nerovnosti mme:
Jestlie existuje kompaktn jednozna
n dekdovateln kdovn o prmrn dlce l,
pak existuje kompaktn prexov kdovn o prmrn dlce l:
Meme se tedy omezit na prexov kdovn. Nyn popeme metodu navrhnutou Hu3manem v roce 1952 pro konstruovn kompaktnhu prexov
ho kdovn pro
ve uveden zdroj S v ppad, e / je binrn abeceda. Nejprve dokeme nkter
vlastnosti kompaktnho prexov
ho kdovn C nad / = f0 1g: Budeme uvat l(w)
k oznaen d
lky slova w v C:
30
5. KONSTRUOV
N KOMPAKTNCH KDOV
N
31
Lemma 5.1 Kompaktn kdovn pro zdroj s prv dvma slovy w1 a w2 je
w1 ! 0
w2 ! 1:
Dukaz. Zejm
.
Lemma 5.2 Je-li C prexov a kompaktn kdovn a pi > pj , pak l(wi) l(wj ):
Dukaz. Pokud tomu tak nen, vytvome nov kd C 0 z C zmnou zakdovn wi a
wj : Pak prmrn d
lka je zmenena a stle mme prexov
kdovn.
Lemma 5.3 Je-li C prexov a kompaktn kdovn, pak mezi vemi kdovmi slovy
v C maximln dlky mus existovat alespo dv lic se pouze v posledn slici.
Dukaz. Pedpokldejme, e tomu tak nen pak meme odebrat posledn slici z
tchto vech kdovch slov maximln d
lky a stle mme prexov
kdovn, co je
spor s kompaktnost C:
V KDOVAC ALGORITMUS
HUFFMANU
Beze ztrty obecnosti meme pedpokldat, e zdroj S m svj syst
m zdrojovch slov fw1 : : : wN g uspodanch tak, e pravdpodobnosti pi vysln wi spl uj
p1 p2 : : : pN :
Hu3manova procedura konstruuje rekurzivn posloupnost zdroj S0 S1 : : : SN ;2
tak, e S0 = S a Sk je zskno z Sk;1 ztotonnm dvou nejm
n pravdpodobnch
symbol z Sk;1 s jedinm symbolem z Sk : Pravdpodobnost, e symbol je vysln
z Sk je brna jako souet pravdpodobnost jeho dvou vytvejcch symbol v Sk;1:
Tedy S1 je zskn z S0 ztotonnm wN a wN ;1 do jednoho symbolu wN ;1 vyskytujcho se s pravdpodobnost pN + pN ;1: V kad
m stavu mme zdroj s o jeden m
n
symboly, a po N ; 2 takovch redukcch dospjeme k zdroji SN ;2 kter m pouze
dva symboly. Pechod mezi Sj;1 a Sj lze nejl
pe vidt na nsledujcm obrzku.
31
Zakdovn Pravdpodobnost Slovo Slovo Pravdpodobnost Zakdovn
1
q1
v1
u1
q1
1
2
q2
v2
u2
q2
2
k;1
k+1
k+2
qk;1
qk
qk+1
vk;1
vk
vk+1
uk;1
uk
uk+1
qk ;1
qt + qt+1
qk
k;1
k
k+1
t
(k 0)
(k 1)
qt;1
qt
qt+1
vt;1
vt
vt+1
ut
qt;1
t
Sj ;1
Sj
Je-li dno zakdovn 1 : : : t zdroje Sj , Hu3manova procedura pro nalezen
zakdovn zdroje Sj;1 je nsledujc velmi snadn
pravidlo.
Pedpokldejme pravdpodobnosti q1 q2 : : : qt+1 slov z Sj;1 jsou takov
,
e slovo vytvoen
z vt a vt+1 je slovo uk z Sj : Pak by Hu3manovo zakdovn Sj;1
mlo bt, jak je ukzno v lev
m sloupci pedchoz tabulky. Formln, mlo by bt
zadno pravidlem
vi ! i
(1 i k ; 1) vi ! i+1
vt ! (k 0)
(k i t ; 1)
vt+1 ! (k 1):
Zptnm zpracovnm nastartujeme nai zakdovac proceduru zakdovnm dvou
slov z SN ;2 s dvma kdovmi slovy 0 a 1 pak SN ;3 bude mt ti kdov slova atd. a
budeme pokraovat ve ve uveden
procedue, a doshneme Hu3manova kdu pro
S = S0:
Budeme ilustrovat tuto metodu na skuten mal
m pklad.
Pklad 5.4 Pedpokldejme, e S je zdroj s pti zdrojovmi slovy a pravdpodobnostmi (viz ne). Pak vvoj Hu&manova zakdovn lze povaovat za prochzen ipek
dopedu a pak zakdovn zptky.
W P
C W P
C
W P C W P C
w1 0.5 1
v1 0.5 1
u1 0.5 1 x1 0.5 0
w2 0.2 01 v2 0.2 01
u2 0.3 00 x2 0.5 1
w3 0.15 001 v3 0.15 000
u3 0.2 01
w4 0.1 0000 v4 0.15 001
w5 0.05 0001
W: slovo,
P: pravdpodobnost C: kdovn
Vsledn zakdovn
32
5. KONSTRUOV
N KOMPAKTNCH KDOV
N
33
w1 ! 1 w2 ! 01 w3 ! 001 w4 ! 0000 w5 ! 0001
m prmrnou dlku 1.95 na zdrojov slovo.
Poznmka 5.5 Minimln dvakrt v hornm pkladu jsme schopni provst vbr,
protoe dv slova maj stejn pravdpodobnosti. Pokud tento ppad nastane, dostaneme rzn zakdovn.
KAZ, E HUFFMANU
V ALGORITMUS JE KOREKTN
DU
Z lemmatu 1 vme, e zakdovn SN ;2 dvma symboly 0 a 1 je optimln. Dkaz
bude tedy pln, jestlie budeme schopni dokzat, e kompaktnost je zachovvna pi
pechodu ze zdroje Sj ke zdroji Sj;1:
Pedpokldejme tedy, e Sj je kompaktn zakdovn a e l1 : : : lt jsou d
lky slov
1 : : : t , ale e Hu3manovo zakdovn Cj;1 zdroje Sj;1 nen kompaktn. Existuje
tedy prexov
kompaktn kdovn C zdroje Sj;1 tak, e
l(C ) < l(Cj;1):
Dle lemmatu 3 meme peuspodat kdov slova kdovn C maximln d
lky
tak, e m-li C kdov slova v01 : : : v0t+1 s d
lkami l0 1 : : : l0t+1 , pak l0 1 l02 : : : l0 t+1 a v0t = ( 0) v0t+1 = ( 1) kde je njak
kdov
slovo z / :
Nech' kdovn C 0 zdroje Sj sestv ze slov
v01 v02 : : : v0k;1 v0k : : : v0t+1 pak C 0 je prexov
zakdovn zdroje Sj a m prmrnou d
lku
l(C 0) = p1l0 1 + : : : + pk;1l0k;1 + p0k jj + +pk l0k + pk+1l0 k+1 + : : : + pt l0t;1 =
= l(C ) ; p0k :
Pesnji p0k = pt + pt+1 , lt0 = lt0+1 , jj = lt0 ; 1 = lt0+1 ; 1 a proto
l(C 0 ) = l(C );jjp0k +lt0 pt +lt0+1pt+1 = l(C );jjp0k +lt0 p0k = l(C );p0k (lt0 ;jj) = l(C );p0k :
Ale zrove
l(Cj ) = l(Cj;1) ; jjp0k + lt0 pt + lt0+1 pt+1 = l(Cj;1) ; p0k :
Tud, jestlie l(C ) < l(Cj;1), pak
co je spor s kompaktnost Cj :
l(C 0 ) < l(Cj )
33
HUFFMANOVA KDOVN NAD NEBINRNMI ABECEDAMI
Pedpokldejme, e pracujeme namsto s binrn abecedou f0 1g s abecedou / o
r symbolech.
Budeme postupovat stejnm zpsobem. Stejn jako v binrnm ppad, zanme
s S = S0 (pvodn zdroj) a budeme konstruovat posloupnost zdroj S0, S1, . . . , St a
skonme u zdroje St obsahujcm prv r symbol. Tento zdroj m kompaktn zakdovn (jednodue mme bijekci mezi St a abecedou /). Musme aplikovat nsledujc
dva body:
1. Jak budem konstruovat Sj+1 z Sj , ztotonme ne 2, ale r nejm
n pravdpodobnch symbol z Sj do jednoho symbolu z Sj+1. Tedy Sj+1 m o r ; 1 symbol
m
n ne Sj .
2. Budeme potebovat pro zvren zdroj St, abychom mli prv r symbol.
Abychom toho doshli, je nutno zat se zdrojem S s prv r + t(r ; 1) symboly.
Protoe obecn je mlo pravdpodobn
, e S bude mt prv tento poet slov,
umle pidme k S mnoinu S 0, kter bude disjunktn s S , a slova v n obsaen
budou mt nulovou pravdpodobnost. Pak klademe S0 = S S 0 a mme jS 0j =
r + t(r ; 1) ; jS j.
Cvien 5.6
1. Jak je prmrn dlka slova kompaktnho kdovn nad f0 1g, jestlie mme
5 stejn pravdpodobnch zdrojovch slov?
2. Najdte kompaktn kdovn nad f0 1g pro zdroj vyslajc slova w1 : : : w6 s
pravdpodobnostmi
1
P (w1) = 31 P (w2) = 41 P (w3) = 16 P (w4) = P (w5) = P (w6) = 12
a porovnejte jejich prmrnou dlku s horn a doln hranic dle vty o kdovn
bez umu pro zdroje bez pamti.
3. Najdte kompaktn kdovn nad f0 1 2g pro zdroj z pedchozho pkladu.
Problmy 2.1
1. Ve he na achovnici m jeden z hr
(A) uhdnout, kam jeho
protivnk umstil krlovnu. Hr
i A je povoleno est otzek, kter mus bt pravdiv zodpovzeny odpovd ano/ne. Dokate, e existuje strategie, pi kter me
hr
A vdy vyhrt tuto hru, ale e nelze zajistit vhru, pokud m povoleno pouze
pt otzek.
2. Je-li hra z pedchozho pkladu hran na achovnici o rozmrech n n, kolik
otzek potebuje hr
A, aby bezpe
n vyhrl.
34
5. KONSTRUOV
N KOMPAKTNCH KDOV
N
35
3. Najdte prmrnou dlku optimlnho (kompaktnho) jednozna
n dekdovatelnho binrnho kdu pro zdroj bez pamti, kter vysl est slov s pravdpodobnostmi
0:25 0:10 0:15 0:05 0:20 0:25:
Analyzovnm Hu&manova algoritmu ukame, e zdroj bez pamti vysl N slov
a jestlie l1 : : : lN jsou dlky kdovch slov je optimln kdovn nad binrn
abecedou, pak l1 + : : : + lN 21 (N 2 + N ; 2).
4. Mte k dispozici rovnovnou vhu a devt zdnliv identickch minc. Bylo
Vm sdleno, e jedna mince je rzn od zbvajcch stejnch minc. Mte za
kol najt, o kterou minci se jedn a zda je t nebo leh
. Navrhnte strategii o
nejve 3 vench pro een tohoto problmu. Abychom obecn vyeili tent
problm pro n minc v k vench, je nutno, aby platilo, e k log 3 log 2n.
Dokate.
5. V Hu&manov algoritmu pro binrn abecedu aplikovanm na N zdrojovch slov
jsou dlky slov pro kone
n optimln zakdovn l1 : : : lN . Dokate, e
l1 + : : : + lN
N log2 N:
6. Mjme dva hr
e, hr
e A a hr
e B. Tito hr
i hraj hru s nhodnou kostkou,
kter m n stran a nabv hodnot 1 : : : n s pravdpodobnostmi p1 p2 : : : pn.
Hr
B vrh kostkou za zvsem a hr
A m zjistit hodnotu po vren kostky
co mon nejrychleji. Hr
A se me ptt hr
e B a ten mu mus pravdiv
odpovdat bu ano nebo ne. Ukate, e prmrnPpo
et otzek pro spnou
strategii hr
e A mus bt alespo entropie H = ; pj logpj .
7. Ukate, e optimln zakdovn zdroje s N stejn pravdpodobnmi zdrojovmi
slovy v abeced o D psmenech, je
maxf(Dr+1 ; N ; b)=(D ; 1) N g
slov dlky r, kde b je ur
eno vztahem
N + b = D + k(D ; 1) 0 b < D ; 1
a r je nejvt pirozen slo tak, e
Dr N + b:
8. Dokate, e nsledujc metoda nm dv jednozna
n dekdovateln kd pro
zdro S .
35
Pedpokldejme, e S m N zdrojovch slov s1 s2 : : : sN a pi je pravdpodobnost, e je vyslno slovo si , pi
em plat pi pi+1 . Nech( navc
a1 = 0 a2 = p1 a3 = p1 + p2 : : : aN = p1 + p2 + : : : + pN ;1:
Nech( mi (1 i N ) je denovno jako nejmen takov pirozen slo mi
splujc 2;mi pi .
Je-li pak aj binrn rozvoj sla aj na mj desetinnch mst, je kdovn
sj 7! aj 1 j N
jednoznan dekdovateln pro zdroj S . Ukate, e se nejedn o optimln zakdovn, ale e prmrn dlka ^l kdovn spluje
H (S ) ^l H (S ) + 1:
9. Jsou-li l1 : : : ln dlky slov binrnho Hu&manova kdovn zdrojovch slov majcch pravdpodobnost p1 : : : pn , pak redundance kdovn je denovna jako
r=
n
X
k=1
pk lk ; H (p1 : : : pn):
Ukate, e plat
r pmax + log-2(log e)=e] = pmax + 0:086
kde pmax = maxi pi.
36
Kapitola 3
Komunikace kanly se umem
1 Komunikan syst
m
Komunikan syst
m je mechamismus, kter zprostedkovv penos informace od
zdroje zprvy a k zazen, kter
tuto informaci zpracovv. Obecn sestv z kod
ru,
sdlovacho (komunikanho) kanlu a nsledn dekod
ru.
vstup - Kod
r
- Komunikan - Dekod
r
kanl
vstup -
Obrzek 3.1: Blokov diagram obecnho sdlovacho systmu.
Zdrojov zprva je obvykle v podob sekvence binrnch nebo destkovch slic,
nebo sekvence abecednch znak pevedench do technicky zpracovateln
podoby.
Kdovac zazen pevd tyto zprvy na signly kompatibiln se vstupem kanlu {
obvykle se jedn o elektrick
signly, kter
maj jist omezen na velikost napt, ku
psma a d
lku trvn impulzu. Takto upraven
pak vstupuj do sdlovacho kanlu
a jsou vystaveny umu (tj. monosti vzniku chyby). Vstup z kanlu vstupuje do
dekod
ru, jeho funkc je rozhodnout, jakou podobu mla pvodn zdrojov zprva,
a tu pak piv
st na vstup cel
ho sdlovacho syst
mu.
Vtina komunikanch kanl m konenou kapacitu penosu informace, tj. mru
schopnosti penet informaci menou v bitech za sekundu nebo bitech na symbol. Dky vynikajc teoretick
prci Shannona (r. 1948) se d ukzat, e pokud je
prmrn rychlost penosu informace men ne kapacita kanlu, je mon
vybrat
mnoinu signl (kdovch slov) takovou, e pravdpodobnost vskytu chyby pi
dekdovn bude libovoln mal. Nicm
n jakkoliv je tato teorie mocn, vsledek nevypovd nic o tom, jak tyto signly volit, ani zda je mon
je pomoc souasnch
technickch prostedk konstruovat.
37
KAPITOLA 3. KOMUNIKACE KAN
LY SE UMEM
38
Pouvn samoopravnch kd je pokusem ve uveden
dva probl
my obejt.
Ovem cel penos informace od zdroje a po zpracovn nen tak jednoduch, jak
znzor uje (obr.3.1). Sestv z komplexnjho sdlovacho syst
mu jednu takovou
monost nabz (obr.3.2).
vstup -
-
Vstup{bin.
Pevodnk
-
Bin.{bin.
Kodr
Modultor
?
Komunikan
kanl
vstup
Bin.{vstup
Pevodnk
Bin.{bin.
Dekodr
Demodultor
Obrzek 3.2: Konkrtn sdlovac systm.
Kod
ry (pevodnky) pevd znaky jedn
abecedy na znaky abecedy jin
. Obvykle
maj ob abecedy pomrn malou mohutnost { typick pevod me bt z destkov
do
dvojkov
soustavy. Modultor na vstupu pijm jednotliv
znaky a ke kad
mu znaku
vytv proudov impuls, kter vstupuje do kanlu. Tato operace s kadm znakem
zvl' je omezenm pi penosu informace a zpsob tak ztrtu kapacity kanlu.
Demodultor provd inverzn operaci. Ke kad
mu obdren
mu impulsu hled
znak tak, aby pravdpodobnost penosov
chyby byla co nejmen. A opt jako pi
modulaci, i zde individuln modulace zpsobuje ztrtu kapacity.
2 Diskr
tn kanl bez pamti
Ve sv
m nejirm smyslu lze komunikan kanl povaovat za ernou sk ku, kter
akceptuje etzce symbol ze vstupn abecedy /1 a vysl etzce symbol z vstupn
abecedy /2 .
Meme zejm tvrdit jen mlo o takov
to struktue. Omezme pozornost na diskrtn kanl bez pamti, kter je charakterizovn vstupn abecedou /1 = fa1 : : : amg,
vstupn abecedou /2 = fb1 : : : bng a matic P kanlu
1
0
p
p
p
:
:
:
:
:
:
p
1n;1
1n
11
12
BB p21 p22 : : : : : : p2n;1 p2n CC
B .
CC :
... : : : : : :
...
... C
P =B
BB ..
B@ pm;11 pm;12 : : : : : : pm;1n;1 pm;1n CCA
pm1 pm2 : : : : : : pmn;1 pmn
38
2. DISKRTN KAN
L BEZ PAMTI
39
Zpsob pouvn kanlu je nsledujc: kad posloupnost (u1 u2 : : : uN ) symbol ze vstupn abecedy /1 na vstupu se pevede na posloupnost (v1 v2 : : : vN ) t
e
d
lky symbol z vstupn abecedy /2 na vstup tak, e
P (vk = bj juk = ai) = pij (1 i m 1 j n)
a to nezvisle pro kad
k.
Implicitn je ve ve uveden
m obsaeno, e pro kad
i, 1 i m plat
X
pij = 1:
j
Matice P s nezpornmi hodnotami takov, e souet prvk v kad
m dku
je roven 1, se nazv stochastick matice v teorii nhodnch proces mluvme o
matici pechodu markovsk
ho etzce. Je asto uiten
reprezentovat kanl pomoc
diagramu, jako je tomu nap v nsl. pkladu.
Pklad 2.1 Binrn vypoutc kanl m vstupn abecedu /1 = f0 1g, vstupn
abecedou /2 = f0 1 g a matic P kanlu
!
1
;
"
0
"
P=
0 1;" " :
Diagram odpovdajc tomuto kanlu m tvar
q
1;" qqq
0 0
8
q
qq
qq
MM
MM
MM
MM
M
"
&
q
qq
qq
q
q
qq
"
1 8
LL
LL
L1L
LL
L
;"
&
1:
To odpovd situaci, pro kterou m kad symbol pravdpodobnost ", e se patn
penese a to na . Ale jak 1 tak 0 nelze navzjem zamnit.
Pklad 2.2 Nejpouvanj kanl v tomto modelu komunikace je binrn symetrick
kanl m vstupn abecedu /1 = f0 1g, vstupn abecedou /1 = f0 1g a matic P
kanlu
!
1
;
p
p
P=
p 1;p :
Diagram odpovdajc tomuto kanlu m tvar
39
LY SE UMEM
40
0 1 1;p
LL
LL rrr
L
r
rL
LL
rr
L
rr 1
p
p
;p
/
8
&
/
0
1:
Jinak e
eno, to odpovd situaci, pro kterou m kad symbol x pravdpodobnost
p, e se patn penese a to na 1 ; x. )asto budeme pst q = 1 ; p bez dalho
komente.
Rozen diskr
tnch kanl bez pamti
Uvame diskr
tn kanl bez pamti se vstupn abecedu /1 , vstupn abecedou
/2 a matic P kanlu . r-t rozen tohoto kanlu je diskr
tn kanl bez pamti se
vstupn abecedu /(1r) , vstupn abecedou /(2r) a matic P (r) kanlu , kter je denovna
nsledovn:
Souadnice (i j ) matice P (r) odpovdajc vstupu
i = 1
2 : : : r
s k 2 /1 , a vstupu
s k 2 /2, je
j = 12 : : : r
(P (r) )ij = p(1 j
1)p(2j
2) : : : p(r j
r )
kde p(k j
k ) je pravdpodobnost, e v kanlu s matic P je obdren symbol k za
pedpokladu odesln k .
Pklad 2.3 Druh rozen binrnho symetrick
ho kanlu s matic P kanlu
P = pq qp
m tvar
0 q2
B qp
P2 = B
B@ pq
p2
qp
q2
p2
pq
pq
p2
q2
qp
!
p2 1 !
pq C
CC = qP pP :
qp A
pP qP
2
q
40
3. SPOJEN ZDROJE S KAN
LEM
41
Alternativn zpsob jak meme pemlet o r-t
extenzi je, e kanl C povaujeme za r kopi C operujcch nezvisle a paraleln dle ne uveden
ho.
C1
1 tt
2 tt
t
tt
t
ttt
t
JJ
JJ
JJ
JJ r
JJ
JJ
7
7
7
7
7
7
7
7 1
7
2
7
JJ
7
JJ
7
JJ2 7
JJ 77
JJ 7
JJ7
C
input
1 2 :::r
/
...
9
...
%
C
Cr
...
output
1 2 :::r
tt
tt
t
r tt
tt
t
tt
%
9
/
Cvien 2.4
1. Zprva sestvajc z N binrnch slic je penesena binrnm symetrickm kanlem majc pravdpodobnost chyby penosu p. Ukate, e o
ekvan po
et chyb je Np.
3 Spojen zdroje s kanlem
Uvame nsledujc situaci: mme zdroj bez pamti S , kter vysl symboly (zdrojov
slova) s1 : : : sN s pravdpodobnostmi p1 : : : pN .
Zdroj je spojen s binrnm symetrickm kanlem s pravdpodobnost chyby nsledovn:
Zdroj
si
/
Kdovac zazen do binrnho kdu
0 1;p
HH
HH
v
HH
HH
vv
HH vv
vH
vv HH
v
HH
vv
vv
v
1
v
/
0
p
/
1 p
;p
#
/
/
Dekdovac
zazen
1:
Budeme pedpokldat, e zakdovn do binrnho kdu probhne bez umu a e
zpsob zakdovn je znm dekdovacmu zazen.
Pedpokldejme pro jednoduchost, e N = 8 za symboly meme povaovat
nap. psmena abecedy, rzn
mny nebo cokoliv jin
ho. Efektivn (tj. kompaktn)
zakdovn ve smyslu pedchozho odstavce je pak
41
LY SE UMEM
42
s1
s2
s3
s4
s5
s6
s7
s8
000
100
010
001
110
101
011
111:
Zprva je etzec zdrojovch slov si, kter jsou postupn zakdovan, penesen
a pak dekdovan. Tud, dle ve uveden
ho kdovacho sch
matu, je pravdpodobnost, e jist
slovo je sprvn peneseno, rovna q3 . Pravdpodobnost, e zprva o n
slovech je korektn penesena, je q3n.
Lze to prov
st l
pe? Odpov je samozejm ano, jinak bychom se vbec neptali.
Zajmav
otzky jsou (a) jak moc l
pe a (b) na nklady?
Pklad 3.1 Uvame ve uveden pklad s osmi stejn pravdpodobnmi zdrojovmi
s1
000000
slovy a pedpokldejme, e pouijeme zdvojen zakdovn nsledovn:
s2
s3
s4
s5
s6
s7
s8
100100
010010
001001
110110
101101
011011
111111:
Pokud dekdovac zazen pijme pravidlo, e bude pouze dekdovat v ppad, e
prvn ti symboly a druh ti symboly jsou toton, a jinak *zavol o pomoc+, pravdpodobnost, e se vyskytne chyba a zstane neobjevena, se drasticky redukuje. Zajist
budeme platit podstatnou cenu tm, e jsme snili pomr penosu faktorem 2. navc
se jedn o ist detek
n systm, kter nebude vyuiteln v ppad, e se dekdovac zazen neme kontaktovat s kdovacm zazenm a podat ho o znovuposln
slova, u kterho byla detekovna chyba.
Zbvajc st t
to kapitoly je vnovna zpsobu zskn dostaten
mry penosu
kanlu se umem bez pli velk
ho prodlouen zprvy.
Cvien 3.2 Jednoduch zpsob detekovn nejve jedn chyby je pout zazen
pidvajcho kontrolu parity, abychom mli zajitno, e sou
et sel v penenm
slov je sud. Tedy kontrola parity z ve uvedenho pkladu m tvar
s1
s2
s3
s4
s5
s6
s7
s8
0000
1001
0101
0011
1100
1010
0110
1111:
Ukate, e jestlie peneseme kd s kontrolou parity binrnm symetrickm kanlem, pravdpodobnost, e nen objevena chyba, je rovna 6p2 (1 ; p)2 + p4, kde p je
pravdpodobnost vskytu chyby pi penosu kanlem.
42
4. KDOV
N A DEKDOVAC PRAVIDLA
43
4 Kdovn a dekdovac pravidla
Bu dn kanl bez pamti se vstupn abecedou /1 = fa1 : : : am g a vstupn abecedou /2 = fb1 : : : bk g. Kd dlky n je libovoln syst
m C rznch posloupnost d
lky
n symbol ze /1 . Prvky z C se nazvaj kdov slova. Je-li dn kd d
lky n s kdovmi slovy c1 c2 : : : cN , dekdovac pravidlo je libovoln rozklad mnoiny monch
obdrench posloupnost do disjunktnch mnoin R1 R2 : : : RN se zejmou interpretac toho, e je-li obdren posloupnost y prvkem mnoiny Rj , je y dekdovno jako
kdov
slovo cj .
Formln vzato, pedpokldme-li, e kd C neobsahuje nap. symbol "?" jakoto
kdov
slovo, rozhodovac (dekdovac) pravidlo pro kd C je funkce f : /n2 ! C f?g. Aplikaci dekdovacho pravidla nazvme dekdovn. Je-li y (obdren
) slovo v
/n2 , pak rozhodovac pravidlo dekduje y jakoto kdov
slovo f (y) nebo v opan
m
ppad nahls dekdovac chybu, jestlie f (y) =?.
Vbr dekdovacho pravidla je podstatn k spchu kad
ho komunikanho syst
mu. Jako extr
mn pklad je snadn
zkonstruovat dekdovac pravidlo, kter
zcela
zni bezchybnost kanlu bez umu.
Pklad 4.1 Pedpokldejme, e mme zdroj s prv dvma zdrojovmi slovy s1 a s2 ,
kter meme zakdovat pro penos binrnm symetrickm kanlem jako
s1 7! 000 = c1 s2 7! 111 = c2 :
Mme pak osm monch obdrench zprv. Mon dekdovac pravidlo by mohlo bt
dekdovat zprvu jako s1, pokud obsahuje vce nul ne jedni
ek. Mn citliv pravidlo
by mohlo bt dekdovat zprvu jako s1, pouze kdy obdren zprva byla 000. A priori,
kad z tchto pravidel m stejnou vhu, i s pravidlem: dekdujte kad obdren slovo
jako s1 !
Na snahou bude najt dekdovac pravidlo, kter
maximalizuje pravdpodobnost
sprvn
ho dekdovn tj. pravdpodobnost, e x = f (y) je opravdu to kdov
slovo c,
kter
bylo odeslno. Poznamenejme, e pjemce nem dnou monost zjistit, zdali
dekdovac proces opravdu dekdoval sprvn.
Pravdpodobnost sprvn
ho dekdovn lze vyjdit mnoha zpsoby. Pouijeme-li
napklad formuli pln
pravdpodobnosti, obdrme nsledujc dva vztahy:
X
P (sprvn
dekdovnjc odeslno)P (c odeslno)
(3.1)
vztahujeme-li podmnku na mnoinu kdovch slov resp.
P (sprvn
dekdovn) =
c2C
43
LY SE UMEM
44
X
P (sprvn
dekdovn) =
y2n2
P (sprvn
dekdovnjy obdreno)P (y obdreno)
(3.2)
/n.
vztahujeme-li podmnku na mnoinu slov ze 2
Poznamenejme, e vztah (3.1) explicitn obsahuje pravdpodobnosti P (c odeslno),
e rzn kdov slova byla poslna pomoc kanlu. Tyto pravdpodobnosti nejsou nic
jin
ho ne pravdpodobnosti zdroje C . Mluvme pak o vstupnm rozdlen kanlu. Pitom (3.2) rovn obsahuje vstupn rozdlen, protoe pravdpodobnost, e dan
slovo
y je obdreno, obvykle zvis na tom, kter
kdov
slovo bylo odeslno.
Nech' f je dekdovac pravidlo pro kd C . Je-li odeslno kdov
slovo c, pak
sprvn
dekdovn nastane prv tehdy, kdy f (y) = c pro obdren
slovo y. Plat
tedy
P (sprvn
dekdovnjc odeslno) =
X
yf (y)=c
P (y obdrenojc odeslno):
(3.3)
Provedeme-li substituci do (3.1), obdrme
P (sprvn
dekdovn) =
X
c2C yf (y)=c
P (y obdrenojc odeslno)P (c odeslno): (3.4)
Tato dvojnsobn suma nen vak vdy zcela phodn. Pitom vztah (3.2) nm
podv vhodnj nvod, jak obdret dobr
dekdovac pravidlo. Podle dekdovacho
pravidla f je obdren
slovo y dekdovno sprvn, jestlie odesln
slovo bylo f (y).
Plat tedy
P (sprvn
dekdovnjy obdreno) = P (f (y)odeslnojy obdreno)
(3.5)
a pitom se ve ve uveden
m vrazu nevyskytuje dn suma. Dosame do vztahu
(3.2). Pak mme
P (sprvn
dekdovn) =
X
y2n2
P (f (y) odeslnojy obdreno)P (y obdreno): (3.6)
Pravdpodobnost sprvn
ho kdovn lze maximalizovat tm, e budeme postupovat podle takov
ho dekdovacho pravidla, kter
maximalizuje kadou z podmnnch
pravdpodobnost
P (f (y) odeslnojy obdreno):
44
4. KDOV
N A DEKDOVAC PRAVIDLA
45
Jinak eeno, za pedpokladu, e jsme obdreli y, rozhodneme se tak, e kdov
slovo, kter
bylo poslno, je to nejpravdpodobnj, kter
mohlo bt odeslno. To jde
konkr
tn zajistit tak, e se prochzme zptnmi kanlovmi pravdpodobnostmi
P (c1 odeslnojy obdreno) : : : P (cN odeslnojy obdreno)
a vybereme kdov
slovo ci s nejvt pravdpodobnost.
Toto pravidlo se nazv pravidlo idelnho pozorovatele neboli pravidlo minimln
chyby. Nicm
n, pepis tchto podmnnch pravdpodobnost nm ukazuje, e tyto
podmnn
pravdpodobnosti nelze pout bez znalosti pravdpodobnost vskytu
kdovch slov cj . Mme toti podle Bayesovy vty:
P (c odeslnojy obdreno) = PN P (y obdrenojc odeslno)P (c odeslno) : (3.7)
k=1 P (y obdrenojck odeslno)P (ck odeslno)
V praxi je to vn nevhoda. Toti, abychom urili dekdovac funkci, musme
znt s jakou pravdpodobnost jsou kdov slova poslna pomoc kanlu tj. musme
znt jistou informaci o zprv, co nen zrovna vdy mon
.
Toto, spolen se skutenost, e nen snadn
toto pravidlo aplikovat v ppad, kdy
mme velk poet kdovch slov, oprav uje uit nsledujcho pravidla nazvan
ho
pravidlem maximln pravdpodobnosti (maximum-likelihood (ML)). Toto pravidlo
dekduje kad obdren vektor y do kdov
ho slova cj tak, e maximalizuje
P (y obdrenojcj odeslno):
(3.8)
Pro ty, kte jsou obeznmeni s odhady maximln pravdpodobnosti ve statistice,
je analogie zejm.
Za pedpokladu nedostatku informace o pravdpodobnostech rznch kdovch
slov mme nsledujc:
Maj-li kdov slova stejnou pravdpodobnost, pak pravidlo maxi(3.9)
mln pravdpodobnosti splv s pravidlem idelnho pozorovatele.
Dkaz je snadn. Toti plat P (c odeslno) = N1 . Tedy plat dle (3.7)
P (c odeslnojy obdreno) = PNP (y obdrenojc odeslno) :
(3.10)
k=1 P (y obdrenojck odeslno)
Odtud pak mme, e maximum na prav
stran obdrme prv tehdy, kdy budeme mt maximum na lev
stran.
Hammingova vzdlenost
45
LY SE UMEM
46
V hlavn sti t
to pednky budeme pracovat s binrnm symetrickm kanlem.
Pro tento kanl m pravidlo maximln pravdpodobnosti obzvl' snadnou implementaci.
Nech' Vn oznauje mnoinu vech posloupnost d
lky n sloench z nul a jedniek
a, pokud to bude nutn
, povaujme Vn za vektorov n-dimenzionln prostor nad
tlesem celch sel modulo 2. Jsou-li x a y vektory z Vn, denujme Hammingovu
vzdlenost d(x y) mezi x a y jako poet mst, ve kterch se x a y li.
Pro binrn symetrick kanl je pirozenm dekdovacm pravidlem pravidlo minimln vzdlenosti, toti: dekdujme kad obdren vektor y do kdov
ho slova cj ,
e kter
m kdov
slovo c, je m minimln Hammigovu vzdlenost od y: pokud je
vcero takovch slov, vybereme cj libovoln.
P (y obdrenojcj odeslno):
(3.11)
Nsledujc snadn vsledek nm tvrd:
Vta 4.2 Pro binrn symetrick kanl s pravdpodobnost chyby p 21 je dekdovac
pravidlo minimln vzdlenosti ekvivalentn k pravidlu maximln pravdpodobnosti.
Dukaz. Pro vechny vektory x a y z Vn s vlastnost d(x y) = d plat
P (y obdrenojx odeslno) = pdqn;d:
Pokud p < 12 , tento vraz nabv maxima, je-li d minimln. To ale zejm sta k
tomu, e pevn
slovo y dekdujeme jako to kdov
slovo, kter
m nejmen vzdlenost
od slova y. Obrcen, vezmeme-li jako rozkdovn pevn
ho slova y kdov
slovo
minimln vzdlenosti, je ve uveden pravdpodobnost maximln.
Cvien 4.3
1. Nech( kd sestv ze ty kdovch slov c1 = 1000, c2 = 0110, c3 = 0001 a
c4 = 1111. Pravdpodobnosti vskytu tchto kdovch slov jsou dny jako
P (c1) = P (c2) = 31 P (c3 ) = P (c4 ) = 61
Pouvte-li pro penos binrn symetrick kanl s pravdpodobnosti chyby 101 a
obdrte na vstup vektor 1001, jak by jste se rozhodoval pi
(a) pouit pravidla idelnho pozorovatele,
(b) pouitm pravidla maximln pravdpodobnosti?
2. Dokate tvrzen 3.9 tj. e v ppad, e vechna kdov slova stejnou pravdpodobnost, pravidlo maximln pravdpodobnosti splv s pravidlem idelnho
pozorovatele.
46
5. KAPACITA KAN
LU
47
5 Kapacita kanlu
Jak u napovd jm
no, kapacita komunikanho kanlu je mra jeho schopnosti penet informaci. Formln denice je motivovna ne uvedenm:
Pedpokldejme, e mme diskr
tn kanl bez pamti se vstupn abecedou /1 =
fa1 : : : amg, vstupn abecedou /2 = fb1 : : : bng a matic P kanlu
P = -pij ] = P (bj obdrenojai odeslno):
Pidme-li k tomuto kanlu zdroj S bez pamti, kter vysl symboly a1 : : : am
s pravdpodobnostmi p1 : : : pm pak vstup kanlu meme povaovat za zdroj J
bez pamti, kter vysl symboly b1 : : : bn s pravdpodobnostmi q1 : : : qn kde
m P (b obdrenoja odeslno)P (a odeslno)
qj = P
j
i
i
i=1
P
= mi=1 pipij :
Informace o S podan pomac J , denovan v kapitole 1, je rovna
I (SjJ ) = H (S ) ; H (SjJ ) = H (S ) + H (J ) ; H (S J )
a je to funkce, kter zvis pouze na pravdpodobnostnm rozdlen p1 : : : pm a
matici kanlu P . Je proto pirozen
denovat kapacitu C kanlu jako
C = sup I (SjJ )
(3.12)
kde supremum je brno pes vechny zdroje bez pamti S , nebo, jet pesnji, nad
vemi monmi rozdlenmi pravdpodobnost (p1 : : : pn).
Nejdve si pipome me, e C je dobe denovno v tom smyslu, e pouze hledme
supremum funkce f (p), kde f je spojit funkce na uzaven
a ohranien
podmnoin
mnoiny Rm a dle zkladn vty analzy m f maximum v njak
m bod. Meme
tedy 3.12 pepsat jako
C = max I (SjJ )
(3.13)
Dle si uvdomme, e C je kvantitativn veliina uren pouze matic kanlu P .
Meme ji zhruba povaovat za konduktanci odporu v teorii elektrickch obvod. Jej
jednotky jsou pak jednotky informace nebo entropie, toti bity za sekundu nebo
bity na symbol v zvislosti na kontextu.
Ukame pklad, jak lze najt kapacitu kanlu.
Vta 5.1 Kapacita binrnho symetrickho kanlu s pravdpodobnost chyby penosu
p je ur
ena vztahem
kde q = 1 ; p.
C (p) = 1 + p log p + q log q
47
(3.14)
48
LY SE UMEM
Dukaz. K usnadnn oznaen pedpokldejme, e zdroj S emituje 0 s pravdpodobnost a 1 s pravdpodobnost = 1 ; . Pak vstup J m rozdlen
0 s pravdpodobnost q + p 1 s pravdpodobnost q + p:
Je tedy H (S J ) prv entropie rozdlen (
q p q q). Po jednoduch
prav
I (SjJ ) = p log p + q log q ; (
q + p) log(
q + p)
;(
p + q) log(
p + q)
:
Derivujme dle . Pak obdrme, e I (SjJ ) m maximum v ppad, e =
obdrme pak 3.14.
1
2
a
Poznamenejme, e kapacita m oekvan
vlastnosti { C (p) je monotonn funkce
p, 0 p 21 , a
C (0) = 1 C ( 21 ) = 0
co odpovd intuici, e, pokud p = 12 , kanl se stane dokonalm ruiem, ale e,
pokud p = 0, mme dokonal penos.
Zjitn kapacity obecnch kanl je netriviln zleitost. V ppad, e kanl
nem njakou speciln vlastnost nebo nen odvozen z kanlu, jeho kapacita je znma,
jedin zpsob, jak meme vypotat kapacitu, je vyeen probl
mu optimalizace s
omezenmi, a to zejm
na metodou Lagrangeovch multipliktor.
Pkladem prvn z tchto technik je nsledujc vsledek.
Vta 5.2 M-li kanl S bez pamti kapacitu C , m jeho r-t rozen S (r) kapacitu
rC .
Dukaz. Ozname jako C (r) kapacitu r;t
ho rozen tak, e
C (r) = supX H (X) ; H (XjY)
(3.15)
kde X = (X1 : : : Xr ) a Y = (Y1 : : : Yr ) jsou vstupn a vstupn dvojice. Mme ale
H (X) ; H (XjY) = H (Y) ; H (YjX):
(3.16)
a
H (YjX) =
X
x
p(x)H (YjX = x):
Protoe se jedn o kanl bez pamti, mme
H (YjX = x) =
X
i
H (YijX = x) =
48
X
i
H (YijXi = xi ):
6. VTA O KDOV
N SE UMEM
Zejm
na
Tedy
49
H (YjX)=P
p(x)H (YijXi = xi )
xP
P
= i u H (YijXi = u) P (Xi = u):
H (YjX) =
Obecn plat
r
X
i
H (YijXi):
(3.17)
H (Y) H (Y1) + : : : + H (Yr )
a tedy celkem C (r) rC . Pipome me, e rovnost nastv prv tehdy, kdy Y1 : : : Yr
jsou nezvisl. Toho lze doshnout tm, e zvolme X1 : : : Xr jako nezvisl
a vybrnm rozdlen, pi kter
m bylo dosaeno kapacity C kanlu.
Cvien 5.3
1. Vypo
tte kapacitu binrnho vypoutcho kanlu s pravdpodobnost chyby ".
2. Uvaujeme-li kanl bez pamti s matic
3
2
1 0
64 0 1 75 0 1
ukate, e kapacity lze doshnout vce ne jednm rozdlenm na vstupu. Ukate,
e rozenm 2. du meme doshnout kapacity pomoc rozdlen na vstupu,
kte nen sou
inem rozdlen na vstupu pvodnho kanlu.
(Feinstein, 1958)
6 Vta o kdovn se umem
Ji dve jsme vidli, e meme doshnou libovoln velk
spolehlivosti pouze dostaten astm opakovnm kad
ho zdrojov
ho symbolu. Zejm je tato metoda velmi
asov nron a hlavnm elem tohoto odstavce je dokzat pekrsn
tvrzen C.
Shannona (1948), kter
tvrd, e za pedpokladu, e rychlost (mra) penosu je pod
kapacitou kanlu, lze doshnout libovoln velk
spolehlivosti. Budeme se koncentrovat
na binrn symetrick kanl. Tyto mylenky lze rozit na podstatn komplikovanj
kanly, ale dleitj je pln porozumt nosnm principm, ne se obklopit matematickmi detaily.
Bu dn kd C a dekdovac sch
ma pro C . Pravdpodobnost chyby e(C ) je obvykle
denovan jako prmrn pravdpodobnost chyby za pedpokladu, e vechna kdov
49
LY SE UMEM
50
slova byla vyslna se stejnou pravdpodobnost. Jinak eeno, mme-li M kdovch
slov c1 : : : cM z C , pak plat
M
X
e(C ) = 1 P (nastala chybajci bylo peneseno):
M i=1
V ppad binrnch kd meme pedpokldat, pokud nebude jinak uvedeno, e
pouvme dekdovac pravidlo maximln pravdpodobnosti (=pravidlo minimln
vzdlenosti), a tud se asto budeme odvolvat na pravdpodobnost chyby kdovn
bez specick
ho pipomenut dekdovacho pravidla.
Zejm je pedmtem pkladu najt kdy s malou prmrnou pravdpodobnost
chyby. Avak, podstatn silnjm poadavkem je, e maximln pravdpodobnost
chyby je mal. Jak lze oekvat, ta je denovna jako
ê(C ) = maxiP (nastala chybajci bylo peneseno)
a evidentn
ê e:
Pedpokldejme proto, e mme binrn symetrick kanl s pravdpodobnost
chyby p a tud kapacitou C urenou
C = C (p) = 1 + p log p + (1 ; p) log (1 ; p):
Dokame nsledujc verzi Shannonovy vty o kdovn se umem.
Vta 6.1 Shannonova vta o kdovn se umem Bu dn binrn symetrick
kanl kapacity C a libovoln R, 0 < R < C . Pak pro kadou posloupnost (Mn : 1 n < 1) pirozench sel splujcch
1 Mn 2Rn (1 n < 1)
a vechna kladn " > 0, existuje posloupnost kd (C n : 1 n < 1) a pirozen slo
N0 (") tak, e C n m Mn kdovch slov dlky n a maximln pravdpodobnost chyby
ê(C n) "
pro vechna n N0 (").
Jakm zpsobem funguje tato vta. Pedpokldejme, e pravdpodobnost chyby
takov
hoto kanlu je takov, e kapacita kanlu C (p) = 0:8. Pak, je-li nae zprva
etzec nul a jedniek, vme, e pro dostaten velk
n, polome-li R = 0:75, existuje
mnoina 20:75n kdovch slov d
lky n, kter maj pravdpodobnost chyby men ne
libovoln pedem pedepsan hranice. Tud, abychom zakdovali zprvu ze zdroje,
postup je nsledujc:
50
6. VTA O KDOV
N SE UMEM
51
(a) Rozdlte zprvu do blok d
lky m, piem m je takov
, e 3d n4 e = m N0 ("):
(b) Zakdujte kad z tchto m-blok do kdu C n tak, e pouijete kdov
slovo
d
lky 43m pro kad m-blok.
(b) Peneste nov zakdovanou posloupnost kanlem.
&eho jsme doshli? Podstatn
redukce pravdpodobnosti chyby. Na nklady?
Komplexnosti zakdovn a men mry penosu: zrove vak bohuel doposud neznm
zakdovn. Sla Shannonovy vty spov v tom, e existuj takov
to kdy.
Dkaz Shannonovy vty, kter chceme prov
st ne, zvis na dvou nerovnostech
{ z nch prvn je velmi dobe znma { jej dkaz lze najt v kad
m elementrnm
textu z teorie pravdpodobnosti.
ebyevova nerovnost
Je-li X libovoln nhodn promnn tak, e m konenou variaci (odchylku) var(X ),
pak pro kad
a > 0 mme
P (jX ; E (X )j a) var(X )=a2:
(3.18)
Druh nerovnost je m
n znm a m rovn pravdpodobnostn interpretaci lze
ji vyslovit nsledovn.
Omezen nerovnost
Pro vechna , 0 21 , plat
bX
nc n !
k=0
nh()
k 2 (3.19)
kde h() = ;- log + (1 ; ) log (1 ; )].
Dukaz. Let m = bnc. We put 0 = mn . Then 0 < 0 + n1 . Assume > 0 0,
" = ; 0 > 0. Then
2nh() = 2;n0 log +(1;0 ) log (1;)] 2;n" log ;" log (1;)]
2;n0 log 0 +(1;0 ) log (1;0 )] 2n" log 1;
2nh(0 ) 2n" log 1; 2nh(0 ) 2log 1;
2nh(0 ) 1; 2nh(0 )
51
LY SE UMEM
52
Meme tedy bez jmy na obecnosti pedpokldat, e bylo vybrno tak, e n
je pirozen
slo. Pak meme pst
1 = - + (1 ; )]n
Tud
!
n k
n;k
k=0 k (1 ; )
! n
P
n
n
(1 ; ) k=0 nk 1;
!
n
n
n
(1;) Pn
= (1 ; )
k=0 k :
Pn
n n !
X
n(1 ; )n(1;) = 2nh() k
k=0
logaritmujeme-li pi zkladu 2 a pak znovu umocnme.
Dkaz vty o kdovn se umem
Nejprve popime hrub smr dkazu. Zvolme si pevn
pirozen
slo n, a pro
dan okamik, pracujme s binrnmi kdy ve Vn. Pedpokldejme, e se pokoume
najt kd s M kdovmi slovy ci 2 Vn. Vybereme ta kdov slova ci trochu blznivou
metodou vybrnm vektor z Vn nhodn a nezvisle na i, (1 i M ). Tomuto
kdovn kme nhodn kdovn.
Budeme kdovat nsledujcm zpsobem: zvolme r > 0 a nech' Sr (y) denuje
r-sfru se stedem y, tj.
Sr (y) = fz : z 2 Vn d(y,z) rg:
Pak, je-li y obdren vektor, meme dekdovat y jako kdov
slovo cj , je-li cj
jedin
kdov
slovo v Sr (y) jinak budeme dekdovat y jako libovoln
jin
kdov
slovo, nap. c1 .
Zanme nyn s vlastnm dkazem. Nech' Y je vektor, kter obdrme, kdy je
peneno kdov
slovo c a E bu udlost, e nastala chyba. Pitom chyba me
nastat prv tehdy, kdy bu
(a)
d(c Y) > r
nebo
(b)
d(c Y) r a d(c' Y) r pro njak
jin
kdov
slovo c'.
Ozname po ad A a B udlosti popsan
(a) a (b). Pak E = A B a tud
P (E ) = P (A B ) P (A) + P (B ):
Uvame udlost B . ta nastane, pokud plat zrove
(i) Ne vce ne r chyb nastalo pi penosu
52
6. VTA O KDOV
N SE UMEM
53
(ii) jedno z kdovch slov rznch od c je ve vzdlenosti nejve r od obdren
ho
vektoru Y.
Ozname-li po ad tyto udlosti B1 a B2 , mme pak, protoe B = B1 \ B2 ,
P (B ) P (B2):
(3.20)
Uvame nyn B2 protoe kdov slova jsou vybrna nhodn, pravdpodobnost,
e ci m vzdlenost men nebo rovnu r od Y je Nr (n)=2n, kde
r n!
X
Nr (n) =
(3.21)
k=0 k
je poet vektor z Vn, kter
le v Sr (y). Tud pravdpodobnost, e alespo jedno ze
zbvajcch M ; 1 kdovch slov (rznch od c) m vzdlenost men nebo rovnu r
od obdren
ho slova Y spl uje
r n!
X
M
;
1
P (B2) 2n
:
(3.22)
k=0 k
Polome tud, pro vechna " > 0,
r = bnp + n"c
jakoto maximln cel
slo ne vt ne np + n", obdrme pak z 3.20, 3.21, 3.22 a
omezen
nerovnosti, e
nh(p+"):
P (B ) M
(3.23)
2n 2
Vnujme se nyn druh
mu typu chyb zpsoben
mu jevem A. Poznamenejme, e, je-li
U (nhodn) poet chybnch symbol vzniklch pi penosu kdov
ho slova c, pak
mme
P (A) = P (U > r)
a U je nhodn promnn s binomilnm rozdlenm s parametry n a p. Tud
P (A) = P (U > np + n") P (jU ; npj > ")
var(U )=n2 "2
dle &ebyevovy nerovnosti.
Protoe U je nhodn promnn s binomilnm rozdlenm, mme
var(U ) = npq
a tedy pln pravdpodobnost chyby je
pq + M 2;n1;h(p+")]:
P (E ) n"
2
53
54
LY SE UMEM
pro dostaten velk n. Protoe kapacita C (p) = 1 ; h(p + "), mme pak
pq + M 2;nC (p+"):
P (E ) n"
2
Protoe " > 0, lze pravdpodobnost chyby zvolit libovoln malou pro dostaten
velk
n, za pedpokladu, e M jakoto funkce n, neroste rychleji ne 2nC (p) .
Dokzali jsme tedy vtu o kdovn se umem a na to, e jsme omezeli prmrnou
pravdpodobnost chyby a ne maximln pravdpodobnost chyby. K dokonen dkazu
potebujeme dokzat, e existuj kdy C n s Mn kdovmi slovy, kde Mn 2Rn a
majc maximln pravdpodobnost chyby < ". Polome proto "0 = 21 " a Mn0 = 2Mn.
Poznamenejme, e protoe Mn 2Rn a R < C , mus existovat R0 tak, e R < R0 < C ,
a N00 tak, e pro vechna n N00 plat
Mn0 2nR0
a tud existuje posloupnost kd C 0n tak, e C 0n m Mn0 kdovch slov a prmrnou
pravdpodobnost chyby < "0 pro n N00 .
Jsou-li x1 : : : xM kdov slova z C 0n, znamen to, e
Mn0
X
i=1
P (E jxi) "0Mn0 :
Tedy alespo polovina tchto kdovch slov xi mus spl ovat
P (E jxi) 2"0 = ":
(3.24)
Bu C n kd sestvajc z Mn kdovch slov spl ujcch 3.24 pak mme n poadovan kd s maximln pravdpodobnost ".
Shannonovu vtu lze rozit i pro obecn
kanly bez pamti s libovolnou vstupn
a vstupn abecedou. Hlavn mylenka dkazu se nemn, toti
(a) zakdujme zprvy nhodn,
(a) dekdujme procedurou maximln pravdpodobnosti.
Technick
obte jsou zpsobeny zejm
na obecnm tvarem kapacity kanlu, pokud
se nejedn o symetrick kanl. Ppadn zjemce me najt pln dkaz (ve skutenosti dva) pro tuto obecnou situaci v lnku Ashe (1965) nebo Gallagera (1968).
Mli bychom se t
zmnit o dleitosti zlepen hranic pravdpodobnosti vzniku
chyby. V naem dkazu nahoe ns pouze zajmalo to, e pravdpodobnost nastn
chyby lze doshnout libovoln malou. K tomuto probl
mu existuje bohat a dostaten technick literatura.
Napklad nsledujc silnj vsledek pinle Shannonovi (1957).
54
7. KAPACITA JAKO HRANICE SPOLEHLIV KOMUNIKACE
55
Vta 6.2 Bu dn diskrtn kanl bez pamti kapacity C a libovoln R, 0 < R < C .
Pak existuje posloupnost kd (C n : 1 n < 1) tak, e:
(a) C n m b2Rn c kdovch slov dlky n
(b) maximln pravdpodobnost chyby ê(C n ) kdovn C n spluje
ê(C n) Ae;Bn pi
em A a B zvis pouze na kanlu a na R.
Jinak eeno, neexistuj pouze dobr
kdy, ale navc existuj kdy, jejich pravdpodobnost chyby kles exponenciln.
Dkaz tohoto tvrzen pesahuje rmec pednky.
Cvien 6.3
1. Binrn symetrick kanl majc pravdpodobnost chyby penosu
p = 0:05 me penst 800 binrnch slic za sekundu. Kolik bit me penst
bez chyby za sekundu?
2. Binrn symetrick kanl s fyzikln kapacitou penosu 800 slic za sekundu
me penst 500 slic za sekundu s libovoln malou pravdpodobnost chyby.
Co nm to vypovd o pravdpodobnosti chyby tohoto kanlu?
7 Kapacita jako hranice spolehliv
komunikace
Pedpokldejme, e mme diskr
tn kanl bez pamti o kapacit C bit. Pedpokldejme, e tento kanl m mechanickou rychlost jednoho bitu za sekundu. Dokeme
nyn obrcen Shannonovy vty tm, e ukeme nemonost pesn
informace rychlost
vy nebo rovn
ne je C bit za sekundu. Pesnji, dokeme nsledujc zkladn
vsledek.
Vta 7.1 Pro kanl bez pamti o kapacit C a pro kad R > C neexistuje posloupnost kd (C n : 1 n < 1) tak, e: C n m 2Rn kdovch slov dlky n a pravdpodobnost chyby e(C n) kdovn C n konverguje k nule pro n ! 1.
Ve skutenosti Wolfowitz v roce 1961 dokzal mnohem silnj vsledek { toti, za
stejnch podmnek, maximln pravdpodobnost chyby konverguje k 1 pro n ! 1.
My vak ukeme slab verzi, abychom dokzali, e Shannonova vta je nejlep
mon. Pro dkaz vty potebujeme nsledujc lemmata.
Lemma 7.2 Bu U V W nhodn vektory. Pak plat
H (UjV) H (UjV W) + H (W):
55
56
LY SE UMEM
Dukaz. Mme dle zkladn identity, e
H (UjV) = H (U V) ; H (V)
= H (U V W) ; H (WjU V) ; H (V)
H (U WjV)
protoe entropie je nezporn. Ale zrove
H (U WjV) = H (U V W) ; H (V W) + H (V W) ; H (V)
= H (UjV W) + H (WjV)
H (UjV W) + H (W)
co se mlo dokzat.
Lemma 7.3 Fanova nerovnost Bu C kd s M kdovmi slovy fc1 : : : cM g pro
dan kanl bez pamti. Bu X nhodn vektor nabvajc hodnoty v mnoin kdovch slov. Nech( Y obsahuje nhodn vektorov vstup, v ppad, e X je peneseno
kanlem a dekdovno. Pak, je-li pE pravdpodobnost chyby (toti pE = P (X =
6 Y)),
mme
kde qE = 1 ; pE .
H (XjY) H (pE qE ) + pE log (M ; 1)
(3.25)
Dukaz. Denujme novou nhodnou promnnou Z jakoto
(
X=Y
Z = 01 pokud
pokud X =
6 Y:
Je tedy speciln entropie nhodn
promnn
Z rovna H (pE qE ). Uvame nyn
uspodanou dvojici (Y Z ). Zejm pak
H (Xj(Y Z ) = (y 0)) = 0:
Zrove , pokud (Y Z ) = (y 1), je nhodn promnn X rozloena mezi (M ; 1)
kdovmi slovy, kter nejsou rovna y.
Zejm
na tedy
H (Xj(Y Z ) = (y 1)) log2 (M ; 1):
a
H (Xj(Y Z )) = Py H (Xj(YPZ ) = (y 1)) P ((Y Z ) = (y 1))
log2(M ; 1) y P ((Y Z ) = (y 1))
pE log2 (M ; 1):
Polome pak U = X, V = Y a W = Z . Z lemmatu 7.2 mme Fanovu nerovnost.
56
7. KAPACITA JAKO HRANICE SPOLEHLIV KOMUNIKACE
57
Dkaz vty 7.1
Pedpokldejme, e takovto posloupnost kd existuje. Uvame pak nhodn
vektor X, kter nabv hodnot v kdu Cn tak, e pokud polome R = C + ", " > 0,
mme
H (X) = n(C + "):
Protoe kapacita kanlu je C , mme pak pro kdov slova d
lky n, e odpovdajc
kapacita rozen bez pamti je nC a tedy, ozname-li Y nhodn vektor vstupu
odpovdajc vstupnmu nhodn
mu vektoru X, mme nerovnost
H (X) ; H (XjY) nC
take
n" = n(C + ") ; nC H (XjY):
Aplikujeme-li Fanovu nerovnost, pak z toho, e mme dle pedpokladu 2n(C +")
kdovch slov, je
n" H (XjY) H (pE qE ) + pE log (M ; 1) H (pE qE ) + pE n(C + ")
tj.
n" ; H (pE qE ) p :
E
n(C + ")
Nechme-li n konvergovat k nekonenu, pak zcela jist pE nekonverguje k nule.
Tedy takovto posloupnost kd Cn neme existovat.
Problmy 3.1
1. V binrnm symetrickm kanlu s pravdpodobnost chyby >
0, kdovn sestv ze dvou kdovch slov 000 a 111. Zjistte pi pouit pravidla
maximln pravdpodobnosti pravdpodobnost chyby.
2. Trhlinov chyba (burst error) dlky k sestv z posloupnosti k symbol, kter
byly vechny peneseny nesprvn. Najdte o
ekvan po
et trhlinovch chyb
dlky k, pokud je zprva dlky N penesena binrnm symetrickm kanlem s
pravdpodobnost chyby p.
3. Nech( kd pro penos binrnm symetrickm kanlem, kter m pravdpodobnost
chyby " > 0, sestv ze vech ptic nad mnoinou f0 1g, kter obsahuj prv
dv jedni
ky. Jak je pravdpodobnost, e kdov slovo 11000 se dekduje na
slovo 10001, pokud aplikujeme pravidlo minimln vzdlenosti?
57
LY SE UMEM
58
4. Mjme N binrnch symetrickch kanl, kad s pravdpodobnost chyby p,
spojench do srie. Ukate, e celkov kapacita tohoto nov vzniklho kanlu je
ur
ena vztahem
CN = 1 + pN logpN + qN logqN kde pN = 21 -1 ; (q ; p)N ], qN = 1 ; pN .
5. Uvame dva diskrtn kanly bez pamti o kapacitch C1 a C2 tak, e oba maj
vstupn abecedu /1 a vstupn abecedu /2 . Souinem kanl je kanl, jeho
(2)
vstupn abeceda je /(2)
1 a vstupn abeceda /2 , pi
em kanlov pravdpodobnosti jsou ur
eny vztahem
p(y1y2jx1 x2 ) = p1(y1jx1 )p2(y2jx2 )
kde pi(yijxi) je pravdpodobnost, e jsme obdeli etzec yi, pokud jsme odeslali
etzec xi prostednictvm i-tho kanlu. Dokate, e kapacita C sou
inu kanl
je ur
ena vztahem (Shannon 1957)
C = C1 + C2:
6. Zdroj bez pamti S je spojen ke kanlu C1 o kapacit C1 a vsledn vstup S1
je vstup ke kanlu C2 o kapacit C2 (viz ne uveden diagram).
/
Zdroj
S
Diskr
tn kanl
o kapacit C1
S1
/
Diskr
tn kanl
o kapacit C2
Ukate, e plat
I (SjS2 ) I (SjS2 ) a I (SjS2 ) I (S1jS2 ):
58
S2
/
Kapitola 4
Kdy opravuj
c
chyby
1 Kdovn a odhady
Pipome me si nsledujc pedpoklady pro kdovn. Zdroj vytv zprvu, kter
sestv z posloupnosti zdrojovch symbol a tato zprva je penesena k pjemci pes
kanl s monou chybou. Pitom lze bez jmy na obecnosti pedpokldat, e kanl
m stejnou abecedu / jak na vstupu tak na vstupu. Kd C nad abecedou / je
soubor posloupnost symbol ze /, prvky z C se nazvaj kdov slova . Budeme
pedpokldat, e vechna kdov slova maj stejnou d
lku. Takov
to kdy se nazvaj
blokov kdy a pi jejich pouit je dekdovn podstatn snaz. Pokud maj kdov
slova z C d
lku n a j/j = q, pak mluvme o q-rnm kdu d
lky n (binrnm kdu,
pokud q = 2).
Zakdovn zdrojov
zprvy nen nic jin
ho ne piazen kad
k-dlouh
sekvenci
znak nad zdrojovou abecedou / jedno kdov
slovo z C .
Bhem samotn
ho dekdovn se pijat sekvence rozlen na bloky d
lky n a
kad se zpracovv samostatn. Jeliko pijat
n-bloky mohou mt dky chybm pi
penosu obecn jinou podobu ne vyslan kdov slova, mus dekod
r rozhodovat,
kter
slovo bylo vyslno. Pokud je kd dobe navren, je pravpodobnost patn
ho
rozhodnut mnohem men ne pravdpodobnost, e libovoln kdov znak je chybn
penesen.
Proces rozhodovn me bt denovn pomoc dekdovac tabulky. Kdov slova
tvo prvn dek tabulky. Pokud jsme obdreli kdov
slovo, je logick
pedpokldat,
e i stejn
slovo bylo vyslno. Rozhodovac pravidlo pro zbyl mon pijat slova je
dno rozdlenm tchto slov do seznam pod kadm kdovm slovem, podle kter
ho
se tato pijat slova budou dekdovat. Tedy, kad
slovo d
lky n nad abecedou / se
objev v tabulce prv jednou.
Denice. Bu u v pirozen sla. *ekneme, e kd C ur
u chyb, jestlie, pokud
kad
kdov
slovo zmnme alespo na jednom a ne vce ne u mstech, nebude
59
KAPITOLA 4. KDY OPRAVUJC CHYBY
60
vsledn etzec kdov
slovo. *ekneme, e kd C ur
prv u chyb, jestlie ur u
chyb a neur u + 1 chyb.
*ekneme, e kd C oprav v chyb, jestlie, pokud pouijeme pravidlo minimln
vzdlenosti, jsme schopni opravit alespo v chyb a v ppad, kdy se nebudeme moci
rozhodnout, dostaneme na vstupu chybu v dekdovn. *ekneme, e kd C oprav
prv v chyb, jestlie oprav v chyb a neoprav v + 1 chyb.
Dle budeme pedpokldat, e abychom byli schopni zjistit chyby pi penosu,
bude pjemce schopen zkontrolovat pijat etzec proti seznamu vech kdovch
slov. Pokud etzec nebude na seznamu, pjemce v, e nastala alespo jedna chyba,
ale nen schopen zjistit kolik chyb skuten nastalo. Zrove by mlo bt jasn
, e
pokud obdren
slovo nebude kdov
slovo, bude podle pravidla minimln vzdlenosti
zptky dekdovno, ale pjemce nev, zda se skuten jedn o odeslan
slovo. Pjemce
pouze v, e, v ppad kdu opravujcho v chyb a pokud nastane nejve V , pak
dekdovac proces bude spn.
Pklad 1.1 Chceme vyslat tyi znaky: a b c d a zprva bude penena pomoc
binrnho blokovho kdu dlky 5. Musme tedy zvolit tyi kdov slova, nap. 11000
pro a, 00110 pro b, 10011 pro c a 01101 pro d. Dekdovn mus zahrnout vech
25 = 32 binrnch slov dlky 5. Jedno takov dekdovc pravidlo je na (obr.4.1).
11000
11001
11010
11100
10000
01000
11110
01010
00110
00111
00100
00010
01110
10110
00000
10100
10011
10010
10001
10111
11011
00011
01011
11111
01101
01100
01111
01001
00101
11101
10101
00001
Obrzek 4.1: Pklad kdov tabulky pro binrn blokov kd dlky 5.
Konstrukce kdu a dekdovacho sch
matu z pkladu 1.1 opravuje ne vce ne
jednu chybu. V tabulce je to vdy prvnch 5 slov v seznamu pod kdovm slovem. U
vce chyb u nemme jistotu, e dekdovn probhne sprvn. Napklad pokud by
pi penosu bloku 11000 vznikly dv chyby vedouc k pijet slova 11110 na vstupu
kanlu, pak toto sch
ma chyby odstran. Ovem pi obdren 11011 bude toto slovo
dekdovno chybn jako 10011.
Ozname dle Vn(/) mnoinu vech posloupnost d
lky n nad abecedou / a nazvejme prvky ze Vn(/) slova nebo vektory . Nkdy budeme pst msto Vn(/) tak
Vn(q).
60
1. KDOV
N A ODHADY
61
Podobn jako v binrnm ppad je Hammingova vzdlenost d(x y) mezi vektory
x a y poet mst, ve kterch se x a y li. Vha slova x = x1 x2 xn je pak poet
nenulovch znak slova x, tj. wt(x) = fd(x 0) j kde 0 je slovo z n nulg.
Denice. Bu x 2 Znr, rozumme mnoinu
n
0. Sfrou Snr
(x) v Zr se stedem x a polomrem n
Snr
(x) = fy 2 Zr : d(x y) g:
Objemem sfry Snr
(x) nazveme slo
n
Vnr
(x) = card(fy 2 Zr : d(x y) g)
tj. poet etzc d
lky n, kter
maj Hammingovu vzdlenost od x nejve . Pokud
budou sla n r jasn ze souvislosti, budeme pst jednodue S
(x) a V
(x).
Plat pak
Lemma 1.2 Objem sfry Snr
(x) je ur
en vztahem
Vnr(x ) =
!
X
n (r ; 1)k :
k=0 k
Dukaz. Plyne z toho, e poet etzc d
lky n, kter
maj Hammingovu vzdlenost
od x prv k je pesn slo
!
n (r ; 1)k :
k
Pklad 1.3 Hammingova vzdlenost slov 01110010 a 11110101 je 4 a vha slova
01110101 je 5.
Dekdovn podle principu minimln vzdlenosti znamen, e dekdujeme obdren vektor y jako to kdov
slovo c, kter
m minimln vzdlenost od y, pokud
mme mon vbr, vybereme libovoln.
Je-li tedy C kd, je minimln vzdlenost kdu C slo
d(C ) = min d(ci cj )
kde je minimum brno pes vechny navzjem rzn
dvojice kdovch slov z C . Pojem minimln vzdlenosti je klov pojem pro hodnocen kdu dobr
kdy maj
rozloen kdov slova tak, e jejich minimln vzdlenost je velk. Dvod dleitosti
minimln vzdlenosti je jasn z nsledujc vty.
61
62
Vta 1.4 M-li kd minimln vzdlenost d, lze opravit pomoc dekdovn podle
pravidla minimln vzdlenosti a 21 (d ; 1) chyb.
Dukaz. Polome v = b 12 (d ; 1)c a uvame v-sf
ru bodu x. To je mnoina
Su(x) = fy : d(x y) ug:
Jsou-li x z rzn kdov slova, plat
Sv (x) \ Sv (z) = :
Tedy dekdovn podle pravidla minimln vzdlenosti oprav a v chyb.
Mme pak nsledujc jednoduch
tvrzen.
Vta 1.5 Bute u v pirozen sla. Pak kd C ur
u (oprav v) chyb prv tehdy,
kdy d(C ) u + 1 (d(C ) 2v + 1).
Dukaz. Prvn st tvrzen je jednoduch
peformulovn denice kdu urujch u
chyb. Pro druhou st tvrzen jsme ukzali ve vt 1.4 implikaci zprava doleva. Pedpokldejme nyn, e C je kd opravujc v chyb a e existuj dv rzn kdov slova
c a d tak, e d(c d) = d(C ) 2v. Budeme chtt dokzat, e za pedpokladu, e jsme
odeslali kdov
slovo c a nastalo nejve v chyb, je pesto mon
, abychom podle pravidla minimln vzdlenosti obdreli bu chybov
hlen nebo dekdovali obdren
slovo nesprvn jako d. To pak bude spor s tm, e C opravuje v chyb.
Nejdve si uvdomme, e d(c d) = d(C ) v +1. Jinak bychom toti mohli pev
st
c na d pi nejve v chybch, kter
by zstaly neopraveny. Meme pak pedpokldat,
e se c a d li na prvnch k = d(C ) mstech, piem v +1 k 2v (jinak provedeme
permutaci souadnic). Uvame nyn obdren
slovo x, kter
se shoduje se slovem c
na prvnch k ; v pozicch, dle se shoduje se slovem d na dalch v pozicch a shoduje
se s obma slovy c a d na poslednch n ; k pozicch, tj.
x = x| 1 : :{z: xk;v} x| k;v+1{z: : : xk} x| k+1{z: : : xn} :
shoduje se s
shoduje se s
shoduje se s obma
c
d
Protoe nutn d(c x) = v, d(d x) = k ; v v, je buto d(c x) = d(d x) (v
tomto ppad obdrme chybov
hlen) nebo d(c x) > d(d x) (v tomto ppad je
x dekdovn nesprvn jako d).
Denice. Pokud m kd C prv M kdovch slov d
lky n a m minimln vzdlenost d, mluvme o (n M d)-kdu.
62
1. KDOV
N A ODHADY
63
Pro pevn
n psob parametry M a d navzjem proti sob tak, e zvten M
zpsob zmenen d a naopak.
Mme pak nsledujc dsledek.
Dusledek 1.6
1. (n M d)-kd C oprav prv v chyb tehdy a jen tehdy, kdy d =
2v + 1 nebo d = 2v + 2.
2. Kd C m minimln vzdlenost u = d(C ) tehdy a jen tehdy, kdy oprav prv
b 21 (u ; 1)c chyb.
Poznamenejme nyn, e uren chyby a jej oprava jdou proti sob, take nememe
narz doshnout jejich maximln rovn. Uveme si to na jednoduch
m pklad.
Pklad 1.7 Pedpokldejme nyn, e kd C m minimln vzdlenost d. Je to tedy
kd ur
ujc d ; 1 chyb a opravujc u = b 21 (d ; 1)c chyb.
Pokud pouijeme C pouze pro ur
en chyb, je schopen ur
it a d ; 1 chyb. Z druh
strany, pokud chceme na C opravit chybu, kdykoliv je to mon, pak je schopen opravit
a v chyb, ale nen schopen ur
it situaci, kdy nastalo vce ne v a mn ne d chyb.
Toti, pokud nastalo vce ne v chyb, meme podle pravidla minimln vzdlenosti
*opravit+ pijat etzec na patn kdov slovo a pak bude chyba nedetekovateln.
Mme pak nsledujc denici.
Denice. Uvame nsledujc strategii pro opravu/uren chyby. Bu u v pirozen
sla. Obdrme-li slovo x a pokud m nejbli kdov
slovo c ke slovu x vzdlenost
nejve v a existuje-li pouze jedin
takov
kdov
slovo, budeme dekdovat x jako
kdov
slovo c. Pokud existuje vce ne jedno kdov
slovo se stejnou minimln
vzdlenost k x nebo m nejbli kdov
slovo vzdlenost vt ne v, obdrme na
vstup chybov
hlen.
*ekneme, e kd C zrove oprav v chyb a ur
u chyb, jestlie nastala alespo
jedna a nejve v chyb, ve popsan strategie oprav tyto chyby a kdykoliv nastane
alespo u + 1 a nejve u + v chyb, ve popsan strategie nahls chybu.
Vta 1.8 Kd C zrove oprav v chyb a ur
u chyb prv tehdy, kdy d(C ) 2v +
u + 1.
Dukaz. Pedpokldejme nejprve, e d(C ) 2v + u + 1. Obdrme-li slovo x a pokud
m nejbli kdov
slovo c ke slovu x vzdlenost nejve v a existuje-li alespo jedno
dal takov
kdov
slovo d, mme
2v + u + 1 d(c d) d(c x) + d(x d) 2v
co je spor. Nutn tedy mme, e pokud obdrme slovo x a nejbli kdov
slovo c
ke slovu x m vzdlenost nejve v, je toto kdov
slovo jedin
s touto vlastnost a
63
64
podle pravidla minimln vzdlenosti budeme sprvn dekdovat. Obdrme-li slovo
x a pokud m nejbli kdov
slovo c ke slovu x vzdlenost alespo v + 1 a nejve
u + v, pi pouit ve uveden
strategie dostaneme chybov
hlen.
Pedpokldejme nyn, e C je kd opravujc v chyb a urujc u chyb. Nech' dle
d(C ) 2v + u. Nutn pak 2v + 1 d(C ). Vme, e existuj dv rzn kdov slova
c a d tak, e k = d (c d) = d(C ). Meme pak pedpokldat, e se c a d li na
prvnch k = d(C ) mstech, piem 2v + 1 k 2v + u (jinak provedeme permutaci
souadnic). Uvame nyn obdren
slovo x, kter
se shoduje se slovem c na prvnch v
pozicch, dle se shoduje se slovem d na dalch k ; v pozicch a shoduje se s obma
slovy c a d na poslednch n ; k pozicch, tj.
x = |x1 :{z: : xv} x| v+1{z: : : xk} x| k+1{z: : : xn} :
shoduje se s c shoduje se s d shoduje se s obma
Nutn pak d(c x) = k ; v, d(d x) = v v, v + 1 k ; v v + u. Je-li tedy c
odeslno a x je obdreno, nutn je pak poet chyb pi penosu (tj. slo k ; v) mezi
v + 1 a v + u, uvaovan strategie by nm mla dt na vstupu chybov
hlen, ale
msto toho nm dekduje x nesprvn na d.
Denice. (n M d)-kd C se nazv maximln, pokud nen obsaen v dn
m vtm
kdu se stejnou minimln vzdlenost tj. nen obsaen v dn
m (n M + 1 d)-kdu.
Je zejm
, e pro kad kd C meme vdy najt maximln kd C 0 , kter jej
obsahuje. Pitom plat
Vta 1.9 (n M d)-kd C je maximln prv tehdy, kdy pro vechna slova x existuje
kdov slovo c s vlastnost d(x c) < d.
Dukaz. (n M d)-kd C je maximln prv tehdy, kdy nen obsaen v dn
m
(n M + 1 d)-kdu. Pedpokldejme, e existuje slovo x tak, e pro vechna kdov
slova c plat d(x c) d. Polome-li C 0 = Cfxg, je pak evidentn C 0 (n M +1 d)-kd
obsahujc kd C .
Obrcen, nech' pro vechna slova x existuje kdov
slovo c s vlastnost d(x c) <
d. Pedpokldejme, e kd C nen maximln tj. existuje (n M + 1 d)-kd obsahujc
kd C . Vyberme slovo x 2 C 0 ; C . Pak ale existuje kdov
slovo c 2 C C 0 tak, e
d(C 0 ) d(x c) < d, spor.
Poznamenejme, e pokud (n M d);kd C nen maximln, mohou nastat jak vhodn
tak nevhodn
situace pi jeho rozen na maximln kd C 0 . Vme, e kd C 0
rovn oprav b 12 (d ; 1)c chyb, co je dobr
a pitom C 0 me zakdovat vce zdrojovch symbol, co je rovn dobr
. Ale zatmco C me bt ppadn schopen opravit
vce ne b 21 (d ; 1)c chyb, kd C 0 nebude nikdy schopen opravit vce ne b 21 (d ; 1)c
chyb.
64
1. KDOV
N A ODHADY
65
Pklad 1.10 Uvame kd C = f00000 11000g, kter m minimln vzdlenost 2.
Tento kd opravuje jednu chybu, ale je pitom schopen opravit dal jin chyby. Napklad, pokud bylo odeslno slovo 00000 a pijato slovo 00111, bude toto slovo sprvn
dekdovno (toti d(00000 00111) = 3 d(11000 00111) = 5), a
koliv pi penosu nastaly ti chyby. Pokud ale doplnme C do maximlnho kdu, bude dekdovn chybn.
Z ve uveden
ho pkladu vyplv, e maximln kdy jsou nejlep, pokud ns u
kdu pouze zajm pedem uren schopnost opraven chyby. Je tedy daleko obtnj
zkoumat pravdpodobnost chyby pi dekdovn u kd, kter
nejsou maximln. Pro
maximln kdy je to jednodu.
Vta 1.11 Bu C (n M d)-kd. Pak pro binrn symetrick kanl s pravdpodobnost
chyby p je pi pouit dekdovacho pravidla minimln
P (nastala chyba pi dekdovn) 1 ;
Je-li navc kd C maximln, je
b 12 (X
d;1)c k=0
!
n pk (1 ; p)n;k :
k
d n!
X
pk (1 ; p)n;k P (nastala chyba pi dekdovn):
k
k=0
Dukaz. Kad (n M d)-kd C opravuje evidentn b 21 (d ; 1)c chyb. Je tedy prav-
dpodobnost sprvn
ho dekdovn alespo tak velk jako je pravdpodobnost, e
nastane nejve b 21 (d ; 1)c chyb tj.
P (sprvn
dekdovn)
b 12 (X
d;1)c k=0
!
n pk (1 ; p)n;k :
k
Mme pak
P (nastala chyba pi dekdovn) = 1 ; P (sprvn
dekdovn)
!
P
b 12 (d;1)c n k
n;k
1 ; k=0
k p (1 ; p) :
Bu dle (n M d)-kd C maximln. Pak, je-li peneseno slovo c a nastane-li d
nebo vce chyb, tj. d(c x) d, bude nutn x bli k jin
mu kdov
mu slovu d 6= c
a tedy pi pouit pravidla minimln vzdlenosti nastane dekdovac chyba. Protoe
pravdpodobnost, e nastane prv k chyb pi prchodem binrnm symetrickm
kanlem, je
!
n pk (1 ; p)n;k k
65
66
obdrme nsledujc doln hranici pro pravpodobnost dekdovac chyby
d n!
X
pk (1 ; p)n;k P (nastala chyba pi dekdovn)
k
k=0
m je vta dokzna.
2 Ekvivalence kd a konstrukce novch kd
Uitenm prostedkem pro redukci mnostv prce pi nalezen dobrch kd je
pojem ekvivalence kd. Pedpokldejme, e mme (n M d)-kd C . Pirozenm zpsobem jeho prezentace je pomoc matice o rozmrech M n, piem dky jsou rzn
kdov slova.
Pedpokldejme nyn, e je permutace mnoiny f1 2 : : : ng a pro kad
kdov
slovo c 2 C budeme aplikovat transformaci : C ! C 0 denovanou pedpisem (c) =
(c(1) : : : c(n)). Takovou transformaci nazvme pozi
n permutac. Podobn, je-li permutace mnoiny /, pak pro kad index i(, 1 i meme aplikovat transformaci
i 6= j
î : C ! C 0 denovanou pedpisem î (c)j = cj(c ) pokud
i pokud i = j:
Mluvme pak o symbolov permutac. Lze-li kd C 0 zskat z kdu C pomoc konen
posloupnosti pozinch nebo symbolovch permutac, kme e kd C 0 je ekvivalentn
kdu C .
Pklad 2.1 Pedpokldejme, e mme kd C d
lky 5 nad abecedou / = fa b cg s
kdovmi slovy c1 , c2 , c3 a c4 tak, e
c1 2 a b c a c 3
6
7
C = cc23 664 bb ac cb ab ab 775 :
c4 c b a c a
Aplikujeme-li permutaci (1 7! 2 2 7! 3 : : : 5 7! 1), obdrme pozin permutaci
a k n odpovdajc ekvivalentn kd je
c01
0
C 0 = cc20
3
c04
2c a b
66 b b a
64 a b c
a c b
66
c
b
c
a
a3
a 777 :
b5
c
2. EKVIVALENCE KD A KONSTRUKCE NOVCH KD
67
Podobn, aplikujeme-li permutaci (a 7! b b 7! c c 7! a) na prvn sloupec kdu C 0,
obdrme symbolovou permutaci a k n odpovdajc ekvivalentn kd je
c001
00
C 00 = cc200
3
c004
2a a b
66 c b a
64 b b c
b c b
c
b
c
a
a3
a 777 :
b5
c
Lemma 2.2 Jsou-li C a C 0 ekvivalentn kdy, jsou mnoiny vzdlenost kdovch slov
z C a C 0 stejn.
Dukaz. Protoe jak pozin tak symbolov permutace zachovvaj vzdlenost per-
mutovanch slov, plat tot
i pro takovouto posloupnost permutac.
Lemma 2.3 Je-li C kd dlky n a u vektor dlky n nad stejnou abecedou, pak existuje
kd C 0 , kter je ekvivalentn s C a obsahuje vektor u.
Dukaz. Prvn kdov
slovo c1 lze pev
st na u pomoc nejve n symbolovch permutac.
Denice. Bu x y binrn slova d
lky n. Prnik x \ y binrnch slov x a y je binrn
etzec d
lky n, kter m jedniku pesn na tch mstech, na kterch ji maj ob slova
x a y. Vude jinde m pak nuly. Jinak eeno, x \ y = x1 y1x2 y2 : : : xn yn.
Plat pak nsledujc jednoduch
lemma.
Lemma 2.4 Jsou-li x a y binrn etzce dlky n, pak
d(x y) = w(x) + w(y) ; 2w(x \ y):
Dukaz. Polome A11 = fi : 1 i n xi = yi = 1g, a11 = card(A11 ), A10 = fi :
1 i n xi = 1 yi = 0g, a10 = card(A10 ), A01 = fi : 1 i n xi = 0 yi = 1g,
a01 = card(A01), A00 = fi : 1 i n xi = 0 yi = 0g, a00 = card(A00 ). Pak plat
d(x y) = a10 + a01 = (a11 + a10 ) + (a11 + a01 ) ; 2a11
= w(x) + w(y) ; 2w(x \ y)
m je lemma dokzno.
67
68
Denice. Postup, pi kter
m pidme ke vem kdovm slovm z dan
ho kdu jednu
nebo vce dodatench pozic, a tedy zvme d
lku kdu, se nazv rozen kdu.
Nejznmj metoda rozen kdu se nazv kontrola parity. Pro jednoduchost
uvame binrn ppad.
Je-li C binrn (n M d)-kd, budeme konstruovat nov kd nsledovn. Ke kad
mu kdov
mu slovu c = c1c2 : : : cn 2 C pidme dodaten bit tak, e nov
vsledn
kdov
slovo bude mt sudou vhu. Tedy, mlo-li c lichou vhu, pidme jedniku,
mlo-li c sudou vhu, pidme nulu. Ozname-li tedy vsledn
slovo jako c, mme
(
w(c) je sud
c = cc11cc22 :: :: :: ccnn01 pokud
pokud w(c) je lich:
Nov kd C m pak d
lku n + 1 a velikost M . Minimln vzdlenost kdu C
bude bu d nebo d + 1 a toto slo bude zviset na tom, zda bude d sud
nebo lich
slo. Toti, protoe vechna kdov slova v C maj sudou vhu, bude vzdlenost
mezi kadmi dvma slovy sud
slo (to plyne z lemmatu 2.4). Je tedy i minimln
vzdlenost kdu C sud
slo. Nutn pak dostvme, e, je-li d(C ) = d sud
slo a
nastv pro pro slova c, d, pak nutn maj ob slova stejnou paritu a tedy nutn plat
d(c d) = d(c d). Je tedy d(C ) = d(C ). Nech' je minimln vzdlenost kdu C lich
slo a nastv pro pro slova c, d, pak nutn m jedno ze slov sudou paritu (napklad
c) a druh
lichou paritu (d). Pak w(c) = w(c), w(d)+1 = w(d), w(c \ d) = w(c \ d).
Tedy d(C ) + 1 = d(C ).
V obou ppadech pak mme
b 21 (d(C ) ; 1)c = b 21 (d(C ) ; 1)c:
Z toho pak plyne, e se nm pi pouit kontroly parity nezv schopnost opravit
chybu.
Obecn pak, mme-li kdovou abecedu vybrnu tak, e nm tvo konen
pole,
eknme Zp, kde p je prvoslo, meme denovat kontrolu parity jako
n
X
c = c1c2 : : : cncn+1 kde cn+1 = ; cn:
i=1
Denice. Postup, pi kter
m odebereme ta kdov slova z dan
ho kdu, kter se li
na uren
pozici i od uren
ho symbol s, a ze zbvajcch slov tuto pozici odstranme,
a tedy zkrtme d
lku kdu, se nazv zkrcen kdu typu xi = s.
Je-li pak C (n M d)-kd, m zkrcen kd C d
lku n ; 1 a minimln vzdlenost
alespo d. Opravdu, zkrcen kdu me mt za dsledek podstatn
zvten minimln vzdlenosti tedy i schopnosti opravit nov
ho kdu, protoe meme odstranit
ta kdov slova, kter se patn chovaj vzhledem ke vzdlenosti. Samozejm ale
zkrcenm kdu se nm zmen i poet kdovch slov, co nen zrovna lkav
.
68
3. HLAVN PROBLM TEORIE KDOV
N
69
Vta 2.5 Bu d lich pirozen slo. Pak existuje binrn (n M d)-kd prv tehdy,
kdy existuje binrn (n + 1 M d + 1)-kd.
Dukaz. Pokud existuje binrn (n +1 M d +1)-kd C , meme snadno zkonstruovat
binrn (n M d)-kd. Jednodue vybereme dv kdov slova c a d tak, e d(c d) =
d + 1, najdme pozici, na kter
se li a odebereme tuto pozici z kad
ho kdov
ho
slova. Nov kd ozname C 0 . Nutn pak maj nov zkrcen slova c0 a d0 vzdlenost
d(c0 d0 ) = d a dn jin dv slova nemaj od sebe men vzdlenost ne d. Celkem
je tedy C 0 binrn (n M d)-kd.
Obrcen, pedpokldejme, e mme binrn (n M d)-kd D (d lich
). Kd D,
kter vznikl jako kd kontroly parity z D, m d
lku n + 1, velikost M a minimln
vzdlenost d + 1.
3 Hlavn probl
m teorie kdovn
Denice. Bu dna pirozen sla d n q. Polome Aq (n d) jakoto maximln M
takov
, e existuje q-rn (n M d)-kd. Kad takov q-rn (n M d)-kd nazvme
optimln.
&sla Aq (n d) hraj stedn roli v teorii kdovn a na jejich nalezen bylo vynaloeno velk
sil. &asto se mluv o hlavnm problmu teorie kdovn. V dalm pro
ilustraci urme jist
hodnoty Aq (n d) pro mal
hodnoty n a d a dokeme obecn
tvrzen o tchto slech.
Poznamenejme, e abychom dokzali, e Aq (n d) = K pro jist
pirozen
slo
K , sta ovit, e Aq (n d) K a nsledn najt vhodn q-rn (n K d0)-kd C , kde
d d0. Pak toti K Aq (n d0) Aq (n d).
Vta 3.1 Je-li d sud slo, je A2(n d) = A2 (n ; 1 d ; 1).
Dukaz. Plyne okamit z vty 2.5. Toti pak nutn plat A2 (n d) A2 (n ; 1 d ; 1)
a A2(n d) A2 (n ; 1 d ; 1).
Dusledek 3.2 Je-li d sud slo a existuje binrn (n M d)-kd, pak existuje binrn
(n M d)-kd, ve kterm maj vechna kdov slova sudou vhu.
Dukaz. Plyne okamit z vty 3.1. Toti pak nutn existuje binrn kd (n ; 1 M d ;
1)-kd a pomoc operace kontroly parity existuje binrn (n M d)-kd, ve kter
m maj
vechna kdov slova sudou vhu.
69
70
Nsledujc dva snadn
vsledky nm budou ilustrovat, jakm zpsobem meme
urit hodnoty A2 (n d) pro mal
hodnoty n a d. Pouijeme pitom lemma 2.3, ze
kter
ho plyne, e pro dan (n M d)-kd C existuje ekvivalentn (n M d)-kd C 0 , kter
obsahuje nulov
slovo (samozejm za pedpokladu, e kdov abeceda obsahuje 0 {
jinak ji lze dodat zmnou za jin symbol). Meme tedy v dalm pedpokldat, e
nae kdy obsahuj nulov
slovo.
Vta 3.3 Plat A2 (4 3) = 2.
Dukaz. Bu C njak (4 M 3)-kd. Meme bez jmy na obecnosti pedpokldat,
e 0 = 0000 2 C . Protoe d(C ) = 3, libovoln
dal kdov
slovo c z C mus spl ovat d(c 0) 3 a tedy mus obsahovat alespo ti jedniky. Mme tedy celkem pt
monost pro nenulov slova lec v C , a to
1110 1101 1011 0111 1111:
Ale kad takovto dv slova maj vzdlenost nejve 2 a tedy pouze jedno z nich
me bt obsaeno v C . Plat tedy A2(4 3) 2. Dle plat, protoe C = f0000 1110g
je (4 2 3)-kd, mme A2 (4 3) 2 a tedy celkem A2 (4 3) = 2.
Vta 3.4 Plat A2 (5 3) = 4.
Dukaz. Bu C njak (5 M 3)-kd. Meme bez jmy na obecnosti pedpokldat,
e 0 = 0000 2 C a pitom pro vhodn
c z C plat d(0 c) = 3, c1 = 0. Uvame
nyn zkrcen C typu x1 = 0. Vme pak, e 0 c 2 C a d(0 c) = 3. Dle
vme, e A2 (4 3) = 2 a A2 (4 4) = A2 (3 3) = 2. Tedy i card(C ) = 2. Denuje
nyn zkrcen kd C jakoto zkrcen typu typu x1 = 1. Pak buto card(C ) = 1
nebo card(C ) > 1 a d(C ) = 3 a tedy nutn jako ve card(C ) = 2. Celkem tedy
card(C ) + card(C ) = card(C ) 4. Plat tedy A2(5 3) 4. Dle plat, protoe
C = f00000 11100 00111 11011g je (5 4 3)-kd, mme A2(5 3) 4 a tedy celkem
A2 (5 3) = 4.
Vta 3.5 Plat nsledujc:
1. Aq (n d) qn pro vechna 1 d n
2. Aq (n 1) = q n
3. Aq (n n) = q .
Dukaz. Prvn tvrzen plat, protoe pro kad kd C je C Vn(q) tj. card(C ) qn.
Druh
tvrzen plyne z toho, e uvme-li C = Vn(q), mme d(Vn(q)) = 1. Tet st
plyne z toho, e se kdov slova mus liit na vech pozicch a takovch kdovch slov
meme vybrat nejve q. Ale mme, pro kd D = f0 : : : q-1g, e D je (n q n)-kd.
70
4. DOLN A HORN HRANICE AQ(N D) PERFEKTN KDY
71
n
d=3
d = 5 d=7
5
4
2
6
8
2
7
16
2
2
8
20
4
2
9
40
6
2
10
72-79
12
2
11 144-158
24
4
12
256
32
4
13
512
64
8
14
1024
128
16
15
2048
256
32
16 2560-3276 256-340 36-37
Tabulka 4.1: Hodnoty A2 (n d)
U pro mal
hodnoty q n a d nen velikost Aq (n d) znma. Nsledujc tabulka
shrnuje vtinu naich znalost o A2 (n d).
Poznamenejme, e probl
m uren A2(n d) je probl
mem konench geometri.
Pro odhad Aq (n d) plat nsledujc jednoduch
tvrzen.
Vta 3.6 Pro vechna n 2,
Aq (n d) qAr (n ; 1 d):
(4.1)
Dukaz. Bu C kd realizujc hodnotu Aq (n d). Uvame nyn zkrcen Cj typu xn =
j . Pak nutn card(Cj ) Aq (n;1 d) (mohou toti nastat pouze dva ppady: card(Cj ) =
1, co evidentn plat, a K = card(Cj ) > 1, kde
pak Cj je (n ; 1 KPd0)-kd, d0 d
S
;1 C tj. A (n d) = q;1 card(C ) a tedy tvrzen rovn plat). Celkem pak C = qj=0
j
q
j
j =0
qAr (n ; 1 d).
Cvien 3.7
1. Ukate, e A2 (3 2) = 4.
4 Doln a horn hranice Aq (n d) perfektn kdy
Ureme nejprve horn hranici (sphere-packing upper bound) sla Aq (n d).
Lemma 4.1 Nech( e = b 21 (d ; 1)c. Pak plat
e n!
X
Aq (n d)
(q ; 1)k qn:
k
k=0
71
(4.2)
72
Dukaz. Bu C kd s minimln vzdlenost d pak, je-li Se(x) koule o polomru e se
stedem x, mme pro kadou dvojici kdovch slov x a y, e
Se(x) \ Se(y) = :
Ale je evidentn, e
e n!
X
jSe(x)j =
(q ; 1)k :
(4.3)
k
k=0
Prav strana nerovnosti 4.2 je celkov poet slov d
lky n nad abecedou o q symbolech.
Lev strana je poet prvk obsaench v disjunktnm sjednocen koul, jejich stedy
jsou navzjem rzn kdov slova. Maximln poet takovchto rznch kdovch
slov je Aq (n d). Tedy dostvme nerovnost 4.2.
Podobn plat
Lemma 4.2 (Gilbert-Varshamova hranice)
dX
;1 n !
(q ; 1)k qn:
(4.4)
k
k=0
Dukaz. Bu C (n M d)-kd s maximlnm potem kdovch slov. Pak zcela jist
neexistuje vektor z Vn(q) ; C , jeho vzdlenost od vech kdovch slov je alespo d,
jinak by toti M nebyl maximln poet kdovch slov. Jinak eeno, koule o polomru
d mus pokrvat cel prostor Vn(q). Ale to je pesn podmnka 4.4.
Aq (n d)
Denice. Polomr pokryt blokov
ho kdu C je nejmen polomr takov,
Fnq S
(c):
c2C
Polomr pokryt je dal charakterizac kd, nem vak tak hojn
uplatnn jako
minimln vzdlenost.
Vta 4.3 Nech( C je blokov kd dlky n. Pak je polomr pokryt kdu C prv
tehdy, kdy = maxf 2Fnq minc2C d(c f ).
D"kaz: Nech' Fnq Sc2C S
(c), kde je minimln. Pak pro kad
f 2 Fnq existuje
c 2 C takov
, e d(c f ) , a souasn existuj f 0 2 Fnq a c0 2 C spl ujc d(c0 f 0 ) = .
Z minimality plyne, e = maxf 2Fnq d(f C ) = maxf 2Fnq minc2C d(c f ).
Naopak, nech' = maxf 2Fnq minc2C d(c f ) = maxf 2Fnq d(f C ). Pak pro vechna
f 2 Fnq plat d(f C ) a existuj f 0 2 Fnq a c0 2 C spl ujc rovnost a pro vechna
c 2 C je d(c f 0). Pedpokldejme, e existuje s, > s, takov
, e kad
f 2 Fnq
je prvkem mnoiny fx 2 Fnq j d(c x) sg pro njak
c 2 C . To je ale spor s existenc
slov f 0 a c0, a tedy je polomr pokryt kdu C .
72
4. DOLN A HORN HRANICE AQ(N D) PERFEKTN KDY
73
Ideln situace z ekonomick
ho pohledu je najt kd C nad Vn(q) tak, e pro jist
kladn
t > 0 jsou vechny prvky z Vn(q) obsaeny v disjunktnm sjednocen koul, jejich stedy jsou navzjem rzn kdov slova. Takov kd se pak nazv perfektn. Z
jeho denice je zejm
, e perfektn kd doke pomoc pravidla minimln vzdlenosti
opravit a t chyb, a nedoke opravit t + 1 chyb.
Je tedy nutn podmnka pro to, aby (n M d)-kd byl perfektn, e d je lich
slo.
Celkem tedy je (n M d)-kd perfektn prv tehdy, kdy M = Aq (n d) a
d; 1 !
2
X
n (q ; 1)k = qn:
Aq (n d)
k=0 k
(4.5)
Pklad 4.4 Zejmm pkladem perfektnho kdu je
1. kad kd s prv jednm kdovm slovem,
2. kad binrn kd s prv dvma slovy lichch d
lek, nap. 00 : : : 0 a 11 : : : 1.
Tyto kdy se nazvaj triviln perfektn kdy.
Vta 4.5 (Singletonova hranice) Plat
Aq (n d) qn;d+1:
(4.6)
Dukaz. Bu C njak (n M d)-kd. Pokud odstranme poslednch d ; 1 pozic z
kad
ho kdov
ho slova z C , mus bt nutn vsledn zkrcen slova navzjem rzn
(jinak by pvodn slova musela mt vzdlenost d ; 1). Ale poet vech slov d
lky
n ; (d ; 1) je prv qn;d+1 tj. Aq (n d) qn;d+1.
Lemma 4.6 Bu M pirozen slo. Pak funkce f : f0 : : : M g ! N denovan
jako f (k) = k(M ; k) nabv svho maxima pro
k=
(
M
M2 1
2
pokud M je sud
pokud M je lich
a f (k) =
(
M2
4
M 2 ;1
4
pokud M je sud
pokud M je lich
:
p
Dukaz. Dkaz okamit plyne ze vztahu a b 12 (a + b) a z prbhu funkce f .
Vta 4.7 (Plotkinova hranice) Je-li n < 2d, mme
A2 (n d) 2b 2d d; n c:
73
(4.7)
74
Dukaz. Bu C = fc1 : : : cM g njak (n M d)-kd. Uvame souet S = Pi<j d(ci cj ).
To nen nic jin
ho, ne souet vech vzdlenost
! kdovch slov z C . Protoe ale
d d(ci cj ) pro vechna i j a mme prv M2 dvojic kdovch slov z C , plat
!
M
S = d(ci cj ) d 2 :
(4.8)
i<j
Pokusme se nyn spotat S tm, e se podvme na kadou pozici zvl'. Uvame
tedy kdov slova ve tvaru
c1 = c11 c12 : : :c1n
c2 = c21 c22 : : :c2n
...
cM = cM 1cM 2 : : :cMn:
X
Mme pak, pro vechna j 1 j n, e pokud kj bit slova c1j : : : cMj je rovno 1 a
zbvajcch M ; kj bit je nulovch, pak tyto bity pispj k soutu vech vzdlenost
slem f (kj ) = kj (M ;kj ). Mme tedy celkem (protoe vech sloupc je n) S nf (k).
Zejm
na tedy plat
(
M2
n
M je sud
S nf (k) = n M42 ;1 pokud
pokud M je lich
:
4
Dme-li ob nerovnosti dohromady, mme
!
(
M d n M422 pokud M je sud
2
n M 4;1 pokud M je lich
:
Po jednoduch
prav pak obdrme
( 2d
pokud M je sud
M 2dn;n < 2d pokud
M je lich
:
2d;n
2d;n
polome a = 2d2;d n . Pak mme
(
M je sud
M bb22aacc ; 1 pokud
pokud M je lich
:
Pedpokldejme nejprve, e k a < k + 21 pro njak
pirozen
slo k. Pak b2ac =
2k a 2bac = b2ac. Mme tedy, nezvisle na parit M , e M 2bac. Pedpokldejme
nyn, e k + 21 a < k + 1 pro njak
pirozen
slo k. Pak b2ac = 2k + 1 a
2bac = 2k. Je-li M lich
, mme M b2ac ; 1 = 2k = 2bac a, je-li M sud
, mme
M b2ac ; 1 = 2k + 1 tj. = M 2k = 2bac.
Nutn tedy celkem M 2b 2dd;n c:
74
5. LINE
RN KDY
75
Lemma 4.8 Bu k pirozen slo. Pak A2 (4k ; 1 2k ; 1) 8k a A2(4k 2k) 8k.
Dukaz. Ovme nejprve, e A2 (4k 2k) 8k. Vme ale, e A2(4k 2k) 2A2(4k ;
1 2k) 4b 21k c = 8k dle 4.7. Protoe dle plat A2(4k ; 1 2k ; 1) = A2(4k 2k) 8k,
tvrzen je dokzno.
Cvien 4.9
1. Ukate, e 19 A2 (10 3) 93.
2. Ukate, e pro vechna pirozen sla q, parametry n = (qr ; 1)=(q ; 1), M =
qn;r , d = 3, kde r je njak pirozen slo 2, spluj podmnku 4.5 proto,
aby se jednalo o perfektn kd. Poznamenejme, e a
koliv tyto parametry spluj
4.5 pro kad pirozen slo q, byla vyslovena hypotza, e pslun perfektn
kdy existuj prv tehdy, kdy je q mocnina prvo
sla.
5 Linern kdy
Pedpokldejme, e C je kd s minimln vzdlenost d = 2e + 1 a lze tedy pomoc
metody nejbliho kdov
ho slova opravit a e chyb. M-li kd C mlo prvk, jedn
se o velmi praktickou metodu. V ppad, e slo jCj bude velk
, bude tato metoda
opravdu velmi asov nron, protoe musme srovnvat pijat vektor y s velkm
mnostvm kdovch slov. To je dvod pro studium vce strukturovanch kd, jako
jsou nap. linern kdy.
Pedpokldejme tedy, e poet prvk q na abecedy je prvoseln mocnina pm.
Meme tedy povaovat / za tleso Fq o q-prvcch.
Bu dle Vn(q) vektorov prostor dimenze n nad tlesem Fq . Typick prvek tohoto vektorov
ho prostoru budeme pst jakoto x = (x1 : : : xn), obas pak zkrcen
jakoto x = x1 : : : xn, kde xi 2 Fq .
Linern kd C nad / je denovn jakoto podprostor prostoru Vn (q ). M-li tento
podprostor dimenzi k, mluvme o -n k]-kdu nebo, chceme-li specikovat minimln
vzdlenost, mluvme o -n k d]-kdu. Protoe kad k-dimenzionln podprostor nad
Fq m qk prvk, mme:
Kad -n k d]-kd nad Fq je (n qk d)-kd.
Vhoda linernch kd je to, e pomoc k kdovch slov d
lky n meme zcela
popsat kd s prv qk kdovmi slovy d
lky n. Tm doshneme obrovsk
spory
pamti. Toti kad podprostor dimenze k je pln popsn k linern nezvislmi
vektory.
Denujeme pak generujc matici pro linern -n k]-kd C jakoto libovolnou matici rozmru k n, jej dky tvo k linern nezvislch kdovch slov z C . Pedpokldejme nyn, e G je generujc matice kdu C a G0 je matice, kterou meme
obdret z G pomoc konen
posloupnosti permutac nsledujcho typu:
75
76
1. zmna dk,
2. nsoben dku nenulovm skalrem,
3. piten k dku skalrn nsobek jin
ho dku,
4. zmna sloupc,
5. nsoben sloupce nenulovm skalrem.
Pak lze snadno ukzat nsledujc tvrzen.
Lemma 5.1 G0 je generujc matice kdu C 0, kter je ekvivalentn s kdem C .
Dukaz. Sta ukzat, e kad z operac 1-5 odpovd vytvoen generujc matice
G0 kdu C 0 , kter je ekvivalentn s kdem C . Evidentn, zmna dk, vynsoben
dku nenulovm skalrem a piten dk jsou operace takov
, e dokonce kd C 0
je toton s kdem C . Zmna sloupc v matici G znamen, e provedeme pozin
permutaci urenou transpozic sloupc. Vynsoben sloupce nenulovm skalrem je
symbolov permutace tohoto sloupce (pracujeme nad tlesem a pak je mnoina nenulovch skalr grupou). Jsou tedy odpovdajc kdy ekvivalentn s kdem C .
Lemma 5.2 Bu G matice typu kn jej dky jsou linern nezvisl pak, aplikujemeli posloupnost operac typu (1)-(5) na G, je mon G pevst na matici G0 = -Ek A],
kde Ek je jednotkov matice typu k k.
Dukaz. Dkaz je veden indukc vzhledem ke k. Pokud k = 1, je tvrzen evidentn.
Sta vynsobit dek matice G prvkem inverznm k prvku g11. Pedpokldejme, e
tvrzen plat pro k a chceme jej dokzat pro k + 1. Protoe hodnost matice G je k + 1
existuje v matici G k + 1 nezvislch sloupc. Pomoc operace typu (4) tyto sloupce
dostaneme na prvnch k + 1 sloupc nov
matice G0 . Pak nutn v k + 1-nm sloupci
existuje nenulov prvek { jinak by hodnost matice nebyla k+1. Provedeme pak pomoc
operace typu (1) zmnu pslun
ho dku s poslednm dkem. Nov posledn dek
vynsobme po ad vhodnmi skalry a odeteme jej od pedchozch dk tak, aby se
nm k +1-n sloupec a na posledn dek vynuloval. Pak obdrme matici G00 , jejich
prvnch k dk (po vynechn k + 1-nho sloupce) je matice typu k (n ; 1), kter
m hodnost k. Lze pak aplikovat indukn pedpoklad a obdrme matici, kter m
na prvnch k dcch submatici typu -Ek A] (pitom na vynechan k + 1-n sloupec
budeme provdt pouze dkov
pravy). Snadno se zbavme nenulovch prvk v
poslednm dk na prvnch k-mstech pomoc operace typu (3). Pitom nutn na
mst (k +1 k +1) je nenulov prvek, sta pak vynsobit prvkem k nmu inverznm.
76
6. POUIT LINE
RNCH KD
77
V dsledku 5.2 meme bez jmy na obecnosti pracovat s generujcmi maticemi
ve ve uveden
standardn form. Jinou uitenou vlastnost linernch kd je, e
jejich minimln vzdlenost lze najt mnohem snze, ne v ppadu obecnch kd.
Mme pak nsledujc vsledek
Vta 5.3 Minimln vzdlenost d linernho kdu C je minimln vha w vech nenulovch vektor z C .
Dukaz. Bu d minimln vzdlenost linernho kdu C a pedpokldejme, e x y 2 C
tak, e d(x y) = d. Pak x ; y 2 C , w(x ; y) = d w = w(z) = d(z 0) d pro
vhodn vektor z 2 C .
6 Pouit linernch kd
Pedpokldejme, e C je linern -n k]-kd nad Fq = / a e m generujc matice G
tvaru
2 3
66
G = 66
4
r1 7
r2 77
... 75 = -Ek A] rk
kde ri jsou vektory d
lky n nad Fq a A je matice typu k (n ; k). Kdov slova kdu
C jsou vektory d
lky n tvaru
k
X
airi ai 2 Fq :
i=1
Zkladn mylenka zakdovn je nsledujc. Pokud je zprva bran jako posloupnost s = (s1 : : : sk ), zakdujeme s pomoc kdov
ho slova c = (c1 : : : cn), kde ci
jsou urena pedpisem
-c1 : : : cn] = -s1 : : : sk ] -Ek A] (4.9)
tj. ci = si pro 1 i k.
Pklad 6.1 Pedpokldejme, e kd C nad tlesem F3 (co je tleso zbytkovch td
po dlen 3) m generujc matici G tvaru
2
3
1 0 0 1 2 0
G = 64 0 1 0 0 1 1 75 :
0 0 1 2 0 1
Je-li vstupn zprva ze zdroje tvaru
102101210122 : : :
77
78
rozdlme ji nejprve do blok d
lky ti a obdrme
102 j 101 j 210 j 122 j : : :
a pak zakdujeme zdrojov slova jakoto
102 7! r1 + 2r3 = 102222 101 7! r1 + r3 = 101021
201 7! 2r1 + r3 = 210221 122 7! r1 + 2r2 + 2r3 = 122211:
Dostaneme tedy posloupnost
102 j 222 j 101 j 021 j 210 j 221 j 122 j 211 j : : :
Tedy jsme, pi zdvojen d
lky zprvy, zpomalili rychlost penosu na polovic. Zvili
jsme ale spolehlivost.
Poznamenejme, e vztah 4.9 je ekvivalentn s rovnic
h
h
i
;A> En;k -c1 : : : cn]> = 0:
i
(4.10)
Matice H = ;A> En;k se nazv matice kontroly parity kdu C . Zejm
na tedy
plat, e z 2 C prv tehdy, kdy H -z1 : : : zn]> = 0:
Pitom matice H kontroly parity denuje jak vlastn kd C tak i pslunou generujc matici G. Nzev matice kontroly parity znamen, e na jistch kontrolnch
mstech jsou pidny jist
kontroln souty, kter
zkontroluj nae kdov slova. Obas
budeme pro -n k]-kd kat, e prvnch k sloek kdov
ho slova je nazvno informa
nmi znaky a zbvajcch n ; k sloek jsou symboly kontroly parity (kontroln
znaky).
Pklad 6.2 Ureme nyn matici H kontroly parity z pkladu 6.1. Ta m tvar
2
3 2
3
;
1 0 ;2 1 0 0
2 0 1 1 0 0
H = 64 ;2 ;1 0 0 1 0 75 = 64 1 2 0 0 1 0 75 :
0 ;1 ;1 0 0 1
0 2 2 0 0 1
Kdov
slovo 102222 sestv z ze zprvovch sel 102 a symbol kontroly parity
222. Evidentn, rovnost 4.10 je pro toto kdov
slovo (a vechna zbvajc) splnna.
Obecn mus tedy kdov slova splnit syst
m rovnic
2c1 + c3 + c4 = 0 c1 + 2c2 + c5 = 0 2c2 + 2c3 + c6 = 0:
(4.11)
Zkladn idea pro metodu opravovn chyb je vidt na tomto pklad. Pedpokldejme, e nae obdren
slovo nespl uje prvn a tet rovnici 4.11 v rovnicch kontroly
parity. Pak meme dedukovat, e chybn slice zprvy je slice c3, protoe to je
jedin slice, kter se vyskytuje v obou rovnicch.
78
7. PRAVIDLO MINIM
LN VZD
LENOSTI PRO LINE
RN KDY
79
Vta 6.3 Je-li H matice kontroly parity kdu C dlky n, pak kd C m minimln
vzdlenost d tehdy a jen tehdy, kdy kadch d ; 1 sloupc matice H je nezvislch,
ale nkterch d sloupc je linern zvislch.
Dukaz. Ozname po ad sloupce matice H jako h1 : : : hn. Pipome me, e pro
kad dkov vektor -c1 : : : cn] mme
-c1 : : : cn
]H T
=
n
X
i=1
cipTi :
Pedpokldejme, e d je minimln poet linern zvislch sloupc matice H . Pak
existuj skalry c1 : : : cn, z nich je prv d nenulovch tak, e
-c1 : : : cn]H T = 0T :
Ale to nek nic jin
ho, e c = c1 : : : cn 2 C . Protoe wt(c) = d, mme d(C ) wt(c) = d: Obrcen, je-li c = c1 : : : cn 2 C kdov
slovo minimln d
lky, pak nutn
-c1 : : : cn]H T = 0T a tedy je d(C ) sloupc z H odpovdajcm d nenulovm prvkm
linern zvislch. Je tedy d d(C ) tj. d = d(C ).
7 Pravidlo minimln vzdlenosti pro linern kdy
Uvame probl
m dekdovn pro linern kdy. Je-li C -n k]-kd nad abecedou / = Fq ,
pak C obsahuje qk kdovch slov d
lky n a poet monch obdrench vektor je qn.
Prohlec tabulka, kter by pro kad mon obdren vektor obsahovala nejbli
kdov
slovo by zabrala pli velk
mnostv pamti, dokonce pro mal n a k. Jednou
z hlavnch vhod pouvn linernch kd je, e existuje elegentn zpsob vyhnut
se ve uveden
mu probl
mu.
Tento postup popeme pouze v binrnm ppad. Rozen na jin
abecedy mohutnosti q = pm, kde p je prvoslo je bezprostedn i kdy technicky nronj.
Pedpokldejme, e C je -n k]-binrn kd. Protoe je C podprostor vektorov
ho
prostoru Vn binrnch vektor d
lky n, mus bt C podgrupa aditivn grupy Vn.
Pipome me, e d konen
grupy G je denovan jako mohutnost jGj nosn
mnoiny G, tj. poet prvk G a index -G : S ] podgrupy S G je poet jG=S j
rznch (levch) td rozkladu G podle S . Pitom (lev) tda uren prvkem a 2 G
m tvar Sa = fsa : s 2 S g. Speciln je piazen a 7! Sa surjektivn homomorsmus
G ! G=S . Pitom dv tdy Sa Sb jsou toton
prv tehdy, kdy a = s0 b pro nkter
s0 2 S . Prav
nsoben prvkem a je bijekce S ! Sa a proto m kad (lev) tda
rozkladu stejn poet prvk jako podgrupa S . Protoe G je sjednocen pslunch
levch td rozkladu, je poet prvk cel
grupy G stejn jako poet td rozkladu krt
poet prvk v S :
jGj = jG=S j jS j:
79
80
Zejm
na tedy kd C uruje soubor levch td (koset) podprostoru Vn a libovoln
vektor a 2 Vn uruje jedin koset a + C = fb : b = a + c pro vhodn vektor c 2 Cg.
Pedpokldejme tedy, e y je obdren vektor v tom ppad, e jist
kdov
slovo
bylo peneseno kanlem. *ekneme, e vektor e je mon chybov vektor vektoru y,
pokud existuje kdov
slovo c 2 C tak, e
y ; c = e:
Speciln je tedy interpretace nsledujc: vektor e je chybov vektor pidruen
k obdren
mu vektoru, jestlie je schopen reprezentovat jistou monou posloupnost
chyb pi penosu. Nsledujc triviln pozorovn je klov
.
Lemma 7.1 Je-li y obdren vektor, je mnoina monch chybovch vektor ten
koset mnoiny C , kter obsahuje vektor y.
Dukaz. Bylo-li obdreno slovo y, je vektor e chybov vektor prv tehdy, kdy existuje kdov
slovo c 2 C tak, e y ; c = e: Ale C je podprostor tedy i ;c 2 C , tj.
e = y + c0 a e 2 y + C .
Co to je dekdovn podle pravidla minimln vzdlenosti? To nen nic jin
ho, ne
nalezen chybov
ho vektoru s minimln vahou. Znme-li tedy, pro kad koset jeho
prvek minimln vhy, pak mme zklad pro dekdovn podle pravidla minimln
vzdlenosti. *ekneme pak, e vektor e je reprezentant kosetu H, jestlie m nejmen
vhu ze vech vektor obsaench v H = e + C . Zdraznme, e takovto reprezentant
nemus bt vybrn jednoznan.
Algoritmus I
Krok 1: Po pijet vektoru y najdeme reprezentanta z0 kosetu y ; C .
Krok 2: Vektor y pak dekdujeme jakoto kdov
slovo y ; z0 .
Evidentn, Krok 1 me bt velmi asov nron. Urychlme jej pouitm nsledujc vlastnost linernch kd.
Lemma 7.2 Dva vektory y1 a y2 le v tme kosetu prv tehdy, kdy
H y>1 = H y>2 :
Dukaz. Dva vektory y1 a y2 le v t
me kosetu prv tehdy, kdy existuje kdov
slovo c 2 C tak, e
y 1 = y2 + c
tj.
H c> = H (y1 ; y2)> = 0
tj.
H y>1 = H y>2 :
80
7. PRAVIDLO MINIM
LN VZD
LENOSTI PRO LINE
RN KDY
81
Denujme syndrom kosetu H = a + C jakoto vektor H a> d
lky k. Evidentn, je
tato denice korektn. Mme tedy pro kad koset H jeho syndrom a jeho reprezentanta kosetu. Mme-li tedy pedem vypotenou tabulku, ve kter
je pro kad syndrom
uren pslun reprezentant, meme urychlit ve uvedn algoritmus nsledovn:
Algoritmus II { poloecientn
Krok 1a: Po pijet vektoru y najdeme syndrom H y>.
Krok 1b: Z ve uveden
tabulky najdeme odpovdajcho reprezentanta z0 kosetu
y ; C.
Krok 2: Vektor y pak dekdujeme jakoto kdov
slovo y ; z0.
Plat pak
Vta 7.3 Algoritmus II pracuje jakoto dekdovac pravidlo podle minimln vzdlenosti pro linern kd C .
Dukaz. Poznamenejme nejprve, e kad
obdren
slovo y meme dekdovat jakoto kdov
slovo. To je z toho dvodu, e y a z0 jsou ve stejn
m kosetu a tedy
y ; z0 2 C . Pedpokldejme, e existuje kdov
slovo c tak, e
d(y y ; z0 ) > d(y c):
To je ekvivalentn s tm, e
d(0 z0 ) > d(y ; c 0)
tj. w(z0) > w(y ; c).
Ale pak
H (y ; c)> = H y> ; H c> = H y>
protoe c je kdov
slovo. Zejm
na tedy m y ; c stejn syndrom jako y, le ve
stejn
m kosetu a a m vhu oste men ne je vha reprezentanta kosetu z0 , co je
spor.
V dalm budeme pedpokldat, e kdovn a dekdovn pro linern -n k]-kd
C = fc1 : : : cM , c1 = 0 pi penosu binrnm symetrickm kanlem s pravdpodobnost chyby p bude probhat pomoc nsledujc tabulky
Dle pedpokldejme, e kad reprezentant fi pslun
ho kosetu m vhu wt(fi).
Plat pak nsledujc tvrzen. Ozname, pro 1 j n, wj poet reprezentant vhy
j.
81
82
Vta 7.4 Bu C binrn linern -n k]-kd. Pak pravdpodobnost sprvnho dekdovn pi penosu binrnm symetrickm kanlem je
P (sprvn
dekdovn) =
tj.
s
X
i=1
P (sprvn
dekdovn) =
pwt(fi )(1 ; p)n;wt(fi)
n
X
j =1
wj pj (1 ; p)n;j :
Dukaz. Protoe reprezentant fi pslun
ho kosetu m vhu wt(fi), pravdpodobnost,
e nm vznikne z c slovo d je stejn, e nm vznikne z 0 pslun reprezentant fi tj.
P (reprezentant je fi) = pwt(fi ) (1 ; p)n;wt(fi) :
Postme-li pes vechny reprezentanty, obdrme poadovan
tvrzen.
Nevhody t
to kdovac metody lze nejl
pe vidt na nsledujcm pkladu.
Pklad 7.5 Pedpokldejme, e C je binrn kd, jeho generujc matice G je urena
nsledovn
"
#
1
0
1
0
G= 0 1 1 1 :
Pak kontroln matice H m tvar
Kdov slova kdu C jsou
"
#
H = 10 11 10 01 :
0000 1010 0111 1101:
Syndrom s
Reprezentant z0
kosetu H, s = H z>0
Pslun prohlec tabulka m tvar
00
10
01
11
0
c2
c3 cM
f2 f2 + c2 f2 + c3 f2 + cM
f3 f3 + c2 f3 + c3 f3 + cM
...
fs
...
fs + c2
...
fs + c3
...
...
fs + cM
82
0000
0010
0001
0100
.
8. BIN
RN HAMMINGOVY KDY
83
Pedpokldejme tedy, e jsme obdreli vektor y = 1111. Je ho syndrom je vektor
H y> = 10. Odpovdajc reprezentant je 0010, je tedy slovo 1111 dekdovno jakoto
1101. Poznamenejme, e tato prohlec tabulka nen urena jednoznan, napklad
za reprezentanta syndromu 10 lze vzt vektor 0111.
V ppad binrnho -n k]-kdu mme prv jVnj=jCj = 2n;k (obecn pak qn;k )
rznch koset zejm
na tedy bude mt prohlec tabulka v Kroku 1(b) prv 2n;k
rznch poloek. Prohledvn takov
to tabulky je pro velk k n velmi nron
. Avak
ostatn vhody t
to metody oprav uj jej irok
pouvn.
8 Binrn Hammingovy kdy
Abychom ilustrovali dve uveden
techniky, uvame nsledujc pklad. Omezme nai
pozornost na binrn pklad bu r njak
kladn
cel
slo a polome n = 2r ; 1.
Dle denujme kontroln matici H jakoto matici typu r (2r ; 1), jej sloupce tvo
vechny navzjem rzn
nenulov
vektory z Vr . Pak H je kontroln matice binrnho
-n k]-kdu, kde
n = 2r ; 1 k = n ; r:
Mluvme pak o Hammingov -n k]-kdu .
Klovou vlastnost Hammingovch kd lze zformulovat v nsledujc vt.
Vta 8.1 Kad Hammingv kd je perfektn kd opravujc jednu chybu.
Dukaz. Nejprve ukam, e minimln vzdlenost kad
ho Hammingova kdu je alespo 3. Protoe C je linern kd, je minimln vzdlenost d(C ) rovna minimln vze
vektor z C .
Pedpokldejme nejprve, e C m kdov
slovo u vhy 1 s nenulovm vstupem v
i-t
souadnici. Pak plat
H u> = 0
tj. i-t sloupec hi matice H je nulov, co nen z denice matice H mon
. Pedpokldejme dle, e C m kdov
slovo v vhy 2 s nenulovmi vstupy v i-t
a j -t
souadnicch. Pak plat
H v> = 0
tj.
hi + hj = 0:
Protoe pracujeme s binrnmi kdy, je nutn
hi = hj co nen mon
. je tedy d(C ) 3. Ukame, e C je perfektn. Poznamenejme, e
kad 1-koule kolem kdov
ho slova bude obsahovat prv 1 + n = 2r vektor d
lky
n = 2r ; 1. Protoe C obsahuje prv 2k = 2n;r kdovch slov, disjunktn sjednocen
tchto 1-koul je prv cel mnoina Vn vektor d
lky n, jich je prv 2n = 2n;r 2r .
83
84
Dleitm dsledkem perfektnosti Hammingovch kd je, e
1. Pro Hammingv -n k]-kd jsou reprezentanti koset vektory z Vn vhy 1.
To vede k nsledujcmu elegantnmu dekdovacmu algoritmu pro Hammingovy
kdu. Nejprve poznamenejme:
2. Sloupce matice H lze pemstit tak, e j -t sloupec matice H je prv binrn
reprezentace sla j .
Je-li obdren vektor y, spotme jeho syndrom H y? a pedpokldejme, e reprezentuje slo j . Pedpokldme-li pouze jednu chybu, pravidlo minimln
vzdlenosti (=pravidlo maximln pravdpodobnosti) nm dv:
(a) Pokud j = H y? = 0, pak nepedpokldme dnou chybu a y je kdov
slovo.
(b) Pokud j = H y? 6= 0, pak pedpokldme chybu v j -t
pozici a dekdujeme
y jeho zmnou v j -t
pozici.
Pklad 8.2 Hammingv -7 4]-kd m matici kontroly parity
2
3
0 0 0 1 1 1 1
H = 64 0 1 1 0 0 1 1 75 :
1 0 1 0 1 0 1
Pedpokldejme, e jsme obdreli vektor y = (1 0 1 0 1 1 0). Pak H y> = (001).
Tedy za pedpokladu, e nenastala vce ne jedna chyba, pedpokldme, e se chyba
vyskytla na prvnm mst a dekdujeme pak y jakoto y,
y = (0 0 1 0 1 1 0):
Cvien 8.3
1. Napite matici kontroly parity binrnho -15 11 3]-kdu. Jak bychom dekdovali
obdren vektory:
(a) (100000000000000),
(b) (111111111111111)?
9 Cyklick
kdy
Diskutujme nyn dleitou skupinu linernch kd. Kd C se nazv cyklick, jestlie
plat nsledujc podmnky:
84
9. CYKLICK KDY
85
1. C je linern,
2. pokud vektor w = (w1 : : : wn) 2 C , pak i vektor w0 = (wn w1 : : : wn;1) 2 C .
Tyto kdy maj atraktivn algebraick
vlastnosti a meme je snadno sestrojit
pomoc linernch posouvacch registr (ble viz -7]).
Budeme dle pracovat pouze v binrnm ppad a bhem tohoto paragrafu budeme identikovat vektor
w = (w1 : : : wn)
s polynomem
w(x) = w1 + w2x + w3x2 + : : : + wnxn;1 :
Dle budeme potat pouze v okruhu Rn binrnch polynom stupn nejve n ; 1
modulo polynom xn ; 1. Tedy Rn se skld z polynom stupn n ; 1 s koecienty
0 a 1 tak, e plat nsledujc pravidla pro stn a nsoben polynom:
;1 (ai + bi )xi
a(x) + b(x) = Pni=0
a(x) b(x) = a(x)b(x) mod (xn ; 1):
Zkladnm pozorovnm je nsledujc skutenost: posunu v kdov
m slov odpovd nsoben odpovdajcho polynomu monomem x v okruhu Rn. Toti w(x) x =
w1x + w2x2 + w3x3 + : : : + wn;1xn;1 + wnxn mod (xn ; 1) = w1x + w2x2 + w3x3 +
: : : + wn;1xn;1 + wnx0 :
Plat pak nsledujc lemma
Lemma 9.1 Je-li w(x) polynomiln reprezentace kdovho slova w 2 C , je i w(x)f (x)
kdov slovo pro kad polynom f stupn nejve n ; 1.
Dukaz. Protoe w(x) 2 C , je i xw(x) 2 C (posunut o 1 msto doprava). Nutn tedy
pro kad
pirozen
slo k plat, e xk w(x) 2 C . Ale protoe je C linern kd, je i
libovoln linern kombinace kdovch slov tvaru xk w(x) opt v C , zejm
na tedy je
polynom f (x)w(x) v C .
Lemma 9.2 Je-li g(x) nenulov polynom minimlnho stupn v C , pak g(x) generuje
kd C v tom smyslu, e kad kdov slovo w(x) 2 C je tvaru
w(x) = f (x)g(x)
pro vhodn polynom f (x).
Dukaz. Pedpokldejme, e existuje w(x) 2 C , kter
nelze napsat ve ve uveden
m
tvaru. Pak lze pst
w(x) = q(x)g(x) + r(x)
kde r(x) je zbytek po dlen polynomem g(x) tj. jeho stupe je men ne stupe
polynomu g(x). Ale nutn q(x)g(x) w(x) 2 C tj. r(x) 2 C tj. nutn je r(x) nulov
polynom, spor. Tedy je kad polynom z C nsobkem g(x).
85
86
Mluvme pak o polynomu g(x) jakoto o generujcm polynomu kdu C . Tm pak
dostaneme velmi dobrou reprezentaci kdu C . Pipome me dle, e cyklick kd nen
nic jin
ho ne idel v okruhu polynomu a 9.2 plyne bezprostedn z toho, e kad
idel v okruhu polynom je hlavn idel.
Pklad 9.3 Pedpokldejme, e n = 3 a nsoben je provdno modulo polynom
x3 ; 1. Pak kd
C = f0 1 + x x + x2 1 + x2 g
je cyklick a generovn polynome 1 + x. Standardn reprezentace kdu C sestv z
vektor
f(0 0 0) (1 1 0) (0 1 1) (1 0 1)g:
Lemma 9.4 Je-li C cyklick kd dlky n s generujcm polynomem g(x) = g1 + g2 x +
: : : + gk xk;1, pak jeho generujc matice typu (n ; k + 1) n m tvar
2
66 g01
6
G = 666 0
64 ...
3
::: 0 7
: : : 0 77
: : : 0 77 :
... ... ...
... ... 77
...
...
...
5
0 0 : : : : : : : : : : : : gk;2 gk;1 gk
Dukaz. Evidentn, dky matice G jsou linern nezvisl
. Ukame, e kad
kdov
slovo lze reprezentovat pomoc tchto dk. Je-li tedy c = (c0 c1 : : : cn;1) kdov
slovo, je odpovdajc polynom
c(x) = c0 + c1x + : : : + cn;1xn;1
tvaru
c(x) = g(x)f (x) (mod(xn1 ; 1))
pro jist polynom f stupn nejve n ; 1. Ale to neznamen nic jin
ho, ne e
nX
;1
c(x) = fixi g(x) (mod(xn1 ; 1))
g2 g3 : : : gk 0
0
g1 g2 : : : gk;1 gk 0
0 g1 : : : gk;2 gk;1 gk
i=0
tj. polome-li g(i) (x) = xig(x) a je-li g(i) odpovdajc reprezentace polynomu g(i)(x)
(i + 1-n dek matice G), mme
c=
nX
;1
i=0
fig(i) :
86
10. MARINERV KD A REED-MULLEROVY KDY
87
Lemma 9.5 Je-li g generujc polynom cyklickho kdu dlky n C , pak g dl polynom
(xn1 ; 1).
Dukaz. Pedpokldejme, e tomu tak nen. Meme pak pst
xn ; 1 = g(x)q(x) + r(x)
kde r(x) je nenulov polynom se stupnm menm ne je stupe g. Protoe q(x)f (x) 2
C a r = ;qg v tomto okruhu, plyne z linearity, e i r je kdov
slovo, tj. se neme
jednat o polynom minimlnho stupn a tedy r = 0, spor.
Lemma 9.6 Je-li dn polynom p stupn < n, pak mnoina vech polynom C =
fqp(mod(xn1 ; 1)) : q je polynom stupn < ng je cyklick kd dlky n.
Dukaz. Evidentn, C je linern kd. Zrove , je-li qp 2 C , je i xqp 2 C tj. C je
cyklick kd.
10 Marinerv kd a Reed-Mullerovy kdy
V tomto odstavci se budeme vnovat dalm dvma pkladm, kdy pomoc klasick
modern algebry byly zkonstruovny a vyvinuty nov
tdy kd.
10.1 Hadamardovy k
dy
Kdovn R(1 5) pouit
v roce 1969 kosmickm korbem Mariner 9 pro penos
fotogra z Marsu je specilnm ppadem nsledujcch obecnch kd.
Nejprve si pipome me nkter
pojmy z modern algebry. Hadamardova matice je
matice H typu n n, jej koecienty jsou bu +1 nebo ;1 tak, e
HH T = nEn (4.12)
kde En je jednotkov matice typu n n.
Jsou-li dle A a B tvercov
matice typu m m a n n, denujeme jejich Kroneckerv sou
in jako matici A B typu mn mn
2
6
A B = 64
3
a11B a12 B : : : a1m B 7
...
...
... 7 :
5
am1 B am2 B : : : amm B
Pmm vpotem pak snadno dokeme:
87
(4.13)
88
Lemma 10.1 Jsou-li H1 a H2 Hadamardovy matice, je jejich Kroneckerv sou
in
H1 H2 Hadamardova matice.
T
^
^
Dukaz. Potejme
P G = (HP1 H2 )(H1 H2 ) . Pak gij , i = i+n(i;1), j = j +n(j ;1).
Zejm
naPgij = ml=1
aîl a^jl ( nk=1 bik bjkP). Pokud i = j , je nutn î =P^j a i = j a tedy
P
m
n
i gii = l=1 aîl aîl ( k=1 bik bik ). Ale nk=1 bik bik = n a tedy gii = ml=1 aîl aîl n = mn.
Nech'
tedy iP6= j . Pak bu i P6= j nebo î 6= ^j . Nech' napklad î 6= ^j . Pak gij =
P
m
n b b ) = 0.. Nech' tedy i 6= j . Podobn, g =
(Pl=1 aîl a^jl )(Pnk=1 bik bjk ) = 0(
ij
k=1 ik jk
P
m
m
n
( l=1 aîl a^jl )( k=1 bik bjk ) = ( l=1 aîl a^jl )0 = 0.
Zaneme-li tedy s nejmen netriviln Hadamardovou matic
"
#
1
1
H2 = 1 ;1 meme postupn iterovat Kroneckerovm souinem, abychom obdreli posloupnost
Hadamardovch matic s exponenciln rostoucm typem. Chceme-li pak tuto posloupnost pout pro ely kdovn, pedpokldejme, e H je Hadamardova matice
rozmru n n, piem n je sud
. Denujme pak A jakoto matici typu 2n n
"
#
H
A = ;H :
Pak denujme M jakoto matici, kterou zskme z matice A tak, e nahradme
kad vskyt ;1 v A slem 0.
Snadno se ov nsledujc tvrzen
Lemma 10.2 Hadamardovo kdovn
1. Jsou-li x a y dva rzn dky matice M , je pak vzdlenost d(x y) vektor x a
y rovna slu n2 nebo n.
2. -dky matice M tvo binrn (n 2n n2 )-kd.
Dukaz. Snadn
cvien. Toti, vezmeme-li 2 rzn
dky vznikl
z H , nutn je poet
mst, kde se dky li, roven potu mst, kde jsou oba dky stejn
, tj. d(x y) = n2 .
Podobn, vezmeme-li 2 rzn
dky, z nich jeden vznikl z H a druh z ;H a zrove
oba z rznch vektor z H , je nutn opt poet mst, kde se dky li, roven potu
mst, kde jsou oba dky stejn
, tj. opt d(x y) = n2 . Ppad, kdy oba dky vznikly
ze stejn
ho vektoru, nm dv vzdlenost rovnu n. Posledn ppad, kdy oba dky
vznikly z ;H , se pevede na prvn ppad. Zbvajc st tvrzen je triviln.
Provedeme-li ve uveden
ptkrt za sebou na matici H2 , obdrme n = 32 a
to je pesn kdovn pouit
Marinerem. Kdy zskan
ve uvedenm postupem se
nazvaj Hadamardovy kdy.
88
89
10.2 Reed-Mullerovo k
dovn
Tato prakticky dleit tda kd byla objevena I.S. Reedem a D.E. Mullerem v
roce 1954. Abychom mohli popsat tyto kdy, budeme nejprve prezentovat jednoduch
zpsob zkonstruovn novch kdovn ze starch pvodnch.
Lemma 10.3 Je-li dn (n M1 d1) binrn kdovn C1 a jin (n M2 d2) binrn
kdovn C2 , meme pak denovat tet binrn kdovn C3 = C1 C2 jakoto
C3 = f(u u + v) : u 2 C1 v 2 C2 g:
Pitom C3 je (2n M1 M2 d3)-kd, kde
d3 = minf2d1 d2g:
(4.14)
Dukaz. Toti d
lka kdovch slov v C3 je nutn 2n a snadno se ov, e jich je prv
M1 M2 . To plyne z toho, e pokud (u1 u1 + v1 ) = (u2 u2 + v2) je nutn u1 = u2 a
tedy i v1 = v2 . Takovchto uspodanch dvojic (u v) je prv M1 M2 . Zbv ovit,
e minimln d
lka kdovn C3 , kterou zname d3, je rovna minf2d1 d2g. To je ale
zejm
. Toti, je-li (u1 u1 + v1 ) =
6 (u2 u2 + v2 ), pak mohou nastat nsledujc ppady
1. u1 = u2 : pak d(v1 v2) = d((u1 u1 + v1) (u2 u2 + v2 )) d2.
2. v1 = v2 : pak d(u1 u2) + d(u1 u2 ) = d((u1 u1 + v1 ) (u2 u2 + v2)) 2d1.
3. v1 =
6 v2 a v1 =6 v2 : pak ozname-li In = fi : i(u1) =6 i (u2)g, Ie = fi :
i (u1) = i (u2)g, Jn = fi : i(v1 ) =
6 i (v2)g, Je = fi : i(v1 ) = i (v2)g, je
d((u1 u1 + v1 ) (u2 u2 + v2)) = jInj + jJe \ Inj + jJn \ Iej = jJnj +2jJe \ In j d2.
Pitom v prvnm a druh
m ppad me pro vhodn vybran
dvojice nastat rovnost,
tj. tvrzen plat.
Denujme nyn rekurzivn Reed-Mullerv kd C (r m) pedpisem:
Pro vechna nezporn cel sla m a r takov, e 0 r m, denujeme C (r m)
jakoto kd d
lky n = 2m takov, e
C (0 m) = f0 1g
(4.15)
kde 0 = (0 0 : : : 0) a 1 = (1 1m : : : 1), C (m m) je mnoina vech binrnch vektor
d
lky n = 2m tj. C (m m) = 22 a
C (r + 1 m + 1) = C (r + 1 m) C (r m)
89
(4.16)
90
pro r < m. Meme pak tyto kdy konstruovat nsledovn:
m = 1 C (0 1)
C (1 1)
m = 2 C (0 2)
C (1 2)
=
=
=
=
=
f00 11g
f00 01 10 11g
f0000 1111g
C (1 1) C (0 1)
f0000 0011 0101 0110 1001 1010 1100 1111g
atd. Aplikujeme-li nyn lemma 10.3, obdrme nsledujc vtu:
Vta 10.4 Pro vechna nezporn cel sla m a r takov, e 0 r m je ReedMullerv C (r m) binrn kd charakteristiky (nr Mr dr ), kde
!
!
!
P
m
m
1. Mr = 2a , kde a = ri=0 i = 1 + 1 + : : : + mr ,
2. nr = 2m ,
3. dr = 2m;r .
Dukaz. Dkaz povedeme indukc vzhledem k denici C (r m). Toti pro C (0 m) =
f0 1g je poet slov M0 roven dvma a protoe zrove nutn a = 1, prvn st
tvrzen pro C (0 m) plat. Protoe d
lka nr vektor je dle denice 2m, plat druh st
tvrzen. Protoe kd obsahuje pouze dva vektory, kter
se li na nr = 2m mstech, je
vzdlenost kdu rovna nr = 2m;0 = dr . Uvame nyn kd C (m m), co je mnoina
vech binrnch vektor d
lky n = 2m = nm . Je tedy v naem ppad a = n a
tedy i Mm = 2a .Vzdlenost kdu je pak nutn 1 = 2m;m . Vnujme se nyn ppadu
C (r + 1 m + 1) = C (r + 1 m) C (r m). Z induknho pedpokladu a lemmatu 10.3
vme, e
!
!
!
!
!
Pr+1 m
Pr+1 m Pr m
Pr+1 m +Pr m
i=0 i
i=0 i
i=0 i
i=0 i
i=0 i
=2
:
Mr+1 = 2
2
=2
Dle vme, e nr+1 = 2 2m = 2m+1 a dr+1 = minf2 2m;r;1 2m;r g = 2m;r =
2m+1;(r+1) .
Problmy 4.1
1. Ukate, e pokud plat
!
P
n
;
1
d
;
2
k
(a) 2 i=0
< 2n ,
i
pak existuje binrn linern -n k]-kd s minimln vzdlenost alespo d. Tud
odvote, e
90
91
(a) 2k A2 (n d),
kde k je nejvt pirozen slo splnujc nerovnost (1). Nvod: Zkonstruujte
matici H typu (n ; k) n, takovou, e jej hodnost je nejve d ; 2.
2. Ukate, e je-li H Hadamardova matice du n, je nutn n = 1 2 nebo je n
nsobek 4. Poznamenejme, e existuje hypotza, e pokud n je nsobek ty,
existuje Hadamardova matice du n.
91
92
92
P
loha A
Nhodn jevy a nhodn veliiny
Tento dodatek obsahuje zkladn pojmy nutn
pro pochopen probran
ltky. Je
zaloen na skriptech -4].
1 Miteln prostor a vztahy mezi nhodnmi jevy
Neprzdnou mnoinu monch vsledk nhodn
ho pokusu zname + a nazvme
ji zkladn prostor . Mon
vsledky nhodn
ho pokusu zname !t, t 2 T , kde T je
indexov mnoina.
Syst
m podmnoin A zkladnho prostoru +, kter
1. obsahuje zkladn prostor,
2. s kadmi dvma mnoinami obsahuje i jejich rozdl,
3. obsahuje-li kadou ze spoetn
posloupnosti mnoin, obsahuje i jejich sjednocen
se nazv jevov pole .
Poznamenejme, e m-li zkladn prostor alespo dva prvky, nen jevov
pole
uvedenmi temi axiomy ureno jednoznan.
Je-li A 2 A, ekneme, e A je nhodn jev vzhledem k jevov
mu poli A. Dvojici
(+ A) nazveme miteln prostor , mnoinu + pak nazveme jist jev, mnoinu nemon jev. Prvek ! 2 T+ nazveme elementrn jev. Nech' I je libovoln neprzdn
indexov
mnoina. Pak i2I Ai zna spole
n nastoupen nhodnch jev Ai, i 2 I
S
a i2I Ai zna nastoupen alespo jednoho z nhodnch jev Ai, i 2 I . Ai = + ; Ai
zna opa
n nhodn jev k nhodnmu jevu Ai, i 2 I . Pitom to, e ! 2 Ai , i 2 I
znamen, e mon vsledek ! je pzniv jevu Ai .
Nech' i j 2 I . Pak Ai ; Aj znamen nastoupen jevu Ai za nenastoupen jevu Aj ,
Aj Ai znamen, e nhodn jev Aj m za dsledek nhodn jev Ai a Ai \ Aj = znamen, e nhodn
jevy Ai a Aj jsou neslu
iteln.
93
94
PLOHA A. N
HODN JEVY A N
HODN VELIINY
2 Pravdpodobnostn prostor
Nech' (+ A) je miteln prostor. Pravdpodobnost rozumme relnou mnoinovou
funkci P : A ! R, kter je
1. nezporn (pro vechna A 2 A je P (A) 0),
S1
P1
1
2. spoetn aditivn (81
i=1 8j =i+1Ai \ Aj = =) P ( i=1 Ai ) = i=1 P (Ai)),
3. normovan (P (+) = 1).
Trojice (+ A P ) se nazv pravdpodobnostn prostor. Za pedpokladu, e A 6=
f +g, nen pravdpodobnost P uvedenmi temi axiomy jednoznan urena.
3 Klasick pravdpodobnost
Nech' zkladn prostor + je konen neprzdn mnoina a nech' jevov
pole A obsahuje vechny podmnoiny zkladnho prostoru tj. A = 2. Ozname m(+) = j+j
poet vech monch vsledk a pro libovoln jev A 2 A ozname m(A) = jAj poet
monch vsledk pznivch jevu A. Pak relnou funkci P : A ! R denovanou pro
vechna A 2 A vztahem
(A)
P (A) = m
m(+)
nazveme klasick pravdpodobnost. Vem elementrnm jevm pak piazujeme stej1
nou pravdpodobnost m()
. Nen-li tato podmnka splnna, nelze klasickou pravdpodobnost pout.
Vta 3.1 Bute A1 : : : An 2 A libovoln nhodn jevy. Pak plat
P (Sni=1 Ai) = Pni=1 PP(Ai) ; P1i<jn P (Ai \ Aj ) + : : : +
(;1)l 1i1<:::<iln P (Ai1 \ : : : \ Ail ) + : : : + (;1)n;1P (A1 \ : : : \ An):
4 Podmnn pravdpodobnost
Nech' (+ A P ) je pravdpodobnostn prostor, H 2 A nhodn jev s nenulovou pravdpodobnost. Pro kad
A 2 A denujeme podmnnou pravdpodobnost vzorcem
\ H):
P (AjH ) = P (PA(H
)
Vta 4.1 Vta o nsoben pravdpodobnost Nech( (+ A P ) je pravdpodobnostn prostor, A1 : : : An 2 A nhodn jevy takov, e P (A1 \ : : : \ An;1 ) > 0. Pak
plat
P (A1 \ : : : \ An ) = P (A1) P (A2jA1) P (A3jA1 \ A2 ) : : : P (AnjA1 \ A2 \ : : : \ An;1 ):
94
5. STOCHASTICKY NEZ
VISL N
HODN JEVY
95
Nech' (+ A P ) je pravdpodobnostn prostor a nech' je dn rozklad (Hi : i 2 I )
zkladnho prostoru + na nejve spoetn mnoho jev Hi o nenulovch pravdpodobnostech P (Hi). *kme, e je dn pln systm hypotz. Potom
1. pro libovoln jev A 2 A plat formule pln pravdpodobnosti:
X
P (A) = P (Hi) P (AjHi)
i2I
2. pro nhodn jev A s nenulovou pravdpodobnost a pro libovoln jev Hk z
pln
ho syst
mu hypot
z plat 1. Bayesv vzorec:
k ) P (AjHk )
P (Hk jA) = P P (H
i2I P (Hi) P (AjHi)
3. pro nhodn jev A s nenulovou pravdpodobnost a pro libovoln jev B 2 A
plat 2. Bayesv vzorec:
P P (H ) P (AjH ) P (B jA \ H )
i
P (B jA) = i2I P i P (H ) iP (AjH )
:
i
i
i2I
Pouit 1. Bayesova vzorce: V souladu s textem lohy stanovme jevy Hi , i 2 I , kter
se navzjem vyluuj a pitom vyerpvaj vechny monosti. Jeden z nich mus bt
nhodn jev, jeho pravdpodobnost ns zajm. Jev, o nm je v loze eeno, e
skuten nastal, ozname A. Pak pro i 2 I vypoteme apriorn pravdpodobnosti
P (Hi) a podmnn
pravdpodobnosti P (AjHi). Dosazenm do 1. Bayesova vzorce
vypoteme aposteriorn pravdpodobnost P (Hk jA).
Pouit 2. Bayesova vzorce: Stanovme opt pln syst
m hypot
z Hi , i 2 I . Jev,
kter skuten nastal, ozname A a nhodn jev, na jeho pravdpodobnost se ptme,
ozname B . Pak pro i 2 I vypoteme apriorn pravdpodobnosti P (Hi) a podmnn
pravdpodobnosti P (AjHi) a P (B jA \ Hi). Dosazenm do 2. Bayesova vzorce
dostaneme pravdpodobnost P (B jA).
Charakteristick znak, kter odliuje lohy vedouc na 1. Bayesv vzorec od loh
vedoucch na 2. Bayesv vzorec spov v tom, e v prvnm ppad se ptme na
pravdpodobnost jevu, kter je toton s jednou z hypot
z, kdeto ve druh
m ppad
se ptme na pravdpodobnost jevu, kter je zcela nov a nesouvis s ostatnmi jevy
v loze popsanmi.
5 Stochasticky nezvisl
nhodn
jevy
Nech' (+ A P ) je pravdpodobnostn prostor. *ekneme, e nhodn
jevy A1 A2 : : : An
jsou stochasticky nezvisl vzhledem k pravdpodobnosti P , jestlie plat multiplikativn vztahy:
95
PLOHA A. N
HODN JEVY A N
HODN VELIINY
96
8i < j :
P (Ai \ Aj ) = P (Ai) P (Aj )
8i < j < k : P (Ai \ Aj \ Ak ) = P (Ai) P (Aj ) P (Ak )
:
:
:
P (A1 \ : : : \ An) = P (A1) : : : P (An):
Denici lze rozit i na spoetnou posloupnost jev: *ekneme, e jevy A1 A2 : : : Ak : : : 2
A jsou stochasticky nezvisl vzhledem k pravdpodobnosti P , jestlie pro vechna
pirozen n jsou stochasticky nezvisl
nhodn
jevy A1 A2 : : : An.
Ovujeme-li stochastickou nezvislost nhodnch jev, musme prozkoumat platnost vech multiplikativnch jev.
Je-li v textu lohy eeno, e jevy jsou stochasticky nezvisl
a mme-li stanovit
pravdpodobnost nastoupen alespo jednoho z tchto jev, vyuijeme de Morganova
pravidla a potme
n
\n
n
\n
Y
P ( Ai) = P ( Ai) = 1 ; P ( Ai) = 1 ; (1 ; P (Ai)):
i=1
i=1
i=1
i=1
6 Borelovsk
mnoiny a nhodn
veliiny
Nech' n je pirozen
slo. Mnoinu Rn nazvme n-rozmrnm prostorem a mnoinu
R1 = RN nazvme spo
etn rozmrnm prostorem.
Minimln jevov
pole na Rn obsahujc tdu vech interval (;1 x1 ](;1 x2 ]
: : : (;1 xn] pro (x1 x2 : : : xn) 2 Rn, nazvme n-rozmrnm borelovskm polem
B(n) a prvky tohoto pole nazvme
n-rozmrnmi borelovskmi mnoinami. Podobn
pro spoetn
borelovsk
pole B(1) .
Mezi borelovsk
mnoiny pat zejm
na przdn mnoina, cel konen rozmrn
pop. spoetn rozmrn prostor, vechny jednobodov
, konen
resp. spoetn
mnoiny, vechny intervaly, vechny oteven
i uzaven
oblasti a vechna nejve spoetn
sjednocen takovch mnoin. Kart
zsk souin borelovskch mnoin je opt borelovsk mnoina, ale vy dimenze.
Zobrazen X : + ! R se nazv nhodn veliina vzhledem k jevov
mu poli A,
jestlie
8B 2 B : f! 2 + : X (!) 2 B g = X ;1(B ) 2 A
tj. pln vzor kad
borelovsk
mnoiny je nhodnm jevem.
Obraz X (!) se nazv seln realizace nhodn
veliiny X pslun k mon
mu
vsledku !. Jestlie nehroz nebezpe nedorozumn, zapisujeme nhodnou veliinu
i jej realizaci tm symbolem X . Mnoinu f! 2 + : X (!) 2 B g zkrcen zapisujeme
fX 2 B g.
96
7. N
HODN VEKTORY
97
Vme, e kad mnoina typu fX 2 B g (kde B 2 B(n) ) je jevem. Ve specilnm ppad B = fxg nebo B = (;1 x] peme jednodueji fX = xg fX xg.
Podmnky mohou bt vyjadovny logickmi spojkami negace, konjunkce, disjunkce
a implikace. Jim odpovdaj mnoinov
operace komplement, prnik, sjednocen a
relace mnoinov
inkluze.
Zpis odpovdajc pravdpodobnosti zkrtme takto: P (f! 2 + : X (!) 2 B g) :=
P (X 2 B ), co je pravdpodobnost, e nhodn veliina X se realizuje v mnoin
B P (f! 2 + : X (!) 2 B gjf! 2 + : Y (!) 2 C g := P (X 2 B jY 2 C ), co je
pravdpodobnost, e nhodn veliina X se realizuje v mnoin B za podmnky, e
nhodn veliina Y se realizuje v mnoin C .
Funkce 5 : R ! R denovan vztahem 8x 2 R : 5(x) = P (X x) se nazv
distribu
n funkce nhodn veli
iny X vzhledem k pravdpodobnosti P .
Nhodn veliina X se nazv diskrtn, jestlie existuje funkce (x) nulov v R s
vjimkou nejm
n jednoho a nejve spoetn mnoha bod, kde je kladn
(vlastnost
P
1
D1: pro vechna x 2 R je (x) 0), je normovan (vlastnost D2: P
x=;1 (x) = 1,
kde se staj jen kladn
hodnoty) a plat pro ni 8x 2 R : 5(x) = tx (t). Tato
funkce se nazv pravdpodobnostn funkce nhodn
veliiny X . Krom D1, D2 m
tyto vlastnosti: 8x 2 R : (x) = P (X = x), je-li x0 2 R libovoln, ale pevn dan
bod, pak (x0 ) = 5(x0 ) ; limx!x;0 5(x).
Pro diskr
tn nhodnou veliinu je charakteristick
, e nabv pouze konen nebo
nejve spoetn mnoha hodnot. Jej distribun funkce m schodovit charakter.
M-li funkce (x) vlastnosti D1, D2, pak existuje pravdpodobnostn prostor
(+ A P ) a na nm denovan diskr
tn nhodn veliina X tak, e (x) je jej
pravdpodobnostn funkce.
7 Nhodn
vektory
Nech' (+ A P ) je pravdpodobnostn prostor, X1 X2 : : : Xn nhodn
veliiny denovan
na (+ A P ), 51 52 : : : 5n jejich distribun funkce a jedn-li se o diskr
tn
nhodn
veliiny, pak 1 2 : : : n bute jejich pravdpodobnostn funkce.
Nhodn vektor je uspodan n-tice X = (X1 X2 : : : Xn). Jeho distribun
funkci denujeme vztahem:
5(x1 x2 : : : xn) = P (X1 x1 \ X2 x2 \ : : : \ Xn xn):
Nhodn vektor X = (X1 X2 : : : Xn) se nazv diskr
tn, jestlie existuje funkce
(x) nulov v Rn s vjimkou nejm
n jednoho a nejve spoetn mnoha bod, kde
D1: pro vechna x 2 Rn je (x) 0), je normovan (vlastnost
je kladn
(vlastnost
P
P
1
D2: 1
: xn) = 1,Pkde se staj jen kladn
hodnoty) a plat
x1 =;1 : : : xn =;1 (x1 : : P
pro ni 8x 2 R : 5(x1 : : : xn) = t1 x1 : : : tn xn (t1 : : : tn). Tato funkce se nazv
pravdpodobnostn funkce diskr
tnho nhodn
ho vektoru X. Krom D1, D2 m tyto
97
98
PLOHA A. N
HODN JEVY A N
HODN VELIINY
n
vlastnosti:
1 i n libovoln index, pak
P1 : : : 8Px12 R P: 1(x) = : P: :(PX1 = x),(je-li
x1 =;1
xi;1 =;1 xi+1 =;1
xn =;1 x1 : : : xn ) = i (xi ).
Nech' T je neprzdn indexov mnoina. *ekneme, e nhodn
veliiny Xt jsou
stochasticky nezvisl
, jestlie pro vechny konen
podmnoiny fu : : : vg T a
vechny borelovsk
podmnoiny Bu : : : Bv jsou stochasticky nezvisl
jevy fXu 2
Bug, . . . , fXv 2 Bv g tj. (x1 : : : xn) = 1 (x1 : : : n(xn ).
Zobrazen g : R ! R nazvme borelovskou funkc, jestlie vzor borelovsk
mnoiny je borelovsk mnoina tj.
8B 2 B(1) : fx 2 R : g(x) 2 B g 2 B(1) :
Obecn zobrazen g = (g1 g2 : : : gn) : Rn ! Rm nazvme borelovskou funkc,
jestlie vzor borelovsk
mnoiny je borelovsk mnoina tj.
8B 2 B(m) : f(x1 : : : xn) 2 Rn : (g1(x1 : : : xn) : : : gm(x1 : : : xn)) 2 B g 2 B(n) :
Mezi borelovsk
funkce nle zejm
na vechny funkce spojit
na cel
m n;rozmrn
m
prostoru nebo v kad
z disjunktnch oblast, na n byl tento prostor rozloen. Rovn
limita vude konvergentn posloupnosti takovchto funkc je borelovsk funkce.
Z dan
nhodn
veliiny X : + ! R vytvome pomoc borelovsk
funkce g : R !
R zobrazen Y : + ! R dan
takto:
8! 2 + : Y (!) = g(X (!)):
Toto zobrazen je opt nhodn veliina. Nazv se transformovan nhodn veli
ina
.
Z dan
ho nhodn
ho vektoru X = (X1 : : : Xn) : + ! Rn vytvome pomoc
borelovsk
funkce g = (g1 : : : gm) : Rn ! Rm zobrazen Y : + ! Rm dan
takto:
8! 2 + : Y (!) = g(X (!)):
Toto zobrazen je opt nhodn vektor. Nazv se transformovan nhodn vektor.
Rozepsno:
8! 2 + : (Y1(!) : : : Ym(!)) = (g1(X1(!) : : : Xn(!)) : : : gm(X1(!) : : : Xn(!))):
Pedpokldejme nyn, e X je diskr
tn nhodn vektor s pravdpodobnostn
funkc (x1 : : : xn) a g : Rn ! R je borelovsk funkce. Odvodme pravdpodobnostn funkci (y) transformovan
nhodn
veliiny Y (!) = g(X (!)). Toti
(y) = P (Y = y) = P (g(X1 : : : Xn) = y) = P ((X1 : : : Xn) 2 S (y))
kde S (y) = f(x1 : : : xn) 2 Rn : g(x1 : : : xn) = yg, tedy
X
(y) =
(x1 : : : xn):
(x1 :::xn )2S (y)
98
8. STEDN HODNOTA, ROZPTYL, KOVARIANCE A KOEFICIENT
KORELACE N
HODNCH VELIIN
99
8 Stedn hodnota, rozptyl, kovariance a koecient
korelace nhodnch veliin
Nech' je dn pravdpodobnostn prostor (+ A P ) a skalrn nhodn veliina X .
Je-li nhodn veliina X diskr
tn a m pravdpodobnostn funkci P(x), nazvme
jej stedn hodnotou vzhledem k pravdpodobnosti P slo E (X ) = 1
x=;1 x (x)
za pedpokladu, e ppadn nekonen ada vpravo absolutn konverguje. Jinak ekneme, e E (X ) neexistuje. Stedn hodnota E (X ) je slo, kter
charakterizuje polohu
selnch realizac nhodn
veliiny X na seln
ose. Nech' YP= g(X ), kde g je borelovsk funkce, X diskr
tn nhodn veliina. Pak E (Y ) = x2R g(x)(x), pokud
nekonen ada vpravo absolutn konverguje. &slo D(X ) = E (-X ; E (X )]2 ) nazvme rozptylem nhodn
veliiny X vzhledem kppravdpodobnosti P za pedpokladu,
e ob stedn hodnoty vpravo existuj. &slo D nazvme smrodatnou odchylkou
nhodn
veliiny X . Pro vpoty je vhodn tvar D(X ) = E (X 2 ) ; -E (X )]2. Rozptyl
D(X ) je slo, kter
charakterizuje variabilitu selnch realizac nhodn
veliiny X
kolem stedn hodnoty E (X ).
Nech' (X1 X2) je nhodn vektor. Kovarianc nhodnch veliin X1 X2 nazvme slo C (X1 X2) = E (-X1 ; E (X1)]-X2 ; E (X2 )]) za pedpokladu, e stedn
hodnoty vpravo existuj. Kovariance C (X1 X2) je slo, kter
charakterizuje spolenou variabilitu selnch realizac nhodnch veliin X1 X2 kolem stednch hodnot
E (X1 ) E (X2). Je-li C (X1 X2) = 0 ekneme, e nhodn
veliiny X1 X2 jsou nekorelovan
, tzn. e mezi nimi neexistuje dn linern zvislost. Pro vpoty je vhodn
tvar C (X1 X2 ) = E (X1 X2) ; E (X1)E (X2 ).
Koecientem korelace nhodnch veliin X1 X2 nazvme slo
0
1
X
;
E
(
X
)
X
;
E
(
X
)
1
1
2
2 A
R(X1 X2 ) = E @ q
q
= q C (X1q X2) D(X1)
D(X2)
D(X1) D(X2)
q
q
D(X1) D(X2) 6= 0 za pedpokladu, e stedn hodnoty vpravo existuj. Koecient korelace R(X1 X2 ) je slo, kter
charakterizuje mru tsnosti linern zvislosti
selnch realizac nhodnch veliin X1 X2. Nabv hodnot z intervalu < ;1 1 >.
9 Cauchy-Schwarz-Buakovsk
ho nerovnost, Markovova a ebyevova nerovnost
a) Cauchy-Schwarz-Buakovskho nerovnost
Nech' X1 X2 jsou nhodn
veliiny. Jestlie existuj jejich stedn hodnoty a rozptyly, pak
q
q
jC (X1 X2)j D(X1) D(X2) tj. jR(X1 X2)j 1
99
100
PLOHA A. N
HODN JEVY A N
HODN VELIINY
a rovnost nastane tehdy a jen tehdy, kdy mezi veliinami X1 X2 existuje s pravdpodobnost 1 pln linern zvislost, tedy existuj konstanty a1 a2 tak, e P (X2 =
a1 + a2X1 ) = 1.
b) Markovova nerovnost
Jestlie je P (X > 0) = 1 a E (X ) existuje, pak pro vechna " > 0 plat
P (X > "E (X )) 1" :
b) )ebyevova nerovnost
Jestlie existuj E (X ) a D(X ), pak pro kad
t > 0 plat:
q
P (jX ; E (X )j > t D(X )) t12 :
100
Rejst
k
Aq (n d), 69
n-rozmrn borelovsk mnoina, 96
n-rozmrn
borelovsk
pole B(n) , 96
r-t
rozen kanlu, 40
r-sf
ra se stedem y, 52
1. Bayesv vzorec, 95
2. Bayesv vzorec, 95
binrn symetrick kanl, 39
binrn vypoutc kanl, 39
bit, 18
blokov kd, 59
borelovsk funkce, 98
Cauchy-Schwarz-Bu akovsk
ho nerovnost,
99
cyklick kd, 84
&ebyevova nerovnost, 100
dekdovac chyba, 43
dekdovac pravidlo, 43
dekdovn, 43
detekovn, 42
diskr
tn kanl bez pamti, 38
diskr
tn nhodn veliina, 97
distribun funkce nhodn
veliiny X
vzhledem k pravdpodobnosti P ,
97
elementrn jev, 93
entropie nhodn
veliiny, 11
entropie nhodn
ho vektoru, 11
formule pln
pravdpodobnosti, 95
101
generujc matice, 75
generujc polynom, 86
Gilbert-Varshamova hranice, 72
Hadamardova matice, 87
Hadamardv kd, 88
Hammingova vzdlenost, 46, 61
Hammingv -n k]-kd, 83
hlavn probl
m teorie kdovn, 69
index podgrupy, 79
informace o U poskytnut V, 19
informace udlosti, 17
informan znak, 78
jednoznan dekdovateln
kdovn, 24
jevov
pole, 93
jist jev, 93
kapacita kanlu, 47
klasick pravdpodobnost, 94
kd, 24
kd C zrove oprav v chyb a ur u
chyb, 63
kd C oprav v chyb, 60
kd C oprav prv v chyb, 60
kd C ur u chyb, 59
kd C ur prv u chyb, 60
kd d
lky n, 43
kdovn, 24
kdov
slovo, 43, 59
koecientem korelace nhodnch veliin, 99
konen
geometrie, 71
kontrola parity, 42, 68, 78
REJSTK
102
kontroln znak, 78
koset, 80
kovariance nhodnch veliin, 99
Kroneckerv souin, 87
linern kd, 75
Markovova nerovnost, 100
matice kanlu , 38
maximln pravdpodobnost chyby, 50
miteln prostor, 93
minimln vzdlenost, 61
minimln vzdlenost kdu C , 61
mon chybov vektor, 80
mon vsledek je pzniv jevu, 93
nhodn
jevy jsou nesluiteln
, 93
nhodn
kdovn, 52
nhodn jev, 93
nhodn vektor, 97
nastoupen alespo jednoho z nhodnch jev , 93
nejistota nhodn
veliiny, 11
nemon jev, 93
nr
objem Vnr
(x) sf
ry S
(x), 61
opan nhodn jev k nhodn
mu jevu,
93
optimln kd, 69
perfektn kd, 73
Plotkinova hranice, 73
podmnn entropie nhodn
promnn
,
14
podmnn pravdpodobnost, 94
polomr pokryt, 72
pozin permutace, 66
pravdpodobnost, 94
pravdpodobnost chyby, 49
pravdpodobnostn funkce, 97
pravdpodobnostn funkce diskr
tnho
nhodn
ho vektoru, 97
pravdpodobnostn prostor, 94
pravidlo idelnho pozorovatele, 45
pravidlo maximln pravdpodobnosti,
45
pravidlo minimln chyby, 45
pravidlo minimln vzdlenosti, 46
prnik x \ y binrnch slov x a y, 67
Reed-Mullerv kd C (r m), 89
reprezentant kosetu, 80
rozptyl nhodn
veliiny, 99
rozen kdovn, 24
rozen kdu, 68
d konen
grupy, 79
n
sf
ra Snr
(x) v Zr se stedem x a polomrem , 61
Singletonova hranice, 73
slovo, 60
smrodatn odchylka, 99
souin kanl, 58
spolen
nastoupen nhodnch jev, 93
stochastick matice, 39
stochasticky nezvisl
nhodn
jevy, 95
stedn hodnota, 99
symbol kontroly parity, 78
symbolov permutace, 66
syndrom kosetu, 81
transformovan nhodn veliina, 98
transformovan nhodn vektor, 98
trhlinov chyba, 57
triviln perfektn kd, 73
pln syst
m hypot
z, 95
vha slova, 61
vektor, 60
vstupn rozdlen kanlu, 44
zkladn prostor, 93
zdroj, 23
zdroj s nulovou pamt, 23
102
REJSTK
103
zdrojem bez pamti, 23
zdrojov
slovo, 24
zkrcen kdu typu xi = s, 68
zprva, 24, 42, 59
103
REJSTK
104
104
Literatura
-1]
-2]
-3]
-4]
-5]
-6]
-7]
-8]
-9]
-10]
-11]
J. Admek: Stochastick procesy a teorie informace - lohy. &VUT, Praha 1989.
J. Admek: Kdovn. SNTL, Praha 1989.
J. Admek: Foundations of Coding Theory. John Wiley & Sons, New York 1991.
M. Budkov, 7. Mikol, P. Oseck: Teorie pravdpodobnosti a matematick
statistika - sbrka pklad. Masarykova univerzita, Brno 1996.
V. Klma: Kdy, komprimace a ifrovn. Chip 2/1993, str. 24-28.
L. Kuera a J. Neetil: Algebraick metody diskrtn matematiky. SNTL, Praha
1989.
J. Paseka: Kryptograe. Uebn texty Masarykova univerzita, Brno 1997.
7. Porubsk a O. Groek: .ifrovanie. Algoritmy, Metdy, Prax. Grada, Praha
1992.
S. Roman: Introduction to Coding and Information Theory. Springer-Verlag New
York, New York 1997.
D. Welsh: Codes and Cryptography. Oxford University Press, New York 1989.
A. D. Wyner: The wire-tap channel. Bell Syst. Tech. J. 54, 1975, str. 1355-1387.
105

Kódování

Transkript

Podobné dokumenty

DATOVÁ KOMUNIKACE

Nové technologie mobilních komunikací

Cesta (ne)obyčejného člověka 2

Ukládání a komprese obrazu

Masarykova Univerzita Plošná fotometrie eliptických galaxi´ı

p klad v vojov ho diagramu adi e adi s dic mi et zci: adi s ta em

Pragmatické pojetí v¥deckého vysv¥tlení (teze k SDZK)

Diplomová práce

Nomenklatorika 1

Determinanty: P ermutace: prosté zobrazení množiny na sebe, na

Marshall Shelley, Draci s dobrými úmysly (jak sloužit problémovým