Normální rozdělení a centrální limitní věta

Transkript

Pravděpodobnost a statistika
Vilém Vychodil
KMI/PRAS, Přednáška 9
Vytvořeno v rámci projektu 2963/2011 FRVŠ
V. Vychodil (KMI/PRAS, Přednáška 9)
1 / 57
Přednáška 9: Přehled
1
Náhodné výběry a výběrová rozdělení:
náhodný výběr, statistika, výběrové rozdělení,
lineární kombinace nezávislých veličin a jejich očekávané hodnoty,
moment generující funkce, rozdělení součtů náhodných veličin.
2
Normální rozdělení:
funkce hustoty normálního rozdělení,
normální a standardní normální rozdělení a jejich vztah,
střední hodnota, rozptyl,
kvantilová funkce, percentily, kritické hodnoty,
Box-Mullerova transformace a generování náhodných čísel,
rozdělení χ2 , lineární kombinace nezávislých normálních veličin.
3
Limitní věty a aproximace:
centrální limitní věta, aproximace pravděpodobností,
aproximace binomického a Poissonova rozdělení normálním rozdělením,
Čebyševova nerovnost, zákon velkých čísel.
2 / 57
Náhodný výběr
Abstrakce pojmu výběr (Přednáška 1):
místo (posloupnosti) konkrétních číselných hodnot x1 , . . . , xn
uvažujme (posloupnost) náhodných veličin X1 , . . . , Xn ;
má smysl uvažovat sdružené rozdělení PX1 ,...,Xn (Přednáška 8).
Definice (Náhodný výběr, angl.: random sample)
Mějme pravděpodobnostní prostor hΩ, F, P i a n nezávislých náhodných veličin
X1 , X2 , . . . , Xn v prostoru hΩ, F, P i, které mají stejné rozdělení pravděpodobnosti,
to jest P ({Xi ∈ A}) = P ({Xj ∈ A}) pro každé i, j a A ∈ B. Označme
toto
n
rozdělení PX . Pak náhodný vektor X : Ω → R definovaný X(ω) (i) = Xi (ω) se
nazývá (n-prvkový) náhodný výběr z rozdělení PX .
Náhodný výběr X : Ω → Rn značíme X = hX1 , . . . , Xn i, nebo jen X1 , . . . , Xn ;
posloupnost nezávislých náhodných veličin se stejným rozdělením.
3 / 57
Statistiky a výběrová rozdělení
Definice (Statistika a výběrové rozdělení)
Mějme pravděpodobnostní prostor hΩ, F, P i, náhodný výběr X : Ω → Rn
a Borelovskou funkci g : Rn → R. Pak náhodnou veličinu ϑ : Ω → R definovanou
ϑ = g(X) nazveme (výběrová) statistika nebo výběrová charakteristika (angl.:
sample statistics) náhodného výběru X. Rozdělení pravděpodobnosti Pϑ : B → [0, 1]
veličiny ϑ nazýváme výběrové rozdělení, angl.: sampling distribution.
Poznámky:
Z definice složené funkce pro statistiku ϑ máme ϑ(ω) = g(X(ω)) ∈ R;
Pϑ (A) = P ({g(X) ∈ A}) = PX ({g ∈ A}) pro každé A ∈ B.
pro konkrétní výběr x1 , . . . , xn je g(x1 , . . . , xn ) konkrétní hodnota;
pro náhodný výběr X je funkce g náhodná veličina v hRn , B n , PX i.
4 / 57
Příklad (Výběr, náhodný výběr a související pojmy)
Náhodný výběr:
n-prvková posloupnost X1 , . . . , Xn nezávislých náhodných veličin;
lze chápat jako náhodný vektor X : Ω → Rn , kde X(ω)(i) = Xi (ω);
díky nezávislosti lze vyjádřit PX z marginálních rozdělení PXi .
Výběr:
n-prvková posloupnost reálných čísel x1 , . . . , xn ;
vznikla jedním pozorováním hodnot veličin náhodného výběru.
Výběrová statistika (charakteristika):
P
X = n1 · ni=1 Xi (průměr náhodného výběru);
P
1
S 2 = n−1
· ni=1 (Xi − X)2 (rozptyl náhodného výběru).
Výběrové rozdělení:
PX , PS 2 , . . . (závisí na µ a σ 2 výchozích Xi a na velikosti náhodného výběru n).
5 / 57
Věta (Očekávané hodnoty součinu nezávislých veličin)
Mějme nezávislé náhodné veličiny X1 , X2 , . . . , Xn v pravděpodobnostním
prostoru
hΩ, F, P i a předpokládejme, že jejich očekávané hodnoty E Xi existují. Potom
E(X1 · X2 · · · Xn ) = E(X1 ) · E(X2 ) · · · E(Xn ).
Důkaz.
Pro diskrétní X1 , . . . , Xn s pravděpodobnostními funkcemi fX1 , . . . , fXn můžeme
s využitím nezávislosti náhodných veličin a distributivity psát:
X
X
···
x1 · · · xn · · · fX1 ,...,Xn (x1 , . . . , xn )
E(X1 · X2 · · · Xn ) =
x ∈C
x ∈C
X1 1
Xn n
x1 · · · xn · · · fX1 (x1 ) · · · fXn (xn )
=
···
x1 ∈C1
xn ∈Cn
X
X
x1 · fX1 (x1 ) · · ·
xn · fXn (xn ).
=
x1 ∈C1
xn ∈Cn
Pro absolutně spojité náhodné veličiny lze prokázat analogicky.
6 / 57
Lineární kombinace nezávislých náhodných veličin
Věta (Střední hodnoty a rozptyl lineárních kombinací)
Mějme nezávislé náhodné veličiny X1 , . . . , Xn , které mají střední hodnoty
2
2
µX1 , . . . , µXn a rozptyly σX
, . . . , σX
. Pak pro libovolná a1 , . . . , an ∈ R platí
n
1
Xn
Xn
2
,
a2i · σX
µY =
ai · µXi ,
σY2 =
i
i=1
i=1
P
kde Y = ni=1 ai · Xi je lineární kombinace X1 , . . . , Xn .
Pro náhodný výběr X1 , . . . , Xn z rozdělení se střední hodnotou µ a rozptylem σ 2 :
2
µX = µ a σX
=
σ2
n
pro
X=
X1 + X2 + · · · + Xn
.
n
Důležité související otázky:
Jaké má X (průměr náhodného výběru) rozdělení?
Pro jaká n je x (výběrový průměr) dobrým odhadem µ (střední hodnota)?
7 / 57
Důkaz.
Tvrzení prokážeme pomocí linearity E. První tvrzení je zřejmé, protože
Pn
Pn
Pn
µY = E(Y ) = E
i=1 ai · Xi =
i=1 E(ai · Xi ) =
i=1 ai · µXi .
Hodnotu rozptylu σY2 veličiny Y vyjádříme podobně:
P
2 Pn
n
σY2 = E (Y − µY )2 = E
(a
·
X
)
−
(a
·
µ
)
i
Xi
i=1 i
i=1 i
P
P
P
2
n
n
n
=E
=E
i=1 ai (Xi − µXi )
i=1
j=1 ai aj (Xi − µXi )(Xj − µXj ) .
Užitím faktu, že E je lineární operátor dostáváme
P P
σY2 = ni=1 nj=1 ai aj · E (Xi − µXi )(Xj − µXj ) .
Pokud ale i 6= j, pak z nezávislosti Xi a Xj dostáváme
E (Xi − µXi )(Xj − µXj ) = E(Xi − µXi ) · E(Xj − µXj )
= E(Xi ) − µXi E(Xj ) − µXj = µXi − µXi µXj − µXj = 0.
P
P
2
Odtud dostáváme σY2 = ni=1 a2i · E (Xi − µXi )2 = ni=1 a2i · σX
.
i
8 / 57
Příklady (Lineární kombinace náhodných veličin)
Mějme nezávislé náhodné veličiny X a Y se středními hodnotami µX = µY
2
a rozptyly σX
= σY2 . Potom pro Z = X + Y platí
µZ = µX − µY = 0,
2
2
2
σZ2 = σX
+ (−1)2 · σY2 = σX
+ σY2 = 2 · σX
.
Pokud je X1 , . . . , X10 je desetiprvkový náhodný výběr z rozdělení se střední
hodnotou µ = 5 a rozptylem σ 2 = 120, pak pro průměr X náhodného výběru:
10
X1 + · · · + X10 X
1
X=
=
· Xi
10
10
i=1
platí
µX =
X10 1
· 5 = 5,
i=1 10
σY2 =
X10
i=1
1
250
· 25 =
= 2.5.
100
100
9 / 57
Generující funkce
Definice (Moment generující funkce)
Mějme náhodnou veličinu X v pravděpodobnostním prostoru hΩ, F, P i. Pak se
reálná funkce MX , která je definovaná v okolí bodu 0 předpisem
R
MX (t) = E et·X = et·X dP.
nazývá moment generující funkce veličiny X, angl.: moment generating function.
Významné vlastnosti:
Lze chápat pro diskrétní i absolutně spojité veličiny;
tvar funkce obvykle jednodušší než distribuční funkce;
jednoznačně určuje rozdělení pravděpodobnosti veličiny X:
Pokud mají X a Y stejné MX a MY , pak jsou PX a PY stejné.
Důkaz vyžaduje pokročilé techniky z matematické analýzy (viz Billingsley).
10 / 57
Vyjádření momentů pomocí generující funkce
Mějme spojitou náhodnou veličinu X s hustotou fX . Pak MX je rovna
Z ∞
t·X
MX (t) = E e
=
et·x · fX (x) dx .
−∞
Poznámka: Použitím Leibnitzova pravidla pro derivování pod integrálem máme:
Z ∞
Z ∞
t·x
00
0
et·x · x2 · fX (x) dx.
e · x · fX (x) dx,
MX (t) =
MX (t) =
−∞
−∞
(n)
MX
Důsledek: Pomocí hodnot
v bodě 0 lze vyjádřit ntý moment, například:
Z ∞
Z ∞
0
00
MX (0) =
x · fX (x) dx = E(X), MX (0) =
x2 · fX (x) dx = E(X 2 ).
−∞
−∞
Pokud je X diskrétní veličina, kde PX (C) = 1 pro spočetnou C ⊆ R, pak
X
MX (t) = E et·X =
et·x · fX (x) ,
x∈C
(n)
kde fX je pravděpodobnostní funkce; rovněž platí MX (0) = E(X n ).
11 / 57
Věta (Generující funkce lineárních kombinací náhodných veličin)
Mějme nezávislé náhodné veličiny X1 , . . . , Xn , které mají moment generující funkce
MX1 , . . . , MXn . Pak pro libovolná a1 , . . . , an ∈ R platí, že
Yn
MY (t) =
MXi (ai · t)
i=1
P
je moment generující funkce náhodné veličiny Y = ni=1 ai · Xi .
Důkaz.
Rozepsáním definičního vztahu a s využitím vlastností exponenciální funkce máme
P
Q
MY (t) = E etY = E exp t · ni=1 ai Xi = E ni=1 exp(tai Xi ) .
Jelikož jsou X1 , . . . , Xn nezávislé, pak jsou i exp(ta1 X1 ), . . . , exp(tan Xn ) nezávislé:
Q
Q
MY (t) = E ni=1 exp(tai Xi ) = ni=1 E(exp(tai Xi )).
Užitím MXi (t) = E(exp(tXi )) dostáváme MXi (ai · t) = E(exp(tai Xi )) pro každé
i = 1, . . . , n, z čehož už požadované tvrzení okamžitě plyne.
12 / 57
Důsledky pro náhodné výběry a jejich průměry
Mějme náhodný výběr X1 , . . . , Xn z rozdělení jehož moment generující funkce je M .
Potom platí:
P
1
Moment generující funkce Y = ni=1 Xi je ve tvaru
Yn
n
MY (t) =
M (t) = M (t) .
i=1
2
Pn
1
i=1 n
· Xi je ve tvaru
n
Yn
t
t
= M
.
MX (t) =
M
i=1
n
n
Moment generující funkce X =
Související otázka:
Jak vypadá rozdělení PX odpovídající MX (pro n → ∞)?
13 / 57
Příklady (Rozdělení součtů nezávislých náhodných veličin)
Mějme nezávislé náhodné veličiny X1 , . . . , Xn , které mají Bernoulliho (alternativní)
rozdělení s parametrem p. Potom moment generující funkce
P každé z Xi je ve tvaru
M (t) = (1 − p) + pet . Užitím předchozí věty pro Y = ni=1 Xi platí,
n
MY (t) = M (t)n = (1 − p) + pet ,
což je moment generující funkce binomického rozdělení b(n, p).
Pokud jsou X1 , . . . , Xn nezávislé a mají
P Poissonovo rozdělení s parametrem λ = 1,
pak je M (t) = exp(et − 1). Pro Y = ni=1 Xi máme
n
MY (t) = M (t)n = exp(et − 1) = exp n(et − 1) ,
to jest Y má Poissonovo rozdělení s parametrem λ = n.
Důsledky:
X s rozdělením b(n, p) je součtem n nezávislých Bernoulliho veličin;
X s Poissonovým rozdělením s λ ∈ N je součtem
n nezávislých veličin s Poissonovým rozdělením s parametrem 1.
14 / 57
Příklad (Motivace: rozdělení průměru náhodného výběru)
Hodíme n šestistěnných kostek a spočítáme průměrnou hodnotu teček, které padnou
na kostkách (pozorujeme tak náhodný výběr X1 , . . . , Xn a jeho průměr X).
n=1
1
2
3
4
5
1
6
2
3
4
n=4
1
2
3
4
5
n=3
n=2
5
6
1
2
3
4
1
2
3
4
5
6
6
n=6
n=5
6
5
1
2
3
4
5
6
Otázka: Jaké má X rozdělení?
15 / 57
Příklad (Motivace: simulace náhodných veličin a jejich průměrů)
fX
fX
0
5
10
15
20
4
25
4.5
5
5.5
6
4
6.5
4.5
5
5.5
6
6.5
fY
fY
0
0.5
1
1.5
2
0.8
0.9
1
1.1
1.2
0.8
0.9
1
1.1
1.2
16 / 57
Normální rozdělení: význam a historické pozadí
Rozdělení pravděpodobnosti absolutně spojitých náhodných veličin.
Funkce hustoty je symetrická a ve tvaru „zvonuÿ:
0.4
0.3
0.2
0.1
1
2
3
4
5
6
Poznámky:
významné pro součty identicky distribuovaných a nezávislých náhodných veličin,
limitní věty (centrální limitní věta);
Abraham de Moivre, Carl Friedrich Gauss, Marquis Pierre Simon de Laplace, . . .
17 / 57
Věta
Mějme a ∈ R a b ∈ (0, ∞). Pak zobrazení f : R → R dané předpisem
1
(x − a)2
√
,
pro každé x ∈ R,
f (x) =
· exp −
2 · b2
b· 2·π
je funkce hustoty.
Důkaz (začátek).
Z definice f plyne, že f (x) > 0 pro každé x ∈ R. Dále
R f je zjevně spojitá funkce,
což znamená, že je Borelovská. Stačí tedy ověřit, že f dm = 1.
To znamená ukázat, že I definované
Z ∞
Z ∞
I=
f (x) dx =
−∞
−∞
1
(x − a)2
√
· exp −
dx,
2 · b2
b· 2·π
nabývá hodnoty 1.
18 / 57
Důkaz (pokračování).
Substitucí g(x) = x · b + a získáváme
Z ∞
Z
0
I=
f (g(x)) · g (x) dx =
−∞
∞
−∞
1
x2
√
· e− 2 dx
2·π
Dále máme I > 0. To znamená, že pro prokázání I = 1 stačí dokázat I 2 = 1. Máme
Z ∞
2
Z ∞
2
2
2
1
1
− x2
2
− x2
√
·e
I =
dx =
·
e
dx .
2·π
2·π
−∞
−∞
Z poslední rovnosti vyjádříme I 2 pomocí dvojného integrálu:
Z ∞
Z ∞
2
2
1
2
− x2
− y2
·
e
dx ·
e
dy
I =
2·π
−∞
−∞
2
Z ∞Z ∞
ZZ
2
2
1
1
x + y2
− x2
− y2
=
·
e
·e
dx dy =
·
exp −
dx dy.
2 · π −∞ −∞
2·π
2
R2
19 / 57
Důkaz (dokončení).
Transformací dvojného integrálu
2
ZZ
1
x + y2
2
I =
·
exp −
dx dy
2·π
2
R2
do polárních souřadnic pomocí substituce x = % · cos ϕ, y = % · sin ϕ dostáváme pro
transformovanou oblast T = [0, ∞) × [0, 2π):
ZZ
1
(% · cos ϕ)2 + (% · sin ϕ)2 cos ϕ −% sin ϕ 2
d% dϕ.
I =
exp −
·
·
sin
ϕ
%
cos
ϕ
2·π
2
T
x2
x2
Zjednodušením a využitím faktu, že −e− 2 je primitivní funkce k x · e− 2 máme
1
·
I =
2·π
2
Z
2·π Z ∞
2
− %2
e
0
0
1
· % d% dϕ =
·
2·π
Z
2·π
1 dϕ =
0
1
· 2 · π = 1.
2·π
To znamená, že I = 1, tedy f je funkce hustoty.
20 / 57
Normální rozdělení pravděpodobnosti
Definice (Normální rozdělení, angl.: normal distribution)
Spojitá náhodná veličina X má normální rozdělení pravděpodobnosti pokud
existují konstanty µ ∈ R a σ 2 > 0 tak, že její funkce hustoty fX je ve tvaru
1
(x − µ)2
√
fX (x) =
,
pro každé x ∈ R.
· exp −
2 · σ2
σ· 2·π
Zkráceně zapisujeme, že X má rozdělení N (µ, σ 2 ). Pokud má X rozdělení N (0, 1)
pak říkáme, že X má standardní normální rozdělení pravděpodobnosti.
Poznámky:
Korektnost definice plyne z přechodí věty (fX je vskutku funkce hustoty);
označení parametrů µ a σ 2 není náhodné (uvidíme dále);
standardní normální rozdělení má velký teoretický i praktický význam.
21 / 57
Příklad (Vliv parametrů µ a σ 2 na tvar funkce hustoty)
µ = −2 µ = 0
µ=2
µ=4
0.6
σ2
σ2
σ2
σ2
0.3
0.2
0.5
= 0.1
= 0.5
=1
=2
0.4
0.3
0.2
0.1
0.1
−4
−3
−2
−1
0
1
2
3
4
−4
−3
−2
2
σ =1
−1
0
1
2
3
4
µ=0
22 / 57
Věta (Moment generující funkce normálního rozdělení)
Nechť X má rozdělení N (µ, σ 2 ). Potom platí:
σ 2 · t2
MX (t) = exp µ · t +
.
2
Důkaz (začátek).
Z definice MX dostáváme:
Z ∞
Z ∞
et·x
(x − µ)2
t·x
t·X
√
e · f (x) dx =
MX (t) = E e
=
· exp −
dx
2 · σ2
2·π
−∞
−∞ σ ·
Z ∞
1
(x − µ)2
√
· exp t · x −
dx
=
2 · σ2
2·π
−∞ σ ·
Z ∞
1
1 2
2
2
√
· exp −
· x − 2 · x · (µ + σ · t) + µ
dx.
=
2 · σ2
2·π
−∞ σ ·
23 / 57
Důkaz.
V exponentu z předešlého výrazu
Z ∞
1 2
1
2
2
√
· exp −
dx
MX (t) =
· x − 2 · x · (µ + σ · t) + µ
2 · σ2
2·π
−∞ σ ·
vyjádříme x2 − 2 · (µ + σ 2 · t) · x + µ2 jako rozdíl od doplňku na čtverec, to jest:
2
x2 − 2 · x · (µ + σ 2 · t) + µ2 = x − (µ + σ 2 · t) − 2 · µ · σ 2 · t − σ 4 · t2 .
Odtud dostáváme, že
Z ∞
2 · µ · σ 2 · t + σ 4 · t2
1
(x − (µ + σ 2 · t))2
√
MX (t) = exp
·
· exp −
dx.
2 · σ2
2 · σ2
2·π
−∞ σ ·
R∞
Předchozí integrál je ale ve tvaru −∞ fY (y) dy, kde fY je funkce hustoty spojité
náhodné veličiny s rozdělením N (µ + σ 2 · t, σ 2 ), tudíž musí být roven 1. Odtud:
2 · µ · σ 2 · t + σ 4 · t2
σ 2 · t2
MX (t) = exp
= exp µ · t +
.
2 · σ2
2
24 / 57
Střední hodnota a rozptyl
Mějme spojitou náhodnou veličinu X s rozdělením N (µ, σ 2 ). Potom:
Derivace moment generující funkce:
σ 2 · t2
0
2
,
MX (t) = (µ + σ · t) · exp µ · t +
2
σ 2 · t2
2
2
2
00
MX (t) = (µ + σ · t) + σ · exp µ · t +
,
2
MX0 (0) = µ,
MX00 (0) = µ2 + σ 2 .
Střední hodnota µX a rozptyl σX :
µX = E(X) = MX0 (0) = µ ,
2
2
σX
= E(X 2 ) − E(X)2 = MX00 (0) − MX0 (0) = (µ2 + σ 2 ) − µ2 = σ 2 .
Důsledek: Normální rozdělení je dáno svou střední hodnotou a rozptylem.
25 / 57
Standardní normální rozdělení a distribuční funkce
Pokud má náhodná veličina X rozdělení N (0, 1), potom je její funkce hustoty
2
(x − µ)2
1
1
− x2
√
√
=
· exp −
·
e
.
fX (x) =
2 · σ2
σ· 2·π
2·π
Distribuční funkce X se obvykle značí Φ. To jest:
Z a
1
x2
√
Φ(a) = P ({X ≤ a}) =
· e− 2 dx .
−∞ 2 · π
Poznámky:
Φ není elementární funkce (její hodnoty se numericky aproximují);
Z a
1
1
2
a
−x2
Φ(a) = · √ · e
dx = · 1 + erf √
;
2
2
π 0
2
erf je chybová funkce; ve standardu C99 je funkce erfl (viz math.h).
26 / 57
Příklad (Vlastnosti distribuční funkce Φ)
Mějme náhodnou veličinu Z s rozdělením N (0, 1) a hustotou fZ .
fZ
Φ(z0)
0.3
0.2
0.1
−3
−2
−1
0
1
z0
2
3
Základní vlastnosti Φ:
Φ(−z) = 1 − Φ(z), Φ(z) = 1 − Φ(−z);
P ({Z ≤ z}) = Φ(z) = 1 − Φ(−z) = 1 − P ({Z ≤ −z}) = P ({Z > −z}).
27 / 57
Kvantilová funkce standardního normálního rozdělení
Podle definice kvantilové funkce (Přednáška 7) dostáváme, že
Φ− (p) = inf{z ∈ R | p ≤ Φ(z)} .
Protože je Φ absolutně spojitá a rostoucí, existuje k ní inverzní funkce Φ−1 .
V důsledku máme, že Φ− (p) = Φ−1 (p) pro každé p ∈ (0, 1). Odtud platí
Z Φ−1 (p)
1
z2
−1
√
p = Φ Φ (p) =
· e− 2 dz .
2·π
−∞
Poznámky:
Φ−1 (funkce probit) není elementární funkce (numericky se aproximuje);
√
Φ−1 (p) = 2 · erf −1 (2p − 1), kde erf −1 je inverzní chybová funkce;
omezená možnost generovat (pseudo)náhodná čísla pomocí
metod založených na inverzní transformaci (Přednáška 8).
28 / 57
Věta (O vztahu N (µ, σ 2 ) a standardního normálního rozdělení)
Pokud má X rozdělení N (µ, σ 2 ), pak má Z =
(X − µ)
rozdělení N (0, 1).
σ
Důkaz.
Pro distribuční funkci FZ náhodné veličiny Z platí
X −µ
FZ (z) = P ({Z ≤ z}) = P
≤z
= P ({X ≤ z · σ + µ})
σ
Z z·σ+µ
1
(x − µ)2
√
· exp −
dx.
=
2 · σ2
σ· 2·π
−∞
x−µ
Substitucí w =
dostáváme:
σ
Z z
1
w2
√
· e− 2 dw = Φ(z).
P ({Z ≤ z}) =
−∞ 2 · π
29 / 57
Vyjádření hodnot pravděpodobností pro N (µ, σ 2)
Pro každé X s rozdělením N (µ, σ 2 ) máme:
P ({a ≤ X ≤ b}) = P ({a − µ ≤ X − µ ≤ b − µ})
a−µ X −µ b−µ
=P
≤
≤
.
σ
σ
σ
X −µ
má podle předchozí věty rozdělení N (0, 1), platí
Jelikož Z =
σ
a−µ
b−µ
b−µ
a−µ
P ({a ≤ X ≤ b}) = P
≤Z≤
= Φ
−Φ
.
σ
σ
σ
σ
Důsledky:
distribuční funkce Φ standardního normálního rozdělení postačuje pro vyjádření
distribuční funkce pro libovolné N (µ, σ 2 );
náhodnou veličinu X s rozdělením N (µ, σ 2 ) lze vyjádřit jako X = Z · σ + µ.
30 / 57
Vyjádření hodnot distribuční a kvantilové funkce pro N (µ, σ 2)
Zobecněním předchozího pozorování pro X s rozdělením N (µ, σ 2 ) dostáváme:
X −µ x−µ
x−µ
FX (x) = P ({X ≤ x}) = P
≤
= Φ
.
σ
σ
σ
Protože je kvantilová funkce FX−1 inverzní funkce k distribuční funkci FX , použitím
předchozího vztahu dostáváme:
−1
FX (p) − µ
F −1 (p) − µ
−1
−1
−1
−1
Φ
Φ (p) = Φ FX (FX (p)) = Φ
= X
.
σ
σ
Vyjádřením FX−1 (p) dostáváme:
FX−1 (p) = Φ−1 (p) · σ + µ .
Interpretace:
100p% percentil z N (µ, σ 2 ) = µ + (σ krát 100p% percentil z N (0, 1)) .
31 / 57
Příklad (Pravděpodobnosti a hodnoty kvantilové funkce pro N (µ, σ 2 ))
Problém: Mějme náhodnou veličinu X s rozdělením N (3, 16).
Úkoly:
Stanovte pravděpodobnost, že X nabude hodnoty z intervalu [4, 8].
Stanovte pravděpodobnost, že X nabude hodnoty větší než 10.
Stanovte kvantil X s hladinou p = 0.98.
Řešení:
4−3 X −3 8−3
P ({4 ≤ X ≤ 8}) = P
= Φ(1.25) − Φ(0.25)
≤
≤
4
4
4
≈ 0.8944 − 0.5987 ≈ 0.2957,
10 − 3
P ({X ≥ 10}) = 1 − P ({X ≤ 10}) = 1 − Φ
= 1 − Φ(1.75) ≈ 0.04.
4
FX−1 (0.98) = Φ−1 (0.98) · 4 + 3 ≈ 2.0537 · 4 + 3 ≈ 11.2148.
32 / 57
Empirické pravidlo pro normální rozdělení
Empirické pravidlo (Přednáška 1)
Uvažujme výběr x1 , . . . , xn s výběrovým průměrem x a výběrovou směrodatnou
odchylkou s. Pokud má histogram tvar „zvonuÿ pak
přibližně 68 % dat z výběru se nachází v intervalu (x − s, x + s),
přibližně 95 % dat z výběru se nachází v intervalu (x − 2s, x + 2s),
přibližně 99.7 % dat z výběru se nachází v intervalu (x − 3s, x + 3s).
Formálně: Pokud má X rozdělení N (µ, σ 2 ), pak
− k · σX
X − µX
k · σX
P ({µX − k · σX ≤ X ≤ µX + k · σX }) = P
≤
≤
,
σX
σX
σX
což se rovná Φ(k) − Φ(−k). Speciálně pro k = 1, 2, 3 dostáváme hodnoty
pravděpodobností přibližně 0.6827, 0.9545, 0.9973.
33 / 57
Věta (Box-Mullerova transformace).
Pokud jsou U1 a U2 dvě nezávislé náhodné veličiny s rozdělením U (0, 1), pak
p
Z1 = −2 ln U1 · cos(2π · U2 ),
p
Z2 = −2 ln U1 · sin(2π · U2 ),
jsou nezávislé a jejich rozdělení je N (0, 1).
Algoritmus (generování pseudonáhodných čísel z N (0, 1)
(defun standard-normal-random ()
"Generate two independent standard normal random values."
(let* ((u1 (random 1L0))
(u2 (random 1L0))
(z1 (* (sqrt (* -2 (log u1))) (cos (* 2 pi u2))))
(z2 (* (sqrt (* -2 (log u1))) (sin (* 2 pi u2)))))
(values z1 z2)))
34 / 57
Rozdělení χ2
Jedná se o speciální případ rozdělení Γ pro parametry
θ=2a
r
α = , kde r je přirozené číslo.
2
Z hustoty rozdělení Γ odvodíme hustotu rozdělení χ2 :
Definice (Náhodná veličina s rozdělením χ2 )
Spojitá náhodná veličina X s hustotou fX má rozdělení χ2 (chi-kvadrát, angl.:
chi-square distribution) s r stupni volnosti (angl.: degree of freedom) pokud r ∈ N
a fX je ve tvaru
1
−x
r
r · x 2 −1 · e 2
fX (x) =
pokud x ≥ 0,
r
Γ 2 · 22
a fX (x) = 0 jinak. Tento fakt značíme, že X má rozdělení χ2 (r).
35 / 57
Vlastnosti rozdělení χ2(r)
Vlastnosti χ2 (r) se odvozují jako speciální případy vlastností rozdělení Γ.
Zjednodušení tvaru distribuční funkce: Mějme náhodnou veličinu W
s rozdělením χ2 (r). Pokud je r (počet stupňů volnosti) sudé číslo, pak je α = 2r
přirozené číslo, to znamená, že FW přejde v distribuční funkce Erlangova rozdělení:
k
w
−w
Xα−1 (λ · w)k · e−λ·w
X r2 −1 2 · e 2
FW (w) = 1 −
=1−
.
k=0
k=0
k!
k!
Střední hodnota:
µW = α · θ =
r
·2= r ,
2
Rozptyl:
2
σW
= α · θ2 =
r
·4= 2·r .
2
36 / 57
Příklad (Funkce hustoty rozdělení χ2 s různými stupni volnosti)
0.5
0.4
r=2
0.3
r=3
0.2
r=5
r=8
0.1
2
4
6
8
10
12
14
37 / 57
Příklad (Exponenciální rozdělení jako speciální případ χ2 )
Pokud má X exponenciální rozdělení se střední hodnotou 2, pak je fX ve tvaru
−x
2
1 −x
x 2 −1 · e 2
fX (x) = · e 2 =
2
2
Γ 22 · 2 2
pokud x ≥ 0.
To znamená, že X má rozdělení χ2 (2).
0.5
0.4
χ2(2)
0.3
0.2
0.1
2
4
6
8
10
12
14
38 / 57
Věta (O součtech nezávislých náhodných veličin s rozdělením χ2 )
Mějme nezávislé náhodné veličiny X1 , . . . , Xk , které mají rozdělení
χ2 (r1 ), . . . , χ2 (rk ). Pak Y = X1 + · · · + Xk má rozdělení χ2 (r1 + · · · + rk ).
Důkaz.
Tvrzení se prokazuje užitím faktu, že moment generátorová funkce jednoznačně
určuje rozdělení. V případě Xi s rozdělením χ2 (ri ) je MXi je tvaru
ri
MXi (t) = (1 − 2t)− 2
pro t < 0.5.
Použitím věty o tvaru moment generujících funkcí lineárních kombinací nezávislých
náhodných veličin a s využitím vlastností exponenciální funkce dostáváme
rk
ri
r1
Q
Q
MY (t) = ki=1 MXi (t) = ki=1 (1 − 2t)− 2 = (1 − 2t)−( 2 +···+ 2 ) .
Odtud ale ihned dostáváme, že
r1
rk
MY (t) = (1 − 2t)−( 2 +···+ 2 ) = (1 − 2t)−(
r1 +···+rk
2
)
je moment generující funkce rozdělení χ2 (r1 + · · · + rk ).
39 / 57
Věta (O vztahu N (µ, σ 2 ) a χ2 s jedním stupněm volnosti)
(X − µ)2
Pokud má X rozdělení N (µ, σ ), pak má V =
rozdělení χ2 (1).
2
σ
2
Důkaz (začátek).
(X − µ)
má rozdělení N (0, 1).
σ
Pro distribuční funkce FV náhodné veličiny V a každé v ≥ 0 platí:
√
√
FV (v) = P ({V ≤ v}) = P ({Z 2 ≤ v}) = P ({− v ≤ Z ≤ v})
Použitím předchozí věty máme, že Z =
To znamená, že pro v ≥ 0 máme
Z √v
Z √v
2
1
1
z2
− z2
√
FV (v) = √ √
·e
dz = 2 ·
· e− 2 dz.
2·π
2·π
− v
0
40 / 57
Důkaz.
√
y, to jest dostaneme
Z v
1
y
√
FV (v) =
· e− 2 dy,
2·π·y
0
Provedeme substituci z =
pro y ≥ 0.
Z definice V je zřejmé, že FV (v) = 0 pro v < 0. To znamená, že funkci hustoty fV
můžeme získat z FV jako důsledek základní věty integrálního počtu:
1
1
v
1
v
fV (v) = √
· e− 2 = √ √ · v 2 −1 · e− 2 , v > 0.
2·π·v
π· 2
√
Nyní stačí ověřit, že Γ 12 = π. Jelikož je fV funkce hustoty, máme:
Z ∞
1
v
1
√ √ · v 2 −1 · e− 2 dv = 1.
π· 2
0
v
1 R ∞ 1 −1 −x
1
1
Substituce x = dává 1 = √ · 0 x 2 · e dx = √ · Γ
. To jest,
2
2
π
π
√
Γ 12 = π, a tím pádem V má rozdělení χ2 (1).
41 / 57
Příklad (Vztah χ2 rozdělení a normálních rozdělení)
0.5
N (1, 0.8)
0.4
0.3
0.1
−2
−1
χ2(1)
0
1
2
3
4
42 / 57
Věta (O součtech čtverců nezávislých normálních veličin)
Mějme nezávislé náhodné veličiny Z1 , . . . , Zn , které mají standardní normální
rozdělení N (0, 1) a nezávislé náhodné veličiny X1 , . . . , Xn , které mají normální
rozdělení N (µi , σi2 ) pro i = 1, 2, . . . , n. Pak
1
2
náhodná veličina V = Z12 + · · · + Zn2 má rozdělení χ2 (n);
Xn (Xi − µi )2
náhodná veličina W =
má rozdělení χ2 (n).
i=1
σi2
Důkaz.
Tvrzení přímo plyne z předchozích vět:
Z 2 má rozdělení χ2 (1) pokud má Z rozdělení N (0, 1);
součet n nezávislých veličin s rozdělením χ2 (1) má rozdělení χ2 (n);
pokud má X rozdělení N (µ, σ 2 ), pak má (X − µ)/σ 2 rozdělení N (0, 1).
43 / 57
Věta (O rozdělení lineárních kombinací nezávislých normálních veličin)
Mějme nezávislé náhodné veličiny X1 , . . . , Xn , které mají normální rozdělení
N (µi , σi2 ) pro i = 1, 2, . .P
. , n. Pak pro každá reální čísla a1 , . . . , an ∈ R platí, že
lineární kombinace Y = ni=1 ai · Xi má normální rozdělení
X
Xn
n
2
2
N
ai · µ i ,
ai · σi .
i=1
i=1
Důkaz.
Užitím věty o moment generujících funkcích lineárních kombinací nezávislých
náhodných veličin dostáváme
Q
Q
MY (t) = ni=1 MXi (ai t) = ni=1 exp µi ai t + 12 σi2 a2i t2 ,
protože MXi = exp µi t + 12 σi2 t2 . Potom tedy
P
Pn 2 2 2 n
1
MY (t) = exp
a
µ
t
+
i
i
i=1 ai σi t ,
i=1
2
což je moment generující funkce prokazovaného normálního rozdělení.
44 / 57
Důsledek: Rozdělení průměru náhodného výběru z N (µ, σ 2 ).
Pokud je X1 , . . . , Xn náhodný výběr z rozdělení N (µ, σ 2 ), pak průměr X náhodného
výběru X1 , . . . , Xn má rozdělení N (µ, σ 2 /n).
Průměr X náhodného výběru X1 , . . . , Xn z N (µ, σ 2 ) má normální rozdělení
se stejnou střední hodnotu µ,
ale menším rozptylem rozptylem σ 2 /n.
Příklad (Rozdělení průměru náhodného výběru z N (µ, σ 2 ))
Pro náhodný výběr X1 , . . . , X64 z rozdělení N (50, 16) máme
49 − 50 X − 50 51 − 50
P ({49 < Xi < 51}) = P
≤
≤
= 0.1974
4
4
4
49 − 50 X − 50 51 − 50
P ({49 < X < 51}) = P
≤
≤
= 0.9544.
0.5
4
0.5
45 / 57
Příklad (Motivace pro centrální limitní větu)
Pro libovolný n-prvkový náhodný výběr X1 , . . . , Xn z rozdělení se střední hodnotou
µ a rozptylem σ 2 . Pro průměr X tohoto náhodného výběru můžeme zavést W :
√
n
X −µ
√ .
W =
· (X − µ) =
σ
σ/ n
Pro každé n ∈ N máme z věty o lineárních kombinacích nezávislých veličin
!
X −µ
E(X) − µ µ − µ
√
√
=
= √ = 0.
µW = E(W ) = E
σ/ n
σ/ n
σ/ n
2
S využitím předchozího faktu a σW
= E(W 2 ) − µ2W dostáváme, že
!
2
(X
−
µ)
E (X − µ)2
σ 2 /n
2
2
σW = E(W ) − 0 = E
=
=
= 1.
σ 2 /n
σ 2 /n
σ 2 /n
Otázka: Jak je W distribuované pro n → ∞?
46 / 57
Centrální limitní věta
Věta (Centrální limitní věta, angl.: central limit theorem).
Nechť X je průměr n-prvkového náhodného výběru z rozdělení se střední hodnotou
µ a rozptylem σ 2 > 0. Pak
X −µ
√
W =
σ/ n
má rozdělení N (0, 1) pro n → ∞.
Aplikace: Pokud je n (velikost náhodného výběru) dost velké, pak:
Xn
1 Xn
n Xn
X
−
µ
X
−
n
·
µ
Xi − n · µ
i
i
X −µ
i=1
i=1
i=1
√ = n
√
√
√
W =
= n
=
σ/ n
σ/ n
n · σ/ n
n·σ
má přibližně standardní normální rozdělení N (0, 1).
47 / 57
Příklad (Použití centrální limitní věty)
Problém: Uvažujme průměr X patnáctiprvkového náhodného výběru ze spojitého
rozdělení, jehož hustota je
3
fX (x) = · x2 ,
pro − 1 < x < 1,
2
fX (x) = 0 ve všech ostatních případech.
Úkol: Pomocí centrální limitní věty odhadněte P ({0.03 ≤ X ≤ 0.15}).
2
Řešení: Střední hodnota a rozptyl X jsou µX = 0 a σX
= 0.6. Náhodný výběr je
patnáctiprvkový, to jest n = 15. Pomocí centrální limitní věty dostáváme:
(
)!
0.03 − 0
X −0
0.15 − 0
√
√ ≤√
√ ≤√
√
P ({0.03 ≤ X ≤ 0.15}) = P
0.6/ 15
0.6/ 15
0.6/ 15
≈ P ({0.15 ≤ W ≤ 0.75}) ≈ Φ(0.75) − Φ(0.15)
= 0.7734 − 0.5594 = 0.2138.
48 / 57
Aproximace binomického rozdělení normálním rozdělením
Uvažujme diskrétní náhodnou veličinu X, která má rozdělení b(n, p).
Pozorování: X je součtem n nezávislých veličin s Bernoulliho rozdělením, to jest:
Xn
X=
Xi ,
i=1
kde X1 , . . . , Xn jsou nezávislé veličiny, které mají identické Bernoulliho rozdělení
2
s parametrem p. To jest, µXi = p a σX
= p · (1 − p) pro každé i = 1, . . . , n.
i
Aplikací centrální limitní věty dostáváme, že
X −n·p
W =√ p
n · p · (1 − p)
p
má rozdělení N (0, 1) pokud n → ∞. Odtud X = W · n · p · (1 − p) + n · p.
Pokud je n dost velké, pak má X přibližně rozdělení
N n · p, n · p · (1 − p) .
49 / 57
Příklady (Aproximace binomického rozdělení normálním rozdělením)
Pokud je n velké, pak b(n, p) ≈ N n · p, n · p · (1 − p) .
0.25
0.25
b(10,
N (5,
0.20
1
2)
5
2)
0.20
0.15
0.15
0.10
0.10
0.05
0.05
1
2
3
4
5
6
7
8
9
b(18, 16 )
N (3, 52 )
1
2
3
4
5
6
7
8
9
50 / 57
Aproximace Poissonova rozdělení normálním rozdělením
Uvažujme X, která má Poissonovo rozdělení s parametrem λ = n ∈ N.
Pozorování: X je součtem n nezávislých Poissonových veličin s parametrem 1:
Xn
X=
Xi ,
i=1
kde X1 , . . . , Xn jsou nezávislé veličiny, které mají identické Poissonovo rozdělení
2
s parametrem 1. To jest, µXi = 1 a σX
= 1 pro každé i = 1, . . . , n.
i
Aplikací centrální limitní věty dostáváme, že
X −n·1
W = √ √
n· 1
má rozdělení N (0, 1) pokud n → ∞. Odtud X = W ·
Pokud je n dost velké, pak má X přibližně rozdělení
√
n+n=W ·
√
λ + λ.
N (λ, λ) .
51 / 57
Příklad (Aproximace Poissonova rozdělení normálním rozdělením)
Pokud je λ velké, pak Poissonovo rozdělení s parametrem λ ≈ N (λ, λ).
0.085
0.065
0.045
0.025
0.005
5
10
15
20
25
30
35
40
52 / 57
Čebyševova nerovnost
Věta (Pafnuti L~voviq Qebyxv)
2
Pokud má náhodná veličina X střední hodnotu µX a rozptyl σX
> 0, pak pro každé
přirozené číslo k ≥ 1, platí
1
P ({k · σX ≤ |X − µX |}) ≤ 2 .
k
Interpretace:
Pravděpodobnost, že pozorovaná hodnota náhodné veličiny X se odchyluje od
střední hodnoty veličiny aspoň o k-násobek směrodatné odchylky náhodné
veličiny je menší nebo rovna k12 .
Poznámky:
Výsledek nezávisí na tom, jaké má X rozdělení. (!!)
Lze aplikovat pro odhady pravděpodobnosti bez znalosti rozdělení (pesimistické).
53 / 57
Důkaz.
Uvažujme, že X je náhodná veličina v prostoru hΩ, F, P i. Pro dané k položme
A = {k · σX ≤ |X − µX |} = {ω ∈ Ω | k · σX ≤ |X(ω) − µX |}.
Z linearity E můžeme psát
2
= E (X − µX )2 = E 1Ω · (X − µX )2 = E 1A∪(Ω−A) · (X − µX )2
σX
= E 1A · (X − µX )2 + E 1Ω−A · (X − µX )2 .
2
Zobrazení 1Ω−A · (X −
hodnot, to jest
µX ) nabývá pro všechny ω ∈ Ω nezáporných
2
2
E 1Ω−A · (X − µX ) ≥ 0. Z předchozí rovnosti proto σX ≥ E 1A · (X − µX )2 .
Pro každý ω ∈ A navíc máme k · σX ≤ |X(ω) − µX |, to znamená
2
2
2
· E(1A ) = k 2 · σX
· P (A).
σX
≥ E 1A · (X − µX )2 ≥ E 1A · (k · σX )2 = k 2 · σX
2
Vyjádřením P (A) z předchozí nerovnosti a zkrácením nenulového σX
dostáváme
1
P ({k · σX ≤ |X − µX |}) = P (A) ≤ 2 .
k
54 / 57
Příklad (Dolní odhad pravděpodobnosti bez znalosti rozdělení)
Problém: Náhodná veličina X má rozdělení se střední hodnotou µX = 25 a
2
rozptylem σX
= 16.
Úkol: Bez znalosti PX stanovte dolní odhad P ({17 < X < 33}).
Řešení:
P ({17 < X < 33}) = P ({17 < X} ∩ {X < 33})
= P ({17 − 25 < X − 25} ∩ {X − 25 < 33 − 25})
= P ({−8 < X − 25} ∩ {X − 25 < 8})
= P ({|X − 25| < 8}) = P ({|X − 25| < 2 · σX }).
Použitím Čebyševovy nerovnosti máme P ({|X − 25| ≥ 2 · σX }) ≤ 41 , to znamená
P ({|X − 25| < 2 · σX }) = 1 − P ({|X − 25| ≥ 2 · σX }) ≥ 1 −
1
= 0.75.
4
Dohromady tedy dostáváme, že P ({17 < X < 33}) ≥ 0.75.
55 / 57
Věta (Zákon velkých čísel)
Pro posloupnost náhodných výběrů X1 , . . . , Xn (kde n → ∞) z rozdělení se střední
hodnotou µ a rozptylem σ 2 a jejich průměry X platí:
lim P ({|X − µ| < ε}) = 1.
n→∞
Důkaz.
2
Pro každé X platí, že µX = µ a σX
=
ε = k · σX = k · √σn dostáváme
0 ≤ P ({ε ≤ |X − µ|}) ≤
σ2
.
n
Použitím Čebyševovy nerovnosti pro
1
1
=
2 =
√
k2
ε· n
σ
Odtud ihned dostáváme
1
ε2 ·n
σ2
=
σ2
.
ε2 · n
σ2
= 0.
n→∞ ε2 · n
lim P ({ε ≤ |X − µ|}) ≤ lim
n→∞
Z vlastností komplementárních jevů potom lim P ({|X − µ| < ε}) = 1.
n→∞
56 / 57
Přednáška 9: Závěr
Pojmy:
náhodný výběr, statistika, výběrové rozdělení, lineární kombinace veličin
(standardní) normální rozdělení, Box-Mullerova transformace, rozdělení χ2
centrální limitní věta, aproximace diskrétních rozdělení (binomické, Poissonovo)
Čebyševova nerovnost, zákon velkých čísel
Použité zdroje:
Billingsley, P.: Probability and Measure
John Wiley & Sons; 3. vydání, ISBN 978–0–471–00710–4.
Gentle J. E.: Random Number Generation and Monte Carlo Methods
Springer 2004, ISBN 978–0–387–00178–4.
Hogg R. V., Tanis E. A.: Probability and Statistical Inference
Prentice Hall; 7. vydání 2005, ISBN 978–0–13–146413–1.
57 / 57

Normální rozdělení a centrální limitní věta

Transkript

Podobné dokumenty

Modelování výrobní linky

Slidy k 4. přednášce

nemer volkswagen

pdf file

Způsobilost - manuál ve formátu Pdf

Shrnutí a základní poznatky

základy teorie pravděpodobnoti

Pravděpodobnost a statistika - Bodové odhady a intervaly spolehlivosti

Limitní věty - Katedra ekonometrie

Pravděpodobnost a statistika

Stochastické diferenciální rovnice

H.323

Heteroskedasticita VŠE, 1999

Pravděpodobnost a statistika

EL-509W/531W/531WH Operation-Manual CZ

100 % 100 % +

Rodokmen poštovního holuba

7.1. Číslicové filtry IIR

ETA 07/0087

Pravděpodobnost a statistika

Polovodiče – základní pojmy, vlastnosti. Přechody, diody, jejich

Platnost ceníku: rok 2009 TELSTRA, sro IČO