Úvod do pravděpodobnosti

Úvod do teorie pravděpodobnosti
Modernı́ teorie řı́zenı́
Obsah
1 Úvod
1
2 Přı́klady
5
2.1
Intervalové odhady . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.2
Bodové odhady . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.3
Podmı́něná pravděpodobnost . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
Reference
1
8
Úvod
Náhodná veličina X
? Pravděpodobnost P
• Každému jevu X je přiřazena hodnota P (X) splňujı́cı́ 0 ≤ P (X) ≤ 1. Hodnota P (X)
se nazývá pravděpodobnost jevu X.
• Pro pravděpodobnost jistého jevu platı́ P (Ω) = 1 (Ω – množina všech možných
výsledků pokusů).
• Pro neslučitelné jevy X a Y platı́ P (X ∪ Y ) = P (X) + P (Y ).
Vlastnosti: Necht’ X, Y jsou libovolné jevy, pak platı́
• P (∅) = 0,
• P (X ∪ Y ) = P (X) + P (Y ) − P (X ∩ Y ),
• je-li X ⊆ Y , pak P (X) ≤ P (Y ).
1
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
2
? Distribučnı́ funkce F (x)
F (x) = P (X ≤ x) ,
Zx
F (x) =
f (τ ) dτ .
(1)
(2)
−∞
Vlastnosti:
lim F (x) = 0 ,
lim F (x) = 1 .
x→−∞
x→∞
? Hustota pravděpodobnosti f (x), p(x)
f (x) =
dF (x)
,
dx
(3)
• sdružená hustota pravděpodobnosti – p(x, y),
• marginálnı́ hustota pravděpodobnosti – px (x)
Z
px (x) = p (x, y) dy ,
(4)
Ωy
• podmı́něná hustota pravděpodobnosti – p(x|y)
p(x|y) =
p(x, y)
.
p(y)
(5)
? Některé čı́selné charakteristiky
• střednı́ hodnota E {X}
Z∞
E {X} =
x · p (x) dx ,
E {X} =
∞
X
xk · p (xk ) ,
(6)
k=−∞
−∞
• kovariance (rozptyl) cov {X}
½³
cov {X} = E
´³
´T ¾
X − E {X} X − E {X}
.
(7)
? Kvantil xp (p-kvantil)
P (X ≤ xp ) = p
Vlastnosti:
0 ≤ p ≤ 1,
F (xp ) = p
⇔
xp = F −1 (p) .
(8)
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
3
? Některá základnı́ rozdělenı́ pravděpodobnosti
¡
¢
• Normálnı́ rozdělenı́ X ∼ N µ, σ 2
p (x) = √
1
2π σ
(x − µ)2
2σ 2 ,
e
−
cov {X} = σ 2 .
E {X} = µ ,
Poznámka:
¡
¢
X ∼ N µ, σ 2
(9)
...
U=
¡ ¢
X −µ
∼ N 0, 1 .
σ
Vlastnosti:
− up = u1−p ,
P (U ≤ up ) = p ,
P (U ≤ u1−p ) = P (U ≤ −up ) = 1 − p ,
P (|U | ≤ up ) = P (−up ≤ U ≤ up ) = P (u1−p ≤ U ≤ up ) = p − (1 − p) = 2p − 1 ,
⇒ P (|U | ≤ u p+1 ) = p .
2
• Studentovo rozdělenı́ X ∼ t(n) – o n stupnı́ch volnosti
³
Γ( n+1
)
x2 ´− n+1
2
2
f (x) = n √
· 1+
n
n
2 2 n π Γ( 2 )
r
E {X} = 0 ,
cov {X} =
x ∈ <,
n
,
n−2
(10)
pro n > 3 .
¡ ¢
Pro n > 30 je Studentovo rozdělenı́ shodné jako normálnı́ rozdělenı́ N 0, 1 .
• Chı́-kvadrát rozdělenı́ X ∼ χ2 (n) – o n stupnı́ch volnosti
f (x) =
n
x
1
· x 2 −1 e− 2 ,
n
2 Γ( 2 )
n
2
E {X} = n ,
x > 0,
(11)
cov {X} = 2n .
• Rovnoměrné rozdělenı́ X ∈ ha, bi
1
b−a
= 0
f (x) =
pro
x ∈ ha, bi ,
pro
x∈
/ ha, bi .
(12)
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
4
• Exponenciálnı́ rozdělenı́
1 − x−A
e δ
δ
=
0
f (x) =
pro
x ≥ A,
pro
x < A,
(13)
cov {X} = δ 2 .
E {X} = A + δ ,
Poznámka: Gama funkce Γ(z)
Z∞
e−x xz−1 dx ,
Γ(z) =
Re {z} > 0 .
(14)
0
Vlastnosti:
Z∞
£
e−x xz dx = −e−x x
Γ(z + 1) =
0
¤
z ∞
0
Z∞
e−x xz−1 dx = 0 + z · Γ(z) ,
+
0
Γ(n + 1) = nΓ(n) = n(n − 1)Γ(n − 1) = n! Γ(1) ,
Z∞
£
¤∞
Γ(1) = e−x dx = −e−x 0 = 1 ,
0
Γ(1) = 1, Γ(2) = 1, Γ(3) = 2, Γ(4) = 6, · · · ,
³3´
³
1´ 1 ³1´
Γ
=Γ 1+
= Γ
,
2
2
2
2
³1´ √
Γ
= π.
2
? Některé statistiky
• Výběrový součet X̃
¡
Poznámka: pro Xi ∼ N µ, σ
X̃ = X1 + X2 + · · · + Xn .
¢
2
(15)
¡
¢
X̃ ∼ N nµ, nσ 2
• Výběrový průměr X̄
¢
1¡
X1 + X2 + · · · + Xn .
X̄ =
n
¢
¡
2
Poznámka: pro Xi ∼ N µ, σ
¡ σ2 ¢
X̄ ∼ N µ,
.
n
(16)
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
5
• Výběrový 2. centrálnı́ moment C2
n
C2 =
• Výběrový rozptyl s2
¢2
1 X¡
Xi − X̄ .
n i=1
(17)
n
s2 =
¢2
1 X¡
Xi − X̄ .
n − 1 i=1
(18)
? Některá klı́čová tvrzenı́ – pro Xi , Y nezávislé
¡
¢
• X1 ∼ N µ1 , σ12 ,
¡
¢
X2 ∼ N µ2 , σ22
αX1 + βX2
• X1 ∼ χ2 (n1 ),
¡
¢
N αµ1 + βµ2 , α2 σ12 + β 2 σ22
∼
X2 ∼ χ2 (n2 )
X1 + X2
∼
χ2 (n1 + n2 )
¡ ¢
• Xi ∼ N 0, 1
X12 + X22 + · · · + Xn2
∼
χ2 (n)
¡
¢
• Xi ∼ N µ, σ 2
(n − 1)s2
σ2
2
2.1
∼
χ2 (n − 1)
Přı́klady
Intervalové odhady
Přı́klad 2.1: Odhad µ, σ 2 známé.
Bylo provedeno n = 52 měřenı́ Xi , ze kterých byl určen výběrový průměr X̄ = 77, 9.
¢
¡
Za předpokladu, že známe rozptyl měřených dat σ 2 = 106 (normálnı́ rozloženı́ N µ, σ 2 ),
určete interval spolehlivosti odhadu střednı́ hodnoty µ̂ pro α = 0, 1 a α = 0, 05.
Řešenı́:
X̄
Oboustranný odhad je
···
U=
¡ ¢
X̄ − µ
∼ N 0, 1
σ
σ
σ
X̄ − u1− α2 √ ≤ µ̂ ≤ X̄ + u1− α2 √ .
n
n
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
Jednostranný odhad je
6
σ
µ̂ ≤ X̄ + u1−α √ ,
n
nebo
σ
µ̂ ≥ X̄ − u1−α √ .
n
¡ ¢
Kvantily u1− α2 , u1−α nalezneme v tabulkách pro U ∼ N 0, 1 .
2
Přı́klad 2.2: Odhad σ 2 , µ známé.
Bylo provedeno n měřenı́ Xi . Za předpokladu, že známe střednı́ hodnotu měřených dat
µ, určete interval spolehlivosti odhadu rozptylu σ̂ 2 pro α = 0, 1 a α = 0, 05.
Řešenı́:
¶2
n µ
X
Xi − µ
σ
i=1
∼ χ2 (n) ,
n 0
C ∼ χ2 (n) ,
σ2 2
n
1X
0
(Xi − µ)2 .
C2 =
n i=1
V =
Oboustranný odhad je
0
0
nC2
nC
< σ̂ 2 < 2 2 .
2
χ1− α (n)
χ α (n)
2
2
Kvantily nalezneme v tabulkách.
2
Přı́klad 2.3: Odhad µ a σ 2 .
Bylo provedeno n měřenı́ Xi . Určete interval spolehlivosti odhadu střednı́ hodnoty µ̂
a interval spolehlivosti odhadu rozptylu σ̂ 2 pro α = 0, 1 a α = 0, 05.
Řešenı́:
X̄ − µ
∼ t(n − 1) ,
s
n−1 2
Y =
s ∼ χ2 (n − 1) .
n
T =
Oboustranný odhad je
s
s
X̄ − t1− α2 (n − 1) √ ≤ µ̂ ≤ X̄ + t1− α2 (n − 1) √ ,
n
n
(n − 1) s2
(n − 1) s2
2
<
σ̂
<
.
χ21− α (n − 1)
χ2α (n − 1)
2
Kvantily nalezneme v tabulkách.
2
2
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
2.2
7
Bodové odhady
Přı́klad 2.4: Odhad µ, σ 2 známé.
Bylo provedeno n měřenı́ Xi . Určete maximálně věrohodný odhad střednı́ hodnoty µ̂ za
předpokladu, že známe rozptyl σ 2 měřených dat Xi .
Řešenı́: Věrohodnostnı́ funkce je
¡
l µ|X̄, σ
2
¢
n
P
− 12
(Xi −µ)2
1
= ¡√
.
¢n e 2σ i=1
2πσ
Logaritmus věrohodnostnı́ funkce je
¡
ln l µ|X̄, σ
2
¢
n
√
n
1 X
2
= − ln σ − n ln 2π − 2
(Xi − µ)2 .
2
2σ i=1
Věrohodnostnı́ rovnice je
¡
¢
n
∂ ln l µ|X̄, σ 2
1 X
0=
=− 2
2 (Xi − µ) (−1).
∂µ
2σ i=1
Odtud je bodový odhad µ̂
Vlastnosti odhadu
E {µ̂} = E
(
n
1X
µ̂ =
Xi = X̄.
n i=1
n
1X
Xi
n i=1
)
n
=
1X
E {Xi } = µ ⇒ nestranný odhad ,
n i=1
n
1 X
σ2
lim D {µ̂} = lim 2
D {Xi } =
= 0 ⇒ konzistentnı́ odhad .
n→∞
n→∞ n
n
i=1
2
2.3
Podmı́něná pravděpodobnost
Přı́klad 2.5: Předpokládejte sdruženou hustotu pravděpodobnosti
#!
Ã" # "
Ã" #!
1 2
1
x
.
,
∼N
p
2 5
2
y
Určete podmı́něnou hustotu pravděpodobnosti p(x|y) za předpokladu, že bylo změřeno y ∗ = 3.
Řešenı́: Pro sdruženou hustotu pravděpodobnosti platı́
³
h
i´−1/2 ½ 1
h
Pxx Pxy
P
−(nx +ny )/2
x
p ([ y ]) = (2π)
det Pyx Pyy
exp − [ x−µx , y−µy ] Pxx
yx
2
kde nx a ny jsou rozměry vektorů x respektive y.
Pxy
Pyy
i−1 £
x−µx
y−µy
¾
¤
,
(19)
MODERNÍ TEORIE ŘÍZENÍ – Úvod do teorie pravděpodobnosti
8
Nejprve určı́me pravděpodobnost p(y)
−1
2
1
1
1
−1/2 − 12 (y−µy )T Pyy
(y−µy )
p (y) = √
Pyy
e
= √ √ e− 2·5 (y−2) .
2π
2π 5
Sdružená hustota pravděpodobnosti p(x, y) je
Ã" #!
(
"
#"
#)
i
x
5 −2
x−1
1
1h
p
= p
.
exp −
x − 1, y − 2
2
2π det [ 12 25 ]
y
−2 1
y−2
Po úpravě
Ã"
p
x
#!
=
y
1 − 12 (5x2 +y2 −2x−4xy+1)
e
.
2π
Podle vztahu (5) určı́me
p (x|y) =
p (x|y) = √
1
2π
√ 1√
2π 5
2π
1
p
e− 2 (5x
1
e− 2·5 (25x
1
1/5
1
(y−2)2
) e 2·5
,
2 +y 2 −2x−4xy+1
).
2 +5y 2 −10x−20xy+5−y 2 +4y−4
Dosadı́me-li y = 3, dostaneme výsledné rozdělenı́
p (x|y) = √
1
1
p
e− 2 (x−1,4)5(x−1,4) .
2π 1/5
Všimněte si, že platı́
1
−1
µx|y = µx + Pxy Pyy
(y − µy ) = 1 + 2 (3 − 2) = 1, 4 ,
5
1
1
−1
Px|y = Pxx − Pxy Pyy
Pyx = 1 − 2 2 = .
5
5
2
Reference
[1] Havlena, V. Modernı́ teorie řı́zenı́ - Doplňkové skriptum. Praha: Vydavatelstvı́ ČVUT,
1999. ISBN 80-01-02036-3
[2] Havlena, V.; Štecha, J. Modernı́ teorie řı́zenı́. Praha: Vydavatelstnı́ ČVUT, 2000.
[3] Roubal, J.; Pekař, J. Modernı́ teorie řı́zenı́ [online]. Poslednı́ revize 2005-01-16
[cit. 2005-01-16], hhttp://dce.felk.cvut.cz/mtr/i.