Pravdepodobnost a statistika

Upozornění:

Poznámky jsou od Tomáše Slámy, kde jsou upravený do tohohle formátu pro tisk

Úvod

Definice (prostor jevů) je $F \subseteq P (Ω)$ , pokud

$\emptyset \in F$ a $Ω \in F$
je uzavřený na doplňky: $A \in F ⟹ Ω ∖ A \in F$ a
- Jinými slovy, pokud se jev A stal patři do $F$ , to znamená, že i jev A se nestal patři do $F$
je uzavřený na sjednocení: $A_{1}, A_{2}, \dots \in F ⟹ ⋃_{i = 1}^{\infty} A_{i} \in F$

Množině

Ω

říkáme prostor elementárních jevů.

Elementární jevy jsou nejjednodušší možné výsledky náhodného pokusu. Jde o výsledek, který nelze dále rozdělit na menší části.

Příklad

Představme si například házení mincí. V tomto případě existují dva elementární jevy: padne hlava $(H)$ nebo padne orel $(O)$ . Tyto jevy jsou elementární, protože každý z nich představuje základní výsledek, který nemůžeme rozložit na menší části. Celý prostor všech možných výsledků, tedy množina ${H, O} {H, O} {H, O}$ , se nazývá vzorový (nebo také pravděpodobnostní) prostor.

Definice (Náhodný jev): $A \in F$ se nazývá náhodný jev.

Definice (pravděpodobnost) je funkce $P : F \mapsto [0, 1]$ se nazývá pravděpodobnost, pokud

$P (\emptyset) = 0, P (Ω) = 1$ a
$P (⋃_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} P (A_{i})$ pro libovolnou posloupnost po dvou disjunktních jevů $A_{1}, A_{2}, \dots \in F$

Definice (pravděpodobnostní prostor) je trojice $(Ω, F, P)$ taková, že

$Ω \neq \emptyset$ je libovolná množina (prostor elementárních jevů),
$F \subseteq P (Ω)$ je prostor jevů, a
$P$ je pravděpodobnost přiřazující každému jevu pravděpodobnost.

Příklad (pravděpodobností prostory):

konečný s uniformní pravděpodobností: $Ω$ je libovolná konečná množina, $P (A) = | A | / | Ω |$
diskrétní: $Ω$ je libovolná spočetná množina
spojitý: $Ω \subseteq R^{n}$ , $F$ vhodná, $P$ definován přes integrál (viz dále)

Znázornění konečného prostoru s uniformní pravděpodobností. dvojice hodů kostkou jsou elementární jevy ( $\in Ω$ ), vyznačené množiny jsou měřené jevy ( $\in F$ ).

Lemma (základní vlastnosti): $\forall A, B \in F$ platí

$P (A) + P (A^{C}) = 1$
$A \subseteq B ⟹ P (A) \leq P (B)$
$P (A \cup B)$ = $P (A) + P (B) - P (A \cap B)$
$P (A_{1} \cup A_{2} \cup \dots) \leq \sum P (A_{i})$

Definice (podmíněná pravděpodobnost): pokud $A, B \in F$ a $P (B) > 0$ , tak definujeme podmíněnou pravděpodobnost $A$ při $B$ jako

P (A ∣ B) = \frac{P (A \cap B)}{P (B)}

Věta (o úplně pravděpodobnosti): *Pokud $A_{1}, \dots, A_{n} \in F$ a $P (A_{1} \cap A_{2} \cap \dots \cap A_{n}) > 0$ , tak

P (A_{1} \cap A_{2} \cap \dots \cap A_{n}) = P (A_{1}) P (A_{2} ∣ A_{1}) P (A_{3} ∣ A_{2} \cup A_{1}) \dots

Definice (rozklad): spočetný systém množin $B_{i} \in F$ je rozklad $Ω$ , pokud

$B_{i} \cap B_{j} = \emptyset$ pro $i \neq j$ a
$⋃_{i} B_{i} = Ω$

Věta (rozbor všech možností): *Pokud $B_{1}, \dots, B_{n} \in F$ je rozklad $Ω$ a $A \in F$ , pak

P (A) = \sum_{i} P (A ∣ B_{i}) P (B_{i})

Věta (Bayesova): *pokud $B_{1}, B_{2}, \dots$ je rozklad $Ω$ , $A \in F$ a $P (A), P (B_{j}) > 0$ , tak

P (B_{j} ∣ A) = \frac{P (B_{j}) P (A ∣ B_{j})}{P (A)} = \frac{P (A ∣ B_{j}) P (B_{j})}{\sum_{i} P (A ∣ B_{i}) P (B_{i})}

Věta řeší problém, kdy máme jev $H$ (hypotézu), který chceme spočítat, když platí jev $E$ (evidence). Použitím Bayesova vzorce dostáváme

P (H ∣ E) = \frac{P (E ∣ H) P (H)}{P (E)}

což intuitivně dává smysl – při pravděpodobnosti $H ∣ E$ musíme zohlednit pravděpodobnost $E$ .

Poznámka

3b1b udělal o Bayesově větě pěkné video, ze kterého jsem vykradl obrázek výše.

Definice (nezávislost jevů): dva jevy jsou nezávislé, pokud $P (A \cap B) = P (A) P (B)$

Diskrétní náhodné veličiny

Definice (diskrétní náhodná veličina): Pro pravděpodobnostní prostor $Ω, F, P$ mějme funkci $X : Ω \mapsto R$ nazvene diskrétní náhodná veličina, pokud $Im (X)$ (obor hodnot) je spočetná množina a pokud $\forall x$ platí

{ω \in Ω : X (ω) = x} \in F

Příklad (použití náhodných veličin):

hodíme na terč a měříme vzdálenost od středu
házíme kostkou, dokud nepadne šestka a pak nás zajímá počet hodů

Definice (pravděpodobnostní funkce) (pmf) diskrétní náhodné veličiny $X$ je funkce $p_{X} : R \mapsto [0, 1]$ taková, že

p_{X} (x) = P (X = x) = P ({ω \in Ω : X (ω) = x})

Rozdělení

Bernoulli

$X \cdot$ počet orlů při jednom hodu nespravedlivou mincí (značíme $X \sim Bern (p)$ )
$p_{X} (1) = p$ a $p_{X} (0) = 1 - p$ , jinak $p_{X} (k) = 0$

Binomiální

$X \dots$ počet orlů při $n$ hodech nespravedlivou mincí (značíme $X \sim Bin (n, p)$ )
méně očivivně $p_{X} (k) = (\binom{n}{k}) p^{k} (1 - p)^{n - k}$
- chceme, aby se $k$ hodů trefilo a $n - k$ netrefilo

Poissonovo

limita $Bin (n, λ / n)$ , popisuje např. počet mailů za hodinu

Geometrické

$X \dots$ kolikátým hodem mincí padl první orel (značíme $X \sim Geom (p)$ )
$p_{X} (k) = (1 - p)^{k - 1} p$
- chceme, aby se prvních $k$ hodů trefilo a poslední netrefil

Střední hodnota

Definice (střední hodnota diskrétní n.v.) $E (X)$ je definována jako

E (X) = \sum_{x \in Im (X)} x P (X = x)

pokud součet dává smysl.

Věta (LOTUS): *pokud $X$ je n.v. a $g$ reálná funkce, tak

E (g (X)) = \sum_{x \in Im (X)} g (x) P (X = x)

Lemma (vlastnosti střední hodnoty): nechť $X, Y$ jsou diskrétní n.v. a $a, b \in R$ ; pak

pokud $P (X \geq 0) = 1$ a $E (X) = 0$ , tak $P (X = 0) = 1$
pokud $E (X) \geq 0$ , tak $P (X \geq 0) > 0$
$E (a X + b Y) = a E (X) + b E (Y)$ (linearita střední hodnoty)

Definice (rozptyl/variance) n.v. nazveme

v a r (X) = E ({(X - E X)}^{2})

má intuitivní význam – jedná se o očekávanou vzdálenost ( $^{2}$ ) od střední hodnoty

Definice (směrodatná odchylka) je

\sqrt{v a r (x)}

Věta:

v a r (X) = E (X^{2}) - E (X)^{2}

Přehled parametrů známých rozdělení:

Rozdělení	$E$	$v a r$
$Bern (p)$	$p$	$p (1 - p)$
$Bin (n, p)$	$n p$	$n p (1 - p)$
$Geom (p)$	$1 / p$	$n p (\frac{1 - p}{p^{2}})$
$Pois (λ)$	$λ$	$λ$

Sdružené rozdělení

Definice: pro diskrétní n.v. $X, Y$ definujeme jejich sdruženou pravděpodobnostní funkci (joint pmf) $p_{X, Y} : R^{2} \mapsto [0, 1]$ jako

p_{X, Y} (x, y) = P ({ω \in Ω : X (ω) = x \land Y (ω) = y})

(👀): z $p_{X, Y}$ (sdruženého) jde $p_{X}, p_{Y}$ (marginální) zjistit, jednoduše, zpětně ne vždy.

Definice (nezávislé náhodné veličiny): veličiny $X, Y$ jsou nezávislé, pokud $\forall x, y \in R$ platí

P (X = x, Y = y) = P (X = x) P (Y = y)

neboli

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

Věta (součin n.n.v.): *pro nezávislé diskrétní veličiny $X, Y$ platí

E (X Y) = E (X) E (Y)

Definice (podmíněné rozdělení): pro $X, Y$ d.n.v. a $A \in F$ definujeme

p_{X ∣ A} (x) = P (X = x ∣ A)

p_{X ∣ Y} (x ∣ y) = P (X = x ∣ Y = y)

Příklad: Pro $X, Z$ výsledky dvou nezávislých hodů šestihranou kostkou a $Y = X + Z$ nás zajímá $p_{X ∣ Y} (6 ∣ 10)$ (jaká je šance, že na kostce padla hodnota $6$ , když součet na obou byl $10$ ). Můžeme spočítat ze sdruženého:

p_{X ∣ Y} (x ∣ y) = \frac{P (X = x, Y = y)}{P (Y = y)} = \frac{p_{X, Y} (x, y)}{p_{Y} (y)} = \frac{p_{X, Y} (x, y)}{\sum_{x^{'} \in Im (X)} p_{X, Y} (x^{'}, y)}

$p_{X, Y}$	10	11	12
1	$0$	$0$	$0$
2	$0$	$0$	$0$
3	$0$	$0$	$0$
4	$\frac{1}{36}$	$0$	$0$
5	$\frac{1}{36}$	$\frac{1}{36}$	$0$
6	$\frac{1}{36}$	$\frac{1}{36}$	$\frac{1}{36}$

$p_{X ∣ Y}$	10	11	12
1	$0$	$0$	$0$
2	$0$	$0$	$0$
3	$0$	$0$	$0$
4	$\frac{1}{3}$	$0$	$0$
5	$\frac{1}{3}$	$\frac{1}{2}$	$0$
6	$\frac{1}{3}$	$\frac{1}{2}$	$1$

Spojité náhodné veličiny

Definice (náhodná veličina) na $(Ω, F, P)$ je zobrazení $X : Ω \mapsto R$ , které pro každé $x \in R$ splňuje

{ω \in Ω : X (ω) \leq x} \in F

(👀): diskrétní n.v. je náhodná veličina (pro tu platí rovnost, kterou posčítáme).

Definice (distribuční funkce) (DNF) n.v. je funkce

F_{X} (x) = P (X \leq x) = P ({ω \in Ω : X (ω) \leq x})

(👀):

$F_{X}$ je neklesající
$lim_{x \to - \infty} F_{X} (x) = 0$
$lim_{x \to \infty} F_{X} (x) = 1$
$F_{X}$ je zprava spojitá

Definice (spojitá náhodná veličina): n.n.v. je spojitá, pokud existuje nezáporná reálná funkce $f_{x}$ (hustota) t.ž.

F_{X} (x) = P (X \leq x) = \int_{- \infty}^{t} f_{X} (t) d t

Rozdělení

Příklad (uniformní rozdělení): n.v. $X$ má na $[a, b]$ uniformní rozdělení, pokud má hustotní funkci

f_{X} (x) = {\begin{cases} \frac{1}{b - a} & x \in [a, b] \\ 0 & jindy \end{cases}

Příklad (exponenciální rozdělení): n.v. $X$ má exponenciální rozdělení, pokud má distribuční funkci

F_{X} (x) = {\begin{cases} 0 & x \leq 0 \\ 1 - e^{- λ x} & x \geq 0 \end{cases}

Příklad (normální rozdělení): n.v. $X$ má standardní normální rozdělení, pokud má hustotní funkci

f_{X} (x) = \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

Definice (kvantilová funkce): pro distribuční funkci $F$ definujeme kvantilovou funkci $Q : [0, 1] \mapsto R$ jako

Q_{X} (p) = min {x \in R : p \leq F (x)}

(👀): pokud je $F_{X}$ spojitá, pak $Q_{X} = F_{X}^{- 1}$

Definice (střední hodnota s.n.v.) je definována jako

E (X) = \int_{- \infty}^{\infty} x f_{X} (x) d x

pokud integrál dává smysl.

Poznámka: LOTUS, linearita, rozptyl fungují také (přesně tak, jak bychom čekali)

Definice (kovariance): pro n.v. $X, Y$ je jejich kovariance definována jako

c o v (X, Y) = E ((X - E X) (Y - E Y))

Lemma:

$c o v (X, Y) = E (X Y) - E (X) E (Y)$
$X, Y$ nezávislé $⟹ c o v (X, Y) = 0$

Nerovnosti

Věta (Markovova nerovnost): *nechť náhodná veličina splňuje $X \geq 0$ ; pak

P (X \geq a) \leq \frac{E (X)}{a}

(👀): říká, že pravděpodobnost, že $X$ je alespoň $a$ je nejvýše $E / a$ , což intuitivně dává smysl

pro $a = E$ může být $X$ střední hodnota nejhůř vždy
pro $a = E / 2$ dostáváme $\frac{1}{2}$ – kdyby byla $X$ střední hodnota častěji než $\frac{1}{2}$ , tak posčítáním přes všechny hodnoty dostáváme spor, střední hodnota by musela být vyšší

Limitní věty

Věta (zákon velkých čísel): *nechť $X_{1}, \dots, X_{n}$ jsou stejně rozdělené n.n.v. se stř. hodnotou $μ$ a rozptylem $σ^{2}$ . Označme $S_{n} = (X_{1} + \dots + X_{n}) / n$ (tzv. výběrový průměr). Pak platí

lim_{n \to \infty} S_{n} = μ

skoro jistě (tj. s pravděpodobností $1$ ).

Věta říká, že je smyslupné průměrovat n.n.v. (s větším $n$ se přibližuje k $μ$ ).

Věta (centrální limitní věta): *nechť $X - 1, \dots, X_{n}$ jsou n.n.v. se střední hodnotou $μ$ a rozptylem $σ^{2}$ . Označme $Y_{n} = ((X_{1} + \dots + X_{n}) - n μ) / (\sqrt{n} σ)$ . Pak $Y_{n} \overset{d}{\to} N (0, 1)$ . Neboli pokud $F_{n}$ je distribuční funkce $Y_{n}$ , tak

lim_{n \to \infty} F_{n} (x) = Φ (x) \forall x \in R

Tedy (vhodně přeškálovaný) součet n.n.v. $X_{i}$ konverguje ke standardnímu normálnímu rozdělení.

Tahák

Ke zkoušce byla povolena A4 s libovolnými poznamkami, tady jsou moje (dostupné i v PDF).

![[tahak.pdf]]