概率論與數理統計（學習筆記）

前言

只做自己筆記，日後查詢之用。

二維隨機變量

一維概率密度函數定義

$F(x)=\int_{-\infty}^{x} f(t) \mathrm{d} t$

分佈函數與概率密度函數

$F(x, y)=P\{(X \leqslant x) \cap(Y \leqslant y)\} = P\{X \leqslant x, Y \leqslant y\}$

$F(x, y)=\int_{-\infty}^{y} \int_{-\infty}^{x} f(u, v) \mathrm{d} u \mathrm{d} v$

邊緣分佈

$F_{X}(x)=P\{X \leqslant x\}=P\{X \leqslant x, Y<\infty\}=F(x, \infty)$
即
$F_{X}(x)=F(x, \infty)=\int_{-\infty}^{x}\left[\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y\right] \mathrm{d} x$
邊緣密度函數：
$f_{X}(x)=\frac{\mathrm{d}F_{X}(x)}{\mathrm{d}x}=\left[\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y\right] ^x_{x=-\infty}=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y$

即對 $x=x$ 這一點上， 所有 $y$ 作積分。同理：

$f_{Y}(y)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} x$

條件分佈

• 離散條件概率：
  $P\left\{X=x_{i} | Y=y_{j}\right\}=\frac{P\left\{X=x_{i}, Y=y_{j}\right\}}{P\left\{Y=y_{j}\right\}}$
• 連續條件概率密度：
  由於在一個點上， 概率密度爲0， 因此， 取一個 $\varepsilon$的範圍：
  $\begin{aligned} P\{X \leqslant x | y<Y \leqslant y+\varepsilon\} &=\frac{P\{X \leqslant x, y<Y \leqslant y+\varepsilon\}}{P\{y<Y \leqslant y+\varepsilon\}} \\ &=\frac{\int_{-\infty}^{x}\left[\int_{y}^{y+\varepsilon} f(x, y) d y\right] d x}{\int_{y}^{y+\varepsilon} f_{Y}(y) d y} \end{aligned}$

當 $\varepsilon$ 很小時：
分子分母都趨於0， 由洛必達法則：
$\lim _{x \rightarrow c} \frac{f(x)}{g(x)}=\lim _{x \rightarrow c} \frac{f^{\prime}(x)}{g^{\prime}(x)}$
有：
$\begin{aligned} \frac{\int_{-\infty}^{x}\left[\int_{y}^{y+\varepsilon} f(x, y) d y\right] d x}{\int_{y}^{y+\varepsilon} f_{Y}(y) d y} &= \frac{\left[\int_{y}^{y+\varepsilon} f(x, y) d y\right]_{x=x}-\left[\int_{y}^{y+\varepsilon} f(x, y) d y\right]_{x=-\infty}}{\int_{y}^{y+\varepsilon} f_{Y}(y) d y}\\ &= \frac{\varepsilon f(x, y) d y-0}{\int_{y}^{y+\varepsilon} f_{Y}(y) d y}=\approx \frac{\varepsilon \int_{-\infty}^{x} f(x, y) \mathrm{d} x}{\varepsilon f_{Y}(y)}=\int_{-\infty}^{x} \frac{f(x, y)}{f_{Y}(y)} \mathrm{d} x \end{aligned}$

即：
$f_{X | Y}(x | y)=\frac{f(x, y)}{f_{Y}(y)}$
這個和貝葉斯公式是非常像的。

相互獨立

顯然，顧名思義， 相互獨立就是：
$P\{X \leqslant x, Y \leqslant y\}=P\{X \leqslant x\} P\{Y \leqslant y\}$
用概率分佈函數表示：
$F(x, y)=F_{X}(x) F_{Y}(y)$
對兩邊都對$x$與$y$求導：
$f(x, y)=f_{X}(x) f_{Y}(y)$

函數分佈

$Z = X + Y$ 的概率密度爲：
$\begin{array}{l} f_{X+Y}(z)=\int_{-\infty}^{\infty} f(z-y, y) \mathrm{d} y \\ f_{X+Y}(z)=\int_{-\infty}^{\infty} f(x, z-x) \mathrm{d} x \end{array}$
若$x$, $y$獨立：
$f_{X+Y}(z)=f_{X} * f_{Y} = \int_{-\infty}^{\infty} f_{x}(z-y) f_{Y}(y) \mathrm{d} y$

推廣到正態分佈 有以下性質：

若 $Z=X_{1}+X_{2}+\cdots+X_{n}$， 則 $Z=X_{1}+X_{2}+\cdots+X_{n}$滿足：

$Z \sim N\left(\mu_{1}+\mu_{2}+\cdots+\mu_{n}, \sigma_{1}^{2}+\sigma_{2}^{2}+\cdots+\sigma_{n}^{2}\right)$