輕鬆看懂概率論與圖論基礎數學知識

  概率論由三大部分組成：概率圖模型的表示、概率圖模型的推理、概率圖模型的學習。

  概率圖模型的表示索要解決的核心問題就是建模問題。而建模這個概率圖模型需要概率論與圖論的基礎知識，所以在開始之前需要先了解一下概率論與圖論的基礎知識。

概率論

  我們所生活的環境中存在兩類現象，一類現象是確定性的現象，比如太陽每天都會從東方升起，另一類是隨機現象，比如明天是否會下雨？這明顯是一個概率問題。

  隨機現象的定義可表示爲：在一定的條件下，並不總出現相同結果的現象。隨機現象一般會表現出一種規律，而這種規律在數學上我們一般稱之爲分佈，也是一種統計規律性。也即是按照一種概率分佈所產生出來的一種結果。而拿到一個事件的分佈最經典的方法就是採樣，隨機試驗的每一個可能結果稱爲樣本點，所有的樣本點構成樣本空間 $\Omega$。

• 隨機事件：某些樣本點組成的集合, 常用 $A$ 、 $B$ 、 $C$…表示。
• 隨機變量：表示隨機現象結果的變量，常用大寫字母 $X$ 、 $Y$ 、 $Z$ …表示。
• 事件間的關係：
  • 包含關係： $A \subset B$，表示的是$A$發生必然導致$B$發生。
  • 相等關係：$A=B$ 能夠推出 $A \subset B$且$B \subset A$。
  • 互不相容：$A$和$B$不可能同時發生。
• 事件的運算
  • 並：$A \cup B$表示的是$A$與$B$至少有一發生。
  • 交：$A \cap B =AB$表示的是$A$與$B$同時發生
  • 差：$A-B$ $A$發生但$B$不發生。
  • 對立：$\bar{A}$表示的是$A$不發生。

樣本空間的分割

  如果$A_{1},A_{2},\cdots, A_{n}$滿足以下兩個條件：1. $A_{i}$間互不相容；2. $A_{1} \cup A_{2} \cup \cdots A_{n} =\Omega$。則稱$A_{1},A_{2},\cdots, A_{n}$爲$\Omega$的一組分割。比如擲骰子，樣本空間的一組分割爲 $\Omega=\{1,2,3,4,5,6\}$。

概率的定義

  概率的定義可以分爲以下三個方面：1. 概率的直觀定義：事件$A$出現的可能性大小。2. 概率的統計定義：事件$A$ 在大量重複試驗下，出現的頻率的穩定值稱爲該事件的概率。3. 概率的公理化定義：a. 非負性公理：$P(A) \geq 0$；b. 正則性公理： $P(\Omega)=1$; c. 可列可加性公理：若$A_{1},A_{2},\cdots, A_{n}$互不相容，則$P\left(\bigcup_{i=1}^{\infty} A_{i}\right)=\sum_{i=1}^{\infty} P\left(A_{i}\right)$。

條件概率的定義

  定義：對於事件$A$、$B$，若$P(B) > 0$，則稱$P(A|B)=P(AB)/P(B)$爲在$B$出現的條件下，$A$ 出現的條件概率。

  示例：10個產品中有7個正品、3個次品，從中 不放回地抽取兩個， 已知第一個取到次品， 求第二個又取到次品的概率。

  設$A =\{第一個取到次品\}，B=\{第二個取到次品\}$：

$P(AB) = (3/10)*(2/9) = 1/15$

$P(B|A) =P(AB)/P(A)=(1/15)/(3/10)=2/9$

  條件概率有三大公式：乘法公式、全概率公式、貝葉斯公式。

  1. 乘法公式：

• 若$P(B) > 0$，則$P(AB)=P(B)P(A|B)$;
• 若$P(A) > 0$，則$P(AB)=P(A)P(B|A)$；
• 若$P(A_{1}A_{2}\cdots A_{n-1}) > 0$，則$P(A_{1}A_{2}\cdots A_{n}) = P(A_{1})P(A_{2}|A_{1})\cdots P(A_{n}|A_{1}A_{2}\cdots A_{n-1})$。

  2. 全概率公式：

  全概率公式說地是：若事件$B_{1},B_{2},\cdots,B_{n}$是樣本空間$\Omega$的一組分割，且$P(B_{i}) > 0$，則：

$P(A) = \sum_{i=1}^{n} P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$

  當直接計算$P(A)$較困難，將事情$A$分解成幾個小事情，通過求小事情的概率，然後相加從而求得事情$A$的概率。找事情$B$的樣本空間的一組分割，將事情$A$表示爲：

$A=AB_{1}+AB_{2} \cdots + AB_{i} + \cdots + AB_{n}$

  3. 貝葉斯公式：

  若事件$B_{1},B_{2},\cdots,B_{n}$是樣本空間$\Omega$的一組分割，且$P(A) > 0$,$P(B_{i}) > 0$,則：

$\begin{aligned} P\left(B_{i} | A\right) &=\frac{P\left(A B_{i}\right)}{P(A)}=\frac{P\left(B_{i}\right) P\left(A | B_{i}\right)}{P(A)} \\ &=\frac{P\left(B_{i}\right) P\left(A | B_{i}\right)}{\sum_{j=1}^{n} P\left(B_{j}\right) P\left(A | B_{j}\right)}, i=1,2, \ldots, n \end{aligned}$

  其中$P(B_{i})$爲先驗概率，$P(B_{i}|A)$爲後驗概率。

獨立性

  事件的獨立性：對於兩事件，若其中任何一個事件的發生不影響另一個事件的發生，則這兩事件是獨立的。數學語言描述如下形式：

$\begin{array}{l} \Leftrightarrow P(A | B)=P(A) \\ \Leftrightarrow P(A B) / P(B)=P(A) \\ \Leftrightarrow P(A B)=P(A) P(B) \end{array}$

  其最終的獨立性定義爲：若事情$A$與$B$滿足：$P(AB)=P(A)P(B)$，則稱$A$與$B$相互獨立。

條件獨立性

  定義（條件獨立性）：在給定 $C$ 的條件下，若事件 $A$ 與 $B$ 滿足 $P(AB|C)=P(A|C)P(B|C)$, 則 稱 $A$ 與 $B$ 在給定 $C$ 的條件下相互獨立。

  舉個例子，比如說一般情況下，熬夜會增加賴牀 的概率，賴牀會增加遲到的概率。但是在已經賴牀的條件下，熬夜和遲到發生的概率就無關了。即在給定$C$的條件下，事情$A$與$B$條件獨立。再或者說：一 般情況下，試題難度會影響考試成績，考試成績的高低會影響老師是否會給推薦信。在已知考試成績的條件下，試題難度和是否能獲取導師推薦信無關。即在給定$G$ 的條件下， 事件$D$ 與 $L$ 條件獨立。

概率圖模型常用的三個概念

  聯合概率分佈(joint distribution function) 亦稱多維分佈函數：$p(\mathbf{x} )= p(\mathbf{x}_{1} ,\mathbf{x}_{2},\cdots,\mathbf{x} _{N} )$。其定義如下：

  設$(X,Y)$是二維隨機變量，對於任意實數$x,y$，二元函數：$F(x,y)$ = $P{(X<=x) 交 (Y<=y)}$ $=> P(X<=x, Y<=y)$ 。稱爲：二維隨機變量$(X,Y)$的分佈函數，或稱爲隨機變量$X$和$Y$的聯合分佈函數。

  邊緣概率 關於其中一個特定變量的邊緣分佈，則爲給定其他變量的條件概率分佈。邊緣概率是與聯合概率對應的，$P(X=a)$或$P(Y=b)$，這類僅與單個隨機變量有關的概率稱爲邊緣概率：$p\left(\mathbf{x}_{\alpha}\right)=\sum_{\mathbf{x} /\mathbf{x}_{\sigma}} p(\mathbf{x})$。

  最大後驗概率狀態（Maximum a posterior，MAP）最大後驗估計是根據經驗數據獲得對難以觀察的量的點估計。與最大似然估計類似，最大區別是，最大後驗估計的融入了要估計量的先驗分佈在其中。故最大後驗估計可以看做規則化的最大似然估計 。數學表示爲： $\mathbf{x}^{*} = argmax_{\mathbf{x} \in X}p(\mathbf{X})$。

圖論基礎

  圖定義：由“節點”組成的抽象網絡，網絡中的各節點通過“邊”實現彼此的連接。也就是說圖有兩個要素，節點和邊。節點：表示事物、對象或隨機變量；邊：表示隨機變量間的關係。依據邊是否有方向可以分爲有向圖與無向圖。

 &emsp除此之外還有一個圖稱之爲樹狀圖：不包含圈的圖稱爲無圈圖(acyclic graph)，連通的無圈圖稱爲樹(tree)。其中包含兩個要素：1. 連通的；2. 中不包含圈。

我的微信公衆號名稱：深度學習先進智能決策
微信公衆號ID：MultiAgent1024
公衆號介紹：主要研究深度學習、強化學習、機器博弈等相關內容！期待您的關注，歡迎一起學習交流進步！