作者:LogM
本文原載於 https://segmentfault.com/u/logm/articles,不允許轉載~
文章中的數學公式若無法正確顯示,請參見:正確顯示數學公式的小技巧
本文爲《數學之美》的讀書筆記。
第19章 談談數學模型的重要性
- 數學很重要
第20章 談談最大熵模型
- 思想:對一個隨機事件的概率分佈進行預測時,我們的預測應當滿足全部已知條件,而對未知的情況不要做任何主觀假設。
- $$P(d|x_1,x_2,...,x_{20}) = \frac{1}{Z(x_1,x_2,...,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}$$
- 歸一化因子:
$$Z(x_1,x_2,...,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}}$$
第21章 拼音輸入法的數學原理
- 語言模型
第22章 自然語言處理的教父馬庫斯和他的優秀弟子們
- 人物傳記
第23章 布隆過濾器
- 本質和哈希表一樣,區別是映射函數精心設計過,在可接受的衝突率前提下,減少了內存的佔用。
第24章 貝葉斯網絡(信念網絡)
- 馬爾科夫鏈假設依賴關係是一維的,所以建立一維的鏈。但實際問題很複雜,很多依賴關係不能用鏈上的狀態轉移描述,需要用圖描述。
- 爲了計算方便,依舊保持馬爾科夫假設成立,即每一個狀態只與和它直接相連的狀態有關。
第25章 條件隨機場、文法分析及其它
- 條件隨機場:在隱馬爾科夫模型中,$x_1,x_2,...$ 爲觀測值,$y_1,y_2,...$ 爲隱狀態,$x_i$ 只與 $y_i$ 有關。而條件隨機場中,$x_i$ 與 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有關。
- 可以認爲條件隨機場是一種特殊的概率圖模型。仍遵守馬爾科夫假設。條件隨機場是無向圖。
- 條件隨機場通常用最大熵模型建模:
$$P(x_1,x_2,..,x_n,y_1,y_2,...,y_m) = \frac{e^{f_1+f_2+...+f_k}}{Z}$$
第26章 Viberti 算法
- 隱馬爾科夫模型可以轉換爲籬笆網絡。Viberti 使用動態規劃思想在這個網絡中求最短路徑。
第27章 期望最大化算法
第28章 邏輯迴歸和搜索廣告
- 搜索廣告的發展:競價排名 -> 預測用戶點擊 -> 全局優化
- 預測廣告點擊率一般用邏輯迴歸做
第29章 各個擊破算法和 Google 雲計算的基礎
- MapReduce
第30章 Google 大腦和人工神經網絡
- 人工神經網絡
-
人工神經網絡與貝葉斯網絡的關係:
- 有向圖,且遵從馬爾科夫假設
- 訓練方法相似
- 對於很多模式分類問題,兩種方法效果相近
- Google 大腦:分佈式的人工神經網絡
第31章 大數據的威力
- 數據很重要