任務標題：花書3-4章
任務簡介：概率與信息論，數值計算
詳細說明：
1. 概率與信息論
3.1-3.8：概率論基礎概念
3.9.1-3.9.4，3.9.6：簡單概率分佈函數，混合分佈
3.10：sigmoid、softplus函數性質
3.11：貝葉斯規則
3.13：信息論基礎
3.14：概率圖模型基礎
2. 數值計算
4.1-4.2：上溢和下溢，病態條件
4.3：基於梯度的優化方法
4.4：約束優化，KKT方法
4.5：線性最小二乘
3. 學習目標：
a. 極大似然估計，誤差的高斯分佈與最小二乘估計的等價性
b. 最優化，無約束，有約束，拉格朗日乘子的意義，kkt鬆弛條件
c. 掌握基礎概念
4. 作業：
a. 參考https://github.com/dibgerge/ml-coursera-python-assignments/blob/master/Exercise1/exercise1.ipynb，溫習線性迴歸。
b. 一元線性迴歸的基本假設有哪些？
c.【可選】觀看Harvard STAT110x概率論動畫視頻：https://www.youtube.com/playlist?list=PL2qHyNjtf9vO5fAiRKlBlXksc4B5TK_F0。
d. 【可選】Stephen Boyd凹優化三講：http://stanford.edu/~boyd/papers/cvx_short_course.html。
一. 第一部分：極大似然估計
注：
1. 樣本方差是總體方差的無偏估計。
2. 極大似然估計的方差是有偏估計，其方差如下圖所示，引自文章點擊此處
二.第二部分：無約束優化
1.梯度下降算法
注：
1. 梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（爲該梯度的模）。
2. 柯西不等式
由柯西不等式可知，當等號成立時，cosθ=1，此時兩向量平行，所以有以上等式成立。
3.梯度下降算法中步長的選擇問題：開始一般用梯度下降法，快逼近時，使用牛頓法。
4.牛頓法
主要思想是找下一個迭代點（最優點），第一種方法用求切線與x軸交點的方法，第二種方法用二次函數去逼近原函數，並用泰勒公式展開，取到二次項，下一個迭代點爲二次函數圖像的最低點。
三.第三部分：有約束優化
約束爲不等式的情況
因爲係數γ2 = 0，所以第二個約束條件不起作用（將x1，x2帶入第二個約束條件可知，5≤6，不在邊界上，所以不起作用）
KKT條件
應用：SVM
