10.1 Logistics Regression - Logistics Regression Problem
判斷有還是沒有心臟病，即二元分類問題。左上角說明有噪音。我們比較在意的是錯誤率的多少。
我們不是很強硬的就0或者1，而是變成了一個值，值的大小即概率值。
我們得不到理想中的數據，而是實際上有噪音的數據，而且數據不是概率值，而是確定的0,1
x0是bias，其他都是數據，然後計算一個加權和。
我們對分數不感興趣，而是要映射到0-1之間。
我們使用 logistics 函數來進行映射。
10.2 Logistics Regression - Logistics Regression Error
三個模型進行對照。
都要對特徵進行加權和進行打分。
只是對分數抽進行不同的處理。
將f（x）按照形式等價替換。
有一筆資料是 如下形式，那這個資料產生的機率是多少。
條件的概率連成
替換
我們假裝h就是f，將f替換成h後的概率
likelihood（）就是概率論中的似然函數
既然已經產生了這個序列，那麼我們相信這個f出現的機率很大，我們就要選擇最大的h，這樣選擇後的h纔有可能是最接近f的那個h。
而且同時我們關注的是不一樣的部分，故P（x1）。。等等都是灰色的。
我們將h換成了權重w
我們覺得乘法不好，換成加法
同時也想讓最大化問題變成最小化問題
我們叫做err（w，x，y）叫做cross-entropy error，有歷史上的原因。
10.3 Logistics Regression - Gradient of Logistic Regression Error
接下來就要找w，使Ein最小。
使用鏈式求導法則。剝洋蔥。
我們想要求出梯度爲0的地方。
有一種可能性，所有sita等於0。
回憶一下PLA。
相等的時候，前面的係數是0，因此就不進行更新操作。
而不相等的時候，爲1，才進行更新的操作。
這個公式有兩項，後面的那一項是更新的方向。而前面的係數是走多大步，在後面會有用。
10.4 Logistics Regression - Gradient Descent
我們並沒有變得輕鬆，因爲有了非線性，而且還有很多的限制條件。
我們做的簡單的都是有關線性的式子，我們就像能否將其轉換成線性的式子、？
我們用極限的方法，用一小段的線段來進行估計。即泰勒展開。
yita 是步長，我們並不關心，是我們人爲規定的。
v的定義如下：
我們要求v是一個單位向量。
那麼步長的 yita 怎麼選擇呢？
我們如果選的很小或者很大都不好
注意，紫色的yita 正比於||梯度Ein||，因此最後得到結果。
