機器學習（十三）——證明邏輯迴歸屬於GLM模型族

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

我們現在考慮Logistic迴歸。這裏我們以二進制爲例，其中y∈{0，1}。鑑於y是二值的，因此，選擇伯努利分佈的伯努利族似乎是自然的，以便對給定的x的條件分佈y進行建模。在我們將Bernoulli分佈表述爲指數族分佈的過程中，我們有。此外，注意，如果y|x; θ ~Bernoulli(φ),那麼E[y|x;θ]=φ。因此，經過與普通最小二乘類似的推導，我們得到

這給出了形式的假設函數。如果您以前想知道我們是如何形成邏輯函數的，這就給出了一個答案：當我們假設條件分佈y|x是Bernoulli分佈時，那麼它是由於GLMS和指數族分佈的定義而產生的。