Stanford機器學習---第一週.監督學習與梯度下降

   假期繼續撿起Coursera上Andrew Ng的《Machine Learning》課程,去年同一時間學過一點點,這假期爭取結課。

   視頻講的內容還是蠻多的,寫在講義上的知識點太零散,每週的課程做一個梳理和總結,感興趣的可以參考下滴~

第一週

第一講 引言(Introduction) 

1.機器學習是目前信息技術中最激動人心的方向之一;

   機器學習是人工智能AI(Artificial Intelligence)的核心;

   應用舉例:數據挖掘Database Mining、手寫識別handwriting recognition、計算機視覺Computer Vision等。

2.定義:Field of study that gives computers the ability to learn without being explicitly programmed.

i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.

舉個例子理解下TPE:

①跳棋人機對弈:Task-------跳棋任務.

Performance measure------和新對手玩跳棋時贏得概率.

Experience-------你和計算機玩10次-1000次的跳棋遊戲.

②郵件垃圾分類:Task-------Classifying emails as spam or not spam.

Perform measure--------The number of emails correctly classified as spam/not spam.(成功的頻數or概率)

Experience-------Watching you label emails as spam or not spam.

★★★3.機器學習算法可以分爲監督學習和非監督學習兩大類。

監督學習Supervised learning:給定算法一個數據集,並且給定正確的答案;

非監督學習Unsupervised learning:只給定數據集,沒有給定正確答案;

監督學習有2大類:迴歸問題和分類問題。

①迴歸問題Regression:預測一個連續值的屬性(擬合)

②分類問題Classification:預測一個離散的輸出值(0-1)

非監督學習:聚類分析clustering


第二講 一元線性迴歸問題(Linear regression with one variable)

1.代價函數(平方誤差函數)J

                   

例如:一元線性擬合(迴歸)

假設/擬合函數Hypothesis:

                                            

參數Parameter:

                                          

代價函數Cost Function:

                                           

目標Goal:

                                                

★★★2.梯度下降算法Gradient descent algorithm

原理:初始化一個值,沿偏導數方向下降直至代價函數收斂(或找到局部最優解)

算法:

       repeat until convergence{

          

      }

      其中,J爲代價函數,以一元線性代價函數爲例;

      α爲學習速率learning rate,可以理解爲下降的步伐大小;

盜圖兩張,方便理解:



3.正交方程

   如果數據集較小,也可以採用這種方法,後面再介紹~


第三講 線性代數回顧Linear algebra review

較基礎,大一的課程,跳過~


第一週的課程就到這裏了╰( ̄▽ ̄)╮筆者繼續學習第二週的課程了,有興趣的一起來唄~











發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章