【Dive-into-Deep-Learning】第一次集中學習

學習內容概況

Task01:線性迴歸;Softmax與分類模型、多層感知機(1天)
Task02:文本預處理;語言模型;循環神經網絡基礎(1天)

具體收穫

如下,較多,接下來補上!
TODO:細節內容

【線性迴歸】

一、關於線性迴歸的思考:

其實什麼是線性迴歸以及怎麼去實現線性迴歸已經有太多的帖子來寫了,自己再寫來寫去也就相當於是製造垃圾。所以組要就是記錄一下自己在學習過後的理解。
(1)關於n元線性迴歸:

  • n = 1的時候,就是一元線性迴歸,就是用一個變量去x去預測y,也就是最直接最常見的y = wx + b ,這裏要尋找的就是一個二維平面裏的直線,用此擬合散點,使得最多的點能夠分佈在直線的兩側;
  • n = 2的時候,就是在一個三維空間裏尋找一個曲面
  • n = 3的時候,就是在4維空間裏尋找一個曲體來進行數據的擬合
  • n = n的時候,就是在n+1維空間裏尋找一個超面來或者超體來進行數據的擬合,也可以理解爲進行各種類型數據的劃分。

n的個數具體的來講就是我們數據的特徵,就拿房價預測而言,如果房價之和房子大小有關係,那就是n=1的情況,我們依照房子的大小x來預測房價的走勢,如果還要考慮到 交通便捷程度(x1), 附近學校的遠近(x3)等等的因素,那麼就是n元線性迴歸啦,也就是說,我們需要依據更多的已知信息去預測最終的房價。

其實放過來想一下也確實是這樣的,世界上的事情本來就相互聯繫,之間的關係也錯綜複雜,所以要衡量一件事物,就得綜合考慮好幾件相關的,互相有影響的因素,這樣得到的結果纔是相對可信的!

二、線性迴歸的流程

首先,很顯然線性迴歸是一個典型的依靠數據標籤的算法,也就是我們根據已有的數據,經過對數據的分析,從而得到一個比較合適的模型,那麼當再次有新數據(但是沒有標籤的數據時),其對應的標籤就是我們可以預測出來的;

然後個人局的比較重要的就是下面五點,這其實已經不僅僅是線性迴歸問題的五點了,任何的基於學習的方法,這些都非常重要。
(1)數據(已知的)
(2)模型(我們的是線性模型,那麼就是多項式的樣子,其中係數就是我們要學習的參數,也是我們的目標,我們需要學習出來的良好的參數用以擬合我們的數據)
(3)參數的初始化(沒有無本之木,也沒有無根之花,所以我們首需要對設置的參數進行初始化,在很多CV任務中,我們通常加載與訓練的參數用來對自己的模型進行初始化,最經典的就是ImageNet了)
(4)損失函數(損失就是標籤y和我們預測出來的y^之間的遠近程度,而損失函數就是我們會選用一種函數來對二者之間的遠近程度進行度量,一般有很多種,而在LR中最常用的就是MSE,也就是均方誤差,對二者先做差,再平方。)
(5)優化函數(這個就是選取什麼樣的函數去進行優化了,因爲前一步據算出了誤差,但是我們的目的是消滅誤差,因此,合理的把參數的梯度計算出來,並進行更新和調整就是優化函數乾的活了。)

【Softmax與分類模型】

  • 就是Logistic Regression 的拓展,這裏用到了多分類的任務
  • 然後Softmax主要的兩個功勞(1)把每個輸出的值控制在0~1之間,(2)並且所有的輸出值的和剛好爲1
  • 其他的暫時還沒啥感覺,以後閒了想起來再來更

【多層感知機】

多層感知機就是至少包含一層hidden層的且各層之間是全連接的神經網絡, 並且在隱藏層和輸出的計算之後添加了非線性的激活函數,極大程度上這增加了模型的非線性擬合能力。

【文本預處理】

沒興趣

【語言模型】

沒興趣

【循環神經網絡基礎】

暫時也沒有啥興趣

發佈了146 篇原創文章 · 獲贊 52 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章