統計算法學習梳理(二)

接下來的幾種模型沒有用,只是在學習書本里中提到。在此僅僅作爲一個搬運工,然後結合自己的理解慢慢修改。

8,邏輯斯諦迴歸模型

1,迴歸分析。迴歸分析本質上就是一個函數估計的問題,就是找出因變量和自變量之間的因果關係。

2,邏輯斯諦迴歸(logistic regression)又叫對數迴歸,其本質上是線性迴歸,只是在特徵到結果的映射中加入了一層函數映射。即一般線性迴歸中認爲:,而在邏輯斯諦迴歸中我們認爲。(對於其它模型,很多從名字上就點理解一些,但對“邏輯斯諦迴歸”很是不解,爲什麼不直接說邏輯迴歸?按音譯的話把邏輯兩個換了以,不是技術男,個人愚見了,hh


9,提升方法

在此完全引用三句話(學習資料4):

1,提升方法是基於這樣一種思想:對於一個複雜任務來說,將多個專家的判斷進行適當的綜合所得出的判斷,要比其中任何一個專家單獨的判斷好。通俗點說,就是”三個臭皮匠頂個諸葛亮”。

2,Leslie Valiant首先提出了“強可學習(strongly learnable)”和”弱可學習(weakly learnable)”的概念,並且指出:在概率近似正確(probably approximately correct, PAC)學習的框架中,一個概念(一個類),如果存在一個多項式的學習算法能夠學習它,並且正確率很高,那麼就稱這個概念是強可學習的,如果正確率不高,僅僅比隨即猜測略好,那麼就稱這個概念是弱可學習的。

3,在學習中,如果已經發現了“弱學習算法”,那麼能否將它提升(boost)爲”強學習算法”。大家知道,發現弱學習算法通常比發現強學習算法容易得多。那麼如何具體實施提升,便成爲開發提升方法時所要解決的問題。關於提升方法的研究很多,有很多算法被提出。最具代表性的是AdaBoost算法(Adaptive Boosting Algorithm),可以說,AdaBoost實現了PAC的理想。

10,EM算法

1,EM算法是一種迭代算法,用於含有引變量的概率模型參數的極大似然估計,或極大後驗概率估計。

2,EM算法每次迭代分爲兩步:E步,根據現有的模型參數,將觀測數據輸入到模型中進行計算,求期望;M步,重新計算調整模型參數,求極大。

11,感知機

1,感知機是二分類的線性分類模型,其輸入爲實例的特徵向量,輸出爲實例的類別。

2,感知機學習旨在求出將訓練數據集進行線性劃分的分類超平面,爲此,導入了基於誤分類的損失函數,然後利用梯度下降法對損失函數進行極小化,從而求出感知機模型。感知機模型是神經網絡和支持向量機的基礎。

12,條件隨機場

1,條件隨機場(conditional random fileld,CRF)是給定一組輸入隨機變量的條件下另一級輸入隨機變量的條件概率分佈模型,其特點是假設輸出變量構成馬爾可夫隨機場。

2,馬爾可夫隨機場,在一個研究空間域裏,第個實例只它的鄰居有關係,與其他的實例沒有關係。

13,人工神經網絡

在人工神經網絡,看了一些資料,感覺吳軍老師在《數學之美》中介紹的還不錯,在這部分基本上都是書中內容。

首先是對吳軍老師在書裏所寫的對學習人工神經時的感覺表示同意,這個詞很唬人,更有拿這個詞唬人的人,不然也有願意講但是讓人聽不明白的人。

人工神經網絡本質上是一個有向圖,只不過是個特殊的有向圖。其特殊性概括爲兩點:1,圖中所有節點都是分層的,每一層節點都可以通過有向弧指向上一層節點,但是同一層節點之間沒有弧連接,且每個節點不能越過一層連接到上上層節點;2,第一弧上有一個值(或稱權重),根據這些值,可以用一個非常簡單的公式算出它們把指節點的值。

14,多維縮放

多維縮放就是把多維的數據降到低維空間但是仍然儘可能的保持原來數據之間的距離關係(高維下距離近的兩點在低維下仍然近,遠的仍然遠)。



15,非負矩陣因式分解

可以將一組數值型的觀測數據拆解成不同的分組。

算法要求輸入多個樣本數據,每個樣本數據都是一個m維數值向量,首先把我們的數據集用矩陣的形式寫出來,每一列是一個數據,而每一行是這些數據對應維度的數值。於是我們就有了一個大小爲m*n的輸入矩陣。而算法的目標就是將這個矩陣分解爲另外兩個非負矩陣的積。

16,優化算法

不同於之前的分類和聚類算法,優化的目的是嘗試找到一個使成本函數輸出最小化的值。這裏主要包括兩個算法:模擬退火算法和遺傳算法。

學習資料: 

1,《統計學習方法》李航 

2,《集體智慧編程.Programming Collective Inteligence》

3,迴歸分析.博客園:http://www.cnblogs.com/zhangchaoyang/articles/2640700.html

4,http://www.sigvc.org/bbs/thread-727-1-1.html

5,《數學之美》

6,感知機模型.http://blog.csdn.net/qll125596718/article/details/8394186

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章