原创 機器學習方法篇(10)------隨機森林

● 每週一言 因年齡增長所帶來的理解力,與努力無關。 導語 前面介紹了決策樹算法應用之一的GBDT模型,本節講講決策樹另一個比較火的應用模型,隨機森林。與GBDT模型相比,同樣屬於集成學習,隨機森林模型的原理更爲直觀簡潔,性能也同

原创 NOIP回憶錄

● 每週一言 成熟不是進步,但進步是一種成熟。 導語 是否還記得那一年的長郡機房,向總看NBA的哈哈大笑之聲?是否還記得那一年刷的vijos和poj?是否還記得午休空調下的那一份盒飯?雖已去十年,但當時的酸甜苦辣依舊恍如昨日。在這

原创 二分查找與補丁規避

● 每週一言 越努力,越幸運。 導語 二分查找(binary search)可以說是最常見的算法思想之一了。即便是如此直觀簡單的算法,在不同場景下的實現方式也存在着微妙差別,稍有馬虎就需要打上冗餘難看的補丁來防止各種badcase

原创 機器學習方法篇(12)------拉格朗日乘子法

● 每週一言 不忘初心,方得始終。 導語 上一節講到SVM的優化公式,並提到SVM在強大的數學理論背景之下有着十分高效的訓練方法。本節就先講講其中的一個關鍵知識點——拉格朗日乘子法,爲之後深入講解SVM做準備。 拉格朗日乘子法 在

原创 機器學習方法篇(11)------SVM入門

● 每週一言 溝通,是解決問題的不二法寶。 導語 支持向量機由Bell實驗室於1995年提出,是一種非常有潛力的分類模型。與邏輯迴歸、神經網絡模型相比,支持向量機有着更強的數學理論背景。那麼,支持向量機到底是什麼? SVM 支持向

原创 機器學習方法篇(13)------KKT條件

● 每週一言 實現目標的最大敵人,是時間。 導語 上一節講了帶等式約束條件的拉格朗日乘子法,本節講講帶不等式約束條件的函數凸優化方法——KKT條件,爲之後深入講解SVM做準備。 KKT條件 任何不等式約束條件的函數凸優化問題,都可

原创 機器學習方法篇(18)------聚類

● 每週一言 是學是玩,和時間賽跑。 導語 在實際生活中,無論是超市貨架還是網絡社交羣體,都體現着歸類的相似性,即所謂的“物以類聚,人以羣分”。在機器學習中,專門有這麼一類針對類別劃分的算法,就是接下來要講的聚類。那麼,聚類的數學

原创 樸素神經網絡原理拋磚引玉

● 每週一言 經驗不一定是真理,但通常都很管用。 導語 人工神經網絡(ANN)作爲機器學習當下最熱門的模型,在圖像識別、語音識別以及各種分類問題中,帶來的效果與收益有目共睹。那麼,神經網絡模型具體是如何起作用的?如何直觀感受神經網

原创 機器學習方法篇(14)------SVM公式推導

● 每週一言 找準自己的定位,才能找到自己的快樂。 導語 前兩節講完了拉格朗日乘子法和KKT條件,而SVM正好符合拉格朗日乘子法定義的不等式約束優化問題形式,本節就基於KKT條件來推導一下SVM。 SVM公式推導 我們先回憶一下前

原创 機器學習方法篇(15)------貝葉斯分類基礎

● 每週一言 音樂,是不二良藥。 導語 學過統計分析,一定知道什麼是先驗概率和後驗概率,而貝葉斯分類的原理和這兩種概率息息相關。爲了更好地講解貝葉斯分類,本節先講講概率統計相關的基礎知識,方便之後的公式推導。 概率基礎 概率基礎一

原创 機器學習方法篇(9)------梯度提升決策樹GBDT

● 每週一言 生命在於運動,無論腦力還是體力。 導語 前面第3、4兩節介紹了決策樹,由於決策樹簡單有效,可解釋性強,因此被包裝成了一些更爲高效的機器學習算法,其中最爲知名的就是梯度提升決策樹GBDT(Gradient Boosti

原创 機器學習方法篇(17)------集成學習

● 每週一言 做出決定,然後對決定負責。 導語 俗話說“三個臭皮匠,頂個諸葛亮”。單個模型的性能效果通常弱於多個模型的融合結果,而這種融合就叫做集成學習。那麼集成學習有哪些常見模型?這種集成是否一定能提升模型效果呢? 集成學習 在

原创 機器學習方法篇(16)------樸素貝葉斯分類

● 每週一言 煙花易冷,也曾發光發熱。 導語 上週講了四個概率統計公式,加法公式、乘法公式、貝葉斯公式、全概率公式,其中的貝葉斯公式由概率乘法公式聯立推出。作爲貝葉斯分類中應用最廣泛的模型,樸素貝葉斯分類模型的算法思想是什麼?這些

原创 機器學習方法篇(19)------劃分聚類法

● 每週一言 無法讓明天不一樣,可以避免和昨天一樣。 導語 前面介紹了什麼是聚類以及聚類的相似性度量方法,本節開始講解最常用的聚類方法,劃分聚類。那麼,劃分聚類的原理思想是什麼?又有哪些常用的算法? 劃分聚類 劃分聚類顧名思義,基

原创 Policy Evaluation之Sequencial DR論文講解

● 每週一言 如果覺得自己掙錢能力還不錯,很可能只是因爲年輕。 導語 在上一篇文章裏,小鬥給大家講解了ICML2011那篇關於DR的經典論文,那篇論文所述場景是“多臂老虎機”遊戲。在多臂老虎機遊戲過程中雖然要連續嘗試多次,但其相鄰兩次