學習大數據都需要哪些數學基礎?

其實籠統地說大數據原理和基礎都在數學這邊,當然有很多偏應用和軟件使用的技術,例如“深度學習調參”等,這些報個培訓速成班就能學會的技術含量不那麼高的東西,不在討論範圍內。

這裏要討論的,是如何系統的學習,然後自己能編出這機器學習或深度學習的程序或軟件。我想,這才能稱爲一個合格的機器學習、數據科學家。

所以您準備好了嗎?

大數據入門基礎

1, 微積分(求導,極限,極值)和線性代數(矩陣表示、矩陣運算、特徵根、特徵向量)是基礎中的基礎,某篇圖像分割1w+引用的神文核心思想便就求解構造矩陣的特徵向量;

【大數據開發學習資料領取方式】:加入大數據技術學習交流羣458345782,點擊加入羣聊,私信管理員即可免費領取

2, 數據處理當然需要編程了,因此C/C++/Python任選一門(推薦Python,因爲目前很多庫和Library都是用python封裝),數據結構可以學學,讓你編程更順手更高效,但是編程不是數據處理的核心。

當然了,樓主所在的圖像處理界,熟練使用matlab或者Python調用opencv庫是必要條件,但是again他們只是工具,業餘時間自學,多練練就沒問題。有同學問用R行不行,補充一點,用什麼編程語言很大部分取決於你的核心算法會調用什麼已有的庫函數,比如樓主的科研裏面核心算法往往是MIP(混合整數規劃)問題需要調用Cplex或Gurobi庫函數,因此C/C++/Python/Java這些和Cplex接口良好的語言都可以拿來用,這時候R就別想了。(更新:最新Gurobi版本支持R)

另外雖然圖像處理界一些open-source的code都用C++寫的,但是鑑於使用方便都會提供Python的接口,因此需要用到這些code的話,用Python調用比較方便;但是,如果是高階骨灰級玩家,需要修改甚至自己寫源代碼,那麼還是推薦C/C++,因爲他們的速度最快。

3,算法

通常高校都會有算法類的課程,會概述各類算法的基礎和應用,其中包括:精確算法、近似算法、啓發式算法、演化算法、遞歸算法、貪婪算法等待,還有各類優化算法。

算法非常核心,想必大家都聽說過算法工程師這個職位。所以,我就不多贅述啦!

中級教程

1,概率論+統計(很多數據分析建模基於統計模型)、統計推斷、隨機過程等

2,線性規劃+凸優化(或者只學一門叫numerical optimization,統計、機器學習到最後就是求解一個優化問題)、非線性規劃等

3,數值計算、數值線代等

當年我是在數學系學的這門課,主要是偏微分方程的數值解。

但我覺得其開篇講的數值計算的一些numerical issue更爲重要,會顛覆一個數學系出身小朋友的三觀。(原來理論和現實差距可以這麼大!)

Conditional number, ill-conditioned problem,會讓你以後的編程多留個心眼。

 

恭喜你,到這裏,你就可以無壓力地學習Machine Learning這門課了(其實機器學習,通篇都是在講用一些統計和優化來做clustering 和 classification這倆個人工智能最常見的應用)。並且你就會發現,ML課中間會穿插着很多其他課的內容。恩,知識總是相通的嘛,特別是這些跨專業的新興學科,都是在以往學科的基礎上由社會需求發展而來。

到這裏,其實你已經能看懂並且自己可以編寫機器學習裏面很多經典案例的算法了,比如regression,clustering,outlier detection。

學到Mid-level,就已經具備絕大部分理論基礎了。然後做幾個實際項目,就能上手然後就可以“驕傲”的說自己是搞機器學習的人啦,然後就能找到一份工作了。

但是要讀Phd搞機器學習的科研,那麼高階課程真的是必不可少的,而且同一個topic你需要學好掌握好幾門課,有時候很可能只是一本書中一個章節裏面一小節裏講的算法,你都需要去用心改進他。

高階課程

再高階的課程,就是比較specific的課程了,可以看你做的項目或者以後的concentration再選擇選修,比如:Probabilistic Graphical Models(概率圖模型), Integer Programming(整數規劃) ,計算機視覺,模式識別,視頻追蹤,醫學圖像處理,增強學習,深度學習, 神經網絡,自然語言處理,網絡信息安全,等等等等。

深度學習:目前非常火,打敗了非常多幾十年積累起來的經典方法。

增強學習:也很火,遊戲AI、自動駕駛、機器人等等,它都是核心。

概率圖模型:深度學習之前非常popular的“學習”方法,有嚴格的數學模型和優美的算法,雖然目前被前倆者蓋過了風頭,但是依然有它的立足之處。

再比如有用偏微分方程做圖像處理的(比較小衆),那麼這時候你肯定要去學一下偏微分方程了,大都是以科研爲主導的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章