學習大數據開發需要哪些數學基礎?

一談到大數據技術,很多人首先想到的是數學,大概是因爲數字在數學體系中穩固的位置吧,這也是理所當然的。大數據時代已經被抄的很熱了,這個行業目前已經逐漸成熟,想學習大數據開發的人越來越多。每天我們在互聯網都要存留大量的信息,但如何收集、整理這海量的信息,併產生價值,已經是各行各業都在探索的重要課題,且不說在海量數據中挖掘用戶需求,預測未來的市場導向,就連政府的政務數據也要雲計算、大數據。.

如果有編程背景這是最好的了,會節省很多學習時間,更容易理解。因爲大數據環境比較複雜,並不像學習編程軟件一樣,機器安裝一下,跟老師敲幾行代碼就可以了,但大數據可就要麻煩多了,至少要準備好虛擬化的集羣環境,然後又要安裝部署各種計算框架,所以需要有耐心,有一定解決問題的能力,堅持不懈,纔有可能學好大數據。

由於工作關係,在我的周圍存在這兩類人,一是正在學校學習的大學生,二是在IT公司從事研發設計的工程師。他們在數學學習和應用方面出現了兩個極端。在校大學生,特別是大一、大二的學生每學期都有一些諸如數學分析、線性代數、數論之類數學課程,儘管在課堂上可以聽到萊布尼茨和牛頓的糾葛故事、笛卡爾的愛情故事,但是他們往往感到很迷茫,因爲不知道所學的數學知識到底有什麼用。對於IT公司的研發人員來說,他們在進入大數據相關崗位前,總是覺得要先學點數學,但是茫茫的數學世界,哪裏纔是大數據技術的開頭?

線性代數這部分數學知識與大數據技術開發的關係也很密切,矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特徵值與特徵向量等在大數據建模、分析中也是常用的技術手段。

在互聯網大數據中,許多應用場景的分析對象都可以抽象成爲矩陣表示,大量Web頁面及其關係、微博用戶及其關係、文本集中文本與詞彙的關係等等都可以用矩陣表示。比如對於Web頁面及其關係用矩陣表示時,矩陣元素就代表了頁面a與另一個頁面b的關係,這種關係可以是指向關係,1表示a和b之間有超鏈接,0表示a,b之間沒有超鏈接。著名的PageRank算法就是基於這種矩陣進行頁面重要性的量化,並證明其收斂性。

【大數據開發學習資料領取方式】:加入大數據技術學習交流羣458345782,點擊加入羣聊,私信管理員即可免費領取

以矩陣爲基礎的各種運算,如矩陣分解則是分析對象特徵提取的途徑,因爲矩陣代表了某種變換或映射,因此分解後得到的矩陣就代表了分析對象在新空間中的一些新特徵。所以,奇異值分解SVD、PCA、NMF、MF等在大數據分析中的應用是很廣泛的。

課程主要介紹大數據中的數學基礎:

一、向量、矩陣介紹 

二、向量在遊戲引擎中的應用

三、矩陣奇異值分解及其應用 

四、導數、梯度介紹 

五、最優化方法及其應用

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章