作爲IT類職業中的“大熊貓”，大數據人才（數據工程師，數據分析師，數據挖掘師，算法工程師等）、在國內人才市場可謂是一顆閃耀的新星。由於剛剛出於萌芽階段，這個領域出現很大的人才缺口。
學習大數據，你的職業是如何規劃的？
1 大數據人才做什麼？
2 需要具備的能力
2.1 精通SQL
2.2 數據模型技能
2.3 ETL設計
2.4 架構項目
3 知識體系
機器學習基礎
機器學習工具
3.1 大數據通用處理平臺
3.2 分佈式存儲
3.3 資源調度
3.4 機器學習工具
3.5 數據分析/數據倉庫(SQL類)
3.6 消息隊列
3.7 流式計算
3.8 日誌收集
3.9 編程語言
3.10 數據分析挖掘
3.11 數據可視化
3.12 機器學習
4 大數據人才的職業發展
4.1 薪酬待遇
4.2 職業發展路徑
1 大數據人才做什麼？
大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。大數據工程師就是一羣“玩數據”的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此“會玩”這些數據的人就很重要。
在這裏還是要推薦下我自己建的大數據學習交流羣:957205962，羣裏都是學大數據開發的，如果你正在學習大數據 ，小編歡迎你加入,大家都是軟件開發黨，不定期分享乾貨（只有大數據軟件開發相關的），包括我自己整理的一份最新的大數據進階資料和高級開發教程，歡迎進階中和進想深入大數據的小夥伴加入。
因此，分析歷史、預測未來、優化選擇，這是大數據人才在“玩數據”時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策，找出最優化的結果。
2 需要具備的能力
2.1 精通SQL
如果英語是業務的交流工具，那麼SQL就是數據的交流工具。一個不會流利的英語的業務人員能有多大的成就？不管任何技術時代的產生和更替，SQL一直是數據的通用語。數據工程師應該有能用SQL表達任何‘相關子查詢’和窗口函數複雜度的技術能力。對數據工程師來說初始SQL／DML/DDL簡單到根本沒有難度。即使是沒有接觸過SQL的人，他也能讀懂並明白數據庫的執行計劃，瞭解所有步驟，知道程序怎麼被調用，連接算法的不同和執行計劃內的分佈式維度。
2.2 數據模型技能
作爲一個數據工程師，有對實體－關係模型的認知反射，規範化的清晰認識，權衡反規範化的敏銳直覺。數據工程師應該熟悉維度建模及相關概念與術語。
2.3 ETL設計
能夠寫出有效率、有彈性的、“可發展”的ETL任務是一個關鍵。
2.4 架構項目
就如任何一個領域的專家的專業技能一樣，數據工程師需要一個較高層次的綜括，對大多數的工具，平臺，庫，和其他供他支配的資源的瞭解。認識到不同類型的數據庫、計算引擎、流處理器、消息隊列、工作流協調器、序列化格式及其他相關技術的屬性、用例、微妙之處。在設計解決方案的時候，他應該有能力選擇即將要使用的技術，並有一個構想去協調怎麼使他們一起更好地工作。
3 知識體系
3.1 大數據通用處理平臺
Spark
Flink
Hadoop
3.2 分佈式存儲
HDFS
3.3 資源調度
Yarn
Mesos
3.4 機器學習工具
Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微軟分佈式機器學習工具)
3.5 數據分析/數據倉庫(SQL類)
Pig
Hive
kylin
Spark SQL,
Spark DataFrame
Impala
Phoenix
ELK
ElasticSearch
Logstash
Kibana
3.6 消息隊列
Kafka(純日誌類，大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ
3.7 流式計算
Storm/JStorm
Spark Streaming
Flink
3.8 日誌收集
Scribe
Flume
3.9 編程語言
Java
Python
R
Ruby
Scala
3.10 數據分析挖掘
MATLAB
SPSS
SAS
3.11 數據可視化
R
D3.js
ECharts
Excle
Python
3.12 機器學習
機器學習基礎
聚類
時間序列
推薦系統
迴歸分析
文本挖掘
決策樹
支持向量機
貝葉斯分類
神經網絡
深度學習
機器學習工具
Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微軟分佈式機器學習工具)
4 大數據人才的職業發展
4.1 薪酬待遇
作爲IT類職業中的“大熊貓”，大數據人才的收入待遇可以說達到了同類的頂級。國內IT、通訊、行業招聘中，有10％都是和大數據相關的，且比例還在上升。在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據瞭解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20％至30％，且頗受企業重視。
4.2 職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分爲數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。這個職位的大部分人會往研究方向發展，成爲重要數據戰略人才。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升爲公司的高級管理層。