數據是眼下最帶感的技術名稱之一，大數據行業的火爆發展也自然也衍生出了一些與大數據相關的職業，比如互聯網數據分析師、數據工程師等等，通過對數據的挖掘分析來影響企業的商業決策已屢見不鮮。
這類職業的人羣在國外被叫做數據科學家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成爲了領英（LinkedIn）和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業裏開始創造價值。不過在國內，大數據應用還只是處於海平面上的一顆新星，不夠成熟不夠明亮，所以與其期望有一個全才來完成整個鏈條上的所有環節，更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才，幫助公司發展。
於是每家公司對大數據工作的要求不盡相同：有的專注數據庫編程、有的重點突出應用數學和統計學知識、有的是希望能找到懂得產品和市場的數據應用型人才。這種種的條件讓很多公司會針對自己的業務類型和團隊分工，給這羣與大數據打交道的人一些新的頭銜和定義：比如數據挖掘工程師、互聯網數據分析師、數據挖掘師、用戶分析專家等都是經常在國內公司裏出現的Title，在此我們將其統稱爲“大數據工程師” 。
由於國內的大數據工作還處在一個有待開發的階段，因此能從數據的銀河中挖掘出多少有效價值完全取決於工程師的個人能力。西線學院小編在這裏也爲大家羅列一些行業所需的數據分析人才所包括的能力清單：想要成爲數據工程師你要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的瞭解，對於其快速判斷並抓準關鍵因素則更有幫助。
大數據是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並不斷的成長!大數據學習羣：868847735 一起討論進步學習
需要具備的能力
1.數學及統計學相關的背景
就我們採訪過的BAT三家互聯網大公司來說，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者，更容易進入一個技能上的危險區域(Danger Zone)—一堆數字，按照不同的數據模型和算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。“只有具備一定的理論知識，才能理解模型、複用模型甚至創新模型，來解決實際問題。”沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的數據處理能力是作爲大數據工程師的一些必備要素。
舉例來說，現在人們在社交網絡上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中，大數據工程師的職責以商業分析爲主，但也要熟悉計算機處理大數據的方式。
3.對特定應用領域或行業的知識
大數據工程師這個角色很重要的一點是，不能脫離市場，因爲大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能爲應聘者積累對行業的認知，對於之後成爲大數據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。
職業發展
1.如何成爲
由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平臺上的數據拿出來，去除敏感問題後，放到雲計算平臺上交予7000多支隊伍進行比賽，比賽分爲內部賽和外部賽。“通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。”
目前長期從事數據庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成爲大數據工程師。
2.薪酬待遇
作爲IT類職業中的“大熊貓”，大數據工程師的收入待遇可以說達到了同類的頂級，國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。顏莉萍(Nicole Yan)表示，“大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。”在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據瞭解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分爲數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升爲公司的高級管理層。
學習大數據需要掌握的編程技能可以需要
第一：Java語言基礎
1、Java開發介紹
2、熟悉Eclipse開發工具
3、Java語言基礎
4、Java流程控制
5、Java字符串
6、Java數組與類和對象
7、數字處理類與核心技術
8、I/O與反射、多線程
9、Swing程序與集合類
第二：瞭解並熟悉一些HTML、CSS的基礎知識，學習 JavaScript交互功能的開發應用。
1、PC端網站佈局
2、HTML5+CSS3基礎
3、WebApp頁面佈局
4、原生JavaScript交互功能開發 05Ajax異步交互 06JQuery應用
第三：JavaWeb和數據庫
1、數據庫
2、JavaWeb開發核心
3、JavaWeb開發內幕
第四：Linux基礎，Linux操作系統基礎原理、虛擬機使用與Linux搭建、Shell腳本編程、Linux權限管理等基本的Linux使用知識，瞭解Linux常見版本，通過實際操作學會使用。
01Linux安裝與配置
02系統管理與目錄管理
03用戶與用戶組管理
04Shell編程
05服務器配置
06Vi編輯器與Emacs編輯器
第五：Hadoop生態體系，Hadoop是大數據的重中之重，無論是整體的生態系統、還是各種原理、使用、部署，都是大數據工程師工作中的核心，這一部分必須詳細解讀並熟練掌握。
01Hadoop起源與安裝
02MapReduce快速入門
03Hadoop分佈式文件系統
04Hadoop文件I/O詳解
05MapReduce工作原理
06MapReduce編程開發
07Hive數據倉庫工具
08開源數據庫HBase
09Sqoop與Oozie
第六：Spark生態體系，這也是是大數據非常核心的一部分內容，在這一時期需要了解Scala語言的使用、各種數據結構、同時還要深度講解spark的一系列核心概念比如結構、安裝、運行、理論概念等。
01Spark簡介
02Spark部署和運行
03Spark程序開發
04Spark編程模型
05作業執行解析
06Spark SQL與DataFrame
07深入Spark Streaming
08Spark MLlib與機器學習
09GraphX與SparkR
10spark項目實戰
11scala編程
12Python
第七：Storm實時開發，Storm主要用來處理實時計算的問題，這一階段需要講解Storm的架構原理、安裝部署、實戰演練，同時穿插卡夫卡的體系、使用、發佈、訂閱等。
01storm簡介與基本知識
02拓撲詳解與組件詳解
03Hadoop分佈式系統
04spout詳解與olt詳解
05zookeeper詳解
06storm安裝與集羣搭建
07storm-starter詳解
08開源數據庫HBase
09trident詳解
第八：做項目的能力
每家公司對大數據工作的要求不同：有的強調數據庫編程、有的突出應用數學和統計學知識、有的則要求有諮詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。想成爲大數據開發工程師？ 我給大家推薦一下大數據學習羣868847735，不管你想系統學習，還是自學都歡迎你加入，裏面有大數據開發工程師的學習路線，學習資料，專門解答大咖