大數據開發、大數據分析、大數據運維主要工作各是什麼?哪個好?謝謝?

首先,工作本身沒有好壞之分,只有門檻高低之別。大數據開發、大數據分析、大數據運維都圍繞着大數據展開。如果我們把大數據去掉,就只剩下,開發,分析,運維。當然還有其它的工作,例如運營,產品,講師,測試等。 加上了大數據,只是我們的工作內容,或者說是工作方式發生了變化。

大數據是傳統行業,傳統技術逐步發展的產物。但是並沒有打破我們在傳統行業的工作模式,和我們的一些基礎知識的儲備。革新的只有處理技術,工作手段。在這裏我們更詳細的說說大數據開發、大數據分析、大數據運維 的工作內容,已經門檻,不做好壞評價。

非大數據 開發,分析,運維幹什麼呢?

開發日常工作是幹什麼了 ? 圍繞着產品經理,進行產品開發,升級,迭代。加班熬夜,趕進度。每日的工作就是編碼,和產品溝通或者撕X,和測試溝通或者斯X,最終確保產品上線,保證產品正常使用,以及後續迭代升級。

分析日常工作是什麼了?數據整理,製作報表,最後就是報告,會議,闡述結論,最後就是說服對方接受觀點,的確很多時候,分析出來的結論,對方無法接受。

運維日常工作是什麼了?最核心的就是監控,機器是否正常運轉,資源是否夠用,產品應用是否都正常,開發相關的工具,保證異常能夠及時發現。

在介紹大數據相關的工作前我們先了解下大數據的處理流程

處理流程

我們在看看hadoop的大數據生態圈。當然大數據生態圈不是在只有hadoop。

生態圈

大數據開發的主要工作

開發數據收集工具,數據清洗和整理,開發數據應用;當然這些不是一個人去完成,都會落在各個團隊中去完成。

完整這些工作需要哪些技能?從這些技能我們也能看出來大數據開發的主要工作,就是這些工具打交道。一門開發語言(java/python/c#/scala 等),大數據下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只會其中的2到三項基本找份工作沒有問題,如何進階在這不詳細討論。我們來看圖吧。

必備技能

大數據分析的主要工作

有大表哥,專門做各種報表。取數機器人,提取各種數據。當然也有做數據分類,特徵提取等數據挖掘,機器學習等高等玩家。

這裏一併概括了,大數據分析的主要工作是:基於現有的數據進行數據分析得出一個結論,最後進行商業決策。當然現實不是這樣的。大多數人成了大表哥,取數機器人,高端玩家也不列外,挖出來的東西,在沒有找到落地場景前,都是一坨一坨的。這裏都只是調侃。

大數據分析需要哪些技能呢?我們不管具體的工作內容,看看我們每天要面對那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,數據庫,R,Python 等。當然我們不用都會。

我們還是看圖吧,看看數據分析師的能力體系:

分析師能力體系

在看看每個階段需要的技能,分析師和開發的區別在於,核心在於處理數據和清洗數據,達到自己可用的狀態。開發是收集數據和整理數據,讓數據變得統一。

階段能力對應圖

大數據運維的工作

對大數據集羣進行監控和維護升級,保障集羣正常運行,從而保證 數據收集服務能正常運行,保證集羣資源夠用,監控集羣資源消耗情況。

他們是職業背鍋俠,也是一羣默默無聞的夥伴。無論開發,還是分析,還是其它的崗位,都有在人前顯擺的時候,我們的運維永遠只能在人後做好保障。

我們來看看運維的能力體系吧:

運維能力體系

以上是我對這個問題的理解,有些調侃,但都想表達和傳遞一種正能量,每個行業,每個崗位都有其特定的屬性和特點,既然選擇了,就只顧風雨兼程,管它花開花落,最終中能到達理想的彼岸。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章