大數據運維:大數據平臺+海量數據

大數據開發獨攬大權

大數據技術很早就在BAT這些公司生根發芽,但直到14、15年大數據技術才廣泛應用在各大互聯網公司,大數據技術由此深入各行各業。


此時大數據開發人才非常緊缺,很多公司大數據從立項,到大數據平臺構建,到項目整個流程開發,到後期大數據項目的運維,都是由大數據開發人員一手完成(此時少有專業大數據運維人才)。但隨着公司數據越來越多,業務越來越複雜,大數據集羣規模越來越大,大數據團隊也越來越大,大數據開發人員這種早期短平快、粗放式、簡單無序的方式已經滿足不了大數據平臺的維護工作。此時迫切需要專業的大數據運維人才,負責大數據平臺的運維、監控、安全。

 

大數據運維肩負使命

運維的發展速度日新月異,曾幾何時,我們印象中認爲運維就是跑機房、裝系統、安裝網絡,幹一些打雜的工作。但是現在的運維工作已經變得非常重要,運維人員的分工也更加精細化,規模稍微大一點的公司都會將運維細分爲系統運維、應用運維、數據庫運維、安全運維。

當技術發展到大數據雲計算時代,出現了阿里雲、騰訊雲以及華爲雲之後,那麼底層次的初級運維將會越來越少,中級層次的運維也會逐步被淘汰,高水平的大數據運維需求量則會日益增長。因爲低層次的傳統運維主要工作就是按部就班做好螺絲釘,而高層次的大數據運維則需要考慮大數據平臺架構設計、大數據平臺的自動化、智能化管理等。這其實是要求傳統運維在大數據面前要改變思維、承擔更多的工作責任,不但要保障大數據平臺的穩定、高效運維以及切實安全,還需要具備大數據平臺架構的設計能力,所以一個好的大數據運維工程師是有做大數據架構師的潛力。


大數據運維必備技能

大數據運維跟傳統運維既密切相連又大不相同。傳統運維面對的底層軟硬件基本穩固,大數據運維面對的是商用硬件和複雜linux版本;傳統運維面對的是單機架構爲主,大數據運維面對複雜的分佈式架構;傳統運維大多維護閉源商業版系統,大數據運維通常面對開源系統,文檔手冊匱乏。大數據運維對自動化工具的依賴大大增加。那麼大數據運維到底需要具備哪些技能呢?

大數據運維是新的機會,對於傳統運維也是新的起點、新的機遇,大數據發展紅利我們一起見證,不容錯過(學習、交流wechat:971557118)。

發佈了76 篇原創文章 · 獲贊 211 · 訪問量 29萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章