繼續介紹大數據系列崗位要求，大數據運維可能是“技術含量最高”的職位之一，這裏說的大數據運維主要是指hadoop生態體系方面的運維，在一些小公司或者傳統行業的大公司也會使用oracle、db2等技術棧，在互聯網行業數據量稍微大點的公司基本都是使用hadoop技術棧，像在電信或者銀行領域基本上是oracle/db2、hadoop同時使用。
該文章默認是指hadoop生態技術體系，這個職位之所以說可能是“技術含量最高”，主要有2方面的因素：一，數據量和計算量的大小與運維同學的能力是呈現指數關係，當數據量不大的時候一個現學現賣的同學都可以搞得定，當數據量像BAT的量級時，這就是需要摩拜的技術大神；二，跟運維同學本身的自我要求有關，如果僅僅是看網上的教程或者使用cdh的一鍵安裝確實沒什麼難度，特別是數據量不是很大的情況下，但是一個高自我要求的同學，去研究hadoop生態體系，看各種文檔以及源碼，這個還是非常有難度的，這是大神成長的必經之路。老套路先從幾個大廠的崗位要求說起。
有贊
1、精通基於Linux系統的常用服務配置，快速部署；熟悉RHEL或CentOS系統，理解RHEL系統規範，瞭解epel的rpm打包規範
2、熟悉OS工作原理，掌握常用系統性能診斷工具；對CPU、MEM、IO、NET四大子系統內核參數以及程序性能優化有實戰經驗者優先
3、熟悉Hadoop生態常用開源項目的部署升級、擴容縮容、性能和管理優化、問題排查等（主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等）
4、熟悉JVM，熟悉大數據周邊並有實踐經驗者優先（主要包括 數據系統：MySQL，Redis，Elasticsearch，NewSQL等；機器學習：TensorFlow等）
5、熟練使用shell及python，並有一定開發經驗；有過相關運維管理平臺或自動化部署系統開發經驗者優先
6、良好的溝通合作能力，熱愛技術並善於鑽研。能主動思考，有解決疑難問題的毅力和決心
盈盈集團
1、熟悉Hadoop、HBase、Kafka、Hive、Spark等組件的工作原理，並有3年以上Hadoop生態系統維護經驗；
2、搭建、調優並維護過spark、Hive、Storm、Kafka、Redis等服務；
3、熟悉Linux開發環境，熟練掌握Java/scala/python等任一編程語言,編碼能力優秀
4、能夠閱讀開源組件源碼，手動編譯、安裝過patch、更改過組件源碼且應用於生產環境者優先；
5、熟悉分佈式系統設計範型，有大規模系統設計和工程實現者優先；
6、有CDH安裝部署及運維經驗者優先
7、本科及以上學歷者優先
橙鷹
1、熟悉 nginx/haproxy 負載均衡，能基於 nginx 做一些插件開發
2、有mysql 數據庫使用和維護經驗，有使用 pg 優先
3、熟悉 php，lua 編程語言的優先
4、熟悉並參於過開源系統如zabbix，ganglia，kong網關的優先
5、具有良好的心理素質，能承受一定的壓力。
6、具有良好的溝通能力，樂於分享，與團隊成員分享最佳實踐，共同進步。
個推
1、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決系統層的各類問題；
2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等開源項目的安裝與調試,升級擴容和優化；
3、至少精通 Perl/Python/Shell腳本語言中的一種；
4、具備較強的邏輯思維能力、學習創新能力、數據分析能力，以及良好的溝通技巧和團隊合作能力,性格開朗有較強抗壓能力；
5、全日制本科以上學歷，計算機相關專業；
6、5年以上運維經驗；
網易
1、本科及以上學歷，計算機相關專業;
2、2年以上系統運維或開發經驗，熟悉Hadoop/Spark/HBase等大數據系統，有大數據平臺運維或開發經驗者優先;
3、熟悉Linux操作系統，熟悉Java，熟練使用Shell/Perl/Python/Ruby中至少一種語言;
4、良好的學習能力、邏輯分析、問題排查能力;
5、良好的團隊合作者，善於溝通，較強的抗壓能力。
能力三核模型分析
綜合結果如下
知識
1、本科及以上學歷(3)
2、計算機相關專業(2)
3、熟悉Hadoop、HBase、Kafka、Hive、Spark等組件的工作原理(1)
硬技能
1、熟悉/精通linux操作系統(4)
2、熟悉hadoop/hbase/hive/spark/kafka/storm等大數據開源系統部署、升級、擴容、優化等(4)
3、熟練掌握java/python/shell/perl/php等至少一種開發語言（5）
4、2年以上運維經驗(3)
5、有CDH安裝部署及運維經驗(1)
6、有相關運維管理平臺或自動化部署系統開發經驗(1)
才幹or 軟技能
1、良好的溝通能力(4)
2、良好的團隊合作能力(3)
3、良好的學習能力(4)
4、良好的解決問題能力(2)
5、良好的抗壓能力(3)
6、良好的邏輯思維能力(2)
崗位職責
1、負責大數據平臺部署、維護、管理、優化、規劃等，包括但不限於Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系統（5）
2、保障大數據平臺穩定性和可靠性（4）
3、開發監控報警平臺(3)
4、建設自動化部署及運維工具(2)
5、給業務提供技術支持及優化(2)
個人經驗
是否需要設立大數據運維這個職位跟是否自建大數據平臺直接相關，上面5家公司至少都是中型公司，從崗位職責來看都是自建大數據平臺的。而是否自建大數據平臺，什麼時候自建，什麼時候用第三方雲平臺(比如阿里的數加)，則是一個仁者見仁智者見智的問題。個人經驗建議下面3個場景符合之一則暫時不用自建：1）公司創業階段；2）數據量規模不大；3）數據建設剛起步階段，想快速見效階段。當然老闆的眼界和魄力不同，則另外一說。當公司老闆決定建立大數據團隊的那一刻，就決定了這是一筆不菲的投入，不管是自建數據平臺還是使用第三方雲平臺(友情提醒創業老闆們)。
對於決定自建數據平臺的公司來說，大數據運維這個職位基本也就確定了的。現在大數據運維職位在一般公司內還處於模糊階段，比如崗位要求都是寫要熟悉或者精通Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等技術棧，一個普通的工程師短時間內很少能研究這麼多系統，況且這些系統的技術更新迭代又非常的快，既然這種人這麼少，爲啥又都這樣要求呢？原因很簡單，這就是這個行業發展階段和認知水平。其實在BAT已經是按照不同系統在細分了，比如有專門負責hbase的同學，有專門負責hive的同學等。
對於有意向該崗位的同學要有極高的自我學習能力和要求，而且不能間斷，這是一條不折不扣技術之路。
系列文章
大數據崗位要求之大數據開發工程師
大數據崗位要求之數據測試
大數據崗位要求之數據挖掘
大數據崗位要求之數據倉庫
大數據崗位要求之數據產品經理
大數據崗位要求之數據分析師
大數據崗位介紹-引子(能力三核模型)