大數據崗位要求之數據倉庫

    繼續介紹大數據系列崗位的要求,今天是數據倉庫崗位,數據倉庫崗位在“大數據”這仨字出來之前就已經存在好多年,不過基本是在傳統的銀行、通信運營商行業。還是先從幾個大廠的崗位要求說起(其中小影公司名氣不是很大,故意加進來和達成做對比)

今日頭條

1.重點本科及以上學歷畢業,3年以上數據倉庫經驗。
2.熟練掌握Java 編程語言,並熟悉 Shell,Python 等一門以上腳本語言;
3.熟悉掌握SQL語言和正則表達式;
3.熟悉 Linux/Unix 環境,有 Hadoop 框架開發經驗;
4.瞭解 Hive,Hbase,Klyin等一種以上大數據處理工具和技術;
5.邏輯思維能力強,對數據敏感,有較強的學習能力和創新思維;
6.具備良好的溝通能力和文字表達能力,有較強的團隊協作能力。

網易

1.熟練掌握hive、spark等大數據工具,有數據倉庫、數據分析的工作經驗;
2.熟悉數據倉庫模型設計 ,掌握常用數據建模方法,具備海量數據加工處理(ETL)相關經驗;
3.較好的業務理解能力,良好的語言溝通與表達能力
4.熱愛技術,勤於鑽研,追求極致;
5.良好的技術視野,能適應新業務新技術快速的發展變更,對新業務/新技術有持續學習的熱情;
6.優秀的分析問題解決問題能力,喜歡挑戰自己,良好的溝通能力。

華爲

1、 計算機、數學、統計等相關專業畢業;
2、 4年以上大型數據倉庫架構經驗;
3、 深入理解數據倉庫理論、體系架構、數據架構、模型設計、元數據管理及數據質量控制;  
4、 熟悉ETL設計及相關工具使用;
5、 熟悉JAVA語言,熟悉shell、perl、python等腳本語言;
6、 熟悉Linux或Unix平臺,數據數據倉庫周邊開源工具;

螞蟻金服

1、熟悉數據倉庫建模理論,至少有3年以上相關領域實踐經驗
2、熟悉Hadoop、Hive、Spark等大數據技術者優先
3、具備海量數據處理以及性能優化的能力;熟練使用Python/Java或其他語言進行復雜業務邏輯的數據處理工作更佳
4、對MySQL、Redis、HBase等數據庫有一定的瞭解和使用經驗
5、強烈的責任心,對海量數據處理和分析有熱情

小影

  1. 具有很強的開發和動手能力,熟悉一種以上編程語言,如Java、Python等;
  2. 深入理解常用的數據建模理論,可獨立把控數據倉庫各層級的設計;對第三方開源工具(如kylin、metabase等)有深入瞭解
  3. 五年及以上ETL開發經驗,理解數據治理的重要性;
  4. 豐富的大數據系統使用和開發經驗,熟悉分佈式處理和流計算等系統(不限於Odps/flink/Hadoop/Hive/Hbase等)

能力三核模型分析

綜合結果如下

知識

1、本科及以上學歷(1)
2、計算機、數學、統計相關專業(1)

硬技能

1、3年及以上數據倉庫經驗(5)
2、熟悉數據倉庫建模理論(4)
3、熟悉並掌握java、shell、python一種語言以上(3)
4、熟練掌握hive、hbase大數據處理工具(3)
5、有ETL開發經驗(2)

才幹or軟技能

1、良好的溝通與表達能力(2)
2、較強的團隊協作能力(1)
3、較強的學習能力(1)
4、較強的業務理解能力(1)

個人經驗

    數據倉庫在大數據興起之前在傳統行業還是非常受重視的,大數據火了之後數據倉庫工程師一夜之間不受所有人的待見了(包括用人單位),這裏我要爲數據倉庫崗位打個call,這個崗位是非常非常重要的,數據分析師、數據產品經理、數據挖掘工程師如果想有高效的、高價值的數據產出絕對離不開數據倉庫工程師。其中互聯網的數據“大”&“髒”2個特點更加需要數據倉庫模型架構師來做底層數據模型的建設和把關。
    從上面硬技能中第三條(熟悉並掌握java、shell、python一種語言以上(3))來看,相比幾年前對數據倉庫崗位的要求是更高了的,以前更多的是要求在數據庫方面的熟悉和精通,現在要求的都比較少了。但是實際情況是數倉的同學不但沒有隨着要求的提升而提升自身的能力,而且把之前數倉必備的要求也都給丟掉了,比如數據倉庫建模理論、數據庫的基本優化功底等。這點也是從最近幾年招聘的數倉同學身上看出來的實際行情。個人覺得非常可惜,真想大聲問一下“還有純正的數倉同學嗎”?

系列文章

大數據崗位要求之數據產品經理
大數據崗位要求之數據分析師
大數據崗位介紹-引子(能力三核模型)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章