面試題——數倉項目技術如何選型?

在這裏插入圖片描述

技術選型:

要提供兩套方案,紅色的一套,黑色的一套,提供對比

選擇的依據:

優先選擇紅色的那一套,因爲比較通用,而且熟悉

Flume解決日誌的採集,Kafka解決消息的分發和消峯,Sqoop用於HDFS和關係型數據庫進行數據的傳遞

MySql主要用於查詢,它用於存儲與前端進程交互比較頻繁的數據,因爲查詢要速度比較塊,HDFS主要用於存儲,用於存儲計算和分析的數據量大的數據

Hive是底層是基於MR,速度慢,Tez基於內存,數據在計算過程中不落盤,都存儲在內存中,速度快,Spark同理

Presto和Impala是同類型同級別的框架,Druid在處理實時即席查詢比Kylin強一些

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章