技術選型:
要提供兩套方案,紅色的一套,黑色的一套,提供對比
選擇的依據:
優先選擇紅色的那一套,因爲比較通用,而且熟悉
Flume解決日誌的採集,Kafka解決消息的分發和消峯,Sqoop用於HDFS和關係型數據庫進行數據的傳遞
MySql主要用於查詢,它用於存儲與前端進程交互比較頻繁的數據,因爲查詢要速度比較塊,HDFS主要用於存儲,用於存儲計算和分析的數據量大的數據
Hive是底層是基於MR,速度慢,Tez基於內存,數據在計算過程中不落盤,都存儲在內存中,速度快,Spark同理
Presto和Impala是同類型同級別的框架,Druid在處理實時即席查詢比Kylin強一些