Hadoop數據導入Clickhouse

長時間不用真的會忘。這個例子一共浪費了5小時。記不得太多細節了。所以說還是要堅持記錄! 加油!!!

Hadoop集羣與Clickhouse集羣不能直接訪問。

涉及知識點:

1、Hadoop數據導出。命令行與代碼兩種。

2、命令行方式涉及hadoop節點內使用還有hadoop-client訪問hadoop集羣使用命令行。

3、Java MR編寫,將格式轉換爲TSV格式,並且根據需要清洗數據。

4、Hadoop數據導出後,數據導入Clickhouse.

5、Hadoop攜帶指定用戶訪問。

晚上逐一整理。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章