長時間不用真的會忘。這個例子一共浪費了5小時。記不得太多細節了。所以說還是要堅持記錄! 加油!!!
Hadoop集羣與Clickhouse集羣不能直接訪問。
涉及知識點:
1、Hadoop數據導出。命令行與代碼兩種。
2、命令行方式涉及hadoop節點內使用還有hadoop-client訪問hadoop集羣使用命令行。
3、Java MR編寫,將格式轉換爲TSV格式,並且根據需要清洗數據。
4、Hadoop數據導出後,數據導入Clickhouse.
5、Hadoop攜帶指定用戶訪問。
晚上逐一整理。