hadoop-hive-日誌分析-結束總結

1.配置Hadoop環境,3臺linux機器,一臺namenode,其餘datanode,配置文件最好抽取出來單獨配置,這樣在升級版本時不需修改配置文件。

 
2.在namenode 機器上配置hive,下載,環境變量,OK。
3.日誌分析
    3.1 datafactory生成測試數據,幾百萬幾千萬設置好字段隨便生成,如果等得起生成個幾億條數據也行,導成文本文件(僞日誌)
    3.2 hive下各種建表,load數據,測試沒問題,hive --service hiveserver,啓動thrift服務器,供客戶端調用
    3.3 隨便找臺機子,什麼系統無所謂,打開eclipse寫個客戶端測試,主要就是sql 語句的各種stmt.executeQuery
4.分析結束,如果再次遇到各種問題,記得回頭看看收藏夾和日誌。

5. 開始日誌分析的hadoop-pig實現……
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章