原创 HDPCD-Java-複習筆記（11）
Optimizing MapReduce Jobs Optimization Best Practices Here are some of the best ways to increase performance: 1.Config
2020-06-23 03:52:48
原创 HDPCD-Java-複習筆記（6）
Input and Output Formats 輸入輸出格式 Overview of Input and Output Formats 輸入輸出格式概述 In a MapReduce job, there are two con
2020-06-23 03:52:48
原创 Nifi Docker集羣-兩個節點 (1)
使用Dockerfile構建nifi基礎鏡像： Dockerfile: # Version: 0.0.1 FROM docker.io/centos:7 MAINTAINER [email protected] ARG JDK_
2020-06-23 03:52:48
17
原创 ClassNotFoundException: org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory
HBaseClientService unable to connect when Phoenix is installed Nifi使用PutHbaseJSON往HDP平臺的HBASE裏面寫入數據時，HBase_1_1_2_Clien
2020-06-23 03:52:48
2
原创 HDPCD-Java-複習筆記（2）
2.編寫MapReduce應用程序（Writing MapReduce Applications） 一個MapReduce程序由兩個主要階段組成（A MapReduce program consists of two main phas
2020-06-23 03:52:48
原创 HDPCD-Java-複習筆記（12）
Advanced MapReduce Features Overview of Localization Localization is the process of copying or downloading remote res
2020-02-23 11:05:24
原创 HDPCD-Java-複習筆記（5）
Partition and Sorting Partitioners All values with the same key must be sent to the same Reducer. If there is no Part
2020-02-23 11:05:24
原创 Nifi Docker集羣-兩個節點（3）
啓動主節點腳本（start-nifi-master.sh）： #!/bin/bash docker run -dt -p 8080:8080 --name nifi-master --hostname master -e HOSTNAME
2020-02-23 11:05:24
3
原创 HDPCD-Java-複習筆記（8）- lab
Java lab booklet Adding a Combiner The combiner will greatly decrease the number of key/value pairs distributed across
2020-02-23 11:05:24
原创 HDPCD-Java-複習筆記（9）-lab
Java lab booklet Sorting Using a Composite Key 完整代碼參考前一個複習筆記 Define a Custom Key Class -- Stock.參考前一個複習筆記。 Writea Cust
2020-02-23 11:05:24
1
原创 HDPCD-Java-複習筆記（3）-lab
Java Lab Booklet Lab: Understanding Block Storage 1.The block size needs to be at least （1,048,576 bytes） according to
2020-02-23 11:05:24
2
原创 HDPCD-Java-複習筆記（10）-lab
Java lab booklet Computing the Moving Average of a Stock 僅展示部分代碼，其餘參考前一個複習筆記。 Reducer recycle logic's data example win
2020-02-23 11:05:24
原创 hive更改表列的類型不生效
工作中遇到這樣一個問題： Hive建外部表，表中存在數據，查詢時發現某個表某個列的數據類型錯了，本來是浮點型的建表時建成了bigint類型，然後通過alter table xxx change column改變相應列的類型，發現修
2020-02-23 11:05:24
原创 centos7 docker容器報 docker Failed to get D-Bus connection 錯誤
在centos7的docker容器裏面不能用service啓動服務。 systemctl start httpd 報錯內容：Failed to get D-Bus connection: Operation not permitted
2020-02-23 11:05:24
3
原创 hive集羣間數據遷移，export+import
官方參考鏈接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport The EXPORT and IMPORT commands we
2020-02-23 11:05:24