原创 sqoop1.4.6命令使用（一）
#### 列出所有數據庫（可用於測試連接） sqoop-list-databases --connect jdbc:mysql://test104:3306 --username root --password 123456
2020-06-27 07:27:14
原创 hadoop is not allowed to impersonate hadoop
原因：用戶代理未生效。檢查core-site.xml文件是否正確配置。 <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </pr
2020-06-27 06:32:16
1
原创 sqoop1.4.6安裝部署
安裝部署環境 Hadoop 2.7.3 jdk1.8 mysql 5.6 sqoop-1.4.6-cdh5.7.5.tar sqoop安裝 1.解壓 sqoop-1.4.6-cdh5.7.5.tar 至/opt/behApach
2020-06-27 06:32:16
原创 linux命令隨筆（1）
wc wc -l filename 報告行數 wc -c filename 報告字節數 wc -m filename 報告字符數 wc -w filename 報告單詞數 記一個快速拿到kafka版本號的命令： find ./li
2020-06-27 06:32:16
原创 linux命令隨筆（5）
記一個快速拿到kafka版本號的命令： find ./libs/ -name *kafka_* | head -1 | grep -o ‘\kafka[^\n]*’
2020-06-02 01:05:48
原创 How to Build a Scalable ETL Pipeline with Kafka Connect（轉）
Apache Kafka is a high-throughput distributed message system that is being adopted by hundreds of companies to mana
2020-02-21 22:00:01
3
原创 kafka 0.10.2 快速入門（譯）
Step 1: 下載代碼下載0.10.2.0版本並且解壓它。 > tar -xzf kafka_2.10-0.10.2.0.tgz > mv kafka_2.10-0.10.2.0 kafka > cd kafka Step 2:
2020-02-21 22:00:01
原创 spark1.2源碼編譯
爲什麼要編譯源碼呢？要搞hive on spark。。。 1.CHD不好用，缺jar包啊 2.hive1.1的 pom文件寫了只支持spark1.2 3.Apache版本的部署包有-Phive編譯，不能用 簡單粗暴的說 下載源碼
2020-02-21 22:00:01
原创 spark sql with hive
spark standalonespark-1.5.0-bin-hadoop2.6spark-env.sh配置 export SPARK_MASTER_IP=172.16.31.11 export SPARK_MASTER_PORT=7
2020-02-21 22:00:01
原创 flume安裝使用教程
1. flume概述 1.1. flume概念 1.1.1. flume概念 flume是分佈式的，可靠的，高可用的，用於對不同來源的大量的日誌數據進行有效收集、聚集和移動，並以集中式的數據存儲的系統。 flume
2020-02-21 22:00:01
原创 HBase Shell命令（1.2官方文檔）
hbase shell 主要分類有6種 General HBase shell commands 查看集羣狀態 #status後面可以跟不同的參數 status status 'simple' status 'summa
2018-09-03 05:34:50
原创 HBase Thrift
1.Thrift 架構圖 Thrift 包含一個完整的堆棧結構用於構建客戶端和服務器端。下圖描繪了 Thrift 的整體架構。 如圖所示，圖中黃色部分是用戶實現的業務邏輯，褐色部分是根據 Thrift 定義的服務接口描述文件生成的客戶端
2018-09-03 05:34:48
原创 HBase協處理器（1.2官方文檔）
HBase Coprocessor HBase Coprocessor是根據Google BigTable的coprocessor實現來建模的。 coprocessor框架提供了在管理數據的RegionServer上直接運行定製代碼的
2018-09-03 05:34:47
原创 Hive SQL 解析過程
HiveSQL解析過程詳解 Hive是基於Hadoop的一個數據倉庫系統，在各大公司都有廣泛的應用。美團數據倉庫也是基於Hive搭建，每天執行近萬次的Hive ETL計算流程，負責每天數百GB的數據存儲和
2018-09-03 05:34:47
原创 HBase性能調優（1.2官方文檔）
HBase性能調優 一． 操作系統： 1.內存： 內存儘可能的大，不要餓着HBase。 2.64-bit 使用64位的操作系統。 3.Swapping 當心交換。swappiness設置爲0。 Linux 移動那些一段時間沒有被訪問的
2018-09-03 05:34:47