原创 Dubbo之ExtensionLoader源碼分析
代碼入口 ServiceConfig類 private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAd
2020-06-20 10:46:21
原创 hadoop3.x集羣安裝
Hadoop版本 Hadoop集羣節點分配 Hadoop3.x端口變化 1：安裝系統 2：確定hostname [root@bigdata1 jdk]# cat /etc/sysconfig/network NETWORKING=
2020-02-23 20:42:32
原创 Dubbo 服務訂閱源碼分析
Dubbo 服務引用的時機有兩個： 第一個是在 Spring 容器調用 ReferenceBean 的 afterPropertiesSet 方法時引用服務 第二個是在 ReferenceBean 對應的服務被注入到其他類中時引用。 這兩
2020-02-23 20:42:22
原创 Sqoop import OR export
數據來源： 1：關係性數據庫 sqoop(Sql To Hadoop) 2：文件（Flume實時抽取數據） 任務調度：Oozie hadoop生態系統中重要的框架，需要監控(統一WEB UI界面) 1：下載Sqoop 官網：ht
2019-03-28 04:51:27
原创 ubuntu編譯hadoop2.7問題
wql@wql-pc:~/app$ sudo apt-get install libssl-dev 正在讀取軟件包列表... 完成 正在分析軟件包的依賴關係樹 正在讀取狀態信息... 完成 有一些軟件包無法被安
2019-03-17 04:38:31
原创 將本地項目傳入gitHub中
具體步驟如下： 1:git init 2:git status 3:git add -A 4:git commit -m 'init' 5:github上創建項目目錄(項目名與本地項目名一致) 6：git remote add ori
2019-03-14 01:09:04
原创 Hive客戶端連接
Hive連接方式： cd /home/wql/app/apache-hive-1.2.2-bin/bin; nohup hiveserver2 1>/home/wql/app/logs/hiveserver.log 2>/home/wq
2019-03-14 01:09:04
原创 Hive之JDBC連接數據庫
package com.itheima.hadoop.hive; import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet;
2019-03-14 01:09:04
原创 Hive數據導出導入操作
1:導入數據進入到Hive表： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partco
2019-03-12 00:49:10
原创 Hive基本操作
創建表： create table person(id bigint,name string,age bigint) row format delimited fields terminated by ","; 導入數據： load
2019-03-12 00:49:10
原创 Hive查詢實例
數據查詢： SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP
2019-03-12 00:49:10
1
原创 Hive內部表&外部表
內部表&外部表 未被external修飾的是內部表（managed table），被external修飾的爲外部表（external table）； 區別： 內部表數據由Hive自身管理，外部表數據由HDFS管理； 內部表數據存儲的位
2019-03-12 00:49:10
原创 @Data 註解引出的 lombok
官網：https://projectlombok.org/features/all 註解類型： val : 和 scala 中 val 同名, 可以在運行時確定類型; @NonNull : 註解在參數上, 如果該類參數爲 null , 就
2019-03-12 00:49:10
原创 springBoot之NoSQL(Elasticsearch)
@Resource和@Autowired @Resource的作用相當於@Autowired，只不過@Autowired按byType自動注入，而@Resource默認按 byName自動注入罷了。@Resource有兩個屬性是比較重要的
2019-03-12 00:49:10
4
原创 Hive分區表
分區表： 分區表實際上就是對應一個HDFS文件系統上獨立的文件夾，該文件夾下是該分區所有的數據文件，Hive中的分區就是分目錄，把一個大的數據集根據業務需要分割成更小的數據集； 在查詢時通過where子句中的表達式來選擇查詢所需要的
2019-03-12 00:49:10