原创 Hadoop 之 Yarn 及 Yarn HA的安裝
文章目錄YARN概念YARN中的調度Yarn HA環境搭建 YARN 概念 yarn 是Hadoop的資源調度系統 yarn 通過兩類長期運行的的守護進程提供自己的核心服務。 管理集羣上資源使用的資源管理器（ResourceM
2020-06-16 08:18:19
原创 Spark 之環境搭建與任務執行流程
Spark 之環境搭建與任務執行流程Spark 環境搭建常用端口號TIPSStandalone環境搭建Spark On Yarnstandalone-clientstandalone-clusterYarn ClientNotic
2020-06-16 08:18:19
原创 Hive常用命令及其環境搭建|Hive優化
文章目錄Hive基本概念架構圖HIVE 搭建模式單用戶模式多用戶模式Hive SQLDDLDMLTIPShive 優化 Hive 官網 http://hive.apache.org/ 基本概念 數據倉庫（歷史數據，用於計算分析
2020-06-16 08:18:19
原创 HBase 基本概念及安裝【持續更新中......】
Hbase 基本概念及安裝Hbase基本概念數據模型HBase 架構僞分佈式安裝完全分佈式安裝問題彙總創建失敗時`hbase停止集羣時,報錯如下：`Can't get master address from ZooKeeper;
2020-06-16 08:18:19
原创 Spark 之基本概念及常用算子
Spark基本概念運行模式SparkCoreRDD概念五大特性Q&ALineage概念Spark任務執行流程算子Transformation算子及代碼filterflatMapscalajavamapscalajavareduce
2020-06-16 08:18:19
原创 Apache Flink 入門
文章目錄官網鏈接下載安裝部署單機版DEMO常見問題彙總1. 分配資源不夠2. 官網鏈接 https://flink.apache.org/ 下載安裝部署單機版 進入主頁點擊downloads,選擇你想要的版本 2.選擇整合或
2020-06-16 08:18:19
原创 Hadoop 之 HDFS 基本概念 | 僞分佈式安裝/完全分佈式安裝
Hadoop 之 HDFS 及安裝HDFS概念HDFS的概念存儲模型：字節架構模型NameNode(NN)DataNode（DN）SecondaryNameNode（SNN）（1.x）Block的副本放置策略HDFS讀流程HDFS
2020-06-16 08:18:19
原创 初識Hadoop 之 HDFS 及安裝【持續更新中......】
目錄 HDFS 概念 HDFS的概念 存儲模型：字節 架構模型 常用命令： HDFS 概念 當數據集的大小超過一臺獨立的計算機的存儲能力的時候，這個時候就有必要對文件進行分區(partiiton)存儲在若干臺計算集上。管理網絡
2020-06-16 08:18:19
原创 Flink 添加自定義數據源實操
文章目錄依賴代碼部分初學者可能會遇見的問題 依賴 不再贅述 代碼部分 //樣例類 //用戶行爲 case class MarketingUserBehavior(userId: String, channel: String,
2020-06-16 08:18:19
原创 centos6.x 更改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0 IPADDR=192.168.171.... #保存退出 :wq #重啓服務 service network restart
2019-10-25 21:26:38
原创 SpringBoot (非Web項目) 整合Kafka
文章目錄概述催生背景業務流程：環境翠花！上代碼pom文件入口last 概述 催生背景 簡單的介紹一下產生背景。目前我司主要消息隊列採用的就是Kafka。 JQ採用內外雙網卡。DD對內，SFZQJQ外網網卡，DD消費不到， 同時DD
2019-09-26 20:09:34
原创 Linux獲取主機ip
ifconfig | grep 'inet addr' |awk 'NR==1 {print $2}'| awk -F: '{print $2}'
2019-09-26 20:09:33
原创 SpringBoot 2.x整合kafka的問題彙總
文章目錄依賴本地測試kafka序列化問題版本問題其他問題 依賴 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>sprin
2019-09-15 20:35:44
12
原创 踩坑之 --JDK版本不一致》
文章目錄背景問題分析及解決過程 背景 最近一直在做數據同步，整體是基於DATAX，進行二次開發。將由集團同步到各個省份。 由於前期所挖的坑過深(部門之間模型不統一/程序開發過程中也沒有考慮周全)，導致後期有很多數據同步需求不能滿
2019-08-28 21:26:38
3
原创 HBASE 啓動報錯 Can't get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase
查看防火牆狀態 $ service iptables status 關閉防火牆 $ service iptables stop 查看防火牆狀態 $ service iptables status 停止hbase $ stop-h
2019-08-28 21:26:37
19