原创 最全Redis工具類
類結構圖： BaseJedisHandler package com.wj.redis; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPo
2020-06-25 01:59:49
原创 Spark開發注意事項小結(性能方面)
1. 平臺全局配置序列化方式 ： kyro spark-default.conf ： spark.serializer org.apache.spark.serializer.KryoSerializer 使用自定義類時，對類
2020-06-25 01:59:49
原创 Spark總結整理(五)：Spark Core 性能優化之數據傾斜調優
Spark性能優化主要分爲： 開發調優 資源調優 數據傾斜調優 shuffle調優 數據傾斜調優，就是使用各種技術方案解決不同類型的數據傾斜問題，以保證Spark作業的性能 1. 數據傾斜發生時的現象 絕大多數task執行
2020-06-25 01:59:39
原创 Hadoop環境搭建-3. Hadoop集羣版
在 Hadoop 單機版基礎上，搭建一個簡單的集羣版 文章目錄0. 規劃1. 克隆虛擬機2. 啓動虛擬機，改動靜態ip3. 在hosts文件修改ip映射4. 修改 hostname5. 修改hadoop配置文件5.1 core-s
2020-06-25 01:59:37
原创 Spark Streaming 性能優化(一)：spark.streaming.concurrentJobs 提高 Job 執行的並行度
背景知識： Spark總結整理(一)：Spark內核架構（Spark從啓動到執行的流程） Spark Streaming 總結整理(一)：Spark Streaming運行原理與核心概念 1. 明確 Spark中Job 與 S
2020-06-25 01:59:37
3
原创 HDFS 系列整理（全）
文章目錄1. HDFS 概念1.1 概念1.2 組成1.3 HDFS 文件塊大小2. HFDS命令行操作2.1 基本語法2.2 參數大全2.3 常用命令實操2.3.1 -help：輸出這個命令參數2.3.2 -ls: 顯示目錄信息
2020-06-25 01:59:37
原创 Hadoop環境搭建-2. Hadoop單機版
文章目錄1. 安裝hadoop並修改配置文件1.1 配置proflie文件1.2 第一個：hadoop-env.sh1.3 第二個 core-site.xml1.4 第三個 hdfs-site.xml1.5 第四個 mapred-
2020-06-25 01:59:37
原创 HDFS 系列三：HDFS 數據流
文章目錄3. HDFS 數據流3.1 HDFS 寫數據流程3.1.1 剖析文件寫入3.1.2 網絡拓撲概念3.1.3 機架感知（副本節點選擇）3.1.3.1 低版 本Hadoop 副本節點選擇3.1.3.2 Hadoop 2.9.
2020-06-25 01:59:37
原创 Hadoop環境搭建-1. 安裝VMware及Centos7
文章目錄1. 軟件準備2. 虛擬機準備2.1 打開VMwear選擇新建虛擬機2.2 典型安裝與自定義安裝2.3 虛擬機兼容性選擇2.4 選擇稍後安裝操作系統2.5 操作系統的選擇2.6 虛擬機位置與命名2.7 處理器與內存的分配2
2020-06-25 01:59:37
原创 Flink1.4 Fault Tolerance源碼解析-2
文章目錄CheckpointCoordinator週期性的檢查點觸發機制ScheduledTriggerstartCheckpointSchedulerstopCheckpointSchedulertriggerCheckpoin
2020-06-25 01:59:37
原创 Apache Flink fault tolerance源碼剖析-3
Zookeeper 在 Flink Fault Tolerance 的使用 文章目錄兩種恢復模式兩種類型的檢查點已完成的CheckPoint存儲ZooKeeperCompletedCheckpointStorerecover方法a
2020-06-25 01:59:37
原创 HDFS 系列五：DataNode 工作機制
文章目錄5. DataNode 工作機制5.1 DataNode工作機制5.2 數據完整性5.3 掉線時限參數設置5.4 DataNode 的目錄結構5.4.1 查看 DataNode 的版本號5.4.2 DataNode 版本號
2020-06-25 01:59:37
原创 HDFS 系列二：HFDS 命令行操作
文章目錄2. HFDS 命令行操作2.1 基本語法2.2 參數大全2.3 常用命令實操2.3.1 -help：輸出這個命令參數2.3.2 -ls: 顯示目錄信息2.3.3 -mkdir: 在hdfs上創建目錄2.3.4 -move
2020-03-09 01:53:29
原创 HDFS 系列七：HDFS HA 高可用
文章目錄7. HDFS HA 高可用7.1 HA 概述7.2 HDFS-HA 工作機制7.3 HDFS-HA 手動故障轉移7.3.1 HDFS-HA 工作要點7.3.2 環境準備7.3.3 集羣規劃7.3.4 配置 HDFS-HA
2020-03-09 01:53:29
原创 HDFS 系列六：DataNode 工作機制
文章目錄6. HDFS 其他功能6.1 集羣間數據拷貝6.2 Hadoop 存檔6.2.1 理論概述6.2.2 案例實操6.3 快照管理6.3.1 基本語法6.3.2 案例實操6.4 回收站6.4.1 默認回收站6.4.2 啓用回
2020-03-09 01:53:29