原创 JUC之線程池

一、爲什麼要使用線程池 降低資源消耗。通過重複利用已創建的線程降低線程創建和銷燬造成的銷耗。 提高響應速度。當任務到達時，任務可以不需要等待線程創建就能立即執行。 提高線程的可管理性。線程是稀缺資源，如果無限制的創建，不僅會銷耗

2020-02-20 22:21:00

原创 HBase的合併操作

compact的作用 flush操作會將memstore的數據落地爲一個個StoreFile（HFile），那麼隨着時間的增長在HDFS上面就會有很多的HFile文件，這樣對讀操作會產生比較大的影響（讀操作會對HFile進行歸併查

2020-02-20 22:20:59

原创 spark內存管理

概述 spark執行應用程序的時候，會啓動Driver和executor兩種JVM進程，Driver進程負責創建SparkContext上下文，提交任務，分發task等；Executor進程負責執行task，並返回結果給Drive

2020-02-20 22:20:59

原创 MySQL的分庫分表

MySQL爲什麼要分庫分表 數據庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨着時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於一臺服務器的資源（C

2020-02-20 22:20:59

原创 HBase中數據落地到磁盤的幾個時刻

HBase的數據都是先寫到memstore中，然後纔會flush到磁盤，那麼什麼時候會觸發memstore的flush？ 一、從memstore來看 當一個region的memstore中緩存的數據達到memstore的大小時，會

2020-02-20 22:20:59

原创 YARN 架構 以及 MapReduce 任務提交流程

一、YARN 架構圖 分佈式資源管理和作業調度 二、YARN 中各名詞介紹 ResourceManager 負責對各NM上的資源進行統一的管理和調度。爲AM分配空閒的Container運行並監控其運行狀態。對AM請求的資源分配

2019-09-16 15:12:49 4

原创 Hive 基於 MySQL安裝

安裝MySQL 下載MySQL 找到對應的rpm-bundle.tar安裝包下載即可，比如我下載的是mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 檢查原系統中的mariadb，並刪除它 rp

2019-09-04 15:16:15

原创 windows下IDEA操作遠程HDFS（雲主機 | 虛擬機）

雲主機 開放端口9000、50010 配置雲主機hosts文件 配置windows hosts文件 注：兩個hosts文件的主機名要一樣，雲主機用的是私網IP，windows用的是雲主機的公網IP 添加配置參數 System.

2019-09-02 15:03:05

原创 windows IDEA直接提交MapReduce到集羣上執行

雲主機 開放雲主機所有端口（可以限制源IP，避免被挖礦） 編寫WordCount程序,並配置相應的參數 package www.immoc.hadoop.mapreduce.yarn; import org.apache.

2019-09-02 15:03:05

原创 HDFS的安全模式

一、什麼是安全模式 安全模式是NameNode的一種狀態，處於安全模式的NameNode不接受任何對於命名空間的修改操作（但是可以接受讀請求），同時也不會觸發任何複製和刪除數據塊的操作 二、爲什麼要有安全模式 NameNode

2019-08-28 15:26:27

原创 hadoop HA集羣部署（HDFS&YARN）

一、環境準備 阿里雲按量付費方式購買三臺同一區域的雲主機 配置安全組策略 然後選擇配置規則 選擇添加安全組規則，在端口號和授權對象填入開放的端口和允許訪問的ip 關閉防火牆（阿里雲按量付費的不用管這個） # 停止防火

2019-08-28 15:26:27

原创 HDFS 數據塊損壞

一、原因 由斷電或其它原因引起的HDFS服務不正常或者塊損壞 二、解決 （一）、檢查HDFS的文件的健康狀態 hdfs fsck / （二）、查看損壞的塊以及文件的對應關係 hdfs fsck -list-corruptfile

2019-08-28 15:26:27 1

原创 hadoop-2.6.0-cdh5.15.1源碼編譯--支持壓縮

參考博文 https://blog.csdn.net/SUDDEV/article/details/98223999 https://blog.csdn.net/yz972641975/article/details/984057

2019-08-28 15:26:27

原创 shell編程

基礎 編輯shell腳本 shell腳本都是.sh結尾的 [hadoop@bigdata shell]$ vi test.sh #! /bin/bash echo "www.ruozedata.com" # 查看文件

2019-08-28 15:26:27

原创 Hadoop HA 集羣啓動時各進程的啓動順序以及停止順序

啓動順序 zkServer.sh start start-all.sh namenode datanode journalnode zkfc resourcemanager nodemanager 手動啓動st

2019-08-28 15:26:27 4