原创 hdfs的FSImage和Edits文件
知識點 1.當執行格式化指令時，會在指定的tmp目錄下，生成dfs/name目錄。 此目錄是namenode服務器存儲元數據的目錄 2.當格式化後，啓動HFDS前，會生成一個最初的fsimage_0000000000000000000文件
2020-06-16 02:33:18
原创 hbase 1.3.2 源碼 IDEA編譯執行
博客整體目錄： 一、版本信息及環境準備 二、編譯步驟 三、源碼閱讀，基本條件配備 四、遇到的一些問題記錄 博客相對涉及的插件，下載的github地址（本人github） https://github.com/tianhuage1
2020-06-16 02:33:18
5
原创 CDH6.0、6.1篇：2、MySQl配置文件my.cnf
此處針對mysql的配置進行說明 兩個文件： /etc/my.cnf 不帶註釋的配置信息 /etc/my.cnf 帶註釋的配置信息 -----------------分割線-----------------------------
2020-06-16 02:33:18
原创 IDEA-2018版本的hadoop 2.7.1 插件安裝教程(自制插件)
IDEA的hadoop插件配置教程 版本要求：IDEA 2017年及2017年以後的版本。 hadoop：2.7.x。（目前測試2.7.1沒問題，由於是自己製作的插件，目前這些版本是可行的） 插件下載地址：（由於找不到比較好的公鏈
2020-06-16 02:33:18
原创 整合boot和cloud時候針對和區別的疑惑
首先看，在maven下，對微服務進行聚合時候，看到parentId和dependencyManagement。很相似。所以這裏，我想對這兩個標籤進行說明一下，把自己的經驗告訴大家。 如圖： 以下爲parentId的方式： <par
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：3、Cloudera Manager安裝(只需要在NODE1做)
本文主要認真闡述在Cloudera Manager安裝 -------------------------------分割線-----------------------------------------------------
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：1、linux安裝各種軟件和配置
此文主要分兩個部分 一、安裝 CentOS 二、配置 CentOS --------------------分割線--------------------開始------------------------------------
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：4、CDH安裝(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)
前置工作： 在CDH安裝之前必須保證NODE1主節點中的以下程序均已啓動 1.每臺機器：根據aliyun提供的服務進行 時間同步：ntpdate -u ntp6.aliyun.com 啓動服務 systemctl sta
2020-06-16 02:33:18
原创 HDFS相關源碼剖析
DFSClient | Namenode | Datanode 源碼分析順序圖： DFSClient |-------ClientProtocol |-------DFSInputStream |---
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：5、CDH的使用（hadoop ha、yarn ha）
本文分3個部分闡述 1.使用CDH注意事項 2.Hadoop HA 搭建 3.YARN HA 搭建 ----------------------------------------分割線----------------------
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：6、CDH優化
- 1.MapReduce shuffle處理程序和IFile閱讀器使用本機Linux調用，在安裝了Hadoop本機庫的Linux系統上。 - 2.改善隨機處理程序 1.您可以通過啓用shuffle readahead來改進Ma
2020-06-16 02:33:18
原创 CDH6.0、6.1篇：8、CDH的 hive on spark配置及解析、優化
分三個章節 1、版本展示 2、CDH安裝spark 3、優化配置信息 ----------------------分割線---------------------------------------- 1、版本展示 1.所有版本
2020-03-30 03:29:37
原创 CDH6.0、6.1篇：7、Hadoop端代碼測試
配置了CDH對hadoop端進行代碼測試 POM文件的maven座標 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop
2020-03-30 03:29:37
原创 cdh 5.12.1 集成kylin (apache-kylin-2.6.0-bin-cdh57)記錄
環境：cdh5.12.1+jdk1.8 我的hadoop，hdfs，mapreduce2，hbase，zookeeper spark的版本如下： spark我做了升級，升級到了 SPARK2-2.1.0.cloudera1-1.c
2020-02-23 18:22:17
原创 java怎麼讀取resources下面的JSON串文件
文件位置： package com.jt.ceshi; import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind
2020-02-23 18:22:17