原创 Hadoop --- 入門之簡介
Hadoop概述 Hadoop是一個用於分佈式大數據處理的編程框架。同時它也是個大數據處理完整的生態系統，圍繞着Hadoop，這個生態系統還包括但不限於： HBase Hive Pig Spark ZooKeeper 希望本系列的寫作能夠
2018-10-20 05:13:53
2
原创 Hadoop --- 入門之MapReduce示例
單詞統計（WordCount）示例： 1、定義一個Mapper類： import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apac
2018-10-20 05:13:53
原创 Hadoop --- 入門之環境搭建
前期準備 CentOS7版本的服務器4臺：（IP地址可以根據自己服務器或虛擬機的IP地址更改） 192.168.153.136 hadoop01 192.168.153.137 hadoop02 192.168.153.138 hadoo
2018-10-20 05:13:53
2
原创 Hadoop --- 入門之HDFS命令
目錄 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal m
2018-10-20 05:13:53
原创 Hadoop --- 入門之HDFS的JAVA API操作
JAR準備： 將hadoop-2.8.0中share目錄下的jar包添加到工程中： common下的hadoop-common-2.8.0.jar common/lib下的所有jar hdfs下的hadoop-hdfs-2.8.0.jar
2018-10-20 05:13:53
原创 Hadoop --- 入門之配置參數
Hadoop參數彙總 @(hadoop)[配置] linux參數 以下參數最好優化一下： 文件描述符ulimit -n 用戶最大進程 nproc （hbase需要 hbse book） 關閉swap分區 設置合理的預讀取緩衝區 Lin
2018-10-20 05:13:53
3
原创 CentOS7 --- 修改主機名
在CentOS7中，有三種定義的主機名: 1、靜態的（Static hostname） “靜態”主機名也稱爲內核主機名，是系統在啓動時從/etc/hostname自動初始化的主機名。 2、瞬態的（Tansient hostname） “瞬
2018-10-13 04:42:56
3
原创 Java之JavaDoc標籤
javadoc工具軟件識別以下標籤： 標籤 描述 示例 @author 標識一個類的作者 @author description @deprecated 指名一個過期的類或成員 @deprecated description {@docR
2018-10-13 04:42:56
2
原创 CentOS7 --- 使用firewalld打開關閉防火牆與端口
1、firewalld的基本使用 啓動： systemctl start firewalld 關閉： systemctl stop firewalld 查看狀態： systemctl status firewalld 開機禁用 ： s
2018-10-13 04:42:56
2
原创 CentOS7 --- 免密登陸
機器準備 主機： hadoop01 從機： hadoop02 從機： hadoop03 從機： hadoop04 關於主機名的修改請查看：https://blog.csdn.net/Ka_Ka314/article/details/829
2018-10-13 04:42:56
原创 Linux --- SSH遠程登陸配置sshd_config文件詳解
ssh是linux遠程登錄的安全協議，是 C/S 模式的架構，配置文件分爲服務器端配置文件 [/etc/ssh/sshd_config] 與客戶端配置文件默認配置文件[/etc/ssh/ssh_config] 用戶配置文件[~/.ssh/
2018-10-13 04:42:56
5
原创 Java併發編程之volatile關鍵字
volatile這個關鍵字可能很多朋友都聽說過，或許也都用過。在Java 5之前，它是一個備受爭議的關鍵字，因爲在程序中使用它往往會導致出人意料的結果。在Java 5之後，volatile關鍵字才得以重獲生機。 volatile關
2018-10-10 04:41:58
2
原创 Java多線程之守護線程
Java中線程分爲兩種類型：用戶線程和守護線程。通過Thread.setDaemon(false)設置爲用戶線程；通過Thread.setDaemon(true)設置爲守護線程。如果不設置次屬性，默認爲用戶線程。 用戶線程和守護線程的
2018-10-10 04:41:58
原创 Linux --- Zookeeper的數據結構和命令
1、ZK數據結構（類似於文件系統） 2、節點類型 2.1、Znode有兩種類型： EPHEMERAL（臨時，斷開連接時刪除） PERSISTENT（持久，斷開連接時不刪除） 2.2、Znode有四種形式的目錄節點（默認是PERS
2018-10-10 04:41:58
2
原创 Zookeeper --- Java API簡單實例
1、簡單使用 import java.util.List; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import
2018-10-10 04:41:58
1