原创 yarn與第一代mapreduce比較
jobtracker變成了ResourceManager和ApplicationMaster; tasktraker變成了nodeManager applicationMaster是一個可變更的部分，用戶可以對不同的編程模型些自己的a
2018-08-25 16:55:04
原创 elasticsearch2.2系列一（es的安裝）
環境爲centos 7，已經安裝了jdk7, jdk必須要安裝7及以上版本 切換到非root用戶（目前的es不能使用root用戶） 下載es並解壓: wget https://download.elasticsearch.org/ela
2018-08-25 16:55:04
4
原创 hadoop增加新節點實踐
之前已經有了namenode和datanode1,現在要新增節點datanode2 第一步：修改將要增加節點的主機名 hadoop@datanode1:~$ vim /etc/hostname datanode2 第二步：修改host
2018-08-25 16:55:02
原创 部署zookeeper實踐
1.解壓zookeeper 2.設置環境變量 hadoop@namenode:~/zookeeper-3.4.6/conf$ sudo vim /etc/profile export JAVA_HOME=/usr/programs/jd
2018-08-25 16:55:02
3
原创 storm部署實踐
1.下載storm並解壓 2.修改文件 storm.yaml 我這裏填的是域名，填ip也可以 hadoop@namenode:~/storm-0.9.2/conf$ vim storm.yaml # Licensed to the
2018-08-25 16:55:02
原创 hbase原理
1.hbase利用hdfs作爲其文件存儲系統，利用mapreduce來處理數據，利用zookeeper作爲協調工具 2.行鍵（row key），類似於主鍵，但row key是表自帶的 3.列族（column family） ,列（也稱作標
2018-08-25 16:55:02
3
原创 zookeeper原理
1.爲了解決分佈式事務性一致的問題 2.文件系統也是一個樹形的文件系統，但比linux系統簡單，不區分文件和文件夾，所有的文件統一稱爲znode 3.znode的作用：存放數據，但上限是1M ;存放ACL(access control l
2018-08-25 16:55:02
2
原创 hadoop2新特性
一 hdfs聯邦 1.hdfs兩層模型： namespace 包括目錄/文件 和 塊 。它支持所有命名空間相關的文件操作，如對文件和目錄的增刪改查 block storage service 在namenode中塊的管理 datanode
2018-08-25 16:55:01
1
原创 linux 常用命令2
ln 建立鏈接文件（***）ln -s /home/itcast/familyA/house/roomB /home/roomB 遇到 Permission denied（權限拒絕）說明itcast用
2018-08-25 16:54:50
1