原创 OGNL表達式 struts2
package com.cola.action;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;i
2019-07-19 14:03:51
原创 linux 系統結構
Linux系統一般有4個主要部分：內核、shell、文件系統和應用程序。內核、shell和文件系統一起形成了基本的操作系統結構，它們使得用戶可以運行程序、管理文件並使用系統。部分層次結構如圖1-1所示。 1. linux內核
2018-09-11 05:16:07
原创 hadoop1.x MapReduce工作原理
MapReduce 如何解決負載均衡和數據傾斜：階段主要出在Map作業結束後，shuffer（洗牌）過程中，如何將map處理後的結果分成多少份，交由Reduce作業，使得每部分reduce作業儘可能均衡處理數據計算。系統默認將partiti
2018-09-11 05:16:06
原创 手把手搭建gitosis 絕對不坑
所需環境(linux)CentOS【我用的是7】所需軟件：git python gitosis openssh-client具體步驟：服務器端：有兩個用戶(同一臺機子，當然你可以用兩臺機子)：一個是作爲管理者用戶qjjia（管家），一個用戶
2018-09-11 05:16:06
原创 再回首萬惡的JVM GC
GC（普通的理解）:用於在空閒時間以不定時的方式動態回收無任何引用的對象佔據的內存空間。 1.Java堆中各代分佈Young：主要是用來存放新生的對象。Old：主要存放應用程序中生命週期長的內存對象。Permanent：是指內存的永久保存區
2018-09-11 05:16:06
原创 搭建高可用的分佈式hadoop2.5.2集羣 HDFS HA
HA： High Available（高可用集羣）本次安裝的hadoop2.5.2是64bit的，如果需要請在我之前的博文中規劃節點數：（僅考慮HDFS 的HA）HDFS的節點分配：兩個NN 且分佈在兩臺主機三個DN節點三個JN節點兩個ZK
2018-09-11 05:16:06
原创 Hadoop2.x與hadoop的區別
NameNode在啓動的時候，需要將Mettadata加載到內存中去，隨着集羣擴大，元數據的量也隨之增加，內存壓力過大。Hadoop1.x的缺點和解決辦法：單點故障------à HA 一主多備內存受限 -----àNN Federati
2018-09-11 05:16:06
原创 hadoop1.x NameNode 和SecondNameNode工作原理
Datanode備份機制有各個dn節點自行控制，並不是由客戶端發起。因爲客戶端遠程傳輸消耗比各個dn節點傳輸消耗大（一般備份節點通常在一個機房，傳輸速度快） 安全模式類似系統初始化，這個時段一般是namenode加載metadata，dat
2018-09-11 05:16:05
原创 linux 文件目錄，及其作用
/boot:系統啓動相關的相關文件，如內核，initrd，以及grub(bootloader)/dev: 設備文件 設備文件： 塊設備：隨機訪問，數據塊 字符設備：線性訪問，按字符文單位 設備號：主設備號（major）和次設備號（minor
2018-09-11 05:16:05
原创 hadoop1.2 eclipse插件編譯
目錄說明 在編譯之前，我們需要先下載後hadoop 1.2.1的源碼文件，並解壓到合適的位置。目錄結構如下：Eclipse： D:\eclipseHadoop： D:\hadoop-1.2.1Step1導入 Hadoop-ecli
2018-09-11 05:16:05
原创 redhat 下安裝jdk的shell腳本
每次都要卸載系統跟隨的openjdk然後裝orcle的jdk實在煩人，所以編寫一個腳本執行就省心了，只要將下面的bash腳本和你所在下載的jdk-7u79-linux-x64.tar.gz包放在同一個文件夾即可。別忘記，給腳本執行權限#ch
2018-09-11 05:16:05
原创 屬主 屬組 其他 權限管理
權限管理：r:w:x:三類用戶：u:屬主G:屬組O:其他用戶chown：改變文件屬主 (只有管理員才能操作)#chown USERNAME file, ... -R: 修改目錄及其內部文件的屬組， recursive --reference
2018-09-11 05:16:05
2
原创 編譯64位haoop2.5.2
由於現在linux多用64bit，但是無奈haoop.apche官網只提供了32編譯的hadoop2.5.2，只好自己編譯。 （吐槽）之前，考慮用網上別人編譯好的，直接拿來用，結果果斷被坑。。。。所以自己有重新折騰了
2018-09-11 05:16:05