原创 HDFS2.x之RPC流程分析

HDFS2.x之RPC流程分析 1 概述     Hadoop提供了一個統一的RPC機制來處理client-namenode, namenode-dataname,client-dataname之間的通信。RPC是整個Hadoop中通信

2020-02-24 00:36:05

原创 Storm入門

Storm框架入門 1 Topology構成    和同樣是計算框架的Mapreduce相比，Mapreduce集羣上運行的是Job，而Storm集羣上運行的是Topology。但是Job在運行結束之後會自行結束，Topology卻只能

2020-02-24 00:36:05

原创 Hadoop2.x集羣動態添加刪除數據節點

如果Hadoop集羣已經在運行了，這時可能需要動態的添加新的數據節點到Hadoop系統中去，或者將某個數據節點下線，由於業務的需要，集羣是不能重啓的，那麼具體的DataNode添加、刪除步驟是什麼樣的呢？ 下面以DataNode的上線

2020-02-24 00:36:05

原创 設計模式之工廠模式

1 概述 　　關於設計模式的內容等在網上有很多，但是沒有自己實際的搞一把，多少對這些個東西還是有點模糊，今兒個從工廠模式開始，學習學習這23個由大牛們總結出來的設計模式，若有理解不到位的地方，還請多多指正。 　　工廠模式主要是爲創建對

2020-02-24 00:36:05

原创 設計模式之單例模式

1 概述     單例對象（Singleton）是一種常用的設計模式。在Java應用中，單例對象能保證在一個JVM中，該對象只有一個實例存在。這樣的模式有幾個好處： (1)某些類創建比較頻繁，對於一些大型的對象，這是一筆很大的系統開銷

2020-02-24 00:36:05

原创 設計模式之外觀模式

1 概述 　　外觀模式提供了一個統一的接口，用來訪問子系統中的一羣接口。這樣可以避免客戶端和子系統之間的緊耦合。 　　這種模式需要將一系列的子系統組合到外觀中，然後將具體的工作交給各個子系統去完成。如此一來，可以簡化接口的調用。 　

2020-02-24 00:36:05

原创 RESTLET開發實例

1 前提 　　由於近期工作的需要，要把RESTLET應用到項目中，於是在網上參考了一些資料的基礎上，實踐了一個關於RESTLET接口的小例子。 　　Restlet的思想是：HTTP客戶端與HTTP服務器之間的差別，對架構來說無所謂。一

2020-02-24 00:36:05 4

原创 設計模式之適配器模式

1 概述 　　適配器模式(Adapter)，說白了就是爲了掛羊頭賣狗肉而專門設計的模式。也就是把一個類的接口變換成客戶端所期待的另一種接口。 　　適配器模式通過定義一個新的接口（對要實現的功能加以抽象），和一個實現該接口的Adapte

2020-02-24 00:36:05

原创 WEB開發總結（持續更新。。。）

　　近期開始搞搞web的東西，覺得有必要把遇到的問題總結一下，就在這裏當做個筆記本吧。 1.用maven建立的web工程，在運行的時候，右鍵找不到“Run on server”菜單:     可以在命令提示行中，切換到項目的

2020-02-24 00:36:05

原创 設計模式之原型模式

1 概述 原型模式(Prototype model）被用在頻繁調用且極其相似的對象上，在已指定對象的基礎上，然後通過拷貝這些原型對象創建新的對象。     Prototype類需要具備以下兩個條件： (1)實現Cloneable接口

2020-02-24 00:36:05

原创 關於硬盤和幾種RAID

1 硬盤的基本工作原理 1.1 硬盤部件結構圖                 1.2 主要參數術語解釋 磁頭：在與硬盤交換數據的過程 中，讀操作遠遠快於寫操作，硬盤廠商開發一種讀/寫分離磁頭。 轉速(Rotationl Speed)：

2020-02-24 00:36:05

原创 win7下利用VM8安裝CentOS6.3配置靜態IP上網

1 環境        宿主主機64位win7，利用VM8安裝的64位CentOS6.3,64位的。在VM中配置CentOS的IP爲靜態，可上互聯網。具體配置過程如下。 2 步驟         首先將VM的setting選項中，將虛擬機

2020-02-24 00:36:05

原创 Mapreduce執行過程分析(基於Hadoop2.4)——(二)

4.3 Map類    創建Map類和map函數，map函數是org.apache.hadoop.mapreduce.Mapper類中的定義的，當處理每一個鍵值對的時候，都要調用一次map方法，用戶需要覆寫此方法。此外還有setup方法

2018-08-22 13:48:42 1

原创 Mapreduce執行過程分析(基於Hadoop2.4)——(一)

1 概述 該瞅瞅MapReduce的內部運行原理了，以前只知道個皮毛，再不搞搞，不然怎麼死的都不曉得。下文會以2.4版本中的WordCount這個經典例子作爲分析的切入點，一步步來看裏面到底是個什麼情況。 2 爲什麼要使用MapRedu

2018-08-22 13:48:42 4

原创 Tachyon框架的Worker心跳及Master高可用性分析

0 概述     分佈式框架中的Master-Slave類型，Slave節點負責工作的具體執行，Master負責任務的分發或者相關元數據的存儲等。一般情況下，一個Master節點都會對應多個Slave節點，Master在分配任務時需要知

2018-08-22 13:48:42