原创 hadoop分析之三org.apache.hadoop.hdfs.server.namenode各個類的功能與角色
以hadoop0.21爲例。 NameNode.java: 主要維護文件系統的名字空間和文件的元數據，以下是代碼中的說明。 /********************************************************
2020-07-04 01:46:24
14
原创 hadoop三個配置文件的參數含義說明
2 常用的端口配置 2.1 HDFS端口 參數 描述 默認 配置文件 例子值 fs.default.name namenode namenode RPC交互端口
2020-02-21 11:21:16
原创 Hbase,Zookeeper性能優化之-參數設置
zookeeper.session.timeout 默認值：3分鐘（180000ms）說明：RegionServer與Zookeeper間的連接超時時間。當超時時間到後，ReigonServer會被Zookeeper從RS集羣清單中移
2020-02-21 11:21:16
原创 Java, C#, JavaScript三種語言實現單例模式
無論任何一門語言，模式的思想都一樣，不一樣的就是語言的細節。 Java版： public class Singleton { private volatile static Singleton instance; private S
2020-02-21 11:21:16
原创 Hbase 錯誤記錄及修改方法
1. Hbase 在運行或者操作過程中經常發生各種各樣的問題，大部分問題是可以通過修改配置文件來解決的，當然可以修改源代碼。 當hbase的併發量上來的時候，經常會導致Hbase出現“ Too Many Open Files”（
2020-02-21 11:21:16
1
原创 在局域網對數據庫SQL Server和文件備份的方法
1.數據庫備份有兩種方法： 可以在維護計劃裏進行數據庫備份，但是如果備份到局域網內的另一臺服務器上，可以做個盤符映射，然後再維護計劃裏選擇映射的盤符。 第二種方法就是用作業的方式，運行SQL腳本。exec master..xp_cm
2020-02-21 11:21:16
原创 hadoop分析之一HDFS元數據解析
1、元數據（Metadata）：維護HDFS文件系統中文件和目錄的信息，分爲內存元數據和元數據文件兩種。NameNode維護整個元數據。 HDFS實現時，沒有采用定期導出元數據的方法，而是採用元數據鏡像文件（FSImage）+日子文件（
2020-02-21 11:21:16
原创 通過學生-課程關係表，熟悉hive語句
1、在hive中創建以下三個表。 create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimited field
2020-02-21 11:21:16
原创 hadoop分析之二元數據備份方案的機制
1、NameNode啓動加載元數據情景分析 NameNode函數裏調用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構建FSDirectory。FSImage類re
2020-02-21 11:21:16
原创 hadoop分析之四：關於hadoop namenode的雙機熱備份方案
參考Hadoop_HDFS系統雙機熱備方案.pdf，試驗後有所增減 關於hadoopnamenode的雙機熱備份方案 1、 前言 目前hadoop-0.20.2沒有提供name node的備份，只是提供了一個seconda
2020-02-21 11:21:16
1
原创 因C#一段代碼，引發的問題
請看以下代碼： static void Main(string[] args) { Person[] persons = new Person[]
2020-02-21 11:21:16
原创 hadoop的I/O
1. 數據完整性：任何語言對IO的操作都要保持其數據的完整性。hadoop當然希望數據在存儲和處理中不會丟失或損壞。檢查數據完整性的常用方法是校驗和。 HDFS的數據完整性：客戶端在寫或者讀取HDFS的文件時，都會對其進行校驗和驗證，當然
2020-02-21 11:21:16
原创 hadoop的安全模式
the ratio of reported blocks 1.0001 has reached the threshold 0.9990. Safe mode will be turned off automatically in 7
2020-02-21 11:21:16
原创 Windows Phone 7 後退歷史記錄管理與起始頁的程序塊管理
導航歷史記錄管理，起始導航歷史記錄是用於一個導航堆棧來管理的。如完成以下導航：MainPage ->Page1 ->Page 2 ->Page 3，其實就形成了一個如下圖的導航堆棧： 所有當按“返回鍵”時也是按後進先出得原則進行導航，但
2020-02-21 11:21:16
原创 hbase的參數說明
hbase.balancer.period Period at which the region balancer runs in the master. Type: int Default: 300000 (5 mins) Unit:
2020-02-21 11:21:16