原创 HDFS——刪除數據
使用FileSystem中的delete()方法可以永久性的刪除文件或目錄。 public boolean delete(Path f,boolean recursive) throws IOException 如果 f 是一個空目錄，
2019-07-31 02:32:15
原创 HDFS的高可用性
通過聯合使用在多個文件系統中備份namenode的元數據和通過備用namenode創建監測點能防止數據丟失，但是依舊無法實現文件系統的高可用性。namenode依舊存在單點失效的問題。如果namenode失效了，那麼所有的客戶端，包括Ma
2019-07-31 02:32:15
原创 延時調度
延時調度的定義 所有的YARN調度器都試圖以本地請求爲重。在一個繁忙的集羣上，如果一個應用請求某個節點，那麼極有可能此時有其他容器正在該節點上運行。理想中的處理方式是，立刻放寬本地需求，在同一機架上分配一個容器。但是，實際上爲，此時如果等
2019-07-31 02:32:15
原创 Hadoop文件系統
Hadoop有一個抽象的文件系統概念，HDFS只是其中的一個實現。Java抽象類org.apache.hadoop.fs.FileSystem定義了Hadoop中一個文件系統的客戶端接口，並且抽象類有幾個具體實現，下面我們以列表來展示一下
2019-07-31 02:32:05
原创 HDFS中的文件訪問權限
針對文件和目錄，HDFS的權限模式與POSIX的權限模式非常相似。 一共提供三類權限模式：只讀權限、寫入權限、可執行權限。 讀取權限：讀取文件或列出目錄內容 寫入權限：寫入一個文件或者在一個目錄上新建及刪除文件、目錄 執行權限：訪問目錄的
2019-07-31 02:32:05
原创 Hadoop與網絡拓撲
在本地網絡中，兩個節點被稱爲“彼此近鄰”是什麼意思？在海量數據處理中，其主要限制因素是節點之間數據的傳輸速率——帶寬很稀缺。這裏的想法是將兩個節點間的帶寬作爲距離的衡量標準。 不用衡量節點之間的帶寬，實際上很難實現（它需要有一個穩定的集羣
2019-07-31 02:32:05
原创 簡單介紹YARN三種調度器
爲什麼會有YARN調度器，在理想情況中，YARN應用發出的資源請求應該立刻給予滿足，但是現實中資源時有限的，在一個繁忙的集羣上，一個應用經常需要等待才能夠得到所需要的資源。YARN調度器的工作就是根據已定策略爲其應用分配資源。調度通常是一
2019-07-31 02:32:05
原创 HDFS塊緩存以及聯邦HDFS
HDFS塊緩存 通常datanode從磁盤中讀取塊，但對於訪問頻繁的文件，其對應的塊可能被顯式地緩存在datanode的內存中，以堆外塊緩存（off-heap block cache）的形式存在。默認情況下，一個塊緩存在一個datanod
2019-07-31 02:32:05
原创 HDFS——查詢文件系統詳解
1. 文件元數據：FileStatus 任何文件系統的一個重要特徵都是提供其目錄結構瀏覽和檢索它所存文件和目錄相關信息的功能。FileStatus類封裝了文件系統中文件和目錄的元數據，包括文件長度、塊大小、複本、修改時間、所有者、權限信息
2019-07-31 02:32:05
原创 HDFS的數據塊概念
數據塊 每個磁盤都有默認的數據塊大小，這是磁盤進行數據 讀/寫的最小單位。構建於每個磁盤之上的文件系統通過磁盤塊來管理該文件系統中的塊，該文件系統的大小可以是磁盤塊的整數倍。文件系統塊一般爲幾千字節，而磁盤塊一般爲512字節。這些信息對於
2019-07-31 02:32:05
原创 業務設計原則
下面這些內容摘自張開濤的書籍《億級流量網站架構核心技術》，推薦大家閱讀本書。 業務設計原則，主要有： 防重設計 冪等設計 流程可定義 狀態與狀態機 後臺系統操作可反饋 後臺系統審批化 文檔和註釋 備份 防重設計 比如，結算頁面要考慮重複提
2019-07-31 02:32:05
原创 Yarn運行機制
簡單介紹YARN YARN通過兩類長期運行的守護進程提供自己的核心服務： 管理集羣上資源使用的資源管理器（Resource Manager） 運行在集羣中所有節點上且能夠啓動和監控容器的節點管理器（Node Manager） 容器用於執行
2019-07-31 02:32:05
原创 HDFS寫入數據及創建目錄
FileSystem類有一系列新建文件的方法。最簡單的方法就是給準備建的文件指定一個Path對象，然後返回一個用於寫入數據的輸出流：public FSDataOutputStream create(Path f) throws IOExc
2019-07-31 02:32:05
原创 namenode和datanode運行原理
HDFS集羣中有兩類節點：工作節點datanode、管理節點namenode namenode管理文件系統的命名空間，它維護着文件系統樹以及該樹所有的文件和目錄。這些信息以兩個文件形式永久保存在本地磁盤上，分別是命名空間鏡像文件和編輯日誌
2019-07-31 02:32:05
原创 公平調度器配置
概念 公平調度器主要爲所有運行的應用公平分配資源。 設想一個場景：假設有 A和B兩個用戶，分別擁有自己的隊列。 A啓動一個作業，在B沒有需求時A會分配到全部可用的資源； 當A的作業仍在運行時B啓動了一個作業，一段時間後，按照我們之前看到的
2019-07-31 02:32:04