原创 HDFS Rolling Upgrade的實現要點分析
文章目錄前言HDFS NameNode端針對Rolling Upgrade的調整HDFS DataNode端針對Rolling Upgrade的調整引用 前言 我們知道HDFS Rolling Upgrade功能在幾年前比較早的
2020-07-07 01:28:48
7
原创 Alluxio基於冷熱數據分離的元數據管理策略
文章目錄前言Alluxio內部元數據管理架構Alluxio的支持異步寫出功能的自定義Cache實現引用 前言 上篇文章末尾，筆者聊到了一種叫做分層元數據管理模式。它主張的思想是將元數據進行分級對待，比如Cache+Persist
2020-07-07 01:28:48
1
原创 存儲系統元數據管理演變升級
文章目錄前言初代元數據管理內存式元數據管理分區元數據管理分層級元數據管理引用 前言 我們知道在一個存儲系統中，不光光只有它所存儲的數據文件重要，它的存儲系統的元數據管理同樣十分的重要。因爲涉及到存儲系統數據訪問操作時，會經過存儲
2020-07-07 01:28:48
原创 Ozone的Erasure Coding方案設計
文章目錄前言EC技術以及EC下的存儲效率的提升Ozone下的EC方案設計Container Level的EC實現Block Level的EC實現引用 前言 衆所周知，在當下存儲系統中爲了存儲效率的提升，Erasure Codin
2020-06-28 15:00:40
原创 Ozone數據寫入過程分析
文章目錄前言Ozone Key(文件)數據的寫入Ozone Block(Chunk)數據的寫出總結 前言 上篇文章Ozone Datanode的分佈式元數據管理，筆者闡述了關於Ozone Datanode的分佈式元數據相關的內容
2020-06-23 17:40:08
5
原创 聊聊Ozone的Topology Awareness
文章目錄前言HDFS的Topology AwarenessHDFS Topology的層級，距離定義問題Ozone的Topology Awareness的配置使用Ozone Topology Awareness的用途引用 前言
2020-06-23 17:40:08
2
原创 Ozone SCM的Pipeline狀態轉化分析
文章目錄前言SCM的Pipeline處理流程SCM Pipeline的生命週期 前言 在前幾篇講述Ozone SCM的文章中，筆者多次提及到了Container，Pipeline的概念。Ozone SCM服務圍繞着這2個概念，對
2020-06-23 17:40:08
3
原创 從Ozone Recon到分佈式系統只讀模式的服務構建
文章目錄前言Ozone Recon模式的運作原理總結引用 前言 當面對一個複雜的分佈式系統時，如果我們想了解其內部運行的情況，我們通常的做法是進行內部指標metric的收集和暴露。但是如果我們遇到一些內部指標的統計需要進行系統服
2020-06-23 17:40:08
1
原创 Ozone數據讀取過程分析
文章目錄前言Ozone數據的讀取過程：基於Block，Chunk offset的數據讀取Ozone數據讀取相關代碼分析 前言 上篇文章Ozone數據寫入過程分析，筆者分享了關於Ozone數據寫入的過程分析。本文，筆者來分享對應另
2020-06-23 17:40:08
原创 Ozone Datanode啓動過程以及心跳彙報過程分析
文章目錄前言Ozone Datanode的服務啓動Datanode的心跳彙報過程 前言 在之前的文章中，筆者分析過Ozone Datanode內的數據處理過程(Ozone Datanode的分佈式元數據管理)，包括Contain
2020-06-23 17:40:08
3
原创 Ozone內部使用的RaftLeader/RaftFollower的一致性同步機理
文章目錄前言Apache Ratis基於Raft協議的一致性同步過程Apache Ratis內部RaftLeader/RaftFollower過程調用分析 前言 在之前的文章中，筆者提過Ozone內部使用的是基於Raft協議的
2020-06-23 17:40:08
原创 Ozone BlockCommitSequenceId在Container上的運用
文章目錄前言Ozone Container自增型TransactionId：BlockCommitSequenceIdBlockCommitSequenceId的使用用途引用 前言 在Ozone中，Container以Pipel
2020-06-23 17:40:07
1
原创 文件系統大目錄下的操作性能效率提升
文章目錄前言現有HDFS大目錄文件操作效率基於哈希分區的多List目錄存儲結構HashedArrayList的element的索引查找HashedArrayList的代碼實現HashedArrayList性能測試引用 前言 在文
2020-06-23 17:40:07
原创 聊聊HDFS刪除Snapshot行爲導致的NameNode crash
文章目錄前言HDFS的Snapshot以及delete Snapshot行爲基於SkipList的Snapshot diff預先合併引用 前言 關於HDFS的快照，使用過的同學對於這個功能還是持正面評價居多的吧。這個特性所能帶給
2020-06-23 17:40:07
原创 關於分佈式系統升級，你需要了解的幾點
文章目錄前言分佈式系統升級的狀態轉化關於Upgrade需要注意的點關於Downgrade需要注意的點引用 前言 對於一個系統來說，進行定期的升級維護是一件比較常見的事情。但是對於複雜分佈式系統的升級，系統管理員系統考慮更多的因素
2020-06-16 06:07:45