原创 GlusterFS性能優化-讓目錄飛

根據IDC預測2020年全球數據量將達到44ZB,其中80%來自於非結構化數據的貢獻。隨着雲計算、大數據、物聯網、AI、5G等技術的發展應用,可快速擴展的基礎架構成爲必需,這些需求推動了軟件定義存儲(SDS)的增長。 2018年中國軟件定

原创 突破硬件瓶頸(一):Intel體系架構的發展與瓶頸挖掘

軟件定義存儲SDS正在從容量型向性能型演進,千萬級IOPS和微秒級低延遲,非常具有挑戰性。3節點標準x86服務器,能否有可能實現1000萬IOPS與200us低延遲?這個可以有。硬件性能並不是瓶頸所在,軟件顛覆纔是關鍵。   想要取得如此

原创 換個角度思考大數據

什麼是大數據?IDC的權威定義爲:滿足4V(Variety, Velocity, Volume, Value,即種類多、流量大、容量大、價值高)指標

原创 突破硬件瓶頸(二):存儲架構和協議瓶頸

The kernel isn’t the solution. The kernel is the problem.       ——Robert Graham CEO of Errata Security Linux系統設計之初,採用了分

原创 FASS分佈式全閃存儲技術白皮書

當前單塊NVMe SSD性能可以達到100萬IOPS,SSD硬盤與HDD機械硬盤有了天壤之別。傳統存儲的軟硬件架構,都已經不再適合承載高速閃存介質,它們從根本上制約了新型存儲介質的生產力。全閃存陣列已經逐步向全NVMe硬件轉移,然而其擴展

原创 開源對象存儲MinIO技術白皮書

MinIO創始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始開發者、Gluster公司的創始人與CTO,Harshavardhana曾經是GlusterF

原创 SDS發展小觀察

1、SDS科普 SDS(Software Defined Storage)即軟件定義存儲,簡單地說就是將存儲硬件和軟件進行分離,採用標準化硬件作爲載體(如X86架構),基於軟件實現企業級存儲功能和服務。 相對於傳統存儲硬件盒子,SDS中存

原创 FASS全閃高性能文件網關解決方案

移動互聯網、人工智能、5G、IoT等技術的發展,海量的終端催生了越來越高的業務性能需求,越來越多的文件業務場景要求被“加速”,以提供快速響應和高帶寬訪問。HDD存儲設備已無法滿足高IOPS、低延遲的業務需求,越來越多的企業數據中心開始選擇

原创 【譯】利用uDepot獲得快速NVM存儲的性能

小Tao們在進行分佈式全閃存文件系統的預研工作,從學術圈和工業界尋找靈感,發現這篇前沿文章,並翻譯出來和大家學習分享。 “這是一篇KV存儲技術方向中少見的講述如何即高效又經濟地使用快速閃存設備的文章,觀點新穎,方法獨特,參考和使用價值很高

原创 一位存儲研發者的圖書清單

所謂“行千里路,讀萬卷書”,讀書應該算作是最好的學習方式。本人有個不好的習慣,就是不大喜歡看電子書,小論文也喜歡打印出來研讀,圖書就更不用說了,總是喜歡買書和藏書,尤其是經典圖書。時間一久,書架上堆積滿了琳琅滿目的各種圖書,心中突然有種莫

原创 GlusterFS 4.0開發計劃解讀

GlusterFS社區最近給出了4.0的開發計劃,其目標是對3.x版本在擴展性和易操作性方面作出重大改進,支持10K節點的集羣擴展能力。爲此,Glu

原创 海量小文件問題綜述

海量小文件問題綜述 海量小文件LOSF問題是工業界和學術界公認的難題,分析了LOSF問題的由來以及典型的應用場景,並簡要闡述了當前文件系統在LOSF優化方面的進展。重點分析LOSF問題的根本原因,並給出具體的優化方法和策略,期望對LOS

原创 設計新Xlator擴展GlusterFS

1. GlusterFS概述 GlusterFS是一個開源的分佈式文件系統,具有強大的Scale-Out橫向擴展能力,通過擴展能夠支持數PB存儲容量和處理數千客戶端。GlusterFS藉助TCP/IP或InfiniBand RDMA網絡將

原创 Glusterfs Rebalance簡析

Glusterfs Rebalance GlusterFS的哈希分佈是以目錄爲基本單位的,文件的父目錄利用擴展屬性記錄了子卷映射信息,子文件在父目錄所屬存儲服務器中進行分佈。由於文件目錄事先保存了分佈信息,因此新增節點不會影響現有文件存儲

原创 集羣存儲高可用方法

雲存儲和大數據背景下,數據呈現爆炸式增長趨勢。根據研究顯示,2020年數字宇宙將達到35.2 ZB,比2009年的0.8 ZB猛增44倍,這其中80%以上爲非結構化數據。高性能計算、醫學影像、石油和天然氣勘探、數字媒體和社會化WEB等大量