原创 CTP期貨期權交易開發

目錄CTP交易部分接口說明一、請求接口字段說明(未說明則均爲必填字段)1. 登錄:acct_login_id = 50001.1 說明2. 結算單確認:acct_settle_comfirm_id = 50053.報單錄入:trade_in

原创 複合文件CFB的存儲結構及格式解析

OLE 2.0(CFB) CFB(Microsoft Compound File Binary)複合文件二進制的文件格式實現,也稱OLE(Object Linking and Embedding)即對象鏈接和嵌入或COM(Component

原创 可編程網絡DataPath 及XDP

目錄可編程網絡DataPathXDP 的基本架構XDP 的軟件要求XDP 的硬件要求XDP 的工作流程及使用XDP 的工作模式XDP 的工作流程Hello WorldXDP 的應用參考進階參考 可編程網絡DataPath 大部分網絡數據的最

原创 eBPF 基本架構及使用

eBPF 介紹 Tcpdump 是Linux 平臺常用的網絡數據包抓取及分析工具,tcpdump 主要通過libpcap 實現,而libpcap 就是基於eBPF。 先介紹BPF(Berkeley Packet Filter),BPF 是基

原创 Ceph OSDs 間的數據均衡

背景 Ceph 集羣在運行一段時間後常會碰到OSD 數據不均衡的時候,有的OSD 使用率超過的80%,有的甚至不足60%。一般有兩種方法去均衡各個OSDs 間的數據 OSD Reweight 其實就是給各個OSDs 設置均衡權重(區別OSD

原创 Ceph 存儲空間使用率統計數據解讀

Luminous Ceph 的存儲空間使用統計 Luminous 時每個pool 的USED 是用戶數據大小(未經過壓縮前的,per-pool 的RAW USED也是未經壓縮的考慮了副本數的數據大小),而GLOBAL 的RAW USED 是

原创 CephFS && RBD 掛載使用說明

CephFS 掛載使用說明 1. 內核掛載 1.1 簡介 CephFS 內核模塊(kernel driver)是Linux 內核的一部分,內核掛載CephFS 可以獲得原生的內核性能。 1.2 內核模塊的支持情況 特性 kernel

原创 Ceph集羣性能優化介紹

1.集羣硬件配置 典型硬件資源配置建議: 組件 CPU 內存 網絡 存儲空間 Monitor 1vCore 2GB 1x 1GbE+ NICs 單個Mon 10GB+ OSD 1vCore BlueStore後端,單個OS

原创 Ceph之對象存儲網關RADOS Gateway(RGW)

目錄 一、Ceph整體架構及RGW在Ceph中的位置 1.Ceph的整體架構 2.RGW的內部結構和處理流 二、RGW對外的的三類基礎數據邏輯實體 1.用戶 2.存儲桶(bucket) 3.對象 一、Ceph整體架構及RGW

原创 拜占庭將軍問題(一)

一、什麼是拜占庭將軍問題 拜占庭將軍問題(Byzantine Generals Problem,是由萊斯利·蘭波特在其同名論文[1]中提出的分佈式對等網絡通信容錯問題。在分佈式計算中,不同的計算機通過通訊交換信息達成共識而按照同一套協作策略

原创 Ceph 之Multisite 下的bucket reshard

目錄 一、背景和問題 二、bucket reshard 過程 主集羣信息彙總 Multisite 下手動reshard References 一、背景和問題 默認情況下只有當單個bucket承載的object數量過多,導致om

原创 Ceph 之RGW Cache

Overview 緩存是爲達到系統快速響應的一項關鍵技術,Ceph 作爲一個複雜的分佈式存儲系統,有多種、多級緩存存在。緩存按照位置分爲: 客戶端緩存 服務端緩存 網絡中緩存 按照部署方式分爲: 單體緩存 緩存集羣 分佈式緩存 而R

原创 RocksDB 之Write Ahead Log(WAL)

Overview RocksDB 中有三個基本的數據結構概念:memtable, sstfile 和 logfile memtable 是個內存數據結構,新寫入會插入memtable 切回選擇性地寫入logfile。 logfile 是一

原创 Ceph 之RGW Pub-Sub Module

Overview Pub-Sub module 顧名思義是一個發佈訂閱相關的模塊。Pub-Sub module 爲對象存儲的變更事件提供一種發佈-訂閱機制。而發佈-訂閱架構本身應用非常廣泛,如公有云Google Cloud,AWS 的

原创 Ceph 之RGW Data Layout

目錄 Overview metadata bucket index data RGW Pools RGW Object References Overview RGW 中三個基本概念:user, bucket, object。