Clickhouse 多路徑存儲策略

在Clickhouse 19.15版本之前,MergeTree 只支持單路徑存儲,所有的數據都會被寫入config.xml配置中path指定的路徑下,
即使服務器掛載了多塊磁盤,也無法有效利用這些存儲空間。

爲了解決這種問題 在19.15版本開始支持MergeTree自定義存儲策略的功能,支持以數據分區爲最小移動單元將分區目錄寫入多
塊磁盤目錄。

根據配置策略的不同,目前大致有三類存儲策略:
1.默認策略(default):MergeTree原本的存儲策略,無須任何配置,所有分區會自動保存到config.xml 配置中的path指定的路徑。
2.JBOD策略:這種策略適用於服務器掛載了多塊磁盤,但是沒有RAID的場景。JBOD (Just a Bunch Of Disks),是一種
Round-robin 輪詢策略,每執行一次INSERT或者Merge 所產生的新分區會輪詢寫入各個磁盤。這種策略的效果類似於RAID 0,可以
降低單塊磁盤的負載,在一定條件下能增加數據並行讀寫的性能。若單塊磁盤發生故障,則會丟掉應用JBOD策略寫入的這部分數據。
3.HOT/COLD策略:(冷熱分離)這種策略適合服務器掛載了不同類型磁盤的場景。將存儲磁盤分爲HOT和COLD。
HOT使用SSD,注重性能;
COLD區域使用HDD這類高容量存儲媒介,注重存取的經濟性。
數據在寫入的MergeTree之初,首先會在HOT區域創建分區目錄保存數據,當分區數據大小達到閾值數據會自動移動到COLD區域。
而在每個區域的內部也支持定義多個磁盤,所以在單個區域寫入的過程,也能使用JBOD策略。

disks 配置示例:
<storage_configuration>
    <disks>
        <disk_name_1> <!-- disk name -->
            <path>/mnt/fast_ssd/clickhouse/</path>
        </disk_name_1>
        <disk_name_2>
            <path>/mnt/hdd1/clickhouse/</path>
            <keep_free_space_bytes>10485760</keep_free_space_bytes>
        </disk_name_2>
        <disk_name_3>
            <path>/mnt/hdd2/clickhouse/</path>
            <keep_free_space_bytes>10485760</keep_free_space_bytes>
        </disk_name_3>

        ...
    </disks>

    ...
</storage_configuration>

解釋:
<disk_name_*> 必填項,必須全局唯一,表示磁盤的自定義名稱
<path> 必填項,用於指定磁盤路
<keep_free_space_bytes> 選填項,用於指定指定磁盤的預留空間,單位字節bit
注意:磁盤的配置選項的先後順序沒有關係。

在policies 的配置中,需要引用先前定義的disks磁盤。policies 同樣支持定義多個策略。

policies策略示例:
<storage_configuration>
    ...
    <policies>
        <policy_name_1>
            <volumes>
                <volume_name_1>
                    <disk>disk_name_from_disks_configuration</disk>
                    <max_data_part_size_bytes>1073741824</max_data_part_size_bytes>
                </volume_name_1>
                <volume_name_2>
                    <!-- configuration -->
                </volume_name_2>
                <!-- more volumes -->
            </volumes>
            <move_factor>0.2</move_factor>
        </policy_name_1>
        <policy_name_2>
            <!-- configuration -->
        </policy_name_2>

        <!-- more policies -->
    </policies>
    ...
</storage_configuration>

解釋:
<policy_name_*>必填項,必須全局唯一,表示策略的自定義名稱
<volume_name_*>必填項,必須全局唯一,表示卷的自定義名稱
<disk> 必填項,用於關聯<disks>配置內的磁盤,可以聲明多個disk,MergeTree會按照定義的順序選擇disk
<max_data_part_size_bytes> 選填,字節爲單位 默認1G,表示在這個卷的單個disk磁盤中,一個數據分區的最大磁盤存儲閾值,
若當前分區的數據大小超過閾值,則之後的分區會寫入下一個disk磁盤。
<move_factor> 選填項,默認值爲0.1,;若當前卷的可用空間大小小於factor因子,並且定義多個卷,則數據會自動移動到下一個卷。


JBOD策略:
0.添加磁盤:
# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0          11:0    1 1024M  0 rom  
nvme0n1     259:0    0   60G  0 disk 
├─nvme0n1p1 259:1    0   25G  0 part /opt
├─nvme0n1p2 259:2    0   15G  0 part /var
├─nvme0n1p3 259:3    0   10G  0 part /
├─nvme0n1p4 259:4    0    1K  0 part 
└─nvme0n1p5 259:5    0   10G  0 part /data

1.在配置文件中配置config.xml ,爲了避免升級操作服務文件建議寫到/etc/clickhouse-server/config.d/ 下:

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章