1. 傳統服務器與大數據服務器的系統安裝
傳統服務器
系統硬盤(100%完全獨立,不要存儲業務數據)
物理磁盤做raid1(兩個硬盤物理備份)
/boot 200M
/SWAP 內存的1-2被(大數據集羣中要關閉)
/ 所有的空間
數據硬盤
多塊小的硬盤 做一個大的硬盤(邏輯卷)
大數據服務器系統安裝
系統硬盤(100%完全獨立,不要存儲業務數據)
物理磁盤做raid1(兩個硬盤物理備份)
/boot 200M
/SWAP 內存的1-2被(大數據集羣中要關閉)
/ 所有的空間
數據硬盤
優先不做raid 必須做raid時 物理磁盤做raid0
多塊小的硬盤獨立掛載(一個硬盤一個目錄)
2. 大數據技術爲什麼快
-
傳統的數據縱向擴展
服務器數量不發生變化,配置越來越高(發生變化)
大數據橫向擴展
配置不發生變化,服務器數量越來越多(發生變化) -
傳統的方式資源(cpu/內存/硬盤)集中
大數據方式資源(cpu/內存/硬盤)分佈(前提:同等配置的前提下) -
傳統數據備份方式單份備份
大數據數據備份方式多分備份(數據複製,默認三個副本) -
傳統的計算模型是移動數據到程序端
大數據計算模型是移動程序到數據端
io 和網絡的使用率都非常低,且多節點存儲,多節點計算(衆人拾柴火焰高)