1傳統服務器和大數據服務器
1.1 傳統服務器
系統硬盤 完全獨立 不存儲業務數據
物理磁盤做raid1 兩個磁盤 用來備份
/boot 200m
/SWAP 內存的1-2倍
/ 所有空間
數據硬盤
多塊小的硬盤 做一個大的硬盤(邏輯卷)
1.2大數據服務器
系統硬盤(100%完全獨立,不要存儲業務數據)
物理磁盤做raid1(兩個硬盤物理備份)
/boot 200M
/SWAP 內存的1-2被(大數據集羣中要關閉)
/ 所有的空間
數據硬盤
優先不做raid 必須做raid時 物理磁盤做raid0
多塊小的硬盤獨立掛載(一個硬盤一個目錄)
2大數據技術爲什麼快
1、傳統的時縱向擴展
服務器數量不發生變化,配置越來越高(發生變化)
大數據橫向擴展
配置不發生變化,服務器數量越來越多(發生變化)
2 傳統的方式資源(cpu/內存/硬盤)集中
大數據方式資源(cpu/內存/硬盤)分佈(前提:同等配置的前提下) 3 傳統數據備份方式單份備份
大數據數據備份方式多分備份(數據複製,默認三個副本)
4 傳統的計算模型是移動數據到程序端
大數據計算模型是移動程序到數據端
io 和網絡的使用率都非常低,且多節點存儲,多節點計算(衆人拾柴火焰高)
3 hadoop的組成部分
1、HDFS:海量數據的存儲系統
2、Map Reduce:海量數據的計算系統(計算框架)
3、YARN:集羣資源管理(調度)的框架