大數據服務器小知識

1傳統服務器和大數據服務器

1.1 傳統服務器
系統硬盤 完全獨立 不存儲業務數據
物理磁盤做raid1 兩個磁盤 用來備份
/boot 200m
/SWAP 內存的1-2倍
/ 所有空間
數據硬盤
多塊小的硬盤 做一個大的硬盤(邏輯卷)

在這裏插入圖片描述

1.2大數據服務器
系統硬盤(100%完全獨立,不要存儲業務數據)
物理磁盤做raid1(兩個硬盤物理備份)
/boot 200M
/SWAP 內存的1-2被(大數據集羣中要關閉)	
/ 所有的空間
數據硬盤
優先不做raid 必須做raid時 物理磁盤做raid0
多塊小的硬盤獨立掛載(一個硬盤一個目錄)

2大數據技術爲什麼快

1、傳統的時縱向擴展
服務器數量不發生變化,配置越來越高(發生變化)
大數據橫向擴展
配置不發生變化,服務器數量越來越多(發生變化)
2 傳統的方式資源(cpu/內存/硬盤)集中
大數據方式資源(cpu/內存/硬盤)分佈(前提:同等配置的前提下) 3 傳統數據備份方式單份備份
大數據數據備份方式多分備份(數據複製,默認三個副本)
4 傳統的計算模型是移動數據到程序端
大數據計算模型是移動程序到數據端
io  和網絡的使用率都非常低,且多節點存儲,多節點計算(衆人拾柴火焰高)

在這裏插入圖片描述

3 hadoop的組成部分

1、HDFS:海量數據的存儲系統
2、Map Reduce:海量數據的計算系統(計算框架)
3、YARN:集羣資源管理(調度)的框架

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章