Cloudera Manager大數據平臺

一、CDH概述:

前言:

Cloudera 提供了 Hadoop 的商業發行版 CDH ,能夠十分方便地對 Hadoop 集羣進行安裝、部署裏面不僅包含了 loudera 的商業版 Hadoop ,同時 DH 中也包含了各類常用的開源數據處理與存儲框架,如 Spark Hive HBas 等。

  • CDH和Hadoop對比

Hadoop 大致 分爲 Apache Hadoop 和第三方發行版 Hadoop。 考慮到Hdoop 集羣部署的高效性、 集羣 穩定性以及後期集中的配置管理,業界大多使用 Cloudera 公司的發行版CDH。
Apache Hadoop 本雖然完全開源 但是 存在諸多問題:
1, 本管理比較混亂, 讓人有些無 所適從。
2,集羣部署 置較 複雜,通常按照集羣需要編寫大量 配置文件, 分發 臺節點上
容易出錯 效率低下
3,對集羣 監控 運維 需要安裝第三方的其 軟件,運維難度較大。
4,在 Hadoop 生態圈中 組件的選擇 使用, ve Mahout Sqoop Flum Sp
Oozie 需要大量考慮兼容性的 經常會浪費大量的時間去編譯組件,解決版本衝突問題。

CDH Hadoop 的優勢在於:

(1)基於 Apache 100 %開源, 版本管理清晰
(2)在兼容性、 安全性 穩定性上 Apache Hadoop 有大幅度 增強。
(3 )運維簡單方便 對於 Hadoop 集羣提供管理、診斷、監控、配置更改等功能,使得運維工作 常高效,而且羣集節點越多 優勢越明顯。
(4 ) CDH 供成體系的文檔、很多大公司的應用案例以及商業支持等。

二、大數據平臺管理介紹

Cloudera Manager 概述和整體架構

Cloudera Manager (簡稱CM)是爲了便於在集羣中進行 Hadoop 等大數據 理相關的服務安裝和監控管理的組件, 對集羣中主機 Hadoop Hive Spark 等服務的安裝配置管理做了極大簡化。
它是Hadoop 羣的軟件分發及管理監控平臺 通過它 快速 部署好 Hadoop 集羣,井對
集羣的節點及 服務進行行實時監控。
在這裏插入圖片描述
Cloudera Manager 的核心是 Cloudera Manager Server ,它包括以下組件。

Server:託管 Admin Console Web Server 和應用程序邏輯 它負責安裝軟件、配直、啓動和停止服務及管理運行服務的羣集。
Agent:安裝在每臺主機上。它負責啓動和停止進程,解壓縮配置,觸發安裝和監控主機。默認情況下,Agent每隔15秒向Cloudera Manager Server發送一次檢測信號。但是,爲了減少用戶延遲,在狀態發生變化時會提高頻率。如果Agent停止檢測信號,主機將被標記爲運行狀況不良。

在這裏插入圖片描述
CDH平臺6個角色的作用如下:
在這裏插入圖片描述

寄語專區:
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章