hadoop生態系統學習之路(十二)cloudera manager的簡單使用

最近,忙着辭職和考駕照的事,都沒時間寫博客了,差點把大數據相關的一些技術都給忘了。不過還好做好歸納整理,能夠快速的恢復起來。其實,筆者發現,學習大數據還是有點小竅門的。首先,最好能有個人指引,有什麼問題都可以問他,因爲我僅僅只看視頻、資料等,很難挖掘裏面有價值的東西。另外,我們得多嘗試,多發現問題並解決。其次,一開始我們不要糾結於環境的搭建,等我們對整個hadoop生態系統有一定的瞭解之後,我們再回過看環境的安裝及配置就好多了。
可惜,筆者要辭職了,不然可以待在公司繼續學習spark、storm等技術。但是人在江湖,身不由己。只要有對技術的熱誠,到哪裏都是一樣。
好了,下面給大家介紹下cloudera manager的簡單使用。之前,記得講過如何安裝此圖形化管理工具,然後通過cm安裝我們集羣服務。目前,應該有很多公司開始使用類似這種圖形化安裝工具了,它的遍歷之處不用多說。
下面,筆者將分以下幾個步驟進行介紹:

一、首頁

使用admin/admin登陸後,便可看到此頁面:
這裏寫圖片描述
此頁面展示了所有已啓動的服務以及集羣的性能監控信息。我們這個集羣環境的版本是CDH5.0.0的,我們也可以使用cm進行在線升級。

二、主機

點擊狀態下的主機,可以看到:
這裏寫圖片描述
這裏,我們可以看到所有的節點信息以及它上面所擁有的角色和它的狀態等信息。
然後,我們點擊“Parcel”可以看到:
這裏寫圖片描述
這裏我們可以下載某些包,對我們的環境或某個服務進行升級。

三、YARN

點擊狀態下的YARN可以看到:
這裏寫圖片描述
yarn是hadoop2.x中引入的,在上面可以運行MR以及其他的服務。
web ui提供了兩個圖形界面,首先,我們看下jobHistoryUI,如下:
這裏寫圖片描述
這個就是MR默認的job運行記錄。再來看看resourceManagerUI,如下:
這裏寫圖片描述
這個是YARN提供的application運行記錄。

四、hbase

hbase是一種提供列式存儲結構的服務。我們點擊hbase,可以看到:
這裏寫圖片描述
我們可以在狀態摘要看到,hbase安裝後擁有的服務。同時,也可以通過此圖形化界面進行一些相關的配置。
接下來我們看看table statistic,如下:
這裏寫圖片描述
這裏展示了hbase中表的統計信息。
然後,我們看看hbase web ui,可以看到:
這裏寫圖片描述
我們可以看到表的列族等信息。

五、hdfs

hdfs,大數據分佈式文件系統,進入後,可看到:
這裏寫圖片描述
我們可以看到hdfs的容量狀況,讀寫的情況。另外,我們進入主節點NameNode,可以瀏覽hdfs中的文件信息,可看到:
這裏寫圖片描述

六、 hive

hive是大數據倉庫,點擊進入,便可看到:
這裏寫圖片描述
目前,hive好像還沒提供一些對錶數據的圖形化界面,這裏就簡單看一下。

七、impala

記得之前講過impala與hive的區別,一個是在內存中運算,用於實時查詢,另一個是啓動MR運算,用於離線查詢。進入impala,可以看到:
這裏寫圖片描述
另外,我們可以點擊查詢,可以看到我們在impala-shell執行過的所有命令,如下:
這裏寫圖片描述

八、zookeeper

zookeeper,動物管理,起到協調作用。進入後,便可看到:
這裏寫圖片描述
這裏可以看到的服務器狀態等信息。

九、mgmt

這個mgmt是cm自身的服務,點擊進去可以看到:
這裏寫圖片描述
這裏可以看到一些事件、主機、報告、提醒等監控服務。
好了,這個cm就簡單介紹到這兒了,筆者也沒使用多久,還有很多位置瞭解不夠,在之後的學習過程中逐步完善。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章