說明：大數據時代，傳統運維向大數據運維升級換代很常見，也是個不錯的機會。如果想系統學習大數據運維，個人比較推薦通信巨頭運維大咖的分享課程，主要是實戰強、含金量高、專注度高，有6個專題+2個大型項目+騰訊雲服務器，真槍實彈傳授上千大數據集羣運維經驗。
課程介紹：
這是專門爲IT運維人員設計的高端大數據課程，可能也是目前的 only one！課程內容從100多份招聘要求中萃取知識點，再邀請幾位年薪60W+的大數據運維專家共同商討打磨而成。傳統運維人員工作~忙~累~苦~而又工資低，多年運維老手的工資往往不如剛畢業一兩年的碼農。本課程意在借大數據紅利之勢，幫助大家抓住機遇拿下高薪，職業華麗升級轉型！
課程以電信運營商實戰項目爲導向，結合企業大數據運維實際應用場景，一步步帶着學員掌握大數據運維各個技術環節。通過《從0建設大數據平臺》實戰，讓學員有能力幫助企業實現大數據平臺從無到有；通過《大規模集羣運維實戰》實戰，讓學員有能力保障維護大型大數據集羣的穩定、有效、安全。課程在考慮內容覆蓋面同時，非常注重實用性，力求讓學員所學即所用，切實解決企業工作中的實際問題，拒絕無用功和假把式。文檔豐富詳盡，大部分內容來自上千節點產線環境之實踐，或許你能整理出一份大數據運維”九陰真經“。
課程亮點：
實戰性強：以解決企業實際問題爲導向。從0建設大數據平臺項目，解決企業大數據平臺從無到有的迫切問題。大規模集羣運維實戰，解決企業如何平穩運行和維護大數據平臺。
含金量高：採用Cloudra Manager構建企業級大數據平臺，傳授上千節點大數據運維經驗，解決千億級別大數據集羣產線問題。
專注度高：專注於大數據運維，課程涵蓋大數據集羣規劃、集羣部署、集羣安全、集羣監控、集羣容器化、集羣運維，培養大數據運維專業人才。
適合人羣：
1.IT運維人員提升拿高薪
2.網管/技術支持蛻變轉型漲薪
3.Leader/架構師 擴充技術棧
4.大專/本科學生輕鬆入行大數據
就業崗位：
1.大數據運維工程師
2.大數據平臺架構師
3.大數據平臺運維
課程大綱：
第一章 大數據運維通識
1.大數據概述及技術生態介紹
2.大數據運維及其他部門如何分工協作
3.大數據運維需要掌握哪些必備技能
4.如何成爲高薪的大數據運維人才
第二章 大數據集羣規劃
1.網絡規劃
1.1機房區域劃分
1.2機房三層網絡結構
1.3網絡帶寬規劃（千兆，萬兆）
1.4主機網卡bond模式
2.集羣規劃
2.1集羣業務規劃
2.2集羣節點規劃
2.2.1HDFS集羣節點規劃
2.2.2HBase集羣節點規劃
2.2.3Kafka集羣節點規劃
2.2.4Zookeeper節點規劃
2.2.5YARN節點規劃
2.2.6ElasticSearch節點規劃
2.3存儲規劃
2.3.1Raid規劃
2.3.2多磁盤規劃
第三章 大數據集羣搭建
1.集羣安裝部署方式
1.1Ambari+hdp自動化部署
1.2CM+cdh自動化部署
1.3Hadoop手動安裝部署
2.集羣部署平臺選擇
2.1阿里雲
2.2EC2
2.3物理服務器
3.大數據技術組件部署
3.1Zookeeper集羣安裝
3.2HDFS集羣安裝
3.3YARN集羣安裝
3.4Hive客戶端安裝
3.5HBase集羣安裝
3.6Kafka集羣安裝
3.7Spark集羣安裝
3.8Flink集羣安裝
3.9接口機/跳板機安裝
4.核心技術組件體系結構
4.1HDFS體系結構
4.2YARN體系結構
4.3HBase體系結構
4.4Kafka體系結構
第四章 大數據集羣安全
1.HDFS ACL存儲權限控制
2.資源隊列權限控制
3.HDFS Sentry權限控制
4.vpn權限控制
5.雲桌面權限控制
第五章 大數據集羣監控
1.集羣級別監控
1.1集羣cpu負載
1.2集羣磁盤IO負載
1.3集羣網絡IO負載
1.4HDFS IO負載
1.5集羣內存負載
2.YARN監控
2.1ResourceManager運行狀況
2.2NodeManager運行狀況
2.3JobHistory Server運行狀況
2.4應用程序監控
2.5容器監控
2.6JVM監控
2.7RPC監控
2.8作業監控
2.9資源隊列監控
3.HDFS監控
3.1容量監控
3.2DataNode讀寫監控
3.3事務監控
3.4編輯日誌監控
3.5Rpc監控
3.6JVM堆棧監控
4.Kafka監控
4.1Broker監控
4.2topic 分區監控
4.3IO監控
5.Zookeeper監控
5.1進程IAAS層指標監控
5.2運行狀況監控
5.3連接情況監控
5.4請求監控
5.5數據包監控
5.6JVM監控
6.HBase監控
6.1regionserver區域監控
6.2讀寫請求監控
6.3事件監控
6.4運行狀態監控
6.5JVM監控
6.6關鍵節點主機指標監控
第六章 大數據容器化技術
1.Docker容器化技術
1.1Docker實現原理
1.2Docker安裝部署
1.3Docker容器管理
1.4Docker鏡像及倉庫管理
1.5Spark ON Docker集羣搭建
2.Kubernetes(k8s)容器化技術
2.1k8s快速入門
2.2k8s系統架構
2.3k8s基礎組件說明
2.4k8s基礎服務安裝
2.5k8s分佈式安裝
2.6k8s Nginx部署
3.大數據容器化技術實踐
3.1基於kubernetes（k8s）調度的Flink大數據流式計算
3.2Docker+k8s容器化技術在大數據應用服務的落地實踐
3.3Docker+k8s部署、監控實踐
項目一：從0建設大數據平臺
1.大數據平臺前期調研
1.1歷史數據總量
1.2數據每天增長量
1.3數據TTL
2.集羣硬件規劃
2.1總體規劃的考慮
2.1.1集羣規模控制因素
1）依據數據量計算磁盤總量
2）依據數據塊計算NameNode內存總量
3）依據任務量和性能計算集羣數量
2.1.2集羣構建考慮因素
1）構建HA高可用集羣
2）物理機、雲主機
3）部署方式選擇：原生集羣、CDH集羣、hdp集羣
2.2集羣硬件選擇
2.2.1主節點配置
2.2.2從節點配置
2.2.3CPU配置
2.2.4Core與內存配置
2.2.5磁盤配置
3.集羣節點規劃
3.1集羣業務規劃
3.2集羣節點規劃
3.2.1HDFS節點規劃
3.2.2HBase節點規劃
3.2.3Kafka節點規劃
3.2.4YARN節點規劃
3.2.5Zookeeper節點規劃
3.2.6ElasticSearch節點規劃
3.3集羣存儲規劃
4.大數據平臺目錄規劃
4.1HDFS目錄規劃
4.2linux os目錄規劃
4.3linux主機名規劃
4.4臨時目錄規劃
5.網絡規劃
5.1機房選擇
5.2網絡帶寬規劃
5.3主機網卡規劃
6.大數據平臺構建
6.1選擇集羣部署平臺
6.2選擇集羣部署方式
6.3大數據平臺構建
6.4接口機部署
7.數據遷移至大數據平臺
7.1文件數據遷移大數據平臺
7.2數據庫數據遷移大樹將軍平臺
7.3數據一致性驗證
8.大數據平臺維護與管理
8.1集羣啓停
8.2集羣各進程維護操作
8.3數據平衡操作
8.4集羣日常運維
8.5大數據平臺權限控制
項目二：大規模集羣運維實踐
1.大數據集羣基礎運維
1.1集羣啓停
1.2 集羣各進程維護操作
1.3數據平衡操作
1.4集羣日常運維
2.大數據集羣擴縮容
2.1HDFS節點增加與刪除
2.2YARN節點增加與刪除
2.3HBase節點增加與刪除
2.4Kafka節點增加與刪除
3.大數據集羣巡檢
3.1HDFS巡檢思路與技巧
3.2YARN巡檢思路與技巧
3.3HBase巡檢思路與技巧
3.4Zookeeper巡檢思路與技巧
3.5Kafka巡檢思路與技巧
4.大數據集羣產線問題解決
4.1產線環境數據加工延遲定位
4.2作業執行緩慢根因定位
4.3作業數據傾斜問題排查
4.4hive入庫延遲根因定位
4.5HBase數據丟失故障覆盤
4.6HBase數據誤刪數據恢復
4.7Spark環境引起的資源申請不到問題定位
5.大規模集羣數據遷移
5.1數據遷移方案
5.2數據遷移前集羣準備
5.3大規模數據遷移流程
5.4數據驗證