培訓目標：
瞭解大數據運維都有什麼內容
大數據系統核心組件介紹
性能調優策略實戰
離線服務平臺介紹
業務實時監控介紹
Hadoop 集羣硬件監控
通過應用案例瞭解工作 方法與流程
大數據運維概覽 大數據的運維案例回顧：
運維內容
運維工作流程
運維支撐平臺
大數據運維涉及哪些內容
大數據運維關注的問題
大數據運維平臺的典型架構
大數據系統核心組件介紹 1、集羣管理工具—ambari
2、數據倉庫—hive
3、分佈式計算— MapReduce
4、noSQL數據庫—Hbase
5、工作流工具—Oozie
6、數據的並行採集—Flume
7、MapReduce腳本工具—Pig
8、與關係型數據庫之間的數據遷移—Sqoop
9、資源管理平臺—Yarn
10、數據挖掘算法—Mahout
11、分佈式統一服務—Zookeeper
12、流式計算—Strom
13、內存計算—Spark
性能調優策略實戰 1、 Linux版本選擇
2、 安裝HDFS系統調優
3、 網絡優化策略
4、 Hdfs優化策略
5、 安裝HDFS服務
6、 HDFS配置參數介紹
7、 HDFS運維工具介紹
8、 Hbase服務優化
9、 Hbase表設計
10、 spark服務介紹
離線服務平臺介紹 1、 大數據平臺架構設計
2、 底層存儲服務平臺架構設計與應用場景
3、 離線計算框架實現對比
4、 元數據服務治理與數據生命週期管理
5、 統一調度平臺設計
6、海量日誌處理架構介紹
業務實時監控介紹 1、 流計算框架服務介紹
2、 Storm流計算服務介紹與應用場景
3、 Spark Streaming服務框架介紹與應用場景
4、 Flink服務框架介紹與應用場景
5、 流計算案例分享（天貓雙十服務）
6、 58業務數據監控方案設計
Hadoop 集羣硬件監控 1、查看集羣狀態
HDFS數據管理
Mapreduce 任務管理
HDFS安全模式
添加刪除節點
數據平衡
文件數據跨集羣拷貝
2、 使用Ganglia 監控Hadoop集羣
3、 使用Cacti 監控操作系統
4、 使用Zabbix監控
5、 ganglia nagios聯合使用分析
6、 集羣監控
7、 服務監控運行的進程監控
8、 主機狀態監控
9、 主機磁盤存儲情況監控
10、網絡狀況監控
11、ganglia 監控
12、zabbix監控
13、提供的服務監控監控
14、堡壘機監控
15、任務監控
16、任務運行時常、資源數、讀取數量、shuffle數量等
17、按人任務按部門的任務彙總
18、隊列監控
19、隊列下的任務運行歷史監控
20、總量超過一個小時的任務列表監控報表
21、數據量監控
22、各個一級部門目錄的數據增長量監控
應用案例 1、互聯網行業大數據平臺的搭建
2、移動手機上網日誌分析系統
3、電信業使用hadoop場景分析
4、電商個性化推薦系統