大數據之Linux+大數據開發篇
【大數據開發學習資料領取方式】：加入大數據技術學習交流羣458345782，點擊加入羣聊，私信管理員即可免費領取
階段一、大數據、雲計算 - Hadoop大數據開發技術
課程一、大數據運維之Linux基礎
本部分是基礎課程，幫大家進入大數據領域打好Linux基礎，以便更好地學習Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等衆多課程。因爲企業
中的項目基本上都是使用Linux環境下搭建或部署的。
1）Linux系統概述
2）系統安裝及相關配置
3）Linux網絡基礎
4）OpenSSH實現網絡安全連接
5）vi文本編輯器
6）用戶和用戶組管理
7）磁盤管理
8）Linux文件和目錄管理
9）Linux終端常用命令
10）linux系統監測與維護
課程二、大數據開發核心技術 - Hadoop 2.x從入門到精通
本課程是整套大數據課程的基石：其一，分佈式文件系統HDFS用於存儲海量數據，無論是Hive、HBase或者Spark數據存儲在其上面；其二是分佈式資源管理框架
YARN，是Hadoop 雲操作系統（也稱數據系統），管理集羣資源和分佈式數據處理框架MapReduce、Spark應用的資源調度與監控；分佈式並行計算框架
MapReduce目前是海量數據並行處理的一個最常用的框架。Hadoop 2.x的編譯、環境搭建、HDFS Shell使用，YARN 集羣資源管理與任務監控，MapReduce編
程，分佈式集羣的部署管理（包括高可用性HA）必須要掌握的。
一、初識Hadoop 2.x
1）大數據應用發展、前景
2）Hadoop 2.x概述及生態系統
3）Hadoop 2.x環境搭建與測試
二、深入Hadoop 2.x
1）HDFS文件系統的架構、功能、設計
2）HDFS Java API使用
3）YARN 架構、集羣管理、應用監控
4）MapReduce編程模型、Shuffle過程、編程調優
三、高級Hadoop 2.x
1）分佈式部署Hadoop 2.x
2）分佈式協作服務框架Zookeeper
3）HDFS HA架構、配置、測試
4）HDFS 2.x中高級特性
5）YARN HA架構、配置
6）Hadoop 主要發行版本（CDH、HDP、Apache）
四、實戰應用
1）以【用戶瀏覽日誌】數據進行實際的分析 2）原數據採集 3）數據的預處理（ETL） 4）數據的分析處理（MapReduce）
課程三、大數據開發核心技術 - 大數據倉庫Hive精講
hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供簡單的sql查詢功能，可以將sql語句轉換爲MapReduce任務進行
運行。其優點是學習成本低，可以通類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。
一、Hive 初識入門
1）Hive功能、體系結構、使用場景
2）Hive環境搭建、初級使用
3）Hive原數據配置、常見交互方式
二、Hive深入使用
1）Hive中的內部表、外部表、分區表
2）Hive 數據遷移
3）Hive常見查詢（select、where、distinct、join、group by）
4）Hive 內置函數和UDF編程
三、Hive高級進階
1）Hive數據的存儲和壓縮
2）Hive常見優化（數據傾斜、壓縮等）
四、結合【北風網用戶瀏覽日誌】實際案例分析
1）依據業務設計表
2）數據清洗、導入（ETL）
3）使用HiveQL，統計常見的網站指標
課程四、大數據協作框架 - Sqoop/Flume/Oozie精講
Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL
,Oracle ,Postgres等）中的數據導進到關係型數據庫中。Sqoop項目開始於2009年，最早是作爲Hadoop的一個第三方模塊存在，後來爲了讓使用者能夠快速部
署，也爲了讓開發人員能夠更快速的迭代開發，Sqoop獨立成爲一個Apache項目。
一、數據轉換工具Sqoop
1）Sqoop功能、使用原則
2）將RDBMS數據導入Hive表中（全量、增量）
3）將HDFS上文件導出到RDBMS表中
二、文件收集框架Flume
1）Flume 設計架構、原理（三大組件）
2）Flume初步使用，實時採集數據
3）如何使用Flume監控文件夾數據，實時採集錄入HDFS中 4）任務調度框架Oozie
三、Oozie功能、安裝部署
1）使用Oozie調度MapReduce Job和HiveQL
2）定時調度任務使用
課程五、大數據Web開發框架 - 大數據WEB 工具Hue精講
Hue是一個開源的Apache Hadoop UI系統，最早是由Cloudera Desktop演化而來，由Cloudera貢獻給開源社區，它是基於Python Web框架Django實現的。通
過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop集羣進行交互來分析處理數據，例如操作HDFS上的數據，運行MapReduce Job等等。
1）Hue架構、功能、編譯
2）Hue集成HDFS
3）Hue集成MapReduce
4）Hue集成Hive、DataBase
5）Hue集成Oozie
課程六、大數據核心開發技術 - 分佈式數據庫HBase從入門到精通
HBase是一個分佈式的、面向列的開源數據庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分佈式存儲系統”。HBase在
Hadoop之上提供了類似於Bigtable的能力，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大
規模結構化存儲集羣
一、HBase初窺使用
1）HBase是什麼、發展、與RDBMS相比優勢、企業使用
2）HBase Schema、表的設計
3）HBase 環境搭建、shell初步使用（CRUD等）
二、HBase 深入使用
1）HBase 數據存儲模型
2）HBase Java API使用（CRUD、SCAN等）
3）HBase 架構深入剖析
4）HBase 與MapReduce集成、數據導入導出
三、HBase 高級使用
1）如何設計表、表的預分區（依據具體業務分析講解）
2）HBase 表的常見屬性設置（結合企業實際）
3）HBase Admin操作（Java API、常見命令）
四、【北風網用戶瀏覽日誌】進行分析
1）依據需求設計表、創建表、預分區
2）進行業務查詢分析
3）對於密集型讀和密集型寫進行HBase參數調優
課程七、Spark技術實戰之基礎篇 -Scala語言從入門到精通
爲什麼要學習Scala？源於Spark的流行，Spark是當前最流行的開源大數據內存計算框架，採用Scala語言實現，各大公司都在使用Spark：IBM宣佈承諾大力推進
Apache Spark項目，並稱該項目爲：在以數據爲主導的，未來十年最爲重要的新的開源項目。這一承諾的核心是將Spark嵌入IBM業內領先的分析和商務平臺，
Scala具有數據處理的天然優勢，Scala是未來大數據處理的主流語言
1)-Spark的前世今生
2)-課程介紹、特色與價值
3)-Scala編程詳解：基礎語法
4)-Scala編程詳解：條件控制與循環
5)-Scala編程詳解：函數入門
6)-Scala編程詳解：函數入門之默認參數和帶名參數
7)-Scala編程詳解：函數入門之變長參數
8)-Scala編程詳解：函數入門之過程、lazy值和異常
9)-Scala編程詳解：數組操作之Array、ArrayBuffer以及遍歷數組
10)-Scala編程詳解：數組操作之數組轉換
11)-Scala編程詳解：Map與Tuple
12)-Scala編程詳解：面向對象編程之類
13)-Scala編程詳解：面向對象編程之對象
14)-Scala編程詳解：面向對象編程之繼承
15)-Scala編程詳解：面向對象編程之Trait
16)-Scala編程詳解：函數式編程
17)-Scala編程詳解：函數式編程之集合操作
18)-Scala編程詳解：模式匹配
19)-Scala編程詳解：類型參數
20)-Scala編程詳解：隱式轉換與隱式參數
21)-Scala編程詳解：Actor入門
課程八、大數據核心開發技術 - 內存計算框架Spark精講
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用並行框架，Spark，擁有Hadoop MapReduce所具有的優點。啓用了內存分佈數據集，除
了能夠提供交互式查詢外，它還可以優化迭代工作負載。Spark Streaming: 構建在Spark上處理Stream數據的框架，基本的原理是將Stream數據分成小的時間片斷
（幾秒），以類似batch批量處理的方式來處理這小部分數據
1）Spark 初識入門
2）Spark 概述、生態系統、與MapReduce比較
3）Spark 編譯、安裝部署（Standalone Mode）及測試
4）Spark應用提交工具（spark-submit，spark-shell）
5）Scala基本知識講解（變量，類，高階函數）
6）Spark 核心RDD
7）RDD特性、常見操作、緩存策略
8）RDD Dependency、Stage常、源碼分析
9）Spark 核心組件概述
10）案例分析
11）Spark 高階應用
12）Spark on YARN運行原理、運行模式及測試
13）Spark HistoryServer歷史應用監控
14）Spark Streaming流式計算
15）Spark Streaming 原理、DStream設計
16）Spark Streaming 常見input、out
17）Spark Streaming 與Kafka集成
18）使用Spark對【北風網用戶瀏覽日誌】進行分析
課程九、大數據核心開發技術 - Spark深入剖析
本課程主要講解目前大數據領域熱門、火爆、有前景的技術——Spark。在本課程中，會從淺入深，基於大量案例實戰，深度剖析和講解Spark，並且會包含
完全從企業真實複雜業務需求中抽取出的案例實戰。課程會涵蓋Scala編程詳解、Spark核心編程.
1）Scala編程、Hadoop與Spark集羣搭建、Spark核心編程、Spark內核源碼深度剖析、Spark性能調優
2）Spark源碼剖析
課程十、大數據核心開發技術 - Storm實時數據處理（贈送-選修）
Storm是Twitter開源的分佈式實時大數據處理框架，被業界稱爲實時版Hadoop。 隨着越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網站統計、
推薦系統、預警系統、金融系統(高頻交易、股票)等等， 大數據實時處理解決方案（流計算）的應用日趨廣泛，目前已是分佈式技術領域最新爆發點，而Storm更是
流計算技術中的佼佼者和主流。 按照storm作者的說法，Storm對於實時計算的意義類似於Hadoop對於批處理的意義。Hadoop提供了map、reduce原語，使我
們的批處理程序變得簡單和高效。 同樣，Storm也爲實時計算提供了一些簡單高效的原語，而且Storm的Trident是基於Storm原語更高級的抽象框架，類似於基於
Hadoop的Pig框架， 讓開發更加便利和高效。本課程會深入、全面的講解Storm，並穿插企業場景實戰講述Storm的運用。 淘寶雙11的大屏幕實時監控效果衝擊
了整個IT界，業界爲之驚歎的同時更是引起對該技術的探索。 學完本課程你可以自己開發升級版的“淘寶雙11”，還等什麼？
1）Storm簡介和課程介紹
2）Storm原理和概念詳解
3）Zookeeper集羣搭建及基本使用
4）Storm集羣搭建及測試
5）API簡介和入門案例開發
6）Spout的Tail特性、storm-starter及maven使用、Grouping策略
7）實例講解Grouping策略及併發
8）併發度詳解、案例開發（高併發運用）
9）案例開發——計算網站PV，通過2種方式實現彙總型計算。
10）案例優化引入Zookeeper鎖控制線程操作
11）計算網站UV(去重計算模式)
12）【運維】集羣統一啓動和停止shell腳本開發
13）Storm事務工作原理深入講解 14）Storm事務API及案例分析
15）Storm事務案例實戰之 ITransactionalSpout
16）Storm事務案例升級之按天計算
17）Storm分區事務案例實戰
18）Storm不透明分區事務案例實戰
19）DRPC精解和案例分析
20）Storm Trident 入門
21）Trident API和概念
22）Storm Trident實戰之計算網站PV
23）ITridentSpout、FirstN(取Top N)實現、流合併和Join
24）Storm Trident之函數、流聚合及核心概念State
25）Storm Trident綜合實戰一（基於HBase的State）
26）Storm Trident綜合實戰二
27）Storm Trident綜合實戰三
28）Storm集羣和作業監控告警開發
課程十一、企業大數據平臺高級應用
本階段主要就之前所學內容完成大數據相關企業場景與解決方案的剖析應用及結合一個電子商務平臺進行實戰分析，主要包括有： 企業大數據平臺概述、搭建企業
大數據平臺、真實服務器手把手環境部署、使用CM 5.3.x管理CDH 5.3.x集羣
1）企業大數據平臺概述
2）大數據平臺基本組件
3）Hadoop 發行版本、比較、選擇
4）集羣環境的準備（系統、基本配置、規劃等）
5）搭建企業大數據平臺
6）以實際企業項目需求爲依據，搭建平臺
7）需求分析（主要業務）
8）框架選擇（Hive\HBase\Spark等）
9）真實服務器手把手環境部署
10）安裝Cloudera Manager 5.3.x
11）使用CM 5.3.x安裝CDH 5.3.x
12）如何使用CM 5.3.x管理CDH 5.3.x集羣
13）基本配置，優化
14）基本性能測試
15）各個組件如何使用
課程十二、項目實戰：驢媽媽旅遊網大型離線數據電商分析平臺
離線數據分析平臺是一種利用hadoop集羣開發工具的一種方式，主要作用是幫助公司對網站的應用有一個比較好的瞭解。尤其是在電商、旅遊、銀行、證券、遊戲
等領域有非常廣泛，因爲這些領域對數據和用戶的特性把握要求比較高，所以對於離線數據的分析就有比較高的要求了。 本課程講師本人之前在遊戲、旅遊等公司
專門從事離線數據分析平臺的搭建和開發等，通過此項目將所有大數據內容貫穿，並前後展示！
1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數據分析，SpringMVC，Highchat
2）Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts實現的電商離線數據分析
3）日誌收集系統、日誌分析、數據展示設計
課程十三、項目實戰：基於1號店的電商實時數據分析系統
課程基於1號店的業務及數據進行設計和講解的，主要涉及
1、課程中完整開發3個Storm項目，均爲企業實際項目，其中一個是完全由Storm Trident開發。 項目源碼均可以直接運行，也可直接用於商用或企業。
2、每個技術均採用最新穩定版本，學完後會員可以從Kafka到Storm項目開發及HighCharts圖表開發一個人搞定！讓學員身價劇增！
3、搭建CDH5生態環境完整平臺，且採用Cloudera Manager界面化管理CDH5平臺。讓Hadoop平臺環境搭建和維護都變得輕而易舉。
4、分享實際項目的架構設計、優劣分析和取捨、經驗技巧，陡直提升學員的經驗值
1）全面掌握Storm完整項目開發思路和架構設計
2）掌握Storm Trident項目開發模式
3）掌握Kafka運維和API開發、與Storm接口開發
4）掌握HighCharts各類圖表開發和實時無刷新加載數據
5）熟練搭建CDH5生態環境完整平臺
6）靈活運用HBase作爲外部存儲
7）可以做到以一己之力完成從後臺開發（Storm、Kafka、Hbase開發）
到前臺HighCharts圖表開發、Jquery運用等，所有工作一個人搞定！
可以一個人搞定淘寶雙11大屏幕項目！
課程十四、項目實戰：基於美團網的大型離線電商數據分析平臺
本項目使用了Spark技術生態棧中最常用的三個技術框架，Spark Core、Spark SQL和Spark Streaming，進行離線計算和實時計算業務模塊的開發。實現了包括用
戶訪問session分析、頁面單跳轉化率統計、熱門商品離線統計、 廣告點擊流量實時統計4個業務模塊。過合理的將實際業務模塊進行技術整合與改造，
該項目完全涵蓋了Spark Core、Spark SQL和Spark Streaming這三個技術框架中幾乎所有的功能點、知識點以及性能優化點。 僅一個項目，即可全面掌握Spark
技術在實際項目中如何實現各種類型的業務需求！在項目中，重點講解了實際企業項目中積累下來的寶貴的性能調優 、troubleshooting以及數據傾斜解決方案等知識和技術
1）真實還原完整的企業級大數據項目開發流程：
項目中採用完全還原企業大數據項目開發場景的方式來講解，
每一個業務模塊的講解都包括了數據分析、需求分析、方案設計、數據庫設計、編碼實現、功能測試、性能調優、troubleshooting與解決數據傾斜（後期運維）等環節
，真實還原企業級大數據項目開發場景。
讓學員掌握真實大數據項目的開發流程和經驗！
2）現場Excel手工畫圖與寫筆記：所有複雜業務流程、架構原理
、Spark技術原理、業務需求分析、技術實現方案等知識的講解
，採用Excel畫圖或者寫詳細比較的方式進行講解與分析，
細緻入微、形象地透徹剖析理論知識，幫助學員更好的理解、記憶與複習鞏固。
課程十五、大數據高薪面試剖析
本階段通過對歷來大數據公司企業真實面試題的剖析，講解，讓學員真正的一個菜鳥轉型爲具有1年以上的大數據開發工作經驗的專業人士，也是講師多年來大數據
企業開發的經驗之談。
1）大數據項目
2）企業大數據項目的類型
3）技術架構（如何使用各框架處理數據）
4）衝刺高薪面試
5）面試簡歷編寫（把握重點要點）
6）面試中的技巧
7）常見面試題講解
8）如何快速融入企業進行工作（對於大數據公司來說非常關鍵）
9）學員答疑
10）針對普遍問題進行公共解答
11）一對一的交流
階段二、Python基礎與數據分析（贈送）
課程十六、Python基礎與數據分析
本課程主要講解Python基礎以及Pyhton數據分析，包括語句、函數、表達式以及模塊化 開發、類與對象等，帶領大家快速掌握Python，爲後續處理數據以及分析服務打下良好基礎。
1）Python基礎
2）Python控制語句與函數
3）Lambda表達式、裝飾器和Python模塊化開發
4）Python類與對象
5）Python數據庫操作+正則表達式
6）Python數據分析
階段三、大數據、雲計算 - Java企業級核心應用（贈送）
課程十七、深入Java性能調優
國內關於Java性能調優的課程非常少，如此全面深入介紹Java性能調優，北風算是，Special講師，十餘年Java方面開發工作經驗，資深軟件開發系統架構師，
本套課程系多年工作經驗與心得的總結，課程有着很高的含金量和實用價值，本課程專注於java應用程序的優化方法，技巧和思想，深入剖析軟件設計層面、代碼層面、JVM虛擬機層面的優化方法，理論結合實際，使用豐富的示例幫助學員理解理論知識。
課程十八、JAVA企業級開放必備高級技術（Weblogic Tomcat集羣 Apach集羣）
Java自面世後就非常流行，發展迅速，對C++語言形成有力衝擊。在全球雲計算和移動互聯網的產業環境下，Java更具備了顯著優勢和廣闊前景，那麼滋生的基於
java項目也越來越多，對java運行環境的要求也越來越高，很多java的程序員只知道對業務的擴展而不知道對java本身的運行環境的調試，例如虛擬機調優，服務器集羣等，所以也滋生本門課程的產生。
階段四、大數據、雲計算 - 分佈式集羣、PB級別網站性能優化（贈送）
課程十九、大數據高併發系統架構實戰方案(LVS負載均衡、Nginx、共享存儲、海量數據、隊列緩存 )
隨着互聯網的發展，高併發、大數據量的網站要求越來越高。而這些高要求都是基礎的技術和細節組合而成的。本課程就從實際案例出發給大家原景重現高併發架構
常用技術點及詳細演練。通過該課程的學習，普通的技術人員就可以快速搭建起千萬級的高併發大數據網站平臺,課程涉及內容包括:LVS實現負載均衡、Nginx高級
配置實戰、共享存儲實現動態內容靜態化加速實戰、緩存平臺安裝配置使用、mysql主從複製安裝配置實戰等。
課程二十、大數據高併發服務器實戰教程（Linux+Nginx+Java+Memcached+Redis）
隨着Web技術的普及，Internet上的各類網站第天都在雪崩式增長。但這些網站大多在性能上沒做過多考慮。當然,它們情況不同。有的是Web技術本身的原因（主
要是程序代碼問題）,還有就是由於Web服務器未進行優化。不管是哪種情況，一但用戶量在短時間內激增，網站就會明顯變慢，甚至拒絕放訪問。要想有效地解決
這些問題，就只有依靠不同的優化技術。本課程就是主要用於來解決大型網站性能問題，能夠承受大數據、高併發。主要涉及 技術有：nginx、tomcat、memcached、redis緩存、負載均衡等高級開發技術
課程二十一、項目實戰：PB級通用電商網站性能優化解決方案
本部分通過一個通用電商訂單支付模塊，外加淘寶支付接口的實現（可用於實際項目開發），剖析並分析過程中可能遇到的各種性能瓶頸及相關的解決方案與優化技
巧。最終目標，讓有具有PHP基礎或Java基礎的學員迅速掌握Linux下的開發知識，並對涉及到nginx、tomcat、memcached、redis緩存、負載均衡等高級開發技術有一個全面的瞭解
階段五、大數據、雲計算 - 數據挖掘、分析 & 機器學習（贈送）
課程二十二、玩轉大數據：深入淺出大數據挖掘技術(Apriori算法、Tanagra工具、決策樹)
本課程名爲深入淺出數據挖掘技術。所謂“深入”，指得是從數據挖掘的原理與經典算法入手。其一是要了解算法，知道什麼場景應當應用什麼樣的方法；其二是學
習算法的經典思想，可以將它應用到其他的實際項目之中；其三是理解算法，讓數據挖掘的算法能夠應用到您的項目開發之中去。所謂“淺出”，指得是將數據挖掘
算法的應用落實到實際的應用中。課程會通過三個不同的方面來講解算法的應用：一是微軟公司的SQL Server與Excel等工具實現的數據挖掘；二是著名開源算法
的數據挖掘，如Weka、KNIMA、Tanagra等開源工具；三是利用C#語言做演示來完成數據挖掘算法的實現。根據實際的引用場景，數據挖掘技術通常分爲分類
器、關聯分析、聚類算法等三大類別。本課程主要介紹這三大算法的經典思想以及部分著名的實現形式，並結合一
些商業分析工具、開源工具或編程等方式來講解具體的應用方法
課程二十三、Lucene4.X實戰類baidu搜索的大型文檔海量搜索系統
本課程由淺入深的介紹了Lucene4的發展歷史，開發環境搭建，分析lucene4的中文分詞原理，深入講了lucenne4的系統架構，分析lucene4索引實現原理及性能優
化，瞭解關於lucene4的搜索算法優化及利用java結合lucene4實現類百度文庫的全文檢索功能等相對高端實用的內容，市面上一般很難找到同類具有相同深度與廣度的視頻，集原理、基礎、案例與實戰與一身，不可多得的一部高端視頻教程。
課程二十四、快速上手數據挖掘之solr搜索引擎高級教程（Solr集羣、KI分詞、項目實戰）
本教程從最基礎的solr語法開始講解，選擇了最新最流行的開源搜索引擎服務框架solr5.3.1，利用Tomcat8搭建了solr的集羣服務；本教程可以幫助學員快速上手
solr的開發和二次開發，包括在hadoop集羣的是利用，海量數據的索引和實時檢索，通過 瞭解、學習、安裝、配置、集成等步驟引導學員如何將solr集成到項目中。
課程二十五、項目實戰：SPSS Modeler數據挖掘項目實戰培訓
SS Modeler是業界極爲著名的數據挖掘軟件，其前身爲SPSS Clementine。SPSS Modeler內置豐富的數據挖掘模型，以其強大的挖掘功能和友好的操作習慣，深
受用戶的喜愛和好評，成爲衆多知名企業在數據挖掘項目上的軟件產品選擇。本課程以SPSS Modeler爲應用軟件，以數據挖掘項目生命週期爲線索，以實際數據挖掘項目爲例，講解了從項目商業理解開始，到最後軟件實現的全過程。
課程二十六、數據層交換和高性能併發處理(開源ETL大數據治理工具）
【大數據開發學習資料領取方式】：加入大數據技術學習交流羣458345782，點擊加入羣聊，私信管理員即可免費領取
ETL是數據的抽取清洗轉換加載的過程，是數據進入數據倉庫進行大數據分析的載入過程，目前流行的數據進入倉庫的過程有兩種形式，一種是進入數據庫後再進行
清洗和轉換，另外一條路線是首先進行清洗轉換再進入數據庫，我們的ETL屬於後者。 大數據的利器大家可能普遍說是hadoop，但是大家要知道如果我們不做預先
的清洗和轉換處理，我們進入hadoop後僅通過mapreduce進行數據清洗轉換再進行分析，垃圾數據會導致我們的磁盤佔用量會相當大，這樣無形中提升了我們的
硬件成本（硬盤大，內存小處理速度會很慢，內存大cpu性能低速度也會受影響），因此雖然hadoop理論上解決了爛機器拼起來解決大問題的問題，但是事實上如
果我們有更好的節點速度必然是會普遍提升的，因此ETL在大數據環境下仍然是必不可少的數據交換工具。
課程二十七、深入淺出Hadoop Mahout數據挖掘實戰(算法分析、項目實戰、中文分詞技術)
Mahout 是 Apache Software Foundation（ASF） 旗下的一個開源項目，提供一些可擴展的機器學習領域經典算法的實現，旨在幫助開發人員更加方便快捷地創建智能應用程序。課程包括：Mahout數據挖掘工具 及Hadoop實現推薦系統的綜合實戰，涉及到MapReduce、Pig和Mahout的綜合實戰
課程二十八、大數據項目實戰之Python金融應用編程(數據分析、定價與量化投資)
近年來，金融領域的量化分析越來越受到理論界與實務界的重視，量化分析的技術也取得了較大的進展，成爲備受關注的一個熱點領域。所謂金融量化，就是將金融
分析理論與計算機編程技術相結合，更爲有效的利用現代計算技術實現準確的金融資產定價以及交易機會的發現。量化分析目前已經涉及到金融領域的方方面面，包
括基礎和衍生金融資產定價、風險管理、量化投資等。隨着大數據技術的發展，量化分析還逐步與大數據結合在一起，對海量金融數據實現有效和快速的運算與處
理。在量化金融的時代，選用一種合適的編程語言對於金融模型的實現是至關重要的。在這方面，Python語言體現出了不一般的優勢，特別是它擁有大量的金融計
算庫，並且可以提供與C++，java等語言的接口以實現高效率的分析，成爲金融領域快速開發和應用的一種關鍵語言，由於它是開源的，降低了金融計算的成本，
而且還通過廣泛的社交網絡提供大量的應用實例，極大的縮短了金融量化分析的學習路徑。本課程在量化分析與Python語言快速發展的背景下介紹二者之間的關聯，使學員能夠快速掌握如何利用Python語言進行金融數據量化分析的基本方法。
課程二十九、項目實戰：雲計算處理大數據深度、智能挖掘技術+地震數據挖掘分析
本課程介紹了基於雲計算的大數據處理技術，重點介紹了一款高效的、實時分析處理海量數據的強有力工具——數據立方。數據立方是針對大數據處理的分佈式數
據庫，能夠可靠地對大數據進行實時處理，具有即時響應多用戶併發請求的能力，通過對當前主流的大數據處理系統進行深入剖析，闡述了數據立方產生的背景，介
紹了數據立方的整體架構以及安裝和詳細開發流程，並給出了4個完整的數據立方 綜合應用實例。所有實例都經過驗證並附有詳細的步驟說明，無論是對於雲計算的
初學者還是想進一步深入學習大數據處理技術的研發人員、研究人員都有很好的參 考價值。
階段六、大數據、雲計算 - 大數據運維 & 雲計算技術篇（贈送）
課程三十、Zookeeper從入門到精通（開發詳解，案例實戰，Web界面監控）
ZooKeeper是Hadoop的開源子項目（Google Chubby的開源實現），它是一個針對大型分佈式系統的可靠協調系統，提供的功能包括：配置維護、命名服務、分
布式同步、組服務等。Zookeeper的Fast Fail 和 Leader選舉特性大大增強了分佈式集羣的穩定和健壯性，並且解決了Master/Slave模式的單點故障重大隱患，這
是越來越多的分佈式產品如HBase、Storm（流計算）、S4（流計算）等強依賴Zookeeper的原因。Zookeeper在分佈式集羣（Hadoop生態圈）中的地位越來越
突出，對分佈式應用的開發也提供了極大便利，這是迫切需要深入學習Zookeeper的原因。本課程主要內容包括Zookeeper深入、客戶端開發（Java編程，案例開
發）、日常運維、Web界面監控，“一條龍”的實戰平臺分享給大家。
課程三十一、雲計算Docker從零基礎到專家實戰教程
Docker是一種開源的應用容器引擎，使用Docker可以快速地實現虛擬化，並且實現虛擬化的性能相對於其他技術來說較高。並且隨着雲計算的普及以及對虛擬化技
術的大量需求，使得雲計算人才供不應求，所以一些大型企業對Docker專業技術人才需求較大。本教程從最基礎的Dokcer原理開始講起，深入淺出，並且全套課程
均結合實例實戰進行講解，讓學員可以不僅能瞭解原理，更能夠實際地去使用這門技術。
課程三十二、項目實戰：雲計算Docker全面項目實戰（Maven+Jenkins、日誌管理ELK、WordPress博客)
2013年，雲計算領域從此多了一個名詞“Docker”。以輕量著稱，更好的去解決應用打包和部署。之前我們一直在構建Iaas，但通過Iaas去實現統一功 能還是相當
複雜得，並且維護複雜。將特殊性封裝到鏡像中實現幾乎一致得部署方法，它就是“Docker”，以容器爲技術核心，實現了應用的標準化。企業可 以快速生成研
發、測試環境，並且可以做到快速部署。實現了從產品研發環境到部署環境的一致化。Docker讓研發更加專注於代碼的編寫，並且以“鏡像”作 爲交付。極大的縮
短了產品的交付週期和實施週期。
課程三十三、深入淺出OpenStack雲計算平臺管理
OpenStack是 一個由Rackspace發起、全球開發者共同參與的開源項目，旨在打造易於部署、功能豐富且易於擴展的雲計算平臺。OpenStack企圖成爲數據中心 的
操作系統，即雲操作系統。從項目發起之初，OpenStack就幾乎贏得了所有IT巨頭的關注，在各種OpenStack技術會議上人們激情澎湃，幾乎所有人都成爲
OpenStack的信徒。 這個課程重點放在openstack的部署和網絡部分。課程強調實際的動手操作，使用vmware模擬實際的物理平臺，讓大家可以自己動手去實際
搭建和學習openstack。課程內容包括雲計算的基本知識，虛擬網絡基礎，openstack部署和應用，openstack網絡詳解等。
階段七、人工智能&機器學習&深度學習&推薦系統
課程三十四、機器學習及實踐
本課程先基於PyMC語言以及一系列常用的Python數據分析框架，如NumPy、SciPy和Matplotlib，通過概率編程的方式，講解了貝葉斯推斷的原理和實現方法。
該方法常常可以在避免引入大量數學分析的前提下，有效地解決問題。課程中使用的案例往往是工作中遇到的實際問題，有趣並且實用。通過對本課程的學習，學員
可以對分類、迴歸等算法有較爲深入的瞭解，以Python編程語言爲基礎，在不涉及大量數學模型與複雜編程知識的前提下，講師逐步帶領學員熟悉並且掌握當下最流行的機器學習算法，如迴歸、決策樹、SVM等，並通過代碼實例來 展示所討論的算法的實際應用。
1）Python基礎
2）數據基礎
3）機器學習入門
4）迴歸
5）決策樹與隨機森林
6）SVM
7）聚類
8）EM
9）貝葉斯
10）主題模型LDA
11）馬爾科夫模型
12）實際應用案例
13）SparkMLlib機器學習
課程三十五、深度學習與TensorFlow實戰
本課程希望用簡單易懂的語言帶領大家探索TensorFlow（基於1.0版本API）。課程中講師主講TensorFlow的基礎原理，TF和其他框架的異同。並用具體的代碼完整地實現了各種類型的深度神經網絡：AutoEncoder、MLP、CNN（AlexNet，VGGNet，Inception Net，ResNet）、Word2Vec、RNN（LSTM，Bi-RNN）
、Deep Reinforcement Learning(Policy Network、Value Network)。此外，還講解了TensorBoard、多GPU並行、分佈式並行、TF.Learn和其他TF.Contrib組
件。本課程能幫讀者快速入門TensorFlow和深度學習，在工業界或者研究中快速地將想法落地爲可實踐的模型。
1）TensorFlow基礎
2）TensorFlow和其他深度學習框架的對比
3）TensorFlow第一步
4）TensorFlow實現自編碼器及多層感知機
5）TensorFlow實現卷積神經網絡
6）TensorFlow實現經典卷積神經網絡
7）TensorFlow實現循環神經網絡及Word2Vec
8）TensorFlow實現深度強化學習
9）TensorBoard、多GPU並行及分佈式並行
課程三十六、推薦系統
本課程重點講解開發推薦系統的方法，尤其是許多經典算法，重點探討如何衡量推薦系統的有效性。課程內容分爲基本概念和進展兩部分：前者涉及協同推薦、基於
內容的推薦、基於知識的推薦、混合推薦方法，推薦系統的解釋、評估推薦系統和實例分析；後者包括針對推薦系統的攻擊、在線消費決策、推薦系統和下一代互聯網以及普適環境中的推薦。課程中包含大量的圖、表和示例，有助於學員理解和把握相關知識等。
1）協同過濾推薦
2）基於內容的推薦
3）基於知識的推薦
4）混合推薦方法
5）推薦系統的解釋
6）評估推薦系統
7）案例研究
課程三十七、人工智能（選修）
本課程主要講解人工智能的基本原理、實現技術及其應用，國內外人工智能研究領域的進展和發展方向。內容主要分爲4個部分：
第1部分是搜索與問題求解，系統地敘述了人工智能中各種搜索方法求解的原理和方法，內容包括狀態空間和傳統的圖搜索算法、和聲算法、禁忌搜索算法、遺傳算
法、免疫算法、粒子羣算法、蟻羣算法和Agent技術等；第2部分爲知識與推理，討論各種知識表示和處理技術、各種典型的推理技術，還包括非經典邏輯推理技術和非協調邏輯推理技術；第3部分爲學習與發現，討論傳統的機器學習算法、神經網絡學習算法、數據挖掘和知識發現技術；第4部分爲領域應用，分別討論專家系
統開發技術和自然語言處理原理和方法。通過對這些內容的講解能夠使學員對人工智能的基本概念和人工智能系統的構造方法有一個比較清楚的認識，對人工智能研究領域裏的成果有所瞭解。
1）AI的產生及主要學派
2）人工智能、專家系統和知識工程
3）實現搜索過程的三大要素
4）搜索的基本策略
5）圖搜索策略
6）博弈與搜索
7）演化搜索算法
8）羣集智能算法
9）記憶型搜索算法
10）基於Agent的搜索
11）知識表示與處理方法
12）謂詞邏輯的歸結原理及其應用
13）非經典邏輯的推理
14）次協調邏輯推理
課程三十八、分佈式搜索引擎Elasticsearch開發
聯網+、大數據、網絡爬蟲、搜索引擎等等這些概念，如今可謂炙手可熱，本課程就是以公司項目經驗爲基礎，爲大家帶來市面上比較流行的分佈式搜索引擎之一的ElasicSearch，深入淺出的帶領大家瞭解並掌握該技術的綜合應用，從而爲大家添加一份競爭的資本。
本課程旨在帶領大家進入搜索引擎領域，從無到有，深入淺出的講解了什麼是搜索引擎，搜索引擎的作用以及ElasticSearch在實際工作中的作用等
1）Elasticsearch概念
2）Elasticsearch安裝和插件介紹
3）Elasticsearch基本使用和簡單查詢
4）Elasticsearch的Java客戶端使用
5）Elasticsearch索引和Mapping
6）Elasticsearch搜索深入
7）Elasticsearch與Spring集成
8）Elasticsearch實戰
階段八、大數據分析、數據可視化(贈送)
課程三十九、Tableau商業智能與可視化應用實戰
本課程基於Tableau 10.3最新版本研發，詳細介紹了Tableau的數據連接與編輯、圖形編輯與展示功能，包括數據連接與管理、基礎與高級圖形分析、地圖分析、高級數據操作、基礎統計分析、如何與R集成進行高級分析、分析圖表整合以及分析成果共享等主要內容。同時，課程以豐富的實際案例貫穿始終，對各類方法、技術進行了詳細說明，方便讀者快速掌握數據分析方法。
1）什麼是數據可視化？
2）如何用圖表講故事
3）Tableau發展歷程
4）Tableau家族產品
5）Tableau產品優勢
6）Tableau Desktop安裝配置
7）Tableau的導航與菜單
8）Tableau設計流程最佳實踐
9）Tableau數據類型與文件
10）Tableau數據源初探
11）數據源深入
12）工作表
13）Tableau中的函數與計算
14）Tableau高級分析與項目實戰
15) Tableau中的排序與篩選器
16) Tableau中的參數
17) Tableau圖表分析18) Tableau地圖繪製與圖像
19) Tableau 儀表盤和故事
20) 項目一_教育網站指標評估
21）項目二_網站用戶行爲分析
22）項目三_零售行業進銷存分析
課程四十、Echarts從入門到上手實戰
通過本門課程的學習，能夠讓我們的學員對數據可視化技術有一個全面、系統、深入的瞭解，最終達到能夠利用Echarts圖表結合後端數據進行前端可視化報表展示的目的，再結合我們課程給出的項目實戰綜合演練，從而達到熟練使用Echarts的程度，爲將來我們的學員面試大數據開發工程師，大數據分析師等工作崗位打下了一個良好的基礎，爲大大的加分項！
1）數據可視化概述
2）什麼是數據可視化？
3）經典可視化案例
4）大數據可視化的價值
5）數據可視化工具、案例、書籍
6）Echarts概述
7）Echarts特性介紹
8）如何快速上手開發一個Echarts可視化圖表
9）如何閱讀Echarts官方文檔
10）Echarts學習必備基礎知識
11）Echarts3.x與Echarts2.x的區別
12）Echarts基礎架構與常見名詞術語
13）Echarts標準開發模板
14） 十大常見圖表_小結
15） Echarts圖表高級16） 北上廣最佳前10航行路線圖17） 豆瓣最新熱映電影排名分析18） 圖表適用場景19） 數據可視化方法
20）數據可視化誤區
階段九、人工智能大數據企業項目實戰
課程四十一、Hadoop3.0新特性、新魅力【直播】
Hadoop 2.0是基於JDK 1.7開發的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區基於JDK 1.8重新發佈一個新的Hadoop版本，而這正是hadoop
3.0。Hadoop 3.0的alpha版預計今年夏天發佈，GA版本11月或12月發佈。 Hadoop 3.0中引入了一些重要的功能和優化，包括HDFS 可擦除編碼、多Namenode支持、MR Native Task優化、YARN基於cgroup的內存和磁盤IO隔離、YARN container resizing等。從Apache hadoop項目組爆出的最新消息，hadoop3.x以後將會調整方案架構，將Mapreduce基於內存+io+磁盤，共同處理數據。
1）Hadoop3.0如何精簡內核
2）Hadoop3.0如何防止不同版本jar包衝突
3）Shell腳本重構
4）擦除編碼
5）Tasknative優化
6）MapReduce內存參數自動推斷
7）基於cgroup的內存隔離和IO Disk隔離
8）用curator實現RM leader選舉
9）Timelineserver next generation
課程四十二、項目實戰：基於大數據技術推薦系統實戰（Spark、ML、Spark、Streaming、Kafka、Hadoop等）
隨着電子商務規模的不斷擴大，顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程無疑會使淹沒在信息過載問題中的消費者不斷流失。爲了解決這些問題，個性化推薦系統應運而生。個性化推薦系統在提高用戶體驗的同時，可以大大增加用戶購買量，據統計，亞馬遜的 30%收入來自於他
的推薦引擎。近幾年，國內互聯網公司也非常重視推薦系統建設，包括阿里巴巴，京東，騰訊等。本課程以商業實戰項目作爲驅動來學習大數據技術在推薦系統項目
中的應用。使得學員能夠親身體會大數據項目的使用場景和開發場景及其所產生的商業價值，零距離接觸企業實戰型項目，學以致用，不在停留在大數據的概念環節而是進入大數據技術實戰項目開發的階段。
1）推薦系統與大數據的關係
2）認識推薦系統
3）推薦系統設計
4）大數據lambda架構
5）用戶畫像系統
6）推薦算法
7）Mahout推薦算法實戰
8）Spark推薦算法實戰
9）推薦系統與Lambda架構等
課程四十三、項目實戰：基於Storm流計算天貓雙十一作戰室項目實戰（Storm、Kafka、HBase、Highchats)
Storm是什麼？ 爲什麼學習Storm？ Storm是Twitter開源的分佈式實時大數據處理框架，被業界稱爲實時版Hadoop。 隨着越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網站統計、推薦系統、預警系統、金融系統(高頻交易、股票)等等， 大數據實時處理解決方案（流計算）的應用日趨廣泛，目前
已是分佈式技術領域最新爆發點，而Storm更是流計算技術中的佼佼者和主流。按照storm作者的說法，Storm對於實時計算的意義類似於Hadoop對於批處理的意
義。Hadoop提供了map、reduce原語，使我們的批處理程序變得簡單和高效。同樣，Storm也爲實時計算提供了一些簡單高效的原語，而且Storm的Trident是基於Storm原語更高級的抽象框架，類似於基於Hadoop的Pig框架， 讓開發更加便利和高效。本課程會深入、全面的講解Storm，並穿插企業場景實戰講述Storm的運用。 淘寶雙11的大屏幕實時監控效果衝擊了整個IT界，業界爲之驚歎的同時更是引起對該技術的探索。學完本課程你可以自己開發升級版的“淘寶雙11”，還等什麼？
1）Storm架構原理詳解
2）Zookeeper集羣部署和測試
3）Storm集羣搭建及測試
4）Wroker、Executer、Task
5）滾動窗口 Tumbling Window的實戰案例
6）滑動窗口 Sliding Window的實戰案例
7）Kafka集羣搭建
8）項目-地區銷售額
9）Trident
10）省份銷售TopN等
課程四十四、項目實戰：基於人工智能與深度學習的項目實戰(深度學習、機器學習、人工智能、python、數據挖掘等)
課程首先概述講解深度學習應用與挑戰，由計算機視覺中圖像分類任務開始講解深度學習的常規套路。對於複雜的神經網絡，將其展開成多個小模塊進行逐一攻破，
再挑戰整體神經網絡架構。對於深度學習模型形象解讀卷積神經網絡原理，詳解其中涉及的每一個參數，對卷積網絡架構展開分析與評估，對於現階段火爆的對抗生
成網絡以及強化學習給出形象解讀，並配合項目實戰實際演示效果。 基於框架實戰，選擇兩款深度學習最火框架，Caffe與Tensorflow，首先講解其基本使用方
法，並結合案例演示如何應用框架構造神經網絡模型並完成案例任務。 選擇經典深度學習項目實戰，使用深度學習框架從零開始完成人臉檢測，驗證碼識別，人臉關鍵點定位，垃圾郵件分類，圖像風格轉換，AI自己玩遊戲等。對於每一個項目實戰，從數據預處理開始一步步構建網絡模型並展開分析與評估。 課程提供所涉及的所有數據，代碼以及PPT，方便大家快速動手進行項目實踐！
1）深度學習概述與挑戰
2）神經網絡圖像分類
3）驗證碼識別
4）Caffe詳解
5）人臉檢測
6）人臉關鍵點定位
7）Tensorflow詳解
8）垃圾郵件文本分類
9）圖像風格轉換
10）DQN網絡讓AI自己玩遊戲
11）對抗生成網絡
12）GAN網絡實例和DCGAN網絡實戰等
課程四十五、項目實戰：基於人工智能與深度學習的項目實戰(深度學習、機器學習、人工智能、python、數據挖掘等)
課程首先概述講解深度學習應用與挑戰，由計算機視覺中圖像分類任務開始講解深度學習的常規套路。對於複雜的神經網絡，將其展開成多個小模塊進行逐一攻破，
再挑戰整體神經網絡架構。對於深度學習模型形象解讀卷積神經網絡原理，詳解其中涉及的每一個參數，對卷積網絡架構展開分析與評估，對於現階段火爆的對抗生
成網絡以及強化學習給出形象解讀，並配合項目實戰實際演示效果。 基於框架實戰，選擇兩款深度學習最火框架，Caffe與Tensorflow，首先講解其基本使用方
法，並結合案例演示如何應用框架構造神經網絡模型並完成案例任務。 選擇經典深度學習項目實戰，使用深度學習框架從零開始完成人臉檢測，驗證碼識別，人臉關鍵點定位，垃圾郵件分類，圖像風格轉換，AI自己玩遊戲等。對於每一個項目實戰，從數據預處理開始一步步構建網絡模型並展開分析與評估。 課程提供所涉及的所有數據，代碼以及PPT，方便大家快速動手進行項目實踐！
1）深度學習概述與挑戰
2）神經網絡圖像分類
3）驗證碼識別
4）Caffe詳解
5）人臉檢測
6）人臉關鍵點定位
7）Tensorflow詳解
8）垃圾郵件文本分類
9）圖像風格轉換
10）DQN網絡讓AI自己玩遊戲
11）對抗生成網絡
12）GAN網絡實例和DCGAN網絡實戰等
課程四十六、【項目直播】醫療保險大數據分析與統計推斷項目實戰【Hadoop篇】
項目（醫療保險大數據分析與統計推斷項目實戰【Hadoop篇】）主要分爲七個部分，分別是：第一部分：業務系統（廣東省新型合作醫療保險管理系統）的業務邏輯分析、數據前期清洗和數據分析目標指標的設定等，業務系統核心業務模塊有：參合信息管理、門診補償管理、住院補償管理、降銷補償管理、定點機構管理、保險基金管理、費用項目管理和疾病病種管理等； 第二部分：Linux、Hadoop分佈式集羣搭建方面的內容，大數據前沿知識介紹、Linux及Vmware安裝和使用、Linux/Vmware文件系統操作、Hadoop的單機、僞分佈、完全分佈式模式的安裝配置等； 第三部分：Hadoop分佈式集羣進階方面課程，Hadoop2.x體系結構及Hadoop3.0新特性、 HDFS原理，HDFS Shell操作、YARN的基本構成和工作原理、MapReduce並行計算框架、基本的MapReduce算法實現和Hadoop集羣上部署和執行MR Job等； 第四部分：大數據導入與存儲方面的課程，關係型數據庫基礎知識、hive的基本語法、hive的架構及設計原理、hive安裝部署與案例、Sqoop安裝及使用和Sqoop與關係型數據庫進行交互等； 第五部分：Hbase理論及實戰方面的課程，Hbase簡介、安裝及配置、Hbase的數據存儲與數據模型、Hbase Shell、Hbase 訪問接口和Hbase數據備份與恢復方法等； 第六部分：醫療保險數據分析與統計推斷方面的課程，背景與分析推斷目標、數據抽取、數據探索分析、數據預處理等； 第七部分：數據分析與統計推斷結果的展示（大數據可視化）方面的課程，主要是使用Tableau、D3.js、Highcharts和ECharts等可視化工具和技術 把最終的分析結果，以優美的圖表展示給客戶。
1）業務系統介紹
2）Hadoop入門
3）Hadoop部署進階
4）大數據導入與存儲
5）Hbase理論及實戰
6）保險數據分析與統計推斷
7）數據分析與統計推斷結果的展示（大數據可視化）