|
![]()
課程亮點：
1、系統的設計方法是採用面向對象的設計。本系統前端頁面交互主要採用B/S的結構，採用MVC及流式數據的設計思路進行規劃設計。
2、前端數展現使用Echarts技術。與地圖相關的報表使用百度地圖提供的API。
3、後端實時數據，實時接入mysql。爲了不影響線上系統的正常使用，同時能夠將數據發送到大數據平臺，本項目使用Canal來解析實時數據，Flume收集數據並數據發送到實時計算業務流程和離線計算兩個流程中。實時數據處理流程使用Canal+Flume+Kafka+SparkStreaming等技術。離線計算使用HDFS+Hive+Azkaban等技術。
4、設計過程中對系統的可靠性、可擴展性以及性能進行了充分考慮和研究分析，爭取通過良好的設計，在實現系統功能的前提下，最大化的提高系統性能和擴展性，減少將來的維護代價和其他成本。
適用人羣：
1、對大數據Spark感興趣的在校生及應屆畢業生。
2、對目前職業有進一步提升要求，希望從事大數據行業高薪工作的在職人員。
3、對大數據行業感興趣的相關人員。
大數據教程電信信號強度診斷項目實戰
http://yun.itheima.com/course/744.html?stt
https://pan.baidu.com/s/1rjX3yOAOg6QUIF3fSczTGQ tqb4
第一章 項目概述
1課程內容
1. 系統介紹
2. 模塊介紹
3. 數據流程描述
4. 邏輯架構設計
5. 功能描述
6. 系統架構
第二章 離線數據入庫
1. 數據上傳
2. 創建數據表
3. 數據拆分
4. 數據表加載
第三章 離線數據整理
1. 業務SQL語句編寫
2. 整理SQL語句生成結果表的結構及字段
3. 根據結果表所需的字段，在原始表中抽取該字段
4. 數據加工及入庫
5. 創建索引
第四章 實時數據生成及計算
1. Mysql 數據寫入
2. canal 解析mysql實時數據寫入本地
3. Flume收集數據將數據上傳至集羣
4. SparkStreaming 實時計算
|
