前言
大家好，我是東北大學大數據班的一名學生，我們在 5 月 25 日開始了爲期 2 個月的實訓，我們小組由三個同學組成，大家都想通過這個項目來提高自己的能力，可以在秋招的時候找一份好工作，所以這個項目一定會認真對待。我們每天都會把當天完成的工作分享出來，希望大家能夠提出寶貴的意見。
一、實訓要求
這次實訓，老師要鍛鍊大家自主開發的能力，選題、需求分析、系統設計、實現全部都是自己來完成，要求每個小組都輸出一個成果，選題不能與班裏的同學重複。
二、項目選題
選題的時候經歷了一番波折，大家週三花了一天的時間選定了天池的Spark脊柱疾病智能診斷大賽，後來在確定需求的時候查了一些文檔，發現這個題目過於偏深度學習，經過諮詢老師後發現我們本科生將來從事這個方向的崗位不太現實，所以大家又重新選題，通過在 github、b 站、公衆號上各種查看，又決定做智慧交通，但是不巧的是與班裏同學撞車了…於是又重新選題，最終在選題截至日的前一天選定了了 b 站上的一個項目——數據運營系統，這個項目涉及到的技術十分多，可以進一步提升我們對大數據框架的使用能力，還能讓我們體驗從 0 到 1 自己開發軟件的全過程，大家都十分喜歡這個項目！
三、項目簡介
本項目所適用的行業或業務背景有： 主營業務在線上(app/網站)進行的公司（比如淘寶、美團、拼多多、頭條）。這類公司，都需要針對用戶的線上訪問行爲、消費行爲、業務操作行爲進行統計分析，數據挖掘！以 支撐公司的業務運營、精準畫像營銷、個性化推薦等，來提高業務轉化率，改善公司運營效果！ 這些需求，都需要通過構建一個綜合數據處理系統來支撐！
這個項目中涉及到了數據倉庫、用戶畫像、推薦系統，因爲時間有限，所以我們打算採取增量式開發，先開發數據倉庫，在時間允許的情況下在開發用戶畫像，最後再開發推薦系統。
四、用到的技術
數據採集傳輸：Flume、Kafka、Sqoop
數據存儲：Mysql、HDFS
數據計算：Spark
數據可視化：Echarts
任務調度：Azkaban
元數據管理：Atlas