2020中國高校計算機大賽·華爲雲大數據挑戰賽熱身賽——交通流量預測賽題分析（完結撒花）

2020中國高校計算機大賽·華爲雲大數據挑戰賽熱身賽_交通流量預測賽題分析6.2更新版(完結撒花）

寫在前面：大家好！我是練習時長半年的在讀本科生數據小白JerryX，各位數據挖掘大佬有什麼問題和建議多多指教！！歡迎大家多多點贊，多多評論，多多批評指正！！
【20200602更新】 華爲雲大數據挑戰賽熱身賽到此結束，完結撒花啦，我所在的隊伍“無能的萬金油”最後取得了7/1491 這個還算不錯的成績。感謝兩位大佬隊友的一路相伴！！
關於這個賽題，部分簡單賽題分析在我的CSDN博客和隊友的Blog上有所介紹。另外，我們隊伍的代碼也已經在github上開源啦，具體的細節歡迎大家去github 看看哈，如果覺得有點收穫，也歡迎大家STAR一波哈！謝謝大家一路以來的支持！
在接下來更加激烈的中國高校計算機大賽正式賽裏，我們也會持續分享比賽的一些心得和思路的，歡迎大家持續關注！

更新的一張拓撲結構及地理位置示意圖！！！
（~~畫圖不易，豬豬嘆氣~~ ，覺得不錯拿走不謝！歡迎點贊關注！）

0. 賽題介紹

賽題背景
隨着電子信息和移動通信技術高速發展和不斷融合，人工智能在各個領域都相繼取得了巨大的突破，城市智能體也應運而生，而城市交通又是城市智能體的核心。交通流量數據既是城市交通中的基礎數據，又是反應交通狀況的重要指標之一，準確預測交通流量對城市交通具有重大意義。本題以交通流量預測爲目標，邀請各個隊伍以歷史交通流量數據建立對應的算法模型，預測目標流量數據，通過預測值和真實值之間的對比得到預測準確率，以此來評估各隊伍所提交的預測算法。

大賽官網鏈接

賽題說明
本次比賽任務是利用歷史數據並結合地圖信息，預測五和張衡交叉路口未來一週週一（2019年2月11日）和週四（2019年2月14日）兩天的5:00-21:00通過wuhe_zhangheng路口4個方向的車流量總和。
要求模型輸出格式如下： {“data”:{“resp_data”:{“wuhe_zhangheng”:[1,4,5,6,4…]}}}從5:00開始每5min的預測數據，第一個數據爲5:00-5:05的流量值，最後一個數據爲20:55-21:00。兩天的數據按時間先後放在一起，總共有384個數據。
小提示：如果不考慮天氣、周邊活動、節假日等因素，預測結果可能不準確哦。

數據說明
本次比賽提供4周（2019.1.12 – 2019.2.8）深圳龍崗區坂田街道交通流量歷史數據。車流數據格式如下:

其中，time爲上述格式時間字符串，cross爲路口名，direction爲車流起始方向，leftFlow是左轉車流，straightFlow是直行車流。
說明：
（1）十字路口包含四個方向車流數據，此處未全部列出。
（2）路口名稱分別爲：五和路、張衡路、稼先路、隆平路、衝之大道。可以通過但不限於百度地圖等地圖軟件獲取地圖路網信息。
（3）因爲右轉車流不受信號燈控制，因此未做統計。

！獲取地圖路網信息友情鏈接：五和大道張衡路路口百度地圖

評分標準
第一部分（分類問題）
分類問題評價標準：

預測的評價是通過每一個5min預測車流和真實通過車流對比，看看趨勢是否一致（比如10月19日的5：00到5:05的真實車流是4，10月20日的5：00到5:05的真實車流爲5，那麼只要車流預測值大於4，就得100分，最後得分爲所有得分求加權平均（權重爲該時間段所在小時的車流量佔16小時總車流的比重））。

第二部分（迴歸問題）
迴歸問題評價標準：

預測的評價還是通過每一個5min 預測車流和真實通過車流通過grade公式計算最後得分，加權細則與第一部分相同：其中wi爲權重，xj爲真實車流數據，xj拔爲預測車流數據，ε爲e-9。

最後將兩部分分數做歸一化處理，第一部分佔比40%，第二部分佔比60%。

============================ 我是分割線======================================
下面我們在賽題數據還沒有出來之前，先從地圖角度出發分析一下有什麼地圖信息可以挖掘一下吧！！

1. 預測目標地理位置可視化：五和張衡交叉路口

所謂“知己知彼，百戰百勝”，我們先來看看我們的目標預測位置有什麼地理特點吧！
先看看局部的地理位置：

再來看看整體的地理位置：
震驚！！原來是華爲的老巢！！那麼朝九晚五必然是我們要考慮到的一個重要的特徵啦！

2. 流量與時間關係地理位置初步可視化分析

藉助百度地圖的流量預測功能，我們可以直觀的看到一週7天不同時間段的基本的車流量情況。下面我們進一步初步分析，可以得到兩個結論：
1.任老闆的公司不僅朝九晚五，竟然還有 十點的狂歡（再一次震驚！)可見下面三張圖：

3.簡單空間拓撲結構信息抽取思路介紹

看到地圖，我們就能夠想到要建圖抽取特徵啦！我們在這道題目裏面可以把道路看成邊，路口看成結點，組織成一個簡單的圖結構！

通過百度地圖好用的測距功能，我們就可以很方便地抽取出來空間結構信息，以便後續進一步挖掘不同路口結點之間的流量關係啦！

我們可以使用鄰接矩陣抽特徵的方式，將拓撲圖結構的空間相關性在特徵層建模出來，使得時序神經網絡模型/傳統機器學習方法也能夠處理複雜圖結構的空間相關性問題。

4. 訓練集與測試集時間對應日曆表分析

我們的訓練集對應時間是從1月12日到2月8日，其中通過觀察訓練集所給時間的日曆信息，可知這一段時間涉及了2019年的春節假期。而測試集所需要預測的2月11日與2月14日是春節長假後的兩日：其中11號是春節後的第一天的工作日，而14號情人節又是個節假日。以上幾點或許會給我們對於車流量的預測會引入不同方面的影響，大家可以留意一下哦！

5. 競賽相關準備信息

4.1 獲取競賽數據集方法：
1.從OBS拷貝競賽數據集，首先登錄OBS管理控制檯，在華北-北京四創建您的OBS桶
2.登錄ModelArts管理控制檯，在華北-北京四創建Notebook，將如下代碼中的my_bucket/my_folder替換成您自己的OBS桶；
3. 最後運行代碼，將競賽數據集拷貝至您的OBS桶中。

import moxing as mox
mox.file.copy_parallel('s3://obs-bdc2020-bj4/traffic_flow_dataset','s3://my_bucket/my_folder')
print('Copy procedure is completed !')

4.2 模型規範

所提交的模型必須請滿足賽題說明中的模型輸出格式，且要符合ModelArts模型包規範。
評分系統使用ModelArts 批量服務加載參賽者所提交的模型，批量服務的輸入目錄中爲一個batchin.csv 文件，文件內容爲預測時間（2019-2-11,2019-2-14）。建議參賽者在提交模型之前，先通過ModelArts的“批量服務”驗證模型的可用性和準確性。
ModelArts 模型管理中的模型創建後，不會自動更新，如果您有了更好的模型需要提交判分，要重新導入模型，然後再將重新導入的模型提交判分。

說明：詳細操作請查看大賽官網交流論壇的相關文檔。

4.3 提交說明
所有參賽者需使用華爲雲一站式AI開發平臺ModelArts來開發模型，且將模型部署爲在線服務或批量服務驗證其正確性。確認模型輸出無誤後，在ModelArts平臺上將開發好的模型提交判分，最後在競賽平臺上查看分數及排名。
提交方法：
（1）在ModelArts左側導航欄中選擇“模型管理>模型”，單擊模型名稱左側“∨”，然後單擊頁面右側操作欄中的“發佈>參賽發佈”。

（2）在彈出的**“參賽模型提交”對話框中，選擇比賽項目**、比賽階段，然後單擊確定。點擊確定後，即成功提交模型判分。在如下界面中可點擊“現在加入”，也可以點擊“以後再說”或直接點擊右上角關掉該對話框。