作者：小鳳仙er
鏈接：https://www.jianshu.com/p/44a000657eff
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯繫作者獲得授權並註明出處。
本次比賽與以往一般的比賽有一個最大的不同之處就是需要參賽者自己構建 [input & label] 。
因此該比賽的標準作業流程應該如下：
之所以第一步就要數據清洗的主要原因是因爲如果在統計標籤之後，再進行數據清洗會非常麻煩，作者已經嘗試了，至此不希望廣大朋友再次受害，因此做此更新。
第一步：數據清洗
我們需要先將曝光日誌文件轉爲csv格式，因此在轉換csv的過程中就可以完成大部分的數據清洗工作。具體操作如下：
pandas讀取原始 totalExposureLog.out 文件時，是逐行分解出各個字段，然後轉爲dataframe格式，最終保存爲csv格式文件。而我們在逐行分解出各個字段時就可以進行該條記錄是否是異常數據的判斷了，如果是異常數據則扔掉，反之保存。
具體操作知道了，那麼什麼是異常數據，或者說哪些數據是可以清洗掉的數據呢？根據昨天官方出的FAQ作者大致總結如下：
1. 首先對ad_static_feature 即廣告靜態數據在轉爲csv格式的時候進行數據清洗，凡是某個字段存在缺失值 / 創建時間爲0 (此處的0與後面的-1請事先用type()函數確認數據類型，在進行判斷，不要把一個str與一個int進行比較哦~~) / 廣告行業id出現多值(用逗號分隔) 都視爲異常數據，直接扔掉。 (官方解釋：空值的廣告從出題意圖上來說就沒打算讓選手作爲訓練數據，可以清洗掉。)
2. ad_operation 清洗掉 ad_static_feature 中沒有的廣告（原因：廣告只要被創建就會在 ad_static_feature 表內有記錄，因此沒有被記錄在 ad_static_feature 表內的廣告，若出現在了 ad_operation表中則認爲該操作是異常操作）
3. user_data 中經觀察暫未發現異常，暫不用清洗
以上3步數據清洗工作是爲了後面清洗曝光日誌文件的異常數據做準備~~~（2 & 3步沒有實質操作是因爲目前並未發現有異常，如果發現還需要清洗）
1. 廣告請求時間出現了 2月30號，這種不符合常理的數據直接扔掉
2. 廣告曝光記錄中任一字段缺失視爲異常數據，直接扔掉(因爲數據量大，這麼操作是沒問題的)
3. 廣告曝光記錄中任一不符合手冊中 [字段取值類型/範圍] 描述的，視爲異常數據直接扔掉。（如：id類數據出現小數，廣告位id出現多值，並且用逗號分隔等。
4. 廣告的請求時間是否在廣告有效期內，這個需要關聯到ad_operation表去，如果請求時間是在廣告設置爲無效期間內，則扔掉。（這裏的具體操作建議先在ad_operation表中把相關廣告id對應的失效期提取成一個單獨的csv，然後進行判斷）（經驗證，這種狀況不存在）
5. 廣告id與ad_static_feature進行關聯，若該廣告id在ad_static_feature中的信息不存在，直接丟掉。因爲我們在上面的前三步中已經對 ad_static_feature 數據做了清洗工作，如果曝光日誌連廣告靜態屬性都沒有，那說明這個曝光記錄對我們的沒有用的 (因爲我們要進行訓練的！！！)
6. 同一用戶，同一廣告id，同一請求時間，同一請求id，同一廣告位id，同一素材尺寸的記錄視爲用戶操作不當，(可能用戶頁面卡頓，連續點擊多次)，可以進行去重操作，保留一條。(這一種數據的清洗建議在其他異常數據出完成而且已經保存爲csv格式後，再讀取csv格式數據進行操作，因爲重複這個事是需要全局數據對比的。)
以上6步數據清洗是針對 totalExposureLog.out 文件的，對於其他數據的清洗等日後更新~~~
接着，第二步：構造訓練集標籤！
首先說明一點，經過第一步之後，有三張表清洗過，totalExposureLog、ad_static_feature、ad_operation，意思就是說，凡是出現在totallExposureLog中的記錄的廣告id，一定必須要同時存在於ad_static_feature、ad_operation！！！下面說說原因。
構建訓練集標籤思路：
官方數據給了5張表分別爲：
1. totalExposureLog ：總的曝光日誌文件（清洗過）
2. user_data ：用戶屬性文件
3. ad_static_feature ：廣告靜態特徵（清洗過）
4. ad_operation ：廣告操作數據（清洗過）
5. test_sample ：測試樣本
因此，label的構建實質上就是統計曝光日誌文件中同一個廣告的出現次數。
但是這裏注意了，同一個廣告到底是如何定義的？什麼才叫同一個廣告？
先不急，要知道統計標籤的最終目的是幹嘛？當然是構建訓練集了，可是如果統計了沒用的標籤最終導致無法訓練該怎麼辦呢？
上面的話什麼意思呢？我們先看張： 測試樣本數據
test_sample.csv
如上圖，我們可以看到官方給到了測試數據一共有11個字段，
其中C\D\E\G\H\K（對比到圖中字段）是可以根據廣告id關聯到廣告靜態數據表中得到的（這幾個字段不用關心，不用關心的意思就是說我們在統計標籤的時候，如果要考慮該標籤是無用的還是有用的，不用通過這幾個字段去考量）。
樣本id(J)沒有實際意義。
剩下的A\B\I是我們需要關心的。對於出價（B）字段，廣告曝光日誌裏的記錄本身就有(這裏有自動競爭出價和人爲操作出價兩種模式。)競爭出價時，出價在變，而操作數據裏卻沒有記錄，但是這裏依然有效，而人爲出價操作數據裏有記錄，當然也有效（因此出價這個字段暫不討論，都認爲有效）。
重點來了接着對於人羣定向（A）以及投放時段（I）我們可以觀察到，在操作數據文件中出現過的廣告id纔會有這兩個字段的具體取值，我否則們是無法獲取到該字段的具體取值的，或者說無法顯示直接得到，（也許可以通過記錄請求時間之類的推斷出投放時段之類的，這些不在討論範圍之內，因爲作者的意圖是丟掉沒有這兩個字段的數據）因此，這就決定了第二步剛開始的一句話：
凡是出現在totallExposureLog中的記錄的廣告id，一定必須要同時存在於ad_static_feature、ad_operation！！！
因爲只有這樣，我們構造/統計的訓練集纔能有完整的字段從而與測試集保持一致。
下面來一張操作數據圖。
ad_operation.csv
我們可以發現，每個廣告在創建之初都有設置好出價 / 定向人羣 / 投放時段 這三個字段，因此也再次驗證了上述的引用。
經過上述所有步驟，已經把髒數據 \ 無效廣告數據（這倆是不同概念）已經處理的差不多了。接着就可以統計標籤，構造訓練集了！！！！！！！！
先上一張數據圖：這是曝光日誌文件裏的數據：
可以觀察到框中的部分，廣告id都爲61，但是出價大部分都不相同，出價是廣告的一種屬性，因此當出價不等時是不能看做同一個廣告的。但是，我們可以看到圖中紅色方框框中的部分，他們的出價是一樣的，因此可以暫時視這兩條記錄爲同一個廣告的曝光次數，暫定label=2。沒完！！因爲官方要求的是預估次日曝光量（這裏有兩種理解，第一種：次日0點到24點，第二種：創建/修改之後的24小時，先暫時當做第二種處理），所以這時我們需要考慮兩種情況：
第一種情況：在該廣告創建/修改後24小時內是否又發生了修改？，如果沒有，那好我們只需要判斷上述廣告id=61的廣告請求是否是在24小時內發生的，如果是，Label=2，反之，誰的請求時間沒有在24小時內，誰就是無效廣告！！，如果又發生了修改。。。看第二種情況。
第二種情況：我們需要將統計了2次的廣告請求時間進行歸類，舉個例子：假設在2點創建了廣告，一條廣告請求發生在3點。然後在4點發生了修改，又有一條廣告請求發生在5點，那麼放在訓練集裏就表現爲兩個樣本，Label分別爲1.
大致總結以上，肯定有理解錯誤的地方，僅供參考。