每日總結
2017-01-09 星期一 林洋洋 全球鷹網科
一 工作安排
⑴ 數據整理及測試實現自動化，如果發現發現新的數據源，要立刻測試數據的有效性。
⑵ 拉卡拉測試 周反饋...。
⑶ 借鑑微步在線工具可以得到什麼經驗，可以學習？
二 工作進度
⑴ 沒有發現有效數據源(部分數據密碼已加密)。
⑵ 微步在線主要做的如下：
鑑別檢測攻擊、排除誤報（威脅情報；文件檢測；高級分析）
定性攻擊目的、戰術能力、攻擊團伙等（情報上下文；沙箱的行爲分析；多引擎檢測歷史結果）
溯源攻擊者還做過什麼，身份信息（關聯拓線；whois信息；情報上下文）
可以借鑑有哪幾點？：
1.基本檢索（手機號，ip等），鑑別數據來源；
2.給用戶提供情報接口；
⑶ 初步瞭解數據處理的基本概念，對今後處理也許有幫助。
三 工作總結
這個社會只會給有能力的人機會，自己在這方面還差很多！
附：
數據查重去重,數據匹配過程
幫助更多需要自動化解決工作的人們。
步驟：不完整，重複，錯誤，格式不規範數據 -> 數據清洗 -> 正確規範數據 -> 數據去重技術 -> 數據匹配。
使用過的一些相關軟件，查看它們各自的缺陷：
缺陷：1.人工干預多； 2.數據率(數據質量)不高； 3.過於依賴地址，電話信息。
維護：數據在不斷使用和變化的過程中，如果不維護，數據質量會不斷下降(數據重複，格式不一致問題)。-> 數據清理，數據匹配，數據查重