幾個CNN/DM數據集的地址：
- 【萬x之源】最初版本的CNN/DM：https://cs.nyu.edu/~kcho/DMQA/
- 作者兄弟用來創造非匿名數據集的代碼：https://github.com/abisee/cnn-dailymail
- 這位兄弟提供了處理完的數據：https://github.com/JafferWilson/Process-Data-of-CNN-DailyMail
關於CNN/DM數據集的描述：
- 之前的老哥用的匿名版本（anonymized，把人名地名那些都替換成@entity...）
- 這位大兄弟開始用非匿名版本（non-anonymized， 扔給模型自己消化吧~）
- 第一個用非匿名版本的論文在此：Get To The Point: Summarization with Pointer-Generator Networks
看看這些數據長啥樣
原始數據（前面是正文，@highlight是標準摘要）
abisee大兄弟的腳本做了什麼（下圖是初始化的一些變量）：
- 創建了cnn_stories_tokenized和dm_stories_tokenized兩個文件夾
- 把cnn/stories和dailymail/stories的全部文章用stanford-corenlp分詞，扔進上面兩個文件夾
- 全部轉成小寫，然後根據all_train.txt，all_val.txt，all_test.txt（把cnn和dailymail各自的train/val/test合併後得到all_xxx）創建訓練集（287226），驗證集（13368）和測試集（11490），其中裏面的url和文件名是通過SHA1進行比對的。
![]()
- 把以上分別存到train.bin，val.bin，test.bin這三個二進制文件中。這個過程中，文章和摘要分別連成一長串話，摘要每句話前後都有分隔符，形式如：【正文】 first sent . sencond sent .【摘要】<s> first summary </s> <s> second summary </s>
- 根據訓練集形成vocab詞彙表，存在finished_files裏
- 上面三個bin太大了，各自分塊，1000條數據一個chunk，比如train_000.bin, train_001.bin, ..., train_287.bin
- 分塊之後存到finished_files/chunked裏，結束。形成下面部分要說的三個文件。
JafferWilson大哥處理完的數據：
上面同一篇文章，這是分詞之後的結果。
