2019年8月，小作《TensorFlow與自然語言處理應用》（清華大學出版社）正式發行，非常感謝清華大學出版社夏毓彥等各位老師。個人對於機器學習、深度學習和NLP也是略懂皮毛，搬磚多些，加之時間有限，書中難免有些錯謬之處，如有讀者發現問題，歡迎您的批評指正。個人也在學習中，希望今後與大家一起學習探討，共同進步。現將書中一些問題做些梳理，後期發現新的問題也會不斷更新，謝謝大家。
ＰＳ: 環境--ubuntu18.04系統、python3.6+tensorflow1.8．
《TensorFlow與自然語言處理應用》（李孟全，清華大學出版社，2019.08）勘誤表
|
位置 |
原始 |
現在 |
操作 |
|
|
第20頁 第2段 |
|
|
等式右側下標“i”調整爲”j” |
|
|
第21頁 第4段 |
ELU（指數線性單位） |
ELU（指數線性單元） |
|
|
|
第28頁 第1段 |
上圖是一個包含了輸入層L1、一個 隱藏層L2和輸出層L3的簡單神經網絡 |
上圖是一個包含了輸入層
|
字母”L”下標調整 |
|
|
第44頁 倒數 第2段 |
我們的代碼可以要求TensorFlow執行此該圖，
|
我們的代碼可以要求TensorFlow執行此圖，
|
刪除“該” |
|
|
第57頁 第2段 |
而unit8是8位無符號整形
|
而unit8是8位無符號整數型
|
|
|
|
第79頁 倒數 第1段 |
確定矩陣在中元素的值
|
確定在矩陣中元素的值
|
|
|
|
第82頁 第1段 |
就C&W 模型（圖 4-5）與 NNLM（圖 4-2）之間的差異而言 |
就C&W 模型（圖 4-6）與 NNLM（圖 4-3）之間的差異而言 |
|
|
|
第99頁 第2段 |
但是，在CBOW模型中，我們將從上下文詞預測目標詞 |
但是，在CBOW模型中，我們將從上下文詞中預測目標詞 |
|
|
|
第121頁 第2段 |
我們會分析4類常見的經典卷積網絡的結架構體系和特性 |
我們會分析4類常見的經典卷積網絡的結構體系和特性 |
|
|
|
第129頁 第5段 |
|
|
後面一個公式刪除 |
|
|
第138頁 倒數 第3段 |
實際上意味着ConvNet的所有權重值和參數已經過優化 |
實際上意味着ConvNet的所有權重值和參數已經優化過 |
|
|
|
第169頁 倒數 第2段 |
假設我們將W的取值初始化得非常大（比如1000.00），則在時間步長n取100時，梯度將變得非常大（比例爲 |
假設我們將W的取值初始化得非常大（比如1000.00），則在時間步長n取100時，梯度將變得非常大（比如爲 |
|
|
|
第181頁 第2段 |
前面我們已經討論了RNN-CF包含的額外的狀態向量以及它如何幫助防止梯度消失 |
前面我們已經討論了RNN-CF包含的額外的狀態向量以及它如何防止梯度消失的 |
|
|
|
第200頁 第3段 |
主要區別之一是LSTM具有兩種不同的狀態：細胞狀態ct和最終隱藏狀態 |
主要區別之一是LSTM具有兩種不同的狀態：細胞狀態ct和最終隱藏狀態ht |
|
|
|
第210頁 倒數 第4段 |
我們考慮的最終擴展是BiLSTM或雙向LSTM。 |
我們考慮的最終擴展是BiLSTM（雙向LSTM）。 |
|
|
|
第223頁 第2段 |
1. 一種這樣的初始化技術被稱爲Xavier初始化， 2.https://www.tensorflow.org/api_docs/python/tf/contrib/layers/xavier_initializer |
1. 有一種這樣的初始化技術被稱爲Xavier初始化， 2.https://tensorflow.google.cn/api_docs/python/tf/contrib/layers/xavier_initializer |
|
|
|
第259頁 第2段 |
不過，ImageNet包含約1MB的圖像 |
不過，ImageNet中有約100萬張圖像和1000個圖像類別 |
|
|
|
第260頁 第3段 |
網站http://www.cs.toronto.edu/~frossard/post/vgg16/上提供了權重值來作爲NumPy數組的字典， |
網站http://www.cs.toronto.edu/~frossard/post/vgg16/上提供了以NumPy數組字典形式的權重值， |
|
|
|
第270頁 倒數 第2段 |
注意， 一種精確的表示形式。 |
注意，一種精度的表示形式。 |
||
|
第342頁 倒數 第2段 |
例如，有些人可能認爲cat’s、cat和Cta是同一個單詞， |
例如，有些人可能認爲cat’s、cat和Cat是同一個單詞， |
|
|
|
第351頁 第2段 |
這裏，f 是解碼器的非線性變換函數。 |
這裏，f 是編碼器的非線性變換函數。 |
|
|
|
第351頁 倒數 第2段 |
模型裏每個詞對於目標詞“湯姆”的翻譯貢獻度是相同的，這明顯是符合要求的，這裏只有“Tom”翻譯成“湯姆”更合理。 |
模型裏每個詞對於目標詞“湯姆”的翻譯貢獻度是相同的，這明顯是不符合要求的，這裏只有“Tom”翻譯成“湯姆”更合理。 |
|
|
|
第357頁 第3段 |
h_i_unrolled：這些是num_enc_unrolling編碼器的LSTM細胞的輸出，我們在將源語句提供給編碼器期間進行計算。這將是num_enc_unrolling張量的列表，其中每個張量的大小爲[batch_size，num_nodes]。
|
h_j_unrolled：這些是num_enc_unrolling編碼器的LSTM細胞的輸出，我們在將源語句提供給編碼器期間進行計算。這將是num_enc_unrolling張量的列表，其中每個張量的大小爲[batch_size，num_nodes]。
|
|
|
|
第369頁、第370頁
|
2. 使用CNN嵌入特徵 3. 利用注意力機制嵌入特徵 4. 利用記憶機制回答問題 |
3. 使用CNN嵌入特徵 4. 利用注意力機制嵌入特徵 5. 利用記憶機制回答問題 |
|
|
|
第373頁 第2段 |
其實，已經有人多次使用CNN或RNN模型在探索詞彙或句法特徵的關係提取中嘗試應用了深度學習方法很多次（Zeng等人，2014；Liu等人，2015；Xu等人，2015）。 |
其實，已經有人使用CNN或RNN模型在探索詞彙或句法特徵的關係提取中嘗試應用了深度學習方法很多次（Zeng等人，2014；Liu等人，2015；Xu等人，2015）。 |
|
|
|
第373頁 倒數 第1段 |
Xu等人（2016）提出了一種多通道卷積神經網絡（MCCNN）模型，從詞法和句法兩方面學習緊湊性、穩健的關係表示 |
Xu等人（2016）提出了一種多通道卷積神經網絡（MCCNN）模型，從詞法和句法兩方面學習緊湊、穩健的關係表示 |
|
|
|
第397頁 倒數 第1段 |
特別是對於文檔，文檔中的主題或邏輯結構不能通過神經網絡容輕鬆建模，而且在知識庫中嵌入項目沒有有效的方法。 |
特別是對於文檔，文檔中的主題或邏輯結構不能通過神經網絡容輕鬆建模，而且在知識庫中嵌入問題沒有有效的方法。 |
|
|
）。
）。