| Week2 | 總結 | 例子 |
|---|---|---|
| Error Analysis | ||
| Carrying out error analysis | 找出分類結果中出錯最多的情況，並減少錯誤，以提高整體精確率 | 貓識別中，將貓錯識別成獅子等的概率爲43%。 |
| Cleaning up incorrectly labeled data | 當出現標籤錯誤時，考慮標籤錯誤所帶來的影響，決定是否要修正錯誤標籤。訓練集標籤錯誤一般不需要修改。 | 標籤錯誤率爲6%。實際上有一些錯誤不是神經網絡的輸出錯誤，而是標籤錯誤。 |
| Build your first system quickly, then iterate | Build your first system quickly, then iterate | Speech recognition Face recognition |
| Mismatched training and dev/test set | ||
| Training and testing on different distributions | 當訓練集、dev集和測試集來自不同的數據來源時，dev集和測試集使用系統真正要判斷的數據。 | 200000張網頁圖片和10000張手機圖片，未來要識別的是用戶手機的圖片，故dev集和測試集都使用這10000張圖片。具體分配：205000訓練集（其中200000來自網頁圖片，5000來自手機圖片）、2500張dev集、2500張測試集。 Smart mirror |
| Bias and Variance with mismatched data distributions | 當訓練集、dev集、測試集來自不同數據來源時，若訓練集和dev集精確率相差較大，可拆分訓練集爲training和training-dev集，從而判斷variance是由於過擬合training集還是由於兩個數據集的來源不同(data mismatch)造成的 bias; variance; data mismatch |
Smart mirror |
| Addressing data mismatch | Carry out manual error analysis to try to understand difference between training and dev/test sets Speech recognition system
Make training data more similar; or collect more data similar to dev/test sets Car recognition Artificial data synthesis |
Speech recognition system
Car recognition |
| Learning from multiple tasks | ||
| Transfer learning | 去掉已經訓練好的神經網絡的最後一層及其權值，增加新的輸出層，再使用新的數據訓練神經網絡。若數據較多，訓練神經網絡時可調整整個神經網絡的w和b；若數據較少，可以僅調整最後一層，或後兩層的w和b。 Transfer learning適用於：from的數據很多，to的數據很少 | Image recognition -> radiology diagnose
Speech recognition -> trigger |
| Multi-task learning | 輸出層的神經元不止一個，使用一個大的神經網絡來解決多任務學習，而不是使用幾個小系統來分別實現單個任務 | 交通系統：車識別、信號燈識別、路標識別、行人識別 |
| End-to-end deep learning | ||
| What is end-to-end deep learning | 把許多大問題拆分成幾個步驟來實現會使問題變得簡單，且可以有更多的數據 | 人臉識別系統：定位人臉->識別
測手骨年齡：數骨頭數目->測年齡 |
| Whether to use end-to-end deep learning | Key question: Do you have sufficient data to learn a function of the complexity needed to map x to y? | 人臉識別系統
測手骨年齡 |
還是等了八小時提交了4次
有一些答案都不知道是爲啥0.0
