“人生最痛苦的事情，不是我不行，而是我本可以”。
- --- ----- --- -------- ------- -------- --------- - --------- ---
閱讀目錄https://www.jianshu.com/nb/21403842
2019-08-27[46h] 機器學習\AI應用方向主要有：推薦\文本\語音\圖像\機器人\無人駕駛，後續關注推薦系統，主要看微信公衆號“小小挖掘機"文章（簡書："文哥的學習日記"，推薦相關文章共60+篇，一天1篇得看2個月）
2019-08-26[48h] "動態訓練"、"應用示例" # 完成 "機器學習簡單課程"
2019-08-23[44h] "Embedding"、
2019-08-22[40h] "訓練神經網絡"、 交叉熵損失函數、梯度不穩定、ReLU激活函數、候選採樣、"多類別神經網絡"
2019-08-21[36h] "正則化:稀疏性"、"神經網絡簡介"
2019-08-20[32h] "正則化:簡單性" 、"邏輯迴歸"、"分類"
2019-08-19[28h] "特徵組合"，from_tensor_slices
2019-08-16[24h] “泛化”、"訓練集和測試集"、"驗證"、"表示法"
相關概念其實和統計專業課程裏學的一樣，只是tensorflow的接口需要熟悉一下
2019-08-15[20h] 完成“降低損失”、"tensorflow基本步驟"練習
2019-08-14[15h] 2.4 mnist-vanillaRNN , conv2d卷積接口，padding邊界，max_pool池化接口
擴充閱讀：注意力模型 ,卷積核個數、大小、層數決定, Dropout, Targeted Dropout,
2019-08-13[10h] 刷網站教程 ，跑了2.3 mnist入門、進階
http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html （https://tensorflow.google.cn/guide）
2019-08-12[8h] 在本機(windows10)上安裝了tensorflow(cpu版)，cpu版直接pip安裝，再調整了一下numpy版本，除了AVX2不能使用運行慢一點，沒其他什麼問題；按csdn上的博客文章跑手寫數字識別，測試集效果很好，自己下了幾個圖片識別很差，原因未知。
2019-08-06[5h] 在微信上打開"喜馬拉雅"小程序，聽機器學習的普及文章。瞭解了反向傳播。
查閱網上資料，瞭解反向傳播 https://www.cnblogs.com/yanshw/p/10461330.html
梯度消失：（1）隱藏層的層數過多；（2）採用了不合適的激活函數(更容易產生梯度消失，但是也有可能產生梯度爆炸)
梯度爆炸：（1）隱藏層的層數過多；（2）權重的初始化值過大
sigmold改爲relu，避免梯度消失；添加正則項，避免梯度爆炸；
2019-08-05[2h]今天開始看書。AI、神經網絡啥都不懂啊