力薦！50 個最實用的免費機器學習數據集
https://www.toutiao.com/a6641820539721613837/
tensorflow的視頻教程https://www.youtube.com/watch?v=eAtGqz8ytOI&list=PLjSwXXbVlK6IHzhLOMpwHHLjYmINRstrk
共10課
第一課： 環境
安裝環境、python、TensorBoard（web觀察環境）、graphs（顯示出模型、權值、偏置值）、embeddings（2d、3d、進度圖、區分過程、相同的聚合在一起、也有部分分類出錯的）
Anaconda、
第二課：簡單示例
tensorflow基本概念（graph表示計算任務、session表示上下文、tensor表示數據、feed表示賦值、fetch表示獲取數據、operation表示節點）、創建圖、啓動圖
變量（init、全局變量、with、函數式編程、循環5次）
feed和fetch
tensorflow簡單示例（100個隨機點、斜率、k、b、二次代價函數[差值平方，再均值]、loss梯度下降、最小優化代價函數、train）
第三課：MNIST 初步
手寫數據集MNIST（28*28、784個點，784*60000、image、label[標識識別訓練的結果]、softmax、概率p）
非線性迴歸案例（權重值weight、偏置值baises、矩陣乘法matmul、u型二次曲線）
MNIST數據分類簡單版本（訓練批次數、訓練次數、優化loss函數）
第四課：MNIST深度以及優化
cost代表代價、二次代價函數、sigmoid函數[S型曲線]、交叉熵、對數釋然代價函數
MNIST優化案例
欠擬合、正確擬合、過擬合
解決過擬合問題的方法：加大訓練樣本數、正則化、減少神經網絡中w的個數[dropout]、
優化器Optimizer：梯度下降法、隨機下降法（SGD）、批量下降法，SGD慢、Momentum快、NAG、Adagrad、Adadelta、Rmsprop，兩個對比圖[馬鞍圖]
優化器示例
第五課：結合MNIST演示TensorBoard
TensorBoard網絡結構：生成文件、啓動logs、在瀏覽器中的GRAPHS中查看、name_scope、
TensorBoard網絡運行：在瀏覽器中的SCALARS中查看、Smoothing平滑處理、正確率、loss、輸入input
TensorBoard可視化：MNIST實例查看、在瀏覽器中的EMBEDDINGS中查看、不同顏色、模擬聚類過程
第六課：卷積神經網絡CNN
傳統神經網絡存在的問題：權值太多、計7算量太大、最好是5-30倍[樣本數：權值個數]
局部感受野：貓的視野、神經認知機、權值共享
卷積：採集降維過程、卷積核3*3、提取特徵值、特徵圖
池化：2*2、最大池化、平均池化、隨機池化、
Padding（填充）：same補0、valid有效、Striding（步幅）
應用到MNIST：relu函數、64張7*7的平面？、99.2%準確率很高（21次迭代）
第七課：RNN、LSTM
RNN（循環神經網絡）、LSTM（長短期記憶網絡）：原理、應用在語音、自動應答系統
應用在MNIST測試模型
第八課：Saver、Inception
Saver模型保存和載入：使用簡單的MNIST模型爲示例
Inception（google圖像識別網絡）、載入模型來識別jpg圖片的類型、1000種類型
第九課：GPU訓練
GPU版本安裝、cuda安裝、cuDNN（加速的）
使用Inception原有的網絡模型來訓練圖片分類、5個類型、可以選用原來的參數
tensorflow的github上model，提供了很多模型
slim模型、protobuf格式文件（圖片）、tfrecord文件、
第十課：驗證碼的識別，講解多任務學習
運用驗證碼的識別，講解多任務學習：生成驗證碼、安裝pip對應的庫、再生成tfrecord
多任務學習：交替訓練、英語法語互相翻譯、聯合訓練
訓練驗證碼模型示例