人工神經網絡與生物神經網絡？
生物神經網絡就是將數以萬計的細胞聯結, 將感官和反射器聯繫在一起的系統。而人工神經網絡是對生物神經元結構和功能的模擬。人工神經網絡靠的是正向和反向傳播來更新神經元, 從而形成一個好的神經系統, 本質上, 這是一個能讓計算機處理和優化的數學模型. 而生物神經網絡是通過刺激, 產生新的聯結, 讓信號能夠通過新的聯結傳遞而形成反饋。
什麼是神經網絡？
一種數學模型，一種建模工具，常用輸入和輸出間的複雜關係進行建模或用來探索數據的模式。
輸入層：直接接受信息的神經層，負責傳遞接收到的信息，比如輸入一隻貓的圖片。
輸出層：信息在神經元鏈接中傳遞，中轉，分析，權衡，形成輸出結果，通過對這一層的輸出結果可以看出計算機對事物的認知。
隱藏層：在輸入層和輸出層之間衆多神經元和鏈接組成的各層
神經網絡的梯度下降
找出梯度線躺平的地方，就是最優解，一般是局部最優解。
什麼是卷積神經網絡CNN
卷積神經網絡在圖像處理方面有着廣泛的應用。何爲卷積？顧名思義，就是對圖像中每一小塊像素進行處理。這樣做加強了圖像的連續性，而不是看到圖像上一個像素點。簡單來說，卷積神經網絡有一個圖像過濾器，不斷從圖片上滾動收集圖像的信息，每次收集的信息只是收集的一小塊像素區域，然後將收集來的信息進行整理，然後對這些信息進行實際上的呈現。然後再用邊緣過濾器，總結出更高級的信息，如總結的信息可以畫出眼鏡和鼻子等，在經過一次過濾，臉部的信息也被這些眼睛、鼻子的信息總結出來，最後，我們再將這些信息套入普通的卷積神經網絡，就能得到輸入的圖片能分成哪一類的結果了。
什麼是循環神經網絡RNN
循環神經網絡是用來處理序列數據的神經網絡。eg你預測下一個單詞是什麼？你需要用到前面的單詞，因爲句子中前後單詞並不是獨立的。而傳統的神經網絡從輸入層到隱藏層再到輸出層，層與層之間是連接的，而每層之間的節點是無連接的。
什麼是LSTM RNN？
LSTM（Long Short-term Memory 長短期記憶）RNN是爲了解決傳統RNN的問題。
當W是一個小於1的數，就能得到一個較小誤差的數。當W是一個大於1的數，則這樣累乘後誤差就會擴大。爲了解決這種情況，解決無法決久遠記憶，多出了三個控制器。
此處，粗線代表控制全局的記憶，如果此時的分線劇情按重要程度進行分析，如果此時的分線劇情改變了我們之前劇情的想法，那麼忘記控制就會將之前的主線劇情忘記，換成現在的分劇情。所以，劇情更新就取決於分線的輸入和忘記控制。
什麼是自編碼（Autoencoder）
接受一張圖片，然後給他打碼，接着在還原。
什麼是GAN（生成對抗網絡）
例如戴眼鏡的男人-沒戴眼鏡的男人+沒帶眼鏡的女人=戴眼鏡的女人
遷移學習（站在巨人的肩膀上）
比如學習了粵菜，通過遷移模型，可以訓練出川菜，北京菜等
神經網絡進化
①遺傳算法
②進化策略
怎麼檢驗神經網絡
機器學習如此精準，爲什麼我們要去檢驗這個神經網絡呢？其實在神經網絡的訓練中，神經網絡可能會和我們一樣會出現各種各樣的問題，出現學習的效率不高，或者是學習的干擾太多，學到最好並沒有很好地學到這些數據所得到的規律，但是這其中的原因可能是多方面的，可能是數據問題，也可能是數據網絡參數的問題，因此，爲了檢驗評價神經網絡，爲了改善或者規避這些問題。我們通常會把收集到的數據分爲訓練數據和測試數據。一般用於訓練的數據可以是所有數據的7成，剩下的3成可以作爲測試數據用來檢驗訓練結果。
爲什麼要特徵標準化
將小的數據放大，將大的數據壓縮。如下圖所示，有兩種方法，其中一種是將數據縮放到0到1間。加快機器學習的進度，避免數據過於扭曲。
怎麼區分好用的特徵？
假設用毛色的方法來區分金毛和吉娃娃，那麼，很遺憾，金毛和吉娃娃中偏白和偏黃的數據佔了一半，沒辦法區分，但是可以根據身高來判斷。
爲什麼用激勵函數？
數據本來是線性的，通過激勵函數AF()後，把原有的數據掰彎了。如下面那幾個函數都可以看作是激勵函數。
什麼是過擬合？
自負=過擬合。不能表現除訓練數據的其他數據。
加速神經網絡訓練（SGD）
所以, 最基礎的方法就是 SGD 啦, 想像紅色方塊是我們要訓練的 data, 如果用普通的訓練方法, 就需要重複不斷的把整套數據放入神經網絡 NN訓練,
處理不均衡數據
①想辦法獲取更多的數據。
②換個評判方式。
③重組數據（複製或重新合成少部分的樣本）
什麼是批標準化
Batch Normalization, 批標準化, 和普通的數據標準化類似, 是將分散的數據統一的一種做法,