今天是國慶節，上午文老師和張敬老師給我們講了模式識別，神經網絡以及卷積神經網絡的一些知識，學到了很多新的東西，對於之前不求甚解的邏輯性問題也懂了不少，豁然開朗的感覺，特此進行記錄。
模式，PCA，SVM，神經網絡，範數的作用，局部連接的神經網絡，卷積神經網絡，卷積神經網絡的三個重點，待深入問題
1 模式識別
Pattern與feature
根據解析幾何原理，畫一條線，線的左邊小於0，線的右邊大於0
可通過PCA，升維方法將數據從原始空間映射到特徵空間；
Sift特徵，bag of word；fisher判定
2 PCA
類似於找出數據所表現形式中的長軸；從能量和信息角度來講，去掉那些變化影響不大的；
缺點是：1）雖然PCA通過SVD分解減少了數據之間的相關性，但是不一定對分類有效；2）去除噪聲的同時，也去除了高頻信息，降維一般都會丟失掉部分信息，除非數據本身是有冗餘的，因此在圖像處理中，有一句話叫做去噪保邊
3 SVM
SVM的表現形式是線性的，但是隱式上是非線性地投影到高維的空間，通過核函數進行映射；
4 神經網絡
對於單隱層神經網絡，可以看做是一個PCA，如果在n維座標系下，都不是最大投影方向，那麼需要尋找最大投影方向，進行投影擴展
5 範數
零範數：非零個數最少，但是在求解過程中，不易使用；常用一範數，即絕對值最小，滿足稀疏性，範數越小越好，可以用於尋找最大投影方向；
在求解時，作爲目標函數的其中一項，即常說的正則約束
（據今天老師粗略提了下講，七八十年代的神經網絡受到抑制與如今得到發展，一個原因是加入了正則項，從而減少了權重數量，防止了過擬合和欠擬合情況，具體待自己下一步深入瞭解）
6 局部連接的神經網絡
每一層中的節點只與上一層中的部分節點個數相連，與之前的全連接相比，這裏稱爲局部連接；在生物學的人腦中，有類似機制，即只與最近的相連；
但是以上局部連接存在一個問題，它會產生同移變化，即相同的輸入，經過權重之後，生成不同的輸出，因爲我們沒有規定權重相一致；
考慮到同移不變性，考慮局部連接下的權值共享；如果將形式展開，實質上就是卷積
7 卷積神經網絡
對應點相乘再相加，與局部連接本質上是一個意思，也稱爲局部連接的權值共享網絡,fc—local fc—CNN；通過權值共享的特徵映射新的空間
8 卷積神經網絡的第二個點——全連接
增加w的個數，使得C得以保留，從深度來講，進行擴展，以提取更多的信息，3*3*C的全連接，然後C的每一次都是權值共享
5*5*C1 ——（3*3*C1(C2)）——3*3*C2
可以理解爲在空域實現局部連接，權值共享，在深度上實現全連接
9 卷積神經網絡之三——池化
目的是實現局部不變性，旋轉，圖片不變形
實現了逐層抽象概念，通過polling連成一個輪廓
10 特徵
高層語義特徵，分佈式語義特徵，他們之間的組合可以表示某個實體概念，具有語義特徵的分佈式特徵，比如兩個圓加上一個三角形類似於一個自行車
