PCA+SVM人臉識別

PCA+SVM人臉識別

---

PCA介紹

主成分分析(Principal Component Analysis, 簡稱PCA)是常用的一種降維方法.

算法步驟:

• 輸入: 樣本集 D={x1,x2,...,xm}$D=\{x_1,x_2,...,x_m\}$ , 低維空間維數 d′$d^{\prime }$
• 過程:
  
  1. 對所有樣本進行中心化: xi←xi−1m∑mi=1xi$x_i\leftarrow x_i-\frac{1}{m}\sum _{i=1}^m{x}_i$ ;
  2. 計算樣本的協方差矩陣: XXT$X{X}^T$ (有時用散佈矩陣, 二者只相差一個倍數);
  3. 對協方差矩陣 XXT$X{X}^T$ 做特徵值分解;
  4. 取最大的 d′$d^{\prime }$ 個特徵值所對應的特徵向量 w1,w2,...,wd′$w_1,w_2,...,w_{d^{\prime }}$ .
• 輸出: 投影矩陣 W=(w1,w2,...,wd′)$W=(w_1,w_2,...,w_{d^{\prime }})$ .

本例中使用PCA算法對人臉圖片進行降維：人臉圖片原始大小爲 112×92$112\times 92$ , 被拉長爲 112×92=10304$112\times 92=10304$ 維向量, 利用PCA將這樣的數據降維, 供後續匹配.

---

SVM介紹

支持向量機(Support Vector Machines, 簡稱SVM)是一種二類分類模型.

劃分超平面爲:

f(x)=wTϕ(x)+b$$f(x)=w^T\varphi (x)+b$$

其優化目標函數爲: (αi${\alpha }_i$ 爲拉格朗日乘子)

min⏟α12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαi$$\underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^m{\alpha }_i$$

s.t.∑i=1mαiyi=0$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

0≤αi≤C$$0\le {\alpha }_i\le C$$

其中 ϕ(x)$\varphi (x)$ 爲將 x$x$ 映射到高維度的特徵向量, K(xi,xj)=ϕ(xi)⋅ϕ(xj)$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$ 爲核函數(Kernel Function), 用於線性不可分的情況, 常見核函數有:

Name	Expression
線性核函數	K(xi,xj)=xTixj$K(x_i,x_j)=x_i^T{x}_j$
高斯（RBF）核函數	K(xi,xj)=exp(−||xi−xj||2δ2)$K(x_i,x_j)=exp(-\frac{||x_i-x_j|{|}^2}{{\delta }^2})$
…	…

本例中利用SVM訓練 One-VS-One Multiclass SVM 模型, 對前面PCA降維得到的數據進行分類.

---

人臉識別步驟

1. 將每張人臉圖片(m,n$m,n$ )讀取並展開成(m×n,1$m\times n,1$ ), 假設總有l$l$ 張圖片, 所有排列到一起, 一列爲一張圖片, 最終形成一個(m×n,l)$(m\times n,l)$ 的矩陣作爲原始數據;
2. 數據中心化: 計算平均臉, 所有列都減去張平均臉;
3. 計算矩陣的協方差矩陣/散佈矩陣, 求出特徵值及特徵向量, 並將其從大到小排列取前K個特徵; (到這步特徵已將至K維)
4. 計算中心化後的數據在K維特徵的投影;
5. 基於上一步的數據進行 One-VS-One Multiclass SVM模型訓練;
6. 讀取用於測試的人臉圖片, 同訓練圖片一樣處理;
7. 利用訓練出的模型對測試圖片進行分類;
8. 計算準確率.

---

代碼實現

詳見 https://github.com/techping/pca-face-recognition .

---

• 我的個人主頁：http://www.techping.cn/
• 我的CSDN博客：http://blog.csdn.net/techping
• 我的簡書：http://www.jianshu.com/users/b2a36e431d5e/
• 我的GitHub：https://github.com/techping