人臉識別中的損失函數總結

損失名稱	數學公式	是否權重歸一化	是否特徵歸一化	距離空間	分類邊界	文章鏈接
softmax	$L = -\frac{1}{m}\sum_{i=1}^m\log\frac{e^{W_{y_i}^Tx_i+b_{y_i}}}{\sum_{j=1}^ne^{W_j^Tx_i+b_j}}$	否	否	歐式空間	$(W_1-W_2)x+b_1-b_2=0$	—
triplet loss	$\|f(x_i^a)-f(x_i^p)\|_2^2 + \alpha < \|f(x_i^a)-f(x_i^n)\|_2^2$	否	否	歐式空間	–	facenet
center loss	$L = -\frac{1}{m}\sum_{i=1}^m\log\frac{e^{W_{y_i}^Tx_i+b_{y_i}}}{\sum_{j=1}^ne^{W_j^Tx_i+b_j}}+\frac{\lambda}{2}\sum_{i=1}^m\|x_i-c_{y_i}\|_2^2$	否	否	歐式空間	–	centerloss
coco loss	$L =\sum_{i\in\beta}\frac{expC(f^{(i)},c_{l_i})}{\sum_{m \neq l_i}expC(f^{(i)},c_m)}$	否	是	歐式空間	–	cocoloss
L-softmax	$L_i =-\log(\frac{e^{\|W_{y_i}\|\|x_i\|\Phi(\theta_{y_i})}}{e^{\|W_{y_i}\|\|x_i\|\Phi(\theta_{y_i})}+\sum_{j \neq y_i}e^{\|W_{y_i}\|\|x_i\|\cos(\theta_j)}})$	否	否	角度空間	$\|W_1\|\|x\|\cos(m\theta_1) = \|W_2\|\|x\|\cos(\theta_2)$	L-Softmax
L2-softmax	$L = -\frac{1}{m}\sum_{i=1}^m\log\frac{e^{W_{y_i}^Tx_i+b_{y_i}}}{\sum_{j=1}^ne^{W_j^Tx_i+b_j}}$	否	是	歐式空間	$(W_1-W_2)x+b_1-b_2=0$	L2-softmax
A-softmax	$L_i =-\log(\frac{e^{\|x_i\|\cos(m\theta_{y_i},i)}}{e^{\|x_i\|\cos(\theta_{y_i},i)}+\sum_{j \neq y_i}e^{\|x_i\|\cos(\theta_j,i)}})$	是	否	角度空間	$\|x\|\cos(m\theta_1) = \|x\|\cos(\theta_2)$	A-Softmax
AM-softmax	$L_i =-\log(\frac{e^{s(\cos(\theta_{y_i})-m)}}{e^{^{s(\cos(\theta_{y_i})-m)}}+\sum_{j \neq y_i}e^{s\cos(\theta_j)}})$	是	是	餘弦空間	$\cos(\theta_1)-m = \cos(\theta_2)$	AM-Softmax
cosFace	$L_i =-\log(\frac{e^{s(\cos(\theta_{y_i})-m)}}{e^{^{s(\cos(\theta_{y_i})-m)}}+\sum_{j \neq y_i}e^{s\cos(\theta_j)}})$	是	是	餘弦空間	$\cos(\theta_1)-m = \cos(\theta_2)$	cosFace
ArcFace	$L_i =-\log(\frac{e^{s\cos(\theta_{y_i}+m)}}{e^{^{s\cos(\theta_{y_i}+m)}}+\sum_{j \neq y_i}e^{s\cos(\theta_j)}})$	是	是	角度空間	$\cos(\theta_1+m) = \cos(\theta_2)$	arcface