神經網絡參數遷移與慣性質量

(0,1)-81*10*2-(1,0)(0,1)

作一個二分類網絡分類mnist的0和1，但用這個網絡來分類其他對象，比如（0，2），（0，3），（0，4），實現參數遷移。這種操作是否有什麼物理意義？

 

通過固定收斂標準多次測量取平均值的辦法計算這個網絡分類02，03，04的分類準確率，

得到表格

	*01	*01	*01
	*02	*03	*04
δ	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave
0.5	0.512353	0.512121	0.506664
0.4	0.627911	0.603924	0.622176
0.3	0.673549	0.662784	0.654716
0.2	0.712676	0.68869	0.682039
0.1	0.692548	0.669001	0.651714
0.01	0.730491	0.713641	0.668127
0.001	0.723179	0.712227	0.64577
9.00E-04	0.718081	0.706366	0.63909
8.00E-04	0.71687	0.707	0.634211
7.00E-04	0.722214	0.714209	0.636247
6.00E-04	0.733733	0.726244	0.648851
5.00E-04	0.746641	0.745153	0.65918
4.00E-04	0.752255	0.753049	0.661081
3.00E-04	0.73962	0.738267	0.648764
2.00E-04	0.727032	0.702818	0.620956
1.00E-04	0.746646	0.743534	0.620877
9.00E-05	0.747875	0.745506	0.61798
8.00E-05	0.746586	0.744135	0.616631
7.00E-05	0.744785	0.745153	0.615163
6.00E-05	0.745402	0.747463	0.6092
5.00E-05	0.748634	0.75343	0.608076
4.00E-05	0.752413	0.758132	0.604534
3.00E-05	0.753641	0.744605	0.59986
2.00E-05	0.749476	0.730623	0.592132
1.00E-05	0.738791	0.68575	0.579265

把分類準確率畫成圖

平均分類準確率Pave  02>03>04

按照假設2：

對應不同的兩個對象，迭代次數越大，二者的相對速度越大；相對速度越大分類準確率越大。

 

比如當收斂標準爲1e-5的，02的分類準確率爲0.738，04的分類準確率爲0.579.按照假設2，可以得出02粒子對的相對速度>04粒子對的相對速度。

因爲收斂標準是一樣的，可以合理假設對這兩個粒子對做的功是一樣的。因此可以得出02粒子對的質量<04粒子對的質量。

 

也就是分類準確率越大粒子對質量越小。

因此可以假設網絡(0,1)-81*10*2-(1,0)(0,1)構成的分類場形成了一個慣性系統，參數遷移相當於測量其他對象在這個慣性系統裏的慣性質量。

就像不同質量的人在電梯裏，當電梯上升時感受到的力應該是不同的。

 

從形態上看4和1最像，2和1的形態差異最大。因此4和1的波函數的等效交叉程度最大，所以粒子對02，03，04在01的慣性系中擁有的慣性質量順序04>03>02.

或者至少用慣性質量解釋參數遷移這件事是邏輯連貫的。