到底應該用3*3的卷積核還是5*5的卷積核

本文做了一個二分類網絡

(mnist 0,2)-con(5*5)*n-30*2-(1,0)(0,1)

用一個三層多核的網絡分類mnist0和2，卷積核的數量從1到23，每個收斂標準（也就是輸出值與目標值的餘項或誤差），收斂199次，記錄平均值和迭代次數和耗時。

在文<二分類卷積核極限數量實驗>中做了一個網絡

(mnist 0,2)-con(3*3)*n-30*2-(1,0)(0,1)

這個網絡用3*3的卷積核分類mnist的0和2用了1到12個卷積核，把本文的數據與3*3卷積核的實驗做對比，進一步的比較兩個卷積核的性能差異。

 

首先觀察平均準確率pave

	81*30*2	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
δ	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave	平均準確率p-ave
1.00E-04	0.980864	0.977914	0.981411	0.982672	0.983733	0.984016	0.985766	0.985644	0.985357	0.985769	0.985844	0.986019	0.985654	0.985976	0.985874	0.986416	0.986331	0.985991	0.986016	0.985989	0.985914	0.986233	0.986044	0.985919
9.00E-05	0.980534	0.977986	0.981391	0.983211	0.98502	0.98446	0.985549	0.985619	0.985951	0.986298	0.986208	0.986183	0.986351	0.986218	0.986358	0.98676	0.986378	0.986373	0.986358	0.986373	0.985636	0.986273	0.986016	0.985384
8.00E-05	0.980569	0.978501	0.982777	0.983801	0.984657	0.985644	0.985939	0.986408	0.985941	0.986536	0.986576	0.986528	0.986593	0.986653	0.986583	0.986593	0.986655	0.98662	0.986348	0.986653	0.986358	0.985941	0.985424	0.985601
7.00E-05	0.980594	0.979298	0.982652	0.984785	0.985656	0.985859	0.986096	0.986353	0.986481	0.986665	0.986603	0.98703	0.987053	0.986973	0.98678	0.987018	0.986933	0.987205	0.986228	0.986186	0.986331	0.985996	0.98667	0.986161
6.00E-05	0.981171	0.978588	0.983376	0.985159	0.986268	0.986143	0.986323	0.986605	0.98689	0.98697	0.986988	0.987225	0.986988	0.987295	0.987132	0.987065	0.987322	0.987227	0.98672	0.987137	0.986988	0.986855	0.986241	0.986468
8.00E-05	3*3	0.973478	0.978289	0.981113	0.982794	0.982749	0.982295	0.982829	0.981788	0.981823	0.980736	0.980861	0.980584
7.00E-05	3*3	0.974827	0.980019	0.982342	0.983873	0.983618	0.983251	0.983276	0.98192	0.982577	0.981316	0.980357	0.980551
6.00E-05	3*3	0.975916	0.981326	0.983633	0.983651	0.983289	0.983506	0.982744	0.982694	0.981885	0.980983	0.981401	0.98214

 

數據顯示網絡性能隨着卷積核的數量的增加先上升後下降，也就是5*5卷積核的數量是有最優值的。

這個最優值在n=16.

 

與同樣收斂標準的3*3卷積核的pave數據比較

 

5*5卷積核的pave是全面的超過3*3卷積核的pave，3*3卷積核的數量最優值是n=4.上升區間要比5*5卷積核的要小的多。而且3*3卷積核當n=4的最優pave= 0.9838731而5*5卷積核當n=16的最優pave= 0.987322，5*5卷積核有約3.5‰的優勢。

 

比較數據pave5*5/pave3*3

	1	2	3	4	5	6	7	8	9	10	11	12
8.00E-05	1.005159	1.004588	1.002739	1.001896	1.002946	1.00371	1.003642	1.00423	1.0048	1.005954	1.005778	1.006128
7.00E-05	1.004586	1.002686	1.002487	1.001813	1.002278	1.002893	1.003129	1.004645	1.004161	1.005388	1.006807	1.00663
6.00E-05	1.002738	1.00209	1.001551	1.002661	1.002903	1.002865	1.003929	1.00427	1.005179	1.006121	1.005935	1.004936

sum（pave5*5）/sum（pave3*3）=1.004

 

這組數據表明在收斂標準相同的情況下5*5卷積核的性能全面的優於3*3卷積核，平均優勢約爲4‰

 

比較迭代次數

	81*30*2	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
δ	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n	迭代次數n
1.00E-04	3209.98	6975.638	7363.025	7453.508	8030.121	8209.131	8630.955	8684.327	9112.995	9148.955	9656.925	9869.96	9889.809	10413.8	10727.65	11156.84	11031.92	11173.88	12029.69	12294.01	12389.15	12822.99	13324.31	13005.06
9.00E-05	3381.819	8103.452	7721.583	8017.533	8450.186	8984.714	9013.945	9386.688	9336.07	9987.206	10166.42	10282.16	10486.11	10940.55	11312.08	11630.43	11940.03	12206.22	12483.41	12746.71	13603.18	13341.53	13723.67	14164.79
8.00E-05	3565.95	8590.111	8054.503	8537.628	8830.101	9223.749	9429.794	10006.53	9910.286	10370.01	10705.7	10913.14	11624.41	11558.77	12314.22	12474.17	12794.68	13285.33	13392.81	13747.66	14239.21	14334.86	14627.82	15069.08
7.00E-05	3725.186	9393.518	8461.538	9181.452	9379.437	9337.613	10421.36	10354.9	11001.84	11252.77	11381.25	11728.87	12194.73	12512.37	12769.56	13044.42	13593.27	14041.14	14534.64	14710.97	15126.15	15183.9	15450.38	15632.75
6.00E-05	3902.291	10110.89	9198.528	9740.055	10056.36	10608.86	10682.66	11087.84	11739.25	12161.47	12721.34	12915.67	13252.76	13764.64	13771.96	14229.73	14580.07	15235.59	15556.83	15645.44	15919.39	16150.39	16255.92	16431.82
8.00E-05	3*3	8280.965	9263.935	11330.61	12633.43	13926.37	15185.44	16021.58	16417.08	16968.12	17287.1	17275.55	17629.21
7.00E-05	3*3	8864.809	10286.09	11740.79	13858.94	15354.01	16078.22	16613.04	17118.74	17903.97	18037.79	18508.5	18403.27
6.00E-05	3*3	9461.895	11461.08	12902.63	15540.71	17113.66	17103.62	17932.74	18677.93	18283.78	18910.44	19475.59	19564.79

 

隨着卷積核數量的增加迭代次數幾乎是線性的增加的，同收斂標準的前提下5*5卷積核的迭代次數是小於3*3卷積核的迭代次數。

 

比較耗時

 

	81*30*2	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
δ	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199	耗時 min/199
1.00E-04	0.257233	3.256583	6.683417	9.894767	14.03952	17.71815	21.40008	25.84643	30.76985	35.68508	42.56842	47.42133	50.40343	59.28032	65.94902	73.5505	77.7106	82.56972	94.41842	101.2041	108.0909	116.4581	128.3673	130.0171
9.00E-05	0.263017	4.2436	6.922833	10.62842	14.70467	19.34858	24.12698	28.96998	33.26892	40.79973	45.09903	49.50177	54.84795	62.08508	69.35002	76.81838	84.11837	89.8964	98.0324	103.803	117.5944	120.9146	134.1112	142.0814
8.00E-05	0.273367	4.2839	7.169533	11.26158	15.7018	19.8954	25.18335	31.1719	33.65657	40.31477	45.43632	52.4152	60.97798	65.53147	74.8665	80.60273	89.3287	97.78988	105.3292	113.2884	122.5579	130.0001	141.8273	151.9128
7.00E-05	0.280733	4.6339	7.503483	12.05885	16.59455	20.77917	26.49803	32.49158	38.69142	43.58605	51.27548	56.43805	62.65367	70.79592	77.52678	85.3631	95.72812	103.4634	113.9268	120.5905	129.7379	137.6541	147.6879	156.7152
6.00E-05	0.2923	2.444317	8.167717	12.85368	17.69805	23.46423	28.22688	32.48458	40.68138	47.6168	54.71102	60.64322	69.49622	78.80173	84.65203	93.76728	102.3604	110.6264	122.3967	128.5009	137.1837	145.3612	153.558	164.7346
8.00E-05	3*3	1.566383	3.306883	6.301367	7.607283	9.080433	16.30447	20.22028	21.98902	25.43633	30.08465	32.09258	37.09115
7.00E-05	3*3	1.677167	3.657083	6.378717	10.33212	14.28748	17.20495	19.26532	24.54062	28.65433	31.4023	35.70178	38.67048
6.00E-05	3*3	1.782067	4.075683	5.480233	11.6074	15.76265	17.98672	21.97478	26.9867	29.22455	33.38313	37.47727	41.15603

 

隨着迭代次數的增加耗時也在增加，5*5卷積核當n=16時耗時102min/199次，而3*3卷積核當n=4時耗時11.6min/199次。也就是用8.79倍的時間換來性能提成3.5‰

而5*5卷積核達到3*3卷積核的pave最大值0.9838731只需要3個5*5卷積核就夠了，耗時約12.85min/199次。

 

比較性能最大值pmax

 

	81*30*2	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
δ	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max	最大值p-max
1.00E-04	0.984095	0.988072	0.989066	0.989066	0.991054	0.989066	0.99006	0.99006	0.99006	0.99006	0.990557	0.989563	0.989066	0.99006	0.990557	0.989563	0.991054	0.99006	0.989563	0.990557	0.99006	0.990557	0.99006	0.991054
9.00E-05	0.985089	0.987078	0.990557	0.991054	0.990557	0.99006	0.99006	0.99006	0.99006	0.990557	0.990557	0.989563	0.989563	0.991054	0.99006	0.99006	0.991054	0.991054	0.990557	0.99006	0.990557	0.99006	0.990557	0.991054
8.00E-05	0.985089	0.987078	0.989563	0.99006	0.990557	0.990557	0.99006	0.990557	0.990557	0.989563	0.99006	0.990557	0.99006	0.990557	0.990557	0.990557	0.99006	0.990557	0.99006	0.991054	0.992048	0.99006	0.991054	0.990557
7.00E-05	0.985089	0.987078	0.99006	0.99006	0.991054	0.99006	0.99006	0.991054	0.990557	0.991054	0.991551	0.990557	0.990557	0.991054	0.99006	0.990557	0.991054	0.990557	0.991054	0.991054	0.990557	0.991551	0.992048	0.991551
6.00E-05	0.985089	0.988569	0.99006	0.992048	0.992048	0.991551	0.990557	0.991551	0.990557	0.991551	0.990557	0.992048	0.991054	0.990557	0.991551	0.991551	0.991551	0.990557	0.991054	0.991054	0.992545	0.991054	0.991054	0.990557
8.00E-05	3*3	0.987078	0.989563	0.989563	0.99006	0.989563	0.99006	0.99006	0.989563	0.990557	0.990557	0.99006	0.990557
7.00E-05	3*3	0.986581	0.992048	0.992048	0.989563	0.990557	0.990557	0.991054	0.990557	0.991054	0.99006	0.990557	0.991054
6.00E-05	3*3	0.987575	0.990557	0.990557	0.990557	0.990557	0.990557	0.991054	0.991054	0.991054	0.990557	0.992545	0.992048

這組數據變化不明顯，最大的準確率pmax相差不到2‰，這意味這即便是選擇了一個錯誤的卷積核數量，也差不多有同樣大的概率得到相差不多的最優值。

 

綜上所述，本題針對9*9的圖片，隱藏層節點30個的二分類網絡，5*5的卷積核的性能全面超過3*3的卷積核。5*5卷積核的最優數量是16個，3*3卷積核的最優數量是4個，5*5卷積核的性能優勢不小於3.5‰。