爲什麼分類對象越多訓練時間越長?

這句話也可以表述成爲什麼在訓練時間相同的情況下分類對象越多分類準確率越低,

或者表述成爲什麼在運算量相同的情況下分類對象越多分類準確率越低。

 

爲解釋這個現象引入三個假設

假設1.在收斂標準相同的情況下,實現收斂的迭代次數越多表明分類對象之間越相似。

假設2.被分類圖片的重疊區域攜帶了決定分類的決定性信息

假設3.收斂標準與分類準確率成反比

 

完全相同的兩個對象不能被分成兩類,因此用神經網絡分類同一個對象,對應任一個收斂標準迭代次數都應該是無限大。由此反推,在收斂標準相同的情況下迭代次數越大,表明分類對象應該越相似。由此從邏輯上得到假設1.

假設2在文<實驗:是否圖片的重疊區域攜帶了決定分類的所有信息?>中的實驗數據強烈的支持這一假設。

對於假設3,前面的所有實驗都表明同一個網絡收斂標準越小分類準確率越大。

 

現在假設這三個假設都是成立的。

一個n+1分類網絡的公共重疊區域一定小於一個n分類網絡的重疊區域,比如三分類網絡mnist012的重疊區域要小於二分類mnist01的重疊區域,同理mnist0123456789這個10分類的網絡的重疊區域要小於mnist012的重疊區域。從直觀上很容易理解分類對象越多,公共重疊區域應該越小。

假設有一個網絡的重疊區域足夠小,以至於整個重疊區域的能量等於1個普朗克常量,也就是相對這個網絡來說,所有被分類對象都變成一個能量僅僅等於一個普朗克常量的粒子,這個公共重疊區域應該無法攜帶足夠多的信息提供精確分類,分類對象之間變得更加相似,由此迭代次數應該變得非常巨大。由這個極限情況推知公共區域越小導致參與分類的對象越相似並導致迭代次數越大。

 

由假設1和假設2可以得到一個推論

推論1.分類對象越多公共重疊區域越小,重疊區域越小分類對象越相似。

由推論1和假設3.可得出分類對象越多,重疊區越小,在收斂標準相同的前提下需要的迭代次數也越多,也就是在收斂時間相同的前提下或者在運算量相同的前提下只能達到相對較大的收斂標準,由於收斂標準較大導致分類準確率較低。

由此標題得以解釋。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章