來自中科院自動化所的“不規則卷積神經網絡”。
文章鏈接： 《Irregular Convolutional Neural Networks》
從直觀上來看，一個不規則的卷積核(其shape可以自動學習)似乎更適應輸入的pattern。 但考慮更多方面，比如學習效率、操作複雜度這些因素。個人認爲，不規則卷積目前不是一個很有應用價值的工作。
1. 方法介紹
上圖中，圖(a)表示一個不規則卷積； 圖(b)表示，儘管該不規則卷積可由兩個3x3卷積聯合操作得到，但所需要的卷積核參數較多；圖(c)表示不規則卷積的學習方法，即可以由規則卷積初始化，然後不斷學習位置變換。
2. 要點介紹
（1）如何描述一個不規則卷積核？
爲了描述一個不規則卷積核，需要在原有的權重信息W的基礎上增加一個位置信息P。
如下圖所示，P描述的是每一個權重的具體位置。
（2）如何學習一個不規則卷積核？
學習的過程其實就是一個BP的過程：“參與才能求導，求導就能更新。”
那麼位置信息如何參與到網絡的計算中呢？ 雙線性插值。
具體的，根據不規則卷積核的位置，對輸入進行雙線性插值變換，然後通過矩陣乘法完成不規則卷積。整個操作如下圖：
下式爲雙線性插值，據此可以對位置信息進行求導更新。
3. 分析
- （1）參數冗餘增加。 一個同樣大小的不規則卷積核和規則卷積核，前者要比後者多2倍的參數用來記錄參數生效位置。
- （2）訓練複雜度增加。 需要學習更多間接參數。
- （3）計算複雜度增加。 如果有N個不同shape的卷積核，則需要對輸入做N次不同的雙線性插值。
