現階段，在建立小型高效的神經網絡工作中，通常可分爲兩類工作：
-
壓縮預訓練模型。獲得小型網絡的一個辦法是減小、分解或壓縮預訓練網絡，例如量化壓縮(product quantization)、哈希(hashing )、剪枝(pruning)、矢量編碼( vector quantization)和霍夫曼編碼(Huffman coding)等；此外還有各種分解因子(various factorizations )用來加速預訓練網絡；還有一種訓練小型網絡的方法叫蒸餾(distillation )，使用大型網絡指導小型網絡，這是對論文的方法做了一個補充，後續有介紹補充。
-
直接訓練小型模型。 例如Flattened networks利用完全的因式分解的卷積網絡構建模型，顯示出完全分解網絡的潛力；Factorized Networks引入了類似的分解卷積以及拓撲連接的使用；Xception network顯示瞭如何擴展深度可分離卷積到Inception V3 networks；Squeezenet 使用一個bottleneck用於構建小型網絡。
