機器學習、深度學習問題

1.1x1 卷積作用?

1×1卷積核理解 - 志光 - 博客園  https://www.cnblogs.com/tianqizhi/p/9665436.html

2. 卷積核一定越大越好?

AlexNet 中用到了一些非常大的卷積核,比如 11×11、5×5 卷積核,之前人們的觀念是,卷積核越大,receptive field(感受野)越大,看到的圖片信息越多,因此獲得的特徵越好。雖說如此,但是大的卷積核會導致計算量的暴增,不利於模型深度的增加,計算性能也會降低。於是在 VGG(最早使用)、Inception 網絡中,利用 2 個 3×3 卷積核的組合比 1 個 5×5 卷積核的效果更佳,同時參數量(3×3×2+1 VS 5×5×1+1)被降低,因此後來 3×3 卷積核被廣泛應用在各種模型中。
       多個小的卷積核疊加使用要遠比一個大的卷積核單獨使用效果要好的多,在連通性不變的情況下,大大降低了參數個數和計算複雜度。當然,卷積核也不是越小越好,對於特別稀疏的數據比如下圖所示,當使用比較小的卷積核的時候可能無法表示其特徵,如果採用較大的卷積核則會導致複雜度極大的增加。總而言之,我們應該選擇多個相對小的卷積核來進行卷積。

3.每層卷積只能用一種尺寸的卷積核?

傳統的層疊式網絡,基本上都是一個個卷積層的堆疊,每層只用一個尺寸的卷積核,例如VGG 結構中使用了大量的 3×3 卷積層。事實上,同一層 feature map 可以分別使用多個不同尺寸的卷積核,以獲得不同尺度的特徵,再把這些特徵結合起來,得到的特徵往往比使用單一卷積核的要好,谷歌的 GoogLeNet,或者說 Inception 系列的網絡,就使用了多個卷積核的結構

4. 卷積操作時必須同時考慮通道和區域嗎?

https://www.cnblogs.com/hellcat/p/9726528.html

5.採用寬卷積的好處有什麼

通過將輸入邊角的值納入到滑窗中心進行計算,以便損失更少的信息。

6.圖像反捲積

深度學習---圖像卷積與反捲積- Dean - CSDN博客  https://blog.csdn.net/qq_38906523/article/details/80520950

7.關於卷積填充和步長等計算

卷積神經網絡1.4-1.5Padding與卷積步長 - cloud&ken - 博客園  https://www.cnblogs.com/cloud-ken/p/9338273.html

8.反捲積與棋盤效應

反捲積與棋盤效應 - 灰巧克力愛松露 - CSDN博客  https://blog.csdn.net/shadow_guo/article/details/52862161

9.CNN 的參數經驗設置

deep learning(rnn、cnn)調參的經驗? - chernyaxon - 博客園  https://www.cnblogs.com/chernyaxon/p/5619761.html

10. 提高泛化能力的方法

卷積神經網絡(CNN)的參數優化方法   https://blog.csdn.net/u010900574/article/details/51992156

11. CNN 在 CV 與 NLP 領域運用的聯繫與區別

            如何理解CNN在CV與NLP領域運用的聯繫與區別? - 知乎  https://www.zhihu.com/question/37081277

12.BN

batch normalization 詳解 - gbyy42299的博客 - CSDN博客  https://blog.csdn.net/gbyy42299/article/details/80363332

關於BN防止過擬合的分析 - qq_23150675的博客 - https://blog.csdn.net/qq_23150675/article/details/79452685

13.類別不均衡問題

分類中解決類別不平衡問題 - Microstrong - CSDN博客  https://blog.csdn.net/program_developer/article/details/80287033

14.激活函數相關

           神經網絡中常用的幾種激活函數的理解 - LLLiuye - 博客園  https://www.cnblogs.com/lliuye/p/9486500.html

15.損失函數

          對比二次代價函數可以發現,代價函數的選擇與激活函數有關。當輸出神經元的激活函數是線性時例如,ReLU函數)二次代價函數是一種合適的選擇;當輸出神經元的激活函數是S型函數(例如sigmoid、tanh函數)時,選擇交叉熵代價函數則比較合理。

15.極大似然與交叉熵有什麼區別

          交叉熵(Cross-Entropy) - rtygbwwwerr的專欄 - CSDN博客  https://blog.csdn.net/rtygbwwwerr/article/details/50778098

16.梯度消失,梯度爆炸講一下?怎麼解決?

            欠擬合、過擬合、梯度爆炸、梯度消失等問題的原因與大概解決方法 - yangdashi888的博客 - CSDN博客  https://blog.csdn.net/yangdashi888/article/details/81080562

17.過擬合、欠擬合講一下,怎麼解決?

            欠擬合、過擬合及其解決方法 - 隔壁王叔叔a - 博客園  https://www.cnblogs.com/alan666/p/8311809.html

18.隨機森林的隨機性體現在哪裏

             隨機森林的隨機性體現在哪裏? - Beyond_2016的博客   https://blog.csdn.net/beyond_2016/article/details/80011403

19.注意力模型的原理

20.皮爾森係數

             皮爾森相關係數- chao2016的博客 - CSDN博客  https://blog.csdn.net/chao2016/article/details/80917579

            相關係數之皮爾森相關係數 - 不急不躁淡如水 - 博客園  https://www.cnblogs.com/renpfly/p/9555959.html

21.L1、L2正則化的區別

             深入理解L1、L2正則化 - 知乎  https://zhuanlan.zhihu.com/p/29360425

22.不平衡數據怎麼處理

           機器學習中如何處理不平衡數據? - 知乎  https://zhuanlan.zhihu.com/p/56960799

23.xgb和gbdt

24.數據清理中,處理缺失值的方法

            數據清理中,處理缺失值的方法是 - CSDN博客  https://blog.csdn.net/w5688414/article/details/79346628

25.最小損失準則、N-P判決、最小最大損失準則、最小誤判概率準則

           (2章)最小錯誤概率貝葉斯 - 豆丁網  https://www.docin.com/p-987602135.html

            模式識別(十四)最小誤判概率準則判決  https://blog.csdn.net/DOUBLE121PIG/article/details/98944155

26.dropout的原理和作用,以及模型預測時對dropout怎麼處理

            深度學習中Dropout原理解析 -   https://blog.csdn.net/program_developer/article/details/80737724

27.機器學習中爲什麼要對數據歸一化,歸一化的方法有哪些,深度學習中用到的歸一化及作用什麼?

           機器學習中爲什麼需要對數據進行歸一化?  https://blog.csdn.net/code_lr/article/details/51438649

           深度學習中的歸一化技術小結 -  https://blog.csdn.net/h2026966427/article/details/90513078

         『計算機視覺』各種Normalization層辨析 -  https://www.cnblogs.com/hellcat/p/9735041.html

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章