机器学习、深度学习问题

1.1x1 卷积作用?

1×1卷积核理解 - 志光 - 博客园  https://www.cnblogs.com/tianqizhi/p/9665436.html

2. 卷积核一定越大越好?

AlexNet 中用到了一些非常大的卷积核,比如 11×11、5×5 卷积核,之前人们的观念是,卷积核越大,receptive field(感受野)越大,看到的图片信息越多,因此获得的特征越好。虽说如此,但是大的卷积核会导致计算量的暴增,不利于模型深度的增加,计算性能也会降低。于是在 VGG(最早使用)、Inception 网络中,利用 2 个 3×3 卷积核的组合比 1 个 5×5 卷积核的效果更佳,同时参数量(3×3×2+1 VS 5×5×1+1)被降低,因此后来 3×3 卷积核被广泛应用在各种模型中。
       多个小的卷积核叠加使用要远比一个大的卷积核单独使用效果要好的多,在连通性不变的情况下,大大降低了参数个数和计算复杂度。当然,卷积核也不是越小越好,对于特别稀疏的数据比如下图所示,当使用比较小的卷积核的时候可能无法表示其特征,如果采用较大的卷积核则会导致复杂度极大的增加。总而言之,我们应该选择多个相对小的卷积核来进行卷积。

3.每层卷积只能用一种尺寸的卷积核?

传统的层叠式网络,基本上都是一个个卷积层的堆叠,每层只用一个尺寸的卷积核,例如VGG 结构中使用了大量的 3×3 卷积层。事实上,同一层 feature map 可以分别使用多个不同尺寸的卷积核,以获得不同尺度的特征,再把这些特征结合起来,得到的特征往往比使用单一卷积核的要好,谷歌的 GoogLeNet,或者说 Inception 系列的网络,就使用了多个卷积核的结构

4. 卷积操作时必须同时考虑通道和区域吗?

https://www.cnblogs.com/hellcat/p/9726528.html

5.采用宽卷积的好处有什么

通过将输入边角的值纳入到滑窗中心进行计算,以便损失更少的信息。

6.图像反卷积

深度学习---图像卷积与反卷积- Dean - CSDN博客  https://blog.csdn.net/qq_38906523/article/details/80520950

7.关于卷积填充和步长等计算

卷积神经网络1.4-1.5Padding与卷积步长 - cloud&ken - 博客园  https://www.cnblogs.com/cloud-ken/p/9338273.html

8.反卷积与棋盘效应

反卷积与棋盘效应 - 灰巧克力爱松露 - CSDN博客  https://blog.csdn.net/shadow_guo/article/details/52862161

9.CNN 的参数经验设置

deep learning(rnn、cnn)调参的经验? - chernyaxon - 博客园  https://www.cnblogs.com/chernyaxon/p/5619761.html

10. 提高泛化能力的方法

卷积神经网络(CNN)的参数优化方法   https://blog.csdn.net/u010900574/article/details/51992156

11. CNN 在 CV 与 NLP 领域运用的联系与区别

            如何理解CNN在CV与NLP领域运用的联系与区别? - 知乎  https://www.zhihu.com/question/37081277

12.BN

batch normalization 详解 - gbyy42299的博客 - CSDN博客  https://blog.csdn.net/gbyy42299/article/details/80363332

关于BN防止过拟合的分析 - qq_23150675的博客 - https://blog.csdn.net/qq_23150675/article/details/79452685

13.类别不均衡问题

分类中解决类别不平衡问题 - Microstrong - CSDN博客  https://blog.csdn.net/program_developer/article/details/80287033

14.激活函数相关

           神经网络中常用的几种激活函数的理解 - LLLiuye - 博客园  https://www.cnblogs.com/lliuye/p/9486500.html

15.损失函数

          对比二次代价函数可以发现,代价函数的选择与激活函数有关。当输出神经元的激活函数是线性时例如,ReLU函数)二次代价函数是一种合适的选择;当输出神经元的激活函数是S型函数(例如sigmoid、tanh函数)时,选择交叉熵代价函数则比较合理。

15.极大似然与交叉熵有什么区别

          交叉熵(Cross-Entropy) - rtygbwwwerr的专栏 - CSDN博客  https://blog.csdn.net/rtygbwwwerr/article/details/50778098

16.梯度消失,梯度爆炸讲一下?怎么解决?

            欠拟合、过拟合、梯度爆炸、梯度消失等问题的原因与大概解决方法 - yangdashi888的博客 - CSDN博客  https://blog.csdn.net/yangdashi888/article/details/81080562

17.过拟合、欠拟合讲一下,怎么解决?

            欠拟合、过拟合及其解决方法 - 隔壁王叔叔a - 博客园  https://www.cnblogs.com/alan666/p/8311809.html

18.随机森林的随机性体现在哪里

             随机森林的随机性体现在哪里? - Beyond_2016的博客   https://blog.csdn.net/beyond_2016/article/details/80011403

19.注意力模型的原理

20.皮尔森系数

             皮尔森相关系数- chao2016的博客 - CSDN博客  https://blog.csdn.net/chao2016/article/details/80917579

            相关系数之皮尔森相关系数 - 不急不躁淡如水 - 博客园  https://www.cnblogs.com/renpfly/p/9555959.html

21.L1、L2正则化的区别

             深入理解L1、L2正则化 - 知乎  https://zhuanlan.zhihu.com/p/29360425

22.不平衡数据怎么处理

           机器学习中如何处理不平衡数据? - 知乎  https://zhuanlan.zhihu.com/p/56960799

23.xgb和gbdt

24.数据清理中,处理缺失值的方法

            数据清理中,处理缺失值的方法是 - CSDN博客  https://blog.csdn.net/w5688414/article/details/79346628

25.最小损失准则、N-P判决、最小最大损失准则、最小误判概率准则

           (2章)最小错误概率贝叶斯 - 豆丁网  https://www.docin.com/p-987602135.html

            模式识别(十四)最小误判概率准则判决  https://blog.csdn.net/DOUBLE121PIG/article/details/98944155

26.dropout的原理和作用,以及模型预测时对dropout怎么处理

            深度学习中Dropout原理解析 -   https://blog.csdn.net/program_developer/article/details/80737724

27.机器学习中为什么要对数据归一化,归一化的方法有哪些,深度学习中用到的归一化及作用什么?

           机器学习中为什么需要对数据进行归一化?  https://blog.csdn.net/code_lr/article/details/51438649

           深度学习中的归一化技术小结 -  https://blog.csdn.net/h2026966427/article/details/90513078

         『计算机视觉』各种Normalization层辨析 -  https://www.cnblogs.com/hellcat/p/9735041.html

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章