模型訓練

原創 lshiwjx 2020-02-20 17:00

白化

減均值：使分佈以0爲中心
除以方差：自然圖像本身就是，不用除

BN和dropout

區別聯繫
BN：論文中提到了四個優點

  • 使用更高的學習率
  • 不用太擔心初始化
  • 像一個正則項，減少dropout的需求，但不矛盾
  • 使更快收斂

實現：weight和bias對應gamma和beta，running mean 和 var對應內部的累計均值和方差，配合momentum在訓練時使用，直接在測試時使用。affine控制是否學習scale和shift，即weight和bias。

GPU設置

設置使用的gpu個數

訓練技巧

val和train的gap，lr。。。

優化方法的選擇

各種方法的比較，推薦adam
簡短版本

Loss

均方差和交叉熵

C=(y−a)22

熵和交叉熵：熵就是最優編碼，交叉熵就是用p的最優編碼來編碼q的平均編碼長度。
H(p)=∑xp(x)log2(1p(x))

Hp(q)=∑xq(x)log2(1p(x))

Softmax

softmax 層的輸出是一個概率分佈。在許多問題中，我們可以很方便地將輸出激活值看作是神經網絡認爲結果是的概率。

aLj=ezLj∑kezLk
lshiwjx
發佈了54 篇原創文章 · 獲贊 11 · 訪問量 2萬+
私信 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

[Fri 19 Jun 2015 ~ Thu 25 Jun 2015] Deep Learning in arxiv

A Neural Network Approach to Context-Sensitive Generation of Conversational Responses Leverage Financial News to Pr

sunbaigui 2020-07-06 23:05:10

Deep Learning：正則化（十）

Sparse Representations Weight decay acts by placing a penalty directly on the model parameters. Another strategy is

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：正則化（十三）

Adversarial Training In order to probe the level of understanding a network has of the underlying task, we can sear

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：Optimization for Training Deep Models(零)

Of all of the many optimization problems involved in deep learning, the most difficult is neural network training.

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：正則化（九）

Parameter Tying and Parameter Sharing Thus far, in this chapter, when we have discussed adding constraints or penal

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：正則化（十四）

Tangent Distance, Tangent Prop, and Manifold Tangent Classifier Many machine learning algorithms aim to overcome th

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：Optimization for Training Deep Models(一)

How Learning Differs from Pure Optimization Optimization algorithms used for training of deep models differ from tr

蚊子爱牛牛 2020-06-25 22:34:02

Deep Learning：Optimization for Training Deep Models（二）

Challenges in Neural Network Optimization When training neural networks, we must confront the general non-convex ca

蚊子爱牛牛 2020-06-25 22:34:02

人臉關鍵點：TCNN-Tweaked Convolutional Neural Networks

TCNN，全名Tweaked Convolutional Neural Networks， 其中，Tweaking implies fine-tuning the final layers for particular head

TensorSense 2020-06-23 22:21:05

模型壓縮：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming

Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，

TensorSense 2020-06-23 22:21:05

人臉關鍵點：MTCNN-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks

創新點： 1. 首次將級聯和多任務結合起來，之前有單純級聯的DCNN，單純多任務的TCDCN 2. 提出 a new online hard sample mining strategy，沒接觸過hard sample min

TensorSense 2020-06-23 22:20:52

解讀CUDA C Programming Guide (1/5)

本系列爲《解讀CUDA C Programming Guide》. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#axzz4FIp5fBgM 本書旨在介紹

panda爱学习 2020-06-21 22:34:29

TF-day1 MINIST識別數字

當我們開始學習編程的時候，第一件事往往是學習打印”Hello World”。就好比編程入門有Hello World，機器學習入門有MNIST 主要步驟 - 獲取數據 - 建立模型 - 定義 tensor，variabl

潘小榭 2020-06-21 03:53:38

TF-day6 CNN簡單分類

主要內容： 何爲CNN code 一、何爲CNN 圖解何爲CNN http://www.jianshu.com/p/6daa1af1cf37 深入理解： http://study.163.com/course/cours

潘小榭 2020-06-21 02:52:04

深度學習-卷積理解

一.深度卷積神經網絡學習筆記（一）： 1.這篇文章以賈清揚的ppt說明了卷積的實質，更說明了卷積輸出圖像大小應該爲： 假設輸入圖像尺寸爲W，卷積核尺寸爲F，步幅（stride）爲S（卷積核移動的步幅），Padding使用P（用於

Stray_Cat_Founder 2020-06-20 01:50:45