原创 深度學習總結：cycleGAN原理，實現圖片風格切換，可以和之前的僞DL方式對比一下，pytoch實現
文章目錄cycleGAN原理一般的unsupervised conditional generation的處理辦法cycleGAN處理unsupervised conditional generation的辦法：比較正常的思路：cyc
2019-02-23 13:14:44
原创 深度學總結：attention based model
attention based model：attention 的計算公式 BahdanauAttention LuongAttention global方式 提供了四種獲取權重的辦法 local方式 BahdanauAtten
2019-02-23 13:14:44
原创 深度學總結：skip-gram pytorch實現
文章目錄skip-gram pytorch 樸素實現網絡結構訓練過程:使用nn.NLLLoss()batch的準備，爲unsupervised，準備數據獲取（center,contex)的pair：採樣時的優化：Subsampling
2019-02-21 13:11:03
3
原创 深度學總結：RNN訓練需要注意地方：pytorch每一個batch訓練之前需要把hidden = hidden.data，否者反向傳播的梯度會遍歷以前的timestep
pytorch每一個batch訓練之前需要把hidden = hidden.data，否者反向傳播的梯度會遍歷以前的timestep tensorflow也有把new_state更新，但是沒有明顯detach的操作，預計是tensor
2019-02-21 13:11:03
原创 深度學總結：Image Style Transfer pytorch方式實現，這個是非基於autoencoder和domain adversrial方式
文章目錄論文鏈接：主要思路：pytorch實現：計算content的Loss:計算style 的Loss:計算total的Loss:訓練過程： 論文鏈接： https://www.cv-foundation.org/openacces
2019-02-20 20:50:56
12
原创 深度學總結：CNN Decoder, Upsampling的處理
CNN Decoder, 需要做Upsampling： 金字塔結構收縮的dimensions要膨脹回來，處理方法就是Upsampling，直接複製（容易產生棋盤條紋），或者做內插interpolation，然後再做convolutio
2019-02-20 20:50:56
117
原创 深度學總結：weight_initialization
weight_initialization Occam’s razor：簡單一刀切設置0或者1 General rule for setting weights The general rule for setting the wei
2019-02-20 20:50:56
原创 tensorflow學習：分佈式tensorflow使用,代碼實現inGraph方式
文章目錄什麼叫distributed tensorflow training,它到底幹什麼?Clustermaster和workersclient最簡單的模型Client---Master(worker)代碼實現:Master(wor
2019-02-19 06:51:43
3
原创 深度學習總結：tensorflow和pytorch關於RNN的對比,tf.nn.dynamic_rnn,nn.LSTM
tensorflow和pytorch關於RNN的對比： tf.nn.dynamic_rnn很難理解，他的意思只是用數據走一遍你搭建的RNN網絡。 可以明顯看出pytorch封裝更高，更容易理解，動態圖的優勢。 ## tensorflo
2019-02-19 06:41:46
原创 深度學習總結：Tensorboard可視化裏面的events, graph, histogram
Tensorboard可視化裏面的events, graph, histogram graph：顯示整個靜態圖 tf.variable_scope就是用於放graph，tf.name_scope用的少了，因爲w,b已經被封裝了。 wi
2019-02-19 06:41:46
原创 深度學習總結：DQN原理，算法及pytorch方式實現
文章目錄Q-learning原理圖Q-learning算法描述：pytorch實現：Q-network實現：DQN實現：2個Q-network，其中一個爲target Q-network；take action獲取下一步的動作，這個部
2019-02-19 06:40:27
3
原创 深度學習總結：有那麼一瞬間感覺窺探到了DL的終極奧祕了，哈哈！！
楔子： 記得小學六年級的時候，我曾經在心裏反問過自己：這個世界上還有什麼我不會的？我仔細的在腦海裏搜索了一番，確實在腦海裏沒找到我不會的，那時候還不知道周星馳的無敵是一種寂寞。 打臉是這個世界的本質之一，事實上泛函分析，羣論等等對我來
2019-02-19 06:40:27
原创 深度學習總結：GAN，原理，算法描述，pytoch實現
文章目錄GAN的原理圖：GAN的原版算法描述：pytorch實現構建generator和discriminator:生成fake data:生成real data:定義訓練D的loss，定義訓練G的loss, 實際就是forward
2019-02-19 06:40:27
3
原创 深度學習總結：用pytorch做dropout和Batch Normalization時需要注意的地方
用pytorch做dropout和BN時需要注意的地方 pytorch做dropout: 就是train的時候使用dropout,訓練的時候不使用dropout, pytorch裏面是通過net.eval()固定整個網絡參數，沒有dr
2019-02-19 06:40:27
43
原创 深度學習總結：pytorch構建RNN和LSTM，對比原理圖加深理解
RNN和LSTM的PCB板： 先看LSTM： 必須清楚的知道每一個變量的形狀： 1、h,c,以及y經過線性變換前都是hidden_size的； 2、矩陣形式的形狀如下： # x shape (batch, time_
2019-02-19 06:40:27