原创 keras踩坑記——gpu和cpu結果不同

問題描述: 訓練了大概6個epoch 模型在cpu上的loss開始出現nan,在gpu上表現正常經查找資料https://www.oschina.net/question/3683714_2266089 這位兄臺和我遇到了同樣的問題,然而

原创 全連接&GAP&Tensorlfow實現

全連接層起到將學到的“分佈式特徵表示”映射到樣本標記空間的作用。在實際使用中,全連接層可由卷積操作實現:對前層是全連接的全連接層可以轉化爲卷積核爲1x1的卷積;而前層是卷積層的全連接層可以轉化爲卷積核爲hxw的全局卷積,h和w分別爲前層卷

原创 數據預處理—打亂訓練數據順序

改變二維數組的一維順序 import numpy as np a = np.array([[1,2,3],[4,5,6],[7,8,9]]) lable = np.arange(3) permutation = np.random.per

原创 linux下pycharm無法輸入中文

找到pycharm的安裝路徑,進入bin(my path) /home/lvyang/Downloads/pycharm-2017.3.4/bin在pycharm.sh中加入以下代碼export GTK_IM_MODULE=fcitx

原创 Resnet&&Densenet 理解

Resnethttps://www.jianshu.com/p/dbab6a116c96http://blog.csdn.net/u013698770/article/details/57977482http://blog.csdn.ne

原创 OOM in keras

問題描述:使用keras搭建siamese網絡時,遇到錯誤如下: OOM when allocating tensor with shape[129024,4096] and type float on /job:localhost/re

原创 keras中siamese的實現

近期由於項目需要學習了一下Siamese網絡,並用keras簡單實現,現總結兩種寫法如下: 1.keras 序貫模型 input_shape = (105, 105, 1) left_input = Input(input_shape)

原创 Gibbs Sampling

問題來源: 論文 Shape and Material from Sound NIPS 2017 4.Inference 中 4.1 Models Unsupervised Given an audio clip S, we would

原创 keras中函數式模型示例

1、雙輸入單輸出模型(如siamese) https://www.kaggle.com/kmader/image-similarity-with-siamese-networks 2、單輸入雙輸出 https://baijiahao.ba

原创 some tips

DL中的訓練集、驗證集、驗證集  (建議比例:6:2:2 或 8:1:1) 訓練集(Training set):學習樣本數據集,通過匹配一些參數來建立一個分類器。建立一種分類的方式,主要是用來訓練模型的。 驗證集(Validat

原创 tensorflow 踩坑記之batch_norm

近日在跑densenet,發現訓練集和測試集的準確率相差甚遠:須知這是個二分類問題,暈........再三檢查代碼,甚至將剛訓練過的數據再喂進去跑,準確率竟然很低,至此檢查到training_flag的問題,將問題鎖定到batch_nor

原创 keras 一些tips

  1.顯存佔用問題 由於tensorflow在訓練時默認指定所有GPU的顯存,使用tensorflow後端的keras亦如此 注:雖然佔用了所有GPU的顯存,但實際使用只有指定的GPU。----------(佔着不用)        

原创 tensorflow 一些tips

1. tensorflow不支持不同秩的張量和矩陣相乘  例如:shape(3,2,3)和 (3,4)的tensor不能相乘 ,以前可以用batch_matmul() 新的版本中已被刪除 但是神經網絡中有時需要這類的操作,因爲第一個維度往

原创 版本 bug

1.代碼 https://github.com/jacobgil/keras-dcgan/blob/master/dcgan.pydef generator_containing_discriminator(g, d): mode

原创 tf中的矩陣運算

import tensorflow as tf from numpy import newaxis from tensorflow.python.ops import math_ops ## tf中的矩陣運算 # 點乘 a = tf.c