原创 Tensorflow源碼解析之設備分配Placer

Placer爲C++類,聲明在頭文件:tensorflow-r1.14\tensorflow\core\common_runtime\placer.h。 看註釋就知道此類的功能了。 // A placement algorithm

原创 tensorlfow數據類型之reference type

a=tf.Variable(1,name=“variable_a”) print(a.dtype) 在python層面上述代碼產生一個int32_ref的tensor,喫a的op必須和variable_a在同一設備上,並且tens

原创 pytorch軸

代碼: import torch class_num = 10 batch_size = 4 label = torch.Tensor(2,3,4,5).random_() % class_num print(label.size

原创 pytorch指定權重初始化方式

如果網絡權重不初始化,pytorch有一套默認初始化機制,本人沒有研究具體怎麼初始化的,和tensorflow標準正態分佈初始化效果一樣,下面是指定初始化代碼: conv = nn.Conv2d(*args, **kwargs)

原创 tensorlfow手動插入fake quant node之op的多個輸入區間差別過大

如圖: 對於add這個op,左邊的輸入範圍爲[-50,50],且左邊爲網絡中間特徵tensor,右邊爲掩碼,範圍爲[0,10000],則add以後的輸出爲【0,10050】,如果在add以後插入量化節點,則中間特徵tensor的

原创 tensorflow之tensorboard op name與本地graph name之坑

帶括號的,在本地graph的名稱實際上是"bert/encoder/layer_0/attention/self/Reshape"

原创 tensorflow restore .ckpt原理分析

在進行saver.restore(sess, ckpt_filename)前需要建立一個graph,而graph包括opration和tensor,placeholder,這種方式只是reload權重,網絡結構不一樣可也reloa

原创 tensorflow優化器對graph的操作

在訓練時,opt會進行兩步操作,第一步建立反向傳播圖,第二步執行,traininig graph和reference graph是不一樣的,但權重是一樣的

原创 深度學習卷積的本質

要搞懂卷積的本質,得從以下幾個方面理解。 卷積的數學意義:卷積爲相乘再求和,其實質爲積分運算的離散實現,卷積核爲大小爲積分區間。 函數的表現形式:函數可以爲表達式,例如:y=a*x+b,也可以爲表格,深度學習中,卷積核爲積分函數,

原创 centerloss之中心點計算

以minist爲例: 中心點有2種計算方式: 方式1: 人算: 批次取400,平均每批次每個數字有400/10=40個點,如果取40個點的中心爲每批次訓練的中心,數據太少,誤差大, 所以先定義一個隊列,隊列長度爲400*20,前

原创 python之glob模塊

深度學習的數據集往往是一個文件下下面包含很多圖片,用glob模塊可以很方便的製作dataset,下面簡單介紹: glob.glob()函數接受通配模式作爲輸入,並返回所有匹配的文件名的路徑字符串列表,與os.listdir類似。 文件

原创 numpy之where()

where()函數接收bool數組,返回滿足條件的索引,不過要特別注意返回值的形式 看代碼: import numpy as np b=np.array([[[5,5],[2,2],[3,3],[5,5],[1,1]],[[5,5

原创 numpy切片與索引的區別與組合使用

數組索引能辦到的,切片都能辦到,只不過索引會降維,而切片不回改變維度,代碼: 純切片: import numpy as np boxes = np.array([[1,2,3,4],[5,6,7,8],[9,10,11,10]])

原创 PIL讀取圖片的形狀及變形

代碼: from PIL import Image img = Image.open(“圖片路徑”).convert(‘RGB’) 此時圖片的形狀是hwc,一般來說,訓練網絡要的形狀是whc,這裏可以用numpy變形 代碼如下 img

原创 argmax函數軸取值

在深度學習中,argmax函數很常見,標籤採用ont-hot,輸出層用softmax激活可以加快網絡訓練速度和提升準確率,而在取值時,用argmax函數取值,涉及軸問題,數據在哪個軸,axis就填哪個軸,通常數據都在最後一個軸,下面舉