原创 pytorch中如何同時對image,bounding box, instance mask 進行相同的圖像變換?

在目標檢測或者分割的時候,我們需要同時對圖像和對應的方框或mask進行相同的變換,然後作爲ground truth訓練模型。 pytorch提供這樣的服務,且十分簡單,只要自己定義自己的函數即可,然後調用。 這裏以旋轉爲例: de

原创 pytorch保存和加載模型的兩種方式

pytorch中保存和加載模型是綁在一起的。 這裏我需要注意一下不同的保存方式對應不同的讀取方式,兩者各有利弊。 首先說說pytorch.save()這個函數,可以參考官網:pytroch.save。 簡而言之,這個函數可以保存任

原创 【python】頻域濾波

頻域濾波主要分爲四個步驟 1)計算源圖像的傅里葉變換結果 2)選擇並計算濾波器 3)將1得到的結果和2的結果相乘 4)對3的結果進行逆傅里葉變換 本文提供所有資源下載(自帶圖片):下載地址 結果展示: 代碼1:計算濾波器 i

原创 pytorch中int和float如何進行轉化?

優先使用:**torch.tensor(已有數據,dtype=torch.float)**這個方法比較好 可以看例子。這也可以反向運行。 實際上torch.FloatTensor()的輸入最好是列表等,而不是一個數字。

原创 SA-GAN: self-attention 的 pytorch 實現(針對圖像)

問題 基於條件的卷積GAN 在那些約束較少的類別中生成的圖片較好,比如大海,天空等;但是在那些細密紋理,全局結構較強的類別中生成的圖片不是很好,如人臉(可能五官不對應),狗(可能狗腿數量有差,或者毛色不協調)。 可能的原因 大部分

原创 GAN 對抗生成網絡中什麼是模式倒塌mode collapse?

本篇博文講講對抗生成網絡中的模式倒塌問題,可以講,這個問題是我們生成網絡的重要難題之一。 實際上,我覺得在我們人類的學習過程中也會出現類似的情況。 在GAN中,有一個生成器,還有一個判別器,生成器就是生成圖片或者其他的什麼,而判別

原创 【feature extractor 系列文章2】ZFnet 論文閱讀Visulaizing and Understanding Convolutional Networks

AlexNet比其他算法結果好很多,但是爲什麼會好這個問題卻並沒有回答,而本篇論文就試圖解釋這個原因。在理解了原因之後,進而提出一個新的模型去進一步提高模型的能力。 首先,這篇論文開啓了可視化的先河。使用到了兩個方法: 1)多層反

原创 機器視覺中的特徵提取【0】:什麼是特徵提取,特徵提取有什麼作用?

1.什麼是特徵提取? 特徵提取的英文叫做feature extractor,它是將一些原始的輸入的數據維度減少或者將原始的特徵進行重新組合以便於後續的使用。簡單來說有兩個作用:減少數據維度,整理已有的數據特徵。 這裏我給一個例子來

原创 python中如何使用None增加數據維度

這裏,我想說關於數據維度我們要注意兩個東西。 當我們進行切片操作時,我們的數據維度時丟失的。這一點要格外注意。 有時候我們希望數據保持一定的維度,但是數據不變,這是可以實現的。且不同的平臺或者庫函數都有不同的方式,我們這裏使用n

原创 【feature extractor 系列文章3】VGGNet核心貢獻解讀

問題的提出:如何增加捲積神經網絡的深度 【feature extractor 系列文章2】裏介紹了ZFNet,該論文裏面試圖分析卷積層的作用,通過轉置卷積對卷積層進行了可視化,使我們知道了隨着層的增加,得到的特徵越來越複雜,深層的

原创 GAN前沿問題討論:GAN的訓練和batch size的關係

我們知道在圖像分類任務中,較大的batch size有助於提升分類性能,那麼我們的問題是較大的batch size是否能提升GAN的性能呢? 有人或許覺得這個答案應該是肯定的。畢竟大多數GAN中,discriminator就是一個

原创 總結與歸納:深度神經網絡中的數據融合方法

數據融合是一個重要的方法,有時候我們想結合多個東西在一起的時候就需要用到融合方法。深度學習中也不例外,我們經常會將兩個或多個數據融合在一起。數學上,我們可以定義成: y=f(x1,x2,...,xn)y=f(x_1, x_2, .

原创 參數共享機制soft-share and hard-share【機器學習】

先講hard-share. 言外之意就是來硬的。實際上兩個參數的hard-share就退變成了一個參數。在實際計算過程中,我們就可以使用相同的參數進行計算。參數更新後也保持相同。 再說soft-share。實際上這纔是真的兩個不同

原创 對抗生成網絡GAN可以合成什麼樣的模型和數據?

目前,大多數的GAN都主要集中在生成圖像上,且依賴於一些標準的數據集。像MNIST,CIFAR-10,STL,CelebA和imageNet等。傳聞中,GAN在某些數據集上要好於另一些數據集。特別的,生成像CIFAR-10和Cel