原创 面經整理-小網絡總結

(1)MobileNets MobileNets能減少參數量與計算量的方式主要存在於兩點: 深度可分卷積 Width Multiplier + Resolution Multiplier 傳統的卷積操作不考慮bias的情況下,

原创 實驗bug彙總

RuntimeError: DataLoader worker (pid 39567) is killed by signal: Killed. pytorch跑起來程序,但是在中途的某一個step會報這樣的錯誤,這個錯誤應該

原创 Pytorch LSTM實現

pytorch訓練LSTM模型的代碼疑問https://ask.csdn.net/questions/772242

原创 推理論文彙總學習

Joint Commonsense and Relation Reasoning for Image and Video Captioning [AAAI2020][北理工&阿里] 任務:Image/Video Captionin

原创 GPU顯存老是溢出的問題

最近在跑實驗的時候,遇到模型訓練到一定step,GPU memory溢出的問題,剛開始想調batch size,從96->48->24,一方面還是會溢出,另一方面訓練的時間會成倍數地增加,目前用的是6張GPU進行訓練,即DUDA_

原创 前向神經網絡

(1)常用激活函數 Sigmoid、Tanh、ReLu、softplus、softmax及其導數:https://www.cnblogs.com/nxf-rabbit75/p/9276412.html (2)多層感知機的平方誤差與

原创 合肥 VALSE 2019 筆記 workshop:基於視覺和常識的深度推理

對於做PPT的借鑑 (1)觀察別人怎樣講自己工作的難點 (2)視覺推理任務的擴展:朱文武老師的小樣本分類,張含望老師的X visual reasoning, 史建波老師的first person view (3)結合沈春華老師CV

原创 Leetcode刷題_148:SortList

Sort a linked list in O(n log n) time using constant space complexity. Example 1: Input: 4->2->1->3 Output: 1->2->3

原创 知識蒸餾文章相關總結

https://blog.csdn.net/nature553863/article/details/80568658 https://www.cnblogs.com/SuperLab/p/10750486.html

原创 支持向量機(SVM)

推導: https://blog.csdn.net/sinat_20177327/article/details/79729551

原创 K近鄰算法(KNN)

給定訓練集,對於新輸進來的樣例,尋找訓練數據集裏面與之距離最近的K個樣例,根據多數表決規則,如果K個實例多數屬於某個類,則把該輸入實例劃分爲這個類。 模型三要素是:距離度量,K值的選擇,分類決策規則。 距離度量:使用的距離是歐式距

原创 面經整理-深度學習篇

卷積操作的計算:https://blog.csdn.net/dcrmg/article/details/79652487

原创 多種卷積神經網絡博客資料整理

深度學習、圖像分類入門,從VGG16卷積神經網絡開始 https://blog.csdn.net/errors_in_life/article/details/65950699 深度學習卷積神經網絡——經典網絡VGG-16網絡的搭

原创 面經整理-機器學習篇

1. 卷積神經網絡反向求導時對池化層怎麼處理: 無論max pooling還是mean pooling,都沒有需要學習的參數。因此,在卷積神經網絡的訓練中,Pooling層需要做的僅僅是將誤差項傳遞到上一層,而沒有梯度的計算。 (

原创 面經整理-LeetCode篇

將各大公司所涉及到的算法題目,整理到這兒: 字節跳動 Leetcode #72(hard), 字符串的編輯距離.【DP】 題解 https://leetcode.com/problems/edit-distance/discuss