原创 優化算法通用框架
https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg 深度學習優化算法經歷了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam
2019-04-15 10:05:53
原创 maskrcnn_benchmark理解記錄——關於batch norm、relu、dropout 的相對順序以及dropout可不可用
ps： 1.如何在卷積神經網絡中實現全局平均池化。在此之前，建議閱讀 ResNet這篇論文 ，以瞭解全局平均池化操作的好處。代替全連接層。 2.dropout只可能在box分支的兩個全連接層那裏，這個可以後期finetuning下。全連
2019-04-12 09:41:55
原创 Resnet代碼實現+爲什麼使用全局平均池化
1.ResNet直接使用stride=2的卷積做下采樣，並且用global average pool層替換了全連接層。 GAP的真正意義是:對整個網路在結構上做正則化防止過擬合。但是值得我們注意的是，使用gap可能會造成收斂速度減慢。用一
2019-04-12 09:41:35
原创 用 PyTorch 遷移學習（Transfer Learning）實現圖像分類。注意圖像數量的分佈、圖像大小的分佈、凍結前面的參數、統計模型參數數量。
用 PyTorch 遷移學習（Transfer Learning）實現圖像分類 作者: PyTorch 中文網 https://github.com/WillKoehrsen/pytorch_challenge/blob/master/
2019-04-12 09:41:35
222
原创 torch.nn中部分理解記錄——關於規範化層、損失函數、權重和偏置的初始化、非線性激活函數等
轉載於：https://blog.csdn.net/dgyuanshaofeng/article/details/80345103 注意看下pytorch深度學習應用書：https://github.com/zergtant/pytor
2019-04-12 09:41:35
原创 LeetCode 刷題記錄——21. 合併兩個有序鏈表
這裏是昨天的小尾巴。對我來說好吃力啊，我先是學習了一遍鏈表，再來弄這個題目。太費時間了啊。 遞歸有點看不太懂 題目： 將兩個有序鏈表合併爲一個新的有序鏈表並返回。新鏈表是通過拼接給定的兩個鏈表的所有節點組成的。 示例：（這題隱含了，需要按
2019-04-10 09:09:57
4
原创 LeetCode 刷題記錄——1. 兩數之和
題目： 給定一個整數數組 nums 和一個目標值 target，請你在該數組中找出和爲目標值的那 兩個 整數，並返回他們的數組下標。 你可以假設每種輸入只會對應一個答案。但是，你不能重複利用這個數組中同樣的元素。 示例: 給定 nums
2019-04-04 09:14:44
原创 實驗不同的學習速率
轉於：https://blog.csdn.net/lqfarmer/article/details/77689148 實驗不同的學習速率 學習速率是控制更新步長大小的超參數。隨着學習速率的增加，振盪次數也在增加。如圖2所示，隨着學習速
2019-04-04 09:14:44
原创 沒錯，小肥白要開始刷LeetCode了。（碎碎念）
剛剛聽完師兄師姐的預答辯。被導師罵的很慘，甚至導師要當場打電話取消師兄的答辯（明天下午就答辯了，取消意味着延期），嚇得我們一個個大氣不敢喘，師兄怯怯的請求：老師，我今晚再改改。真的心疼。又很怕，彷彿看到了明年的自己。
2019-04-03 09:03:29
原创 總結知乎深度學習調參技巧。
1.Deep Learning 之 最優化方法 2.深度學習調參有哪些技巧？ - Captain Jack的回答 - 知乎 https://www.zhihu.com/question/25097993/answer/127472322
2019-04-02 09:06:04
19
原创 深度學習網絡訓練技巧
(改了點) 轉載請註明：煉丹實驗室 新開了一個專欄，爲什麼叫煉丹實驗室呢，因爲以後會在這個專欄裏分享一些關於深度學習相關的實戰心得，而深度學習很多人稱它爲玄學，猶如煉丹一般。不過即使是煉丹也是可以摸索出一些經驗規律的，希望和各位煉丹術
2019-04-02 09:06:04
原创 深度學習網絡調試技巧
轉載請註明：煉丹實驗室 神經網絡的代碼，比一般的代碼要難調試不少，和編譯錯誤以及運行時程序崩潰相比，神經網絡比較棘手的地方，往往在於程序運行正常，但是結果無法收斂，這個檢查起來可要麻煩多了。下面是根據我平時調試神經網絡的經驗，總結的一些比
2019-04-02 09:06:04
原创 煉丹筆記 : 調參技巧
轉載於：煉丹筆記六 : 調參技巧 - 會寫代碼的好廚師的文章 - 知乎 https://zhuanlan.zhihu.com/p/56745640 本期問題 能否聊一聊深度學習中的調參技巧？ 我們主要從以下幾個方面來講. 1. 深度
2019-04-02 09:06:04
原创 深度學習網絡調參技巧
轉載請註明：煉丹實驗室 之前曾經寫過一篇文章，講了一些深度學習訓練的技巧，其中包含了部分調參心得：深度學習訓練心得。不過由於一般深度學習實驗，相比普通機器學習任務，時間較長，因此調參技巧就顯得尤爲重要。同時個人實踐中，又有一些新的調參心得
2019-04-02 09:06:04
原创 顏色空間
在人臉檢測中也常常用到YCrCb空間，因爲一般的圖像都是基於RGB空間的，在RGB空間里人臉的膚色受亮度影響相當大，所以膚色點很難從非膚色點中分離出來，也就是說在此空間經過處理後，膚色點是離散的點，中間嵌有很多非膚色，這爲膚色區域標定(人
2019-03-30 09:16:33