原创 Darknet Fine tune模型注意事項
（1）參數學習率，需要調小。 （2）觀察loss，是否下降，或者上升，跳動特別明顯。如果上升或者跳動特別明顯說明 learn rate較大。原因：之前訓練模型總的訓練樣本數量 t1與現在fine tune的 t2不一樣。如果 t1 > t
2020-06-14 15:22:20
25
原创 Incremental Learning
2018-2019 Paper: Multi-task settings: Class-incremental Learning via Deep Model Consolidation https://arxiv.org/abs/1
2020-06-14 15:22:20
21
原创 IEEE Access投稿（Latex模板）——參考文獻的生成
從網站上下載latex模板https://journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/
2020-06-14 15:22:20
29
原创 ICML 2019 | Hinton等人新研究：如何更好地測量神經網絡表示相似性
作者：Simon Kornblith、Mohammad Norouzi、Honglak Lee、Geoffrey Hinton 參與：可可、路 近期很多研究試圖通過對比神經網絡表示來理解神經網絡的行爲。谷歌大腦 Simon Kornbl
2020-06-14 15:22:20
1
原创 遷移學習的應用場景以及finetune的使用方法
這裏簡單介紹下什麼是遷移學習，就是基於前已經學習到的知識應用到當前具體的任務需求上，而他們兩者的領域並不是相同的，嚴謹說是不是直接相關的，比如任務是不同類型（如之前的分類貓和狗，而當前的可能是分類獅子和大象），或者數據集是不同類型的（如先
2020-06-14 15:22:10
4
原创 公司ubuntu服務器登錄與操作記錄
1.同一個局域網內的ubuntu機器ubuntu terminal登錄服務器 ssh [email protected] 輸入密碼後進入 訪問其他用戶： cd /home/zhao ls rm XXx 刪除文件 vim xxx 編
2020-06-14 15:22:10
原创 GPU 顯存不足怎麼辦？
前言 最近跑的模型都比較大，尤其是Bert， 這真的是難爲我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 來幫助我們加速訓練，很良心， 但感覺還不夠，於是花費一些時間整理出一個 Trick 集合，來幫助我
2020-06-14 15:22:10
3
原创 Bag of Tricks for Convolutional Neural Networks
https://zhuanlan.zhihu.com/p/51870052 剛剛看了Bag of Tricks for Image Classification with Convolutional Neural Networks，一篇乾
2020-06-14 15:22:10
原创 IEEE-access 模板LaTeX Error: Something's wrong--perhaps a missing \item.
最近要開始寫一篇Journal paper, 於是下載了IEEE上的模板，但是模板上的參考文獻與正文是在一個界面上的， 像這樣： \begin{thebibliography}{1} \bibitem{IEEEhowto:kopk
2020-06-14 15:22:10
39
原创 Deep Reinforcement Learning 深度增強學習資源 (持續更新）
https://zhuanlan.zhihu.com/p/20885568 Deep Reinforcement Learning深度增強學習可以說發源於2013年DeepMind的Playing Atari with Deep Re
2019-07-31 01:09:28
2
原创 LSTM+CRF機器學習模型
本文介紹的深度學習模型來自Di Jin和Peter Szolovits的paper《PICO Element Detection in Medical Text via Long Short-Term Memory Neural Netw
2019-07-31 01:09:28
原创 NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING 筆記
這是一篇使用增強學習來進行模型搜索的論文。 結構如下圖： overview 由於不知道網絡的長度和結構，作者使用了一個RNN作爲控制器，使用該控制器來產生一串信息，用於構建網絡。之後訓練該網絡，並用網絡的accuracy作爲rewa
2019-07-09 00:43:13
原创 tensorflow卷積神經網絡中的padding參數最詳細解釋！
tensorflow卷積神經網絡中的padding參數最詳細解釋！ 當使用tensorflow創建卷積神經網絡時，肯定要用到卷積層和池化層，tendorflow關於建立卷積層和池化層的API都有padding這個參數，如下所示： - tf
2019-06-11 04:47:11
原创 深度學習乾貨學習（1）——center loss
在構建loss時pytorch常用的包中有最常見的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，詳見：https://pytorch-cn.readthedo
2019-06-11 04:47:11
15