原创 CNN的新進展(1)

本文將從三個方面來介紹: 1. CNN網絡結構的改善優化; 2. CNN網絡訓練中更快的計算方法; 3. CNN在各個領域的最新應用; 1. CNN網絡結構的改善優化之Conv層; CNN典型的網絡結構和單元包括:卷積層、池化

原创 Which GPU(s) to Get for Deep Learning(譯文)

當我們在DL中運用GPU進行運算時,它所能帶來的速度上的提升一次又一次的使我們感到震驚:其運算速度一般比CPU快10倍,而在更復雜的問題上會快20倍。利用GPU你能更快地去實踐新的想法、算法和實驗,並且能及時得到反饋,知道哪些方法有作用,

原创 Batch Normalized Recurrent Neural Networks

本文探討了BN算法在RNN中的作用。在FNN中BN的使用使得網絡收斂更快,但本文實驗發現,若把BN放在隱含層之間,並不能提高收斂速度,而將其放在輸入層和隱含層之間時可以加速收斂,但泛化能力並未得到提高。 我們先來看看文中提及的一些知識點。

原创 論文筆記(3)You Only Look Once:Unified, Real-Time Object Detection

本文旨在實現圖像中的物體檢測,和之前的R-CNN不同的是,它利用一個單一的CNN,完成了在整個圖像上bounding box和類別概率的預測。這既使得它可以實現end-to-end的優化,同時也提高了框架的速度。 基於R-CNN的框架,都

原创 neural network and deep learning(筆記二)

第二章:BP算法詳解 首先需要理解的是權值的含義,wji是連接L-1層的第i個神經元和L層第j個神經元的權值。同時輸入層和輸出層不存在偏置。由下邊公式可知,權值角標的安排是爲了更直觀的看到上一層的作爲下一層的輸入。L-1爲0時激活值就是輸

原创 Paper read weekly(one)

其實每週boss都會在周例會上給算法組的每個人留一個下週發散任務。最近更是和DeepMind死磕上了。。。基本上是出一篇讀一篇,出一堆,全組人都上的節奏。 這不,老闆一下子給我安排了兩篇。。。 吐槽完畢。 最近又出了一篇單目深度估計(