原创 神經網絡爲什麼可以(理論上)擬合任何函數?

fourier 變換 問題來了爲啥要deep呢? 答案在這裏 居然特別簡單 deep了你有高頻的震盪了你可以efficient 的locally逼近x^2 然後就有所有local的逼近多項式了 local polynomial在hold

原创 【轉載】一個人成敗的關鍵:先有系統思維,然後纔有看穿本質的能力

【轉載】一個人成敗的關鍵:先有系統思維,然後纔有看穿本質的能力   金句拾遺: 知識爆炸的時代,我們面臨一個比知識匱乏本身,更大的困局——知識的碎片化。 當下進入個體崛起的時代,但不是每個人都能崛起的時代,個體要想崛起,不得不依賴於

原创 python基礎之---面向對象-類與實例——(華爲工程師教你python進階)

  Python語言進階 1.1 函數與模塊-函數 1.2 函數與模塊-模塊 1.3 面向對象-類與實例   PASS 起到 佔位符的 作用。比如我當前新建一個類,不寫其他邏輯的時候,寫個pass,佔個位子。。 2:20   help

原创 linux中沒有tree命令,command not found,解決辦法

wget ftp://mama.indstate.edu/linux/tree/tree-1.6.0.tgz tar xzvf tree-1.6.0.tgz cd tree-1.6.0 make && make install http

原创 百度飛槳模型壓縮庫 paddleslim直播

講百度飛槳的模型壓縮庫 paddleslim https://live.bilibili.com/21689802         剪裁                                              

原创 卷積的進階

CNN從2012年的AlexNet發展至今,科學家們發明出各種各樣的CNN模型,一個比一個深,一個比一個準確,一個比一個輕量。我下面會對近幾年一些具有變革性的工作進行簡單盤點,從這些充滿革新性的工作中探討日後的CNN變革方向。 注:水平所

原创 卷積核每一個維度的權重一樣嗎

都是卷積2個特點,局部連接,權重共享,但這個權重共享,每一個卷積核,比如,一個 3x3×32 的卷積核, 它每一個維度上的權重是共享的嗎? 非也,看這篇文章,有一段佳話: 輸入channel=32 輸出channel=64 那麼排列組合就

原创 各種高效的網絡結構巡禮

暫時發現如下寶藏專欄,有空把下面的看了,根據入門先到後再重新排序。 根據看完每一篇,其中有看不懂的,備註,解釋,再貼出來。 一文讀懂卷積神經網絡中的1x1卷積核 - 知乎 https://zhuanlan.zhihu.com/p/4005

原创 給模型起縮寫名字,調參神器等

作者:jpzLTIBaseline 鏈接:https://www.zhihu.com/question/384519338/answer/1196326124 來源:知乎 著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處

原创 一文弄懂目標檢測裏的Anchor

新手也能徹底搞懂的目標檢測Anchor是什麼?怎麼科學設置?[附代碼]

原创 總結的幾篇深度學習調參經驗---綜合

一. 初始化 有人用normal初始化cnn的參數,最後acc只能到70%多,僅僅改成xavier,acc可以到98%。 或者直接用預訓練模型,採用百度工程師推薦的warmup,然後再 finetune,怎麼finetune,看我以前的文

原创 再次理解卷積

卷積網絡背後的直覺 - 知乎 https://zhuanlan.zhihu.com/p/37657943   絕妙可視化:什麼是深度學習的卷積? - 知乎 https://zhuanlan.zhihu.com/p/42090228

原创 深度可分離卷積(Depthwise Separable Convolution)

誕生於: 大量應用於:MobileNet  深度可分離卷積 - 知乎 https://zhuanlan.zhihu.com/p/92134485 理解分組卷積和深度可分離卷積如何降低參數量 - 知乎 https://zhuanlan.zh

原创 EfficientNet文章分析的重點提取

目錄 傳統增加模型精度的方法: 傳統的模型縮放實踐是 缺點: 方法: 用一系列 固定尺度 縮放係數來統一縮放網絡維度。 步驟: ·注意: 模型擴展的有效性在很大程度上依賴於baseline網絡。 參考: EfficientNet-可能是迄

原创 卷積神經網絡裏的卷積

  直觀感受:   參考: 卷積神經網絡中的卷積核真的僅僅在挪動? -  數學推導詳細 https://www.cnblogs.com/xinxingwu/p/11220068.html 圖卷積神經網絡(GCN)入門 - Jamest