原创 機器學習[Bootstrap、Bagging與隨機森林概述]
摘要 隨機森林由多棵決策樹組成，採用多棵決策樹聯合進行預測可以有效提高模型的精度。這些決策樹用對訓練樣本集隨機抽樣構造出的樣本集訓練得到。由於訓練樣本集由隨機抽樣構造，因此稱爲隨機森林。隨機森林不僅對訓練樣本進行抽樣，還對特徵向量的分量隨
2020-06-03 14:07:48
289
原创 深度學習之模型退化
定義： 對合適的深度模型繼續增加層數，模型準確率會下滑（不是overfit造成），training error和test error都會很高。 如果梯度範數的大小本身和深度網絡的訓練困難並沒有關係，那是什麼原因呢？答案是，模型的退化基
2020-06-03 14:07:47
21
原创 lintel安裝成功記與血淚史
1. 簡介： 最近需要將視頻文件直接用於深度模型訓練的輸入，而不是像之前那樣先將視頻文件提取成單幀保存下來，因爲這樣做會出現幾個問題，一個是要使用ffmpeg命令，將耗費數小時的時間提取幀，另一個是需要而外的存儲空間，還有就是訓練代碼在加
2019-04-28 08:21:27
28
原创 面試複習鏈接整理
1.DenseNet詳解 2.機器學習與深度學習常見面試題 3.機器學習與深度學習核心知識點總結 4.深度卷積神經網絡演化歷史及結構改進網絡 5.怎樣成爲一名優秀的算法工程師 6.知識庫-技術文章 7.理解概率密度函數 8.用於在線視頻理
2019-03-06 14:10:46
原创 非極大值抑制算法(NMS)及python實現
以下圖爲例，由於滑動窗口，同一個人可能有好幾個框(每一個框都帶有一個分類器得分) 而我們的目標是一個人只保留一個最優的框： 於是我們就要用到非極大值抑制，來抑制那些冗餘的框： 抑制的過程是一個迭代-遍歷-消除的過程。 （1）將所有框的得
2019-03-03 21:34:40
2
原创 目標函數反向求道注意事項
Loss函數通常作用於一個batch 在計算loss時，我們不會用一條數據去求梯度，進行優化。這樣會導致loss波動較大，而且不利於發揮計算機並行計算的能力。我們會選擇一個batch的數據，用其均值求梯度，進行優化 # 求batch內的
2019-03-03 21:34:40
原创 softmax的特徵分佈會呈放射狀的原因
爲直觀瞭解softmax loss，在mnist數據集上訓練了一個lenet模型作爲例子。先將特徵維降低到2，並畫了10w個訓練樣本的2維特徵在平面上，如圖2所示。從圖中可以看到，如果使用歐式距離作爲度量方式，則f2與f1
2019-03-03 21:34:40
2
原创 如何解決機器學習中數據不平衡問題
這幾年來，機器學習和數據挖掘非常火熱，它們逐漸爲世界帶來實際價值。與此同時，越來越多的機器學習算法從學術界走向工業界，而在這個過程中會有很多困難。數據不平衡問題雖然不是最難的，但絕對是最重要的問題之一。 一、數據不平衡 在學術研究與教學中
2019-02-23 21:17:07
原创 高等數學：第七章 空間解析幾何（2）向量、向量的加減法與向量的數乘
§7.2 向量、向量的加減法與向量的數乘 一、向量的概念 既有大小，又有方向的量稱之爲向量。 數學上用一條有方向的線段(即有向線段)來表示向量。有向線段的長度表示向量的大小，有向線段的方向表示向量的方向。 以爲始點，爲終點的有向線段所表
2019-02-14 21:14:57
原创 DenseNet：比ResNet更優的CNN模型
前言 在計算機視覺領域，卷積神經網絡（CNN）已經成爲最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一個里程碑事件是ResNet模型的出現，ResNet可以訓練出更深的CNN模型，從而實
2019-02-14 21:14:56
29
原创 經典博客系列收藏
大奧特曼打小怪獸 經典博客系列收藏 1. 經典博客鏈接 2. 經典項目博客集合 3. 數字圖像處理系列 4. 深度學習系列經典博客收藏 5. hinton教授的本科生課程CSC321-機器學習中的神經網的筆記 6. Python數據挖
2019-02-14 21:14:56
1
原创 反向傳播算法推導
反向傳播算法是人工神經網絡訓練時採用的一種通用方法，在現代深度學習中得到了大規模的應用。全連接神經網絡（多層感知器模型，MLP），卷積神經網絡（CNN），循環神經網絡（RNN）中都有它的實現版本。算法從多元複合函數求導的鏈式法則導出，遞推
2019-02-14 21:14:46
原创 機器學習[L1和L2正則化]
原理： 模型越複雜，越容易過擬合。 因此，原先以最小化損失（經驗風險最小化）爲目標： 現在以最小化損失和模型複雜度（結構風險最小化）爲目標： 通過降低複雜模型的複雜度來防止過擬合的規則稱爲正則化。 特點： L0：計算非零個數，用於
2019-02-14 21:14:46
原创 特徵提取算法與圖像描述符[SURF]
Goal In this chapter, We will see the basics of SURF We will see SURF functionalities in OpenCV Theory In last chapte
2019-02-14 21:14:46
3
原创 1×1 卷積核的作用
一、來源：[1312.4400] Network In Network （如果1×1卷積核接在普通的卷積層後面，配合激活函數，即可實現network in network的結構） 二、應用：GoogleNet中的Inception、Res
2019-02-14 21:14:46
1