原创 CVPR2018 Spotlight 《Decoupled Networks》讀後感

首先要明確的最頂層的概念是：CNN是一個visual representation learning的過程，所有的convolutional filters wi是學到的features template，每一個convolutional

2018-12-07 21:48:16

原创 2017 NIPS《Deep Hyperspherical Learning》讀後感

本文提出的是一個極其頂層的深度學習概念：Learning with angular information between w and x on Hyperspheres。本着這個精神，作者提出了SphereConve，depend on

2018-12-07 21:48:16 5

原创 Tensorflow和PyTorch的淺解

下文簡稱Tensorflow爲TF，PyTorch爲PT。TF出自Google之手（2015年），而PT是來自Facebook AI的一個python package（2016）。兩者皆是基於Python的深度學習開發平臺。其中，TF較早

2018-12-01 00:08:07 1

原创 機器學習之參數估計

萬事皆有規律可循。學習就是去捕捉和掌握萬事發生的規律。 數學地說，給定一個x（事起之因），遵循一個規律 F（*），可得一個y（事終之果）。 學習，無論人還是機器，就是去總結歸納這個F（*）。 當這個規律異常複雜從而無法顯式地用數學公式直接

2018-11-28 12:59:58 1

原创 關於神經網絡的capacity、regularization、generalization

以一個ANN（MLP，級聯的FC網絡）爲例，每一層的每一個units（neurons）代表着這一層所構建的特徵空間中的一維，或者是這一層所能代表類別的某一類別的confidence： （即若ANN中的某一層有3個neuron，後一層有5個

2018-09-20 02:29:01

原创 關於輸入爲graph的CNN：Graph CNN

大千世界，所有可見的數據可分爲兩類：Euclidean Data & Non-Euclidean Data。 目前在Deep Learning的範疇裏，CNN和RNN的世界裏，廣泛應用的images，sentences，waves，等等，

2018-09-19 06:17:42 37

原创 關於Neural Network（MLPs）的訓練前準備：數據預處理和網絡初始化

訓練一個的Neural Network（特指由FC層和non-linearity構成的MLP式網絡），爲了達到又快又好的convergence，訓練前的準備非常重要。這裏主要談個主要的預訓練措施：數據預處理 and 網絡初始化。 一. 數

2018-09-06 11:15:09

原创 關於MLP（FC layers based classifier，or ANNs in general）中matrix multiplication能夠實現並行計算，提高effficiency的理解

在一個形如 y = W2 * α（W1 * x + b）的分類器中， W1參數矩陣（hidden layer L1）的行數代表着該層多個neuron的並行計算； x input矩陣的列數代表着一個mini-batch的所有sampl

2018-09-06 11:15:09

原创 淺談線性多分類分類器（全連接層、SVM、Softmax classifier等）

本文在CIFAR-10數據集上舉例。CIFAR-10的訓練集有50000張32*32*3的圖片，包括10個類別。因此形成一個32*32*3 = 3072維的樣本空間，此空間中其中包括50000個樣本點。 一個機器學習（包括深度學習）多分類

2018-09-06 11:15:09

原创 Neural Networks的regularization技巧：談談網絡的泛化能力與noise、Inductive Bias的關係

一切要從overfitting（簡稱OF）和網絡的generalization capability（簡稱GC）能力說起。 overfitting是因爲網絡的繁華能力不足。 從有限的訓練集期待學到具有無限表達能力的網絡，本來就是僞命題，“

2018-09-06 11:15:09

原创 關於解決深度監測和跟蹤器訓練時hard postive樣本不足的問題，三篇CVPR文章有感

        還是那個老故事，即如何解決Deep檢測跟蹤器訓練時正樣本（尤其在occlusion和deformation情況下的hard positive）不足的問題。這個問題的緊迫性在於這樣樣本的缺失導致訓練所得網絡在occlusio

2018-08-26 05:52:33 5

原创 CVPR17論文有感：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection 還是那個老故事，即如何解決Deep檢測跟蹤器訓練時正樣本（尤其在occlusion和defo

2018-08-26 05:52:32 15

原创 In Defense of MOT：讀CVPR17《Deep Network Flow for Multi-Object Tracking》有感

多目標跟蹤的幀間數據關聯可以分爲online（frame-by-frame）和offline（batch-by-batch）兩類。前者講究追求real-time tracking，跟蹤結果的給出無時延，理論上講可以拼Real-time（可

2018-08-26 05:52:32 1

原创 貝葉斯分類器：機器學習背景下淺聊自己對先驗、後驗、likelihood、Evidence與貝葉斯公式的理解

貝葉斯分類器是傳統機器學習模型的一種，是在概率框架下利用訓練集D觀測估計樣本屬性（feature）與分類結果之間的後驗概率關係。後驗概率，就是在觀測過樣本的屬性（feature）之後對其分類情況的概率分佈（比如0.3的概率是正類，0.7的

2018-08-26 05:52:32

原创 CVPR18讀文筆記：SINT++：Robust Visual Tracking via Adversarial Postive Instance Generation

CVPR18一共出現了3篇將Adersarial概念應用於tracking，解決正樣本弱的問題。VITAL是用了GAN，驚爲天人。本文國產，索然性能不是最優，但是VAE+DRL+SINT的集大成之作，還是足夠significant。 本文

2018-08-26 05:52:31 38