原创 cs231n'18:Lecture 2 | Image Classification Pipeline

Lecture 2的前半部分講Course Note 1裏面的內容,包括KNN和Validation。要點請參考Course Note 1的筆記。後半部分給Course Note 2裏面的Linear Classification開個頭。

原创 cs231n'18:Lecture 3 | Loss Functions and Optimization

Lecture 3講Course Note 2和Course Note 3裏面的內容.前一部分講SVM和Softmax loss function的計算。要點請參考Course Note 2的筆記。 聽完這一節部分可以去做SVM和Soft

原创 cs231n'18: Course Note 3

Optimization: Stochastic Gradient Descent 這一節主要講optimization的相關內容。重點在於各種grads的實現,特別是與矩陣相關的grads的實現,包括公式推導和代碼實現。note

原创 cs231n'18:Lecture 6 | Training Neural Networks I

這一節講Course Note 5/6和7中的一部分。這是這門課中講的最爛的一節,內容雜亂,沒有重點。既然ReLU是最常用的,爲什麼又拿tanh舉例子;BN這麼重要的問題沒講明白,下面同學提了一大堆問題。看看Course Note 5筆記

原创 cs231n'18: Course Note 2

Linear classification: Support Vector Machine, Softmax Linear Classification 實現image classification更常用的方法是採用score f

原创 cs231n'18:Lecture 5 | Convolutional Neural Networks

Lecture 5 講的是 Course Note 9 裏面的內容,建議先聽 Lecture 6和7,然後Lecture 5和9一起聽。Lecture 5 鏈接

原创 cs231n'18:Lecture 7 | Training Neural Networks II

Lecture 7主要講note 7中的優化問題,這個小夥子比那個小姑娘講的好太多。具體內容參考Course Note 7筆記。Lecture 7 鏈接

原创 cs231n'18:Lecture 1 | Introduction to Convolutional Neural Networks for Visual Recognition

一如既往,第一節課都是侃侃大山,沒什麼好說的。Lecture 1 鏈接

原创 cs231n'18: Assignment 2 | Batch Normalization

Assignment 2 | Batch Normalization 上文吐槽BN部分講的太爛,2018年果然更新了這一部分,slides里加了好多內容,詳見Lecture 6的slides第54到61頁,以及Lecture 7的

原创 cs231n'18: Course Note 4

Backpropagation, Intuitions Backprop和chain rule,就是用求解微分時的鏈式法則,將複雜算式的微分計算,一步步分解成小的node,然後用這些基本的node層層疊加,最後得到微分結果。通常做

原创 cs231n'18: Course Note 5

Neural Networks Part 1: Setting up the Architecture 常用的激活函數 Sigmoid sigmoid函數的爲 σ(x)=11+exp(−x)σ(x)=11+exp⁡(−x) , 值

原创 cs231n'18:Lecture 9 | CNN Architectures

Lecture 9 主要是講了幾個主流的CNN的實現。這幾種CNN每一個拿出來都值得好好研究一番,所以這裏泛泛的講沒有什麼意義。大概看看就行了。Lecture 9鏈接

原创 cs231n'18: Course Note 1

Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits 關於KNN 首先講Nearest Neighbor,然後擴

原创 cs231n'18:Lecture 8 | Deep Learning Software

這裏介紹了主流的幾種AI編程語言,我的計劃是先從 PyTorch 入手,把幾個主流的 CNN 模型自己寫一遍,然後捎帶着看看Caffe2,最後再用 TensorFlow 寫一遍。Lecture 8鏈接

原创 cs231n'18: Course Note 6

Neural Networks Part 2: Setting up the Data and the Loss 數據預處理 常見的數據預處理方法包括: 1. 減均值 2. 除標準差:只有在feature具有相似的標準和度量方