原创 2017CS231n李飛飛深度視覺識別筆記(八)——深度學習 軟件

第八章 深度學習軟件     上一章中討論了深度學習中的優化算法,包括SGD動量、Nesterov、RMSProp和Adam;也討論了正則化:尤其是dropout;最後也討論了遷移學習,可以下載預訓練過的模型,然後在自己的實際任務中進行微

原创 2017CS231n李飛飛深度視覺識別筆記(四)——神經網絡

第四講 神經網絡課時1 反向傳播    目前,我們已經講了怎麼定義一個分類器、怎麼定義一個損失函數以及它的正則化,也討論了用梯度下降的方法找到最小化的損失函數。    接下來,將討論如何計算任意複雜函數的解析梯度,用到一個叫計算圖的框架。

原创 2017CS231n李飛飛深度視覺識別筆記(一)——計算機視覺概述和歷史背景

第一章 計算機視覺概述和歷史背景課時1 計算機視覺概述    計算機視覺:針對視覺數據的研究。    關鍵是如何用算法來開發可以利用和理解的數據,視覺數據存在的問題是它們很難理解,有時把視覺數據稱爲“互聯網的暗物質”,它們構成了網絡上傳輸

原创 2017CS231n李飛飛深度視覺識別筆記(五)——卷積神經網絡

第五講 卷積神經網絡課時1 歷史    在上一章中,我們討論了神經網絡的有關知識以及線性評分函數的運行實例,通過堆疊線性層來實現完整的神經網絡。    接下來,我們將討論卷積神經網絡,以下是1998年LeCun應用反向傳播和基於梯度的學習

原创 2017CS231n李飛飛深度視覺識別筆記(七)——訓練神經網絡(下)

第七講 訓練神經網絡(下) 課時1 更好的優化 上一章中討論了一些激活函數和它們不同的屬性,由於sigmoid函數和tanh函數在兩端都存在梯度消失的問題,所以在實際中一般建議使用ReLU函數和它的其他形式;同時也討論了權重初始

原创 2017CS231n李飛飛深度視覺識別筆記(二)——圖像分類

第二章 圖像分類課時1 數據驅動方法    在上一章的內容,我們提到了關於圖像分類的任務,這是一個計算機視覺中真正核心的任務,同時也是本課程中關注的重點。    當做圖像分類時,分類系統接收一些輸入圖像,並且系統已經清楚了一些已經確定了分

原创 2017CS231n李飛飛深度視覺識別筆記(六)——訓練神經網絡(上)

第六章 訓練神經網絡(上) 課時1 激活函數     我們已經討論過如何使用計算圖來表達一個函數,並且明確的探討了神經網絡,它包含若干個線性層,而層與層之間通過非線性函數進行連接實現堆疊;也介紹了卷積神經網絡,它使用卷積層貫穿整個網絡結構