深度學習第三講課後題

1.畫圖說明特徵向量的幾何意義是什麼?
在這裏插入圖片描述
2.非線性變換解決了神經網絡中線性可分性的什麼問題?
讓線性不可分變得可分。

3.簡述通過主成分分析實現降維的流程。
PCA降維步驟:
(1).對所有樣本進行中心化處理
(2).計算協方差矩陣
(3).求協方差的特徵值和特徵向量
(4).將特徵值按照從大到小的順序排序,選擇其中最大的k個,然後將其對應的k個特徵向量分別作爲列向量組成轉換矩陣
(5).通過低階轉換矩陣,把原矩陣轉換成低維矩陣。

4.最大似然函數取對數的好處有哪些?
(1) 減少計算
(2) 利於結果更好的計算
(3) 取消對數不影響單調性

5.梯度下降法如何使用導數使目標函數到達最小值的?
目標函數沿着下坡的方向,直到達到局部最小值

6.什麼是梯度消失和梯度爆炸?爲什麼會有梯度消失和梯度
爆炸?

在深度神經網絡中的梯度是不穩定的,在靠近輸入層的隱藏層中或會消失,或會爆炸。這種不穩定性纔是深度神經網絡中基於梯度學習的根本問題。
梯度消失:在神經網絡中,當前面隱藏層的學習速率低於後面隱藏層的學習速率,即隨着隱藏層數目的增加,分類準確率反而下降了。這種現象叫梯度消失。
梯度爆炸:在神經網絡中,當前面隱藏層的學習速率低於後面隱藏層的學習速率,即隨着隱藏層數目的增加,分類準確率反而下降了。這種現象叫梯度爆炸。
梯度消失:
(1)隱藏層的層數過多;
(2)採用了不合適的激活函數(更容易產生梯度消失,但是也有可能產生梯度爆炸)
梯度爆炸
(1)隱藏層的層數過多;
(2)權重的初始化值過大

7.非線性變換是如何實現線性不可分樣本變成線性可分的?
通過特徵提取與特徵轉換,將我們觀測到的特徵屬性進行一定的轉換,變成我們需要的線性可分的數據。

8.隱藏層神經元的數目的增加會帶來什麼的作用?
從分類邊界的角度,神經元數目對應與用於拼接出分類邊界的線段數量,神經元越多。就能拼接出越複雜的邊界。
從維度的角度,神經元數目對應非線性變換後的空間的維度,維度越高,變換後的樣本越容易被線性分開。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章