【機器學習數學基礎之矩陣02】矩陣求導

多元函數導數

    對於n維函數 ，y本身沒有導數，但其對於每一個分量都有偏導，於是有如下定義：

        梯度向量：，其性質類似與一元函數的一階導。

        Hessian矩陣：

            *值得注意的是，因爲偏導順序不影響結果，所以Hessian矩陣是一個實對稱矩陣。

最速下降法

    最初看這個內容的時候迷迷糊糊的，但實際上很簡單的一個東西。最速下降法在一元函數中是指沿着切線方向下降。

    而在多元函數中，函數在某點的最速下降方向爲梯度向量的負方向。可以將其理解爲切線。只是在多維函數中，該點的切線可能有無數條，而這其中切線向量範數最小的一個就是梯度向量的負方向。於是它是函數在該點的最速下降方向。

多元函數極值

    首先，在一元函數中，泰勒展開式能夠完美證明極值點以及它的性質（是極大值還是極小值）。所以。科學家們利用多元泰勒展開式來求多元函數的極值。

    多元泰勒展開式：

    由一元函數類推可知：當函數在該點梯度向量爲零向量時，只需判斷Hessian矩陣的線性組合的正負即可。即：判斷  的正負情況。這裏需要用到正定矩陣和二次型的概念。

    二次型：對於n階實對稱矩陣A，設有n維向量x， 爲A對應的二次型。

        正定矩陣：若A對應的二次型恆大於0，則稱A爲正定矩陣。

        負定矩陣：若A對應的二次型恆小於0，則稱A爲負定矩陣。

    正定矩陣的判別方法：

        對稱矩陣正定的充分必要條件是各階順序主子式爲正數。即：