向量的2範數求導？

原創 Charles5101 2019-01-07 17:11

f(x)=\frac{1}{2} \left| \left| A(x)-b \right| \right|_{2}^{2}  ，  A:\Re ^{m\times n}\rightarrow\Re ^{p} ， 即 A(x)=b，   b\in\Re ^{p} ，  f(x)是求A(x)-b的2範數。

問題：對  f(x)  求一階導   f^{'} (x). 

 

解答過程如下：

 

原式等於    f(x)= \frac{1}{2} (Ax-b)^T (Ax-b)\Leftrightarrow f(x)=\frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb)

對x求導得：  f'(x)=A^TA x-A^Tb=A^T(Ax-b)

 

這裏主要用到的是向量和矩陣的求導公式。分別爲

\frac{\partial y^T x}{\partial x}=y       和     \frac{\partial(x^TA x)}{\partial x}=(A+A^T)x

此外還有向量2範數的定義式。

 

Reference：

[1] https://www.zhihu.com/question/31845977

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

網絡權重初始化方法總結（上）：梯度消失、梯度爆炸與不好的初始化

文章目錄前向傳播與反向傳播回顧梯度消失與梯度爆炸激活函數的影響權重矩陣的影響不良初始化參考 博客：blog.shinelee.me | 博客園 | CSDN 前向傳播與反向傳播回顧 神經網絡的訓練過程可以簡化成以下步驟， 輸入預

shine-lee 2020-06-30 06:07:17

深度學習筆記——pytorch學習01——簡單神經網絡的練習

1.Le-Net5神經網絡流程回顧 Le-Net5神經網絡模型如下：（圖片來自Yann LeCun的論文） 本練習流程如下： 32323→conv1（3655）→28286→relu→maxpool（22）→14146→conv

weixin_43710224 2020-07-02 10:05:19

MLDS18：GAN相關課程學習筆記和代碼

Generative Adversarial Network (GAN): 課程主頁 目錄 Introduction (2018/05/04) 筆記 Conditional GAN (2018/05/11) 筆記 Unsuper

Saul Zhang 2020-07-01 23:35:19

生成器與判別器

一張圖瞭解生成器和判別器 判別器所執行的任務可以看成是一個自頂向下(從複雜到簡單)的過程，其只需要對於輸入的高維度的數據進行特徵提取得到低維度的判別信息即可，比如分類，檢測等等。而與之相對的則是生成器，其是自底向上(有簡單到複雜

Saul Zhang 2020-07-01 23:35:19

關於ai學習過程中的一些反思(持續更新)

前景:以下爲打了幾場比賽和初步進入科研的一些反思。 2019.9.9 打比賽和搞學術研究確實有比較大的區別，最大的區別就是打比賽是final metric performance導向型的，而學術研究是以provide innov

Saul Zhang 2020-07-01 23:35:19

最大似然估計和最大後驗概率估計的區別

最大似然估計（MLE） 1.似然函數：L(θ|x)=P(X=x|θ) ①物理意義：某次實驗，θ取不同值時，出現X=x的結果的概率； ②似然函數是參數(θ)的函數； ③似然函數是條件轉移概率。 例1：

榆木脑袋徐同学 2020-06-30 15:30:41

深度學習中的網絡設計技術(一) ——理論概述

一、網絡設計 (1) 網路設計要點 網絡設計考慮重點：1. 精度 2.容量 3. 效率 精度：網絡預測樣本的精度（TP / （TP +FP）） 容量：容納數據量的多少，神經元越多，容量越大。 效率：網絡運行的效率，這

gwpjiayou 2020-06-27 04:24:37

分組卷積和深度可分離卷積

一、分組卷積 (1) ALexNet網絡 分組卷積（Group Convolution），最早見於AlexNet網絡，它被用來切分網絡，使其在2個GPU上並行運行，AlexNet網絡結構如下： AlexNet將網絡分成了兩

gwpjiayou 2020-06-27 04:24:37

殘差網絡結構及其實現

一、殘差網絡基本結構 (1) 傳統的深度學習遇到的困難 梯度消失問題：隨着網絡深度的增加，網絡會出現梯度消失/梯度爆炸的情況，阻礙收斂的過程 退化問題：精確率出現飽和的情況是層數的增加引起的，並不是過擬合，表明更深的網絡並未出

gwpjiayou 2020-06-27 04:24:27

深度學習中的網絡設計技術(二)——正則化技術

一、過擬合、欠擬合 1. 什麼是過擬合？什麼是欠擬合？ 過擬合其實就是在訓練樣本內能夠很好的擬合數據，而在訓練樣本外（沒有參與訓練的樣本）擬合效果很差，這樣的現象就是過擬合。如果你在訓練網絡的過程中發現，模型準確率很高，但是在

gwpjiayou 2020-06-27 04:24:26

tf.keras.layers.MaxPool2D 學習

pool_size：2個整數的整數或元組/列表：(pool_height,pool_width),用於指定池窗口的大小.可以是單個整數,以指定所有空間維度的相同值. strides：2個整數的整數或元組/列表,用於指定池操作的步幅.可以是

第一段代码 2020-06-26 20:00:52

tf.keras.layers.conv2D 學習

參數 描述 inputs 把上一層的輸出作爲輸入(直接將上一層作爲參數輸入即可) input_shape 當作爲模型的第一層時,需要指出輸入的形狀(samples,rows,cols,channels) ,只指出後三維即可,第一維度按ba

第一段代码 2020-06-26 20:00:52

深度學習筆記: ProfilerNotRunningError: Cannot stop profiling. No profiler is running.

ProfilerNotRunningError: Cannot stop profiling. No profiler is running. 前言: 代碼檢查一萬遍,都沒錯,就是來一個ProfilerNotRunningError: C

第一段代码 2020-06-26 20:00:51

深度學習筆記: 深度學習Hello World! MNIST數據集,第一個深度學習流程體驗.訓練步驟過程分解!

1.導入數據,讀取數據:Datasets 2.構建神經網絡:Model層 3.編譯模型(設置怎麼訓練模式):model.compile 4.訓練模型:model.fit() 5.評估模型準確性:model.evaluate() 6.建議做

第一段代码 2020-06-26 20:00:51

TensorFlow框架This is probably because cuDNN failed to initialize 解決對策整理和驗證

Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a wa

第一段代码 2020-06-26 20:00:51