梯度下降算法及其改進

原創 鹿与狼 2020-06-26 20:14

1.梯度和梯度值

一個函數f(x,y,z)，求其在x,y,z上的偏導\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}，比如要求其在M(a,b,c)上的梯度，則將a,b,c帶入（\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}）中，可以得到一個新的向量（A,B,C），那麼這個新的向量就是梯度。梯度值就是這個向量的模，即\sqrt{A^{2}+B^{2}+C^{2}}。

2.梯度下降算法

給定f(x)和初始點x_{0}

重複執行以下過程直到滿足條件

\Delta x_{t}=-\bigtriangledown f(x_{t})       這裏的\bigtriangledown f(x_{t})就是求x_{t}的梯度

x_{t+1}=xt+\eta \Delta x_{t}       \eta是學習率

普通梯度下降容易陷入局部最優，所以需要改進。

3.基於衝量的梯度下降算法

衝量其實叫動量更合適，加了一個衝量，也許可以衝出局部最優點。

給定f(x)、初始點x_{0}和初始動量v_{0}

重複執行以下過程直到滿足條件

\Delta x_{t}=-\bigtriangledown f(x_{t})       這裏的\bigtriangledown f(x_{t})就是求x_{t}的梯度

v_{t+1}=\gamma v_{t}+\eta \Delta x_{t}      其實就是在這裏加了一個動量

x_{t+1}=xt+v_{t}       

4.NAG改進

這個是對基於衝量的梯度下降的改進算法。在基本梯度下降和衝量梯度下降中，都是在x_{t}處計算梯度，要是我們能夠在x_{t}附近探索一下，找到一個好一點的新的點計算梯度，會更好吧？所以NAG改進就是基於這個思路來的。

給定f(x)、初始點x_{0}和初始動量v_{0}

重複執行以下過程直到滿足條件

\Delta x_{t}=-\bigtriangledown f(x_{t}+\gamma v_{t})       這裏的\bigtriangledown f(x_{t})就是求x_{t}的梯度

v_{t+1}=\gamma v_{t}+\eta \Delta x_{t}      其實就是在這裏加了一個動量

x_{t+1}=xt+v_{t}       

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

多線程和多進程 - 初窺

一、說明 在平常工作中，我們使用top命令查看一臺linux服務器的cpu使用情況時，會發現某個進程的cpu使用率會超過100%，這是爲什麼？ 二、舉例 實驗環境爲 CentOS7.6 + Python2.7 1. 多線程、多進程在操作系統

小豹子加油 2024-05-20 14:36:10

Xming - xmanager的替代方案

一、概述 安裝某些數據庫的時候使用圖像化還是比較方便的，但是由於服務器一般不提供圖形化界面。之前一直都是使用Xmanager去導出圖形，但是Xmanager是收費的，公司不讓用，所以找了一款可以完美替代的產品Xming，本文將介紹xming

小豹子加油 2024-05-20 14:36:10

Mysql - 數據庫時區是客戶端屬性還是服務端屬性

一、說明 同事問我數據庫的時區是客戶端屬性還是服務端屬性，我覺得這個問題十分有意思，之前沒怎麼留意，自己來做下實驗。 首先介紹幾個術語。 GMT（Greenwich Mean Time），格林尼治平均時間。 UTC（Coordinated

小豹子加油 2024-05-20 14:36:10

sql求連續值問題

一. 找出表test1中tflag字段連續出現3次及以上爲1的行 思路：1. 對行進行編號，2. 對相鄰三行進行求和算出值作爲sumflag，3. 如果值爲3，則該行以及接下來的2行都輸出出來，通過自關聯解決。 WITH tmp AS (

小豹子加油 2024-05-20 14:36:10

SQL優化-20231016

數據結構 數據庫的表和索引缺一不可 表 特點： 無序，插入速度快，查找速度慢 索引（B+Tree） 特點：有序，插入速度慢，查找速度快 查找的效率比較，如果按照讀取的數據塊來計算？ 測試數據 TABLE_OWNER TABLE

小豹子加油 2024-05-20 14:36:10

兩臺數據庫在數據寫入時性能的差異

介紹：我有兩臺數據庫，分別稱爲200和203，200和203的服務器性能配置相當，203的配置甚至還要好一點。都是安裝的centos7.7，oracle 19C，均已開日誌歸檔，這兩臺服務器在同一個機房，同一個網段。當我在本地使用JDBC去

小豹子加油 2024-05-20 14:36:10

Linux安裝MySQL配置教程

1.使用系統的root賬戶 2.切換到 /use/local 目錄下 3.下載mysql  根據自己需要安裝的版本下載。 wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysq

莫等閒也 2024-05-20 14:34:20

salesforce零基礎學習（一百三十七）零碎知識點小總結（九）

本篇參考：  https://help.salesforce.com/s/articleView?id=release-notes.rn_lab_conditional_visibiliy_tab.htm&release=250&type=

zero.zhang 2024-05-20 14:34:10

sql server sp_executesql 中使用表變量進行查詢

示例demo： DECLARE @table IdTableType INSERT INTO @table SELECT Id FROM dbo.t_pl_test DECLARE @SearchSQL NVARCHAR(MAX) SE

自閉玩家 2024-05-20 14:32:10

Flink精確消費一次

 在大數據計算裏面，計算引擎是處於承上啓下的作用，對上承接數據源，對下承接各種各種數據庫，比如mysql、oracle。對於任何數據計算來說要想精確消費一次，就需要支持事務或者冪等，我們最常見的支持事務的就是單點的oracle、mysql數

人不瘋狂枉一生 2024-05-20 14:27:59

5款.NET開源、免費、功能強大的圖表庫

LiveCharts2 LiveCharts2是一個.NET開源（MIT License）、簡單、靈活、交互式且功能強大的.NET圖表、地圖和儀表，現在幾乎可以在任何地方運行如：Maui、Uno Platform、Blazor-wasm、W

追逐時光 2024-05-20 14:26:59

終於搞懂了！原來 Vue 3 的 generate 是這樣生成 render 函數的

前言 在之前的 面試官：來說說vue3是怎麼處理內置的v-for、v-model等指令？ 文章中講了transform階段處理完v-for、v-model等指令後，會生成一棵javascript AST抽象語法樹。這篇文章我們來接着講gen

你假裝沒察覺 2024-05-20 14:26:19

Markdown基礎語法2024測試

標題一 標題二 標題三 標題四 標題五 標題六 hr 加粗字體 b 斜體字體 i 引用內容 code 超鏈接 a blockquote ol > li 有序列表 ul > li 無須列表 pre 代碼塊 p 表格標

喵喵撲 2024-05-20 14:26:09

ue5生成vs工程報錯-msvc版本太舊

ue生成VS工程報錯 右鍵 - uproject ，Generating VisualStudio project files ，報錯信息如下：就是我安裝的msvc版本太舊 Running C:/Program Files/Epic Ga

趙青青 2024-05-20 14:25:39

vscode 清理遠程服務器內存

因網絡中斷或其他原因，有時候服務器上留下較多無用的vscode-server進程，佔用內存資源 可以採用如下命令kill進程 ps uxa | grep .vscode-server | awk '{print $2}' | xargs k

張博的博客 2024-05-20 14:24:58