2月12日學習內容2:梯度下降

寫在開頭:內容大部分來自伯禹學習平臺

梯度更新方式

批量梯度下降

在這裏插入圖片描述

隨機梯度下降

在這裏插入圖片描述

小批量梯度下降

在這裏插入圖片描述
在這裏插入圖片描述

基本搜索步驟
  • 隨機選擇一個參數初始化
  • 根據數據和梯度算法來更新
  • 直到走到局部一個最小區域
凸優化目標函數具有唯一最小點
凸集

在這裏插入圖片描述

凸函數

在這裏插入圖片描述

學習率選擇

在這裏插入圖片描述

發佈了14 篇原創文章 · 獲贊 0 · 訪問量 276
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章