原创 吳恩達深度學習筆記02——改善深層神經網絡2優化算法
深度學習難以在大數據領域發揮最大效果的一個原因是，在巨大的數據集基礎上進行訓練速度很慢。而優化算法能夠幫助快速訓練模型，大大提高效率。 一、batch 梯度下降法 batch 梯度下降法（批梯度下降法，我們之前一直使用的梯度下降法
2019-06-11 09:59:43
原创 吳恩達深度學習筆記01——神經網絡和深度學習2淺層神經網絡
一、神經網絡表示 豎向堆疊起來的輸入特徵被稱作神經網絡的輸入層（the input layer）。 神經網絡的隱藏層（a hidden layer）。“隱藏”的含義是在訓練集中，這些中間節點的真正數值是無法看到的。 輸出層（the o
2019-03-10 03:48:11
原创 吳恩達深度學習筆記01——神經網絡和深度學習3深層神經網絡
一、深層網絡中的前向和反向傳播 1、前向傳播 2、反向傳播 3、搭建深層神經網絡塊 神經網絡的一步訓練（一個梯度下降循環），包含了從 a[0]（即 x）經過一系列正向傳播計算得到 y^ （即 a[l]）。然後再計算 da[l]，
2019-03-10 03:48:11
原创 吳恩達深度學習筆記01——神經網絡和深度學習1
實現一個神經網絡時，如果需要遍歷整個訓練集，並不需要直接使用 for 循環。 神經網絡的計算過程中，通常有一個正向過程（forward pass）或者叫正向傳播步驟（forward propagation step），接着會有一個反
2019-03-07 19:31:19
原创 吳恩達機器學習筆記（12）——降維（Dimensionality Reduction）
這裏介紹第二種無監督學習方法，叫做降維（Dimensionality Reduction） 一、目標1：數據壓縮Data Compression 由於可能存在許多冗餘特徵量，或者說特徵高度相關，所以需要減少特徵量的數量。 so如果允
2019-03-07 19:31:19
原创 吳恩達機器學習筆記（9）——機器學習系統設計
一、機器學習系統的設計 1、確定執行的優先級 我們以垃圾郵件分類爲例，途徑可以有： 收集大量的數據（例如，honeypot） 選取更多複雜的特徵量（將郵件標題，郵件單詞也考慮進來） 開發更爲複雜的算法來處理輸入（例如一些故意的拼寫錯
2019-03-03 19:32:52
原创 吳恩達機器學習筆記（10）——支持向量機SVM
一、優化目標 支持向量機（Support Vector Machine ，SVM）是另一種監督式學習算法。它有時候更加的簡潔和強大。 我們將邏輯迴歸中的代價函數轉化一下，並使用兩段直線來嘗試替代曲線，這被稱作hinge loss 函數
2019-03-03 19:32:52
原创 吳恩達機器學習筆記（5）——正則化（Regularization）
一、過擬合問題（Overfitting） 我們知道，機器學習訓練的目的是爲了讓模型更好的擬合實際情況，從而指導我們進行預測。評價一個模型擬合度是否優良的參考之一是它與實際數據集的偏差程度，我們用代價函數來定量，一般代價函數越小越好。那
2018-12-23 19:03:14
1
原创 吳恩達機器學習筆記（3）——多變量線性迴歸（Multivariate Linear Regression）
一、多元線性迴歸的假設形式 多元線性迴歸的假設可表示爲： 另外，我們定義一個額外的第0個特徵向量x0=1，並將特徵向量和參數都表示爲矩陣形式，則方程變爲： 二、多元梯度下降法 多元線性迴歸的代價函數爲： 其中，x(i)j
2018-12-23 19:03:14
原创 吳恩達機器學習筆記（4）——邏輯迴歸（logistic regression）
** 一、分類問題（classification） **首先來看一個例子，用腫瘤的大小來預測腫瘤是良性或者惡性。這個問題的輸出只有兩個值——良性（1）和惡性（0），通常稱之爲分類問題。 如果在此處我們使用線性迴歸來處理這個問題。那麼
2018-12-23 19:03:14
36
原创 吳恩達機器學習筆記（1）——緒論
** 一、什麼是機器學習 ** 1.Arthur Samuel提出的定義： “The field of study that gives computers the ability to learn without being e
2018-12-23 19:03:14
原创 吳恩達機器學習筆記（7）——神經網絡的一個學習算法
一、代價函數 首先我們定義： L = 神經網絡的總層數 si = 第L層的單元數量（不含偏置單元） K = 輸出單元/類型的數量 hΘ(x)k = 假設函數中的第k個輸出 因爲邏輯迴歸裏的代價函數爲： 推廣到神經網絡中：
2018-12-23 19:03:14
1
原创 吳恩達機器學習筆記（8）——模型評估與機器學習診斷法
一、如何改進一個機器學習算法 假設你已經訓練出一個機器學習算法，但是效果不太好，那麼有以下幾種改進方法： 1、獲得更多的訓練數據 2、選用更少的特徵 3、增加特徵量 4、增加高次項 5、增大或減小正則化參數lambda的值 很多人只是
2018-12-23 19:03:14
原创 吳恩達機器學習筆記（6）——神經網絡（Neural Networks）
一、非線性假設（Non-linear hypotheses） 非線性假設採用神經網絡的原因：當我們對如下數據進行使用非線性迴歸分類時，我們可以使用包含很多非線性項的邏輯迴歸函數，來回歸分類。下面是隻有X1, X2兩個特徵的邏輯迴歸函數
2018-12-23 19:03:14
原创 吳恩達機器學習筆記（2）——單變量線性迴歸（Univariate linear regression）
一、模型描述 上一章已經通過賣房價格的模型簡單介紹了什麼是迴歸：我們嘗試將變量映射到某一個連續函數上。 這章我們將這個問題簡單地量化爲單變量線性迴歸模型（Univariate linear regression）來理解它。 PS
2018-12-23 19:03:14
2