鏈接：https://pan.baidu.com/s/1qd3ocbfnmXdXUx-TjhlM3A 提取碼：93cz
一、超參數調試處理 1、重要程度排序 目前已經講到過的超參數中，重要程度依次是： 最重要： 學習率 α； 其次重要： β：動量衰減參數，常設置爲 0.9； #hidden units：各隱藏層神經元個數； mini-bat
一、數據劃分：訓練 / 驗證 / 測試集 應用深度學習是一個典型的迭代過程。 對於一個需要解決的問題的樣本數據，在建立模型的過程中，數據會被劃分爲以下幾個部分： 訓練集（train set）：用訓練集對算法或模型進行訓練過程；
本次作業目的 構建一個簡單的卷積網絡 下載地址 鏈接：https://pan.baidu.com/s/1h6gy7kDwzUOHDssnEw7lVQ 提取碼：nctg 代碼 原生代碼 import numpy as np impo
一、激活函數的導數 有關每個函數的導數在前面的blo中已經很詳細的寫過了，這個不加贅述。 值得一提的是有關ReLU函數在x=0處沒有導數的問題。由於可以想想的是，我們的訓練集的分散且巨大的，所以我們最終0點的情況非常少，可以忽略不計，因此
一、爲什麼隨機初始化 在之前有關梯度下降法的blo中我們討論了一個係數是如何在一個神經網絡中進行迭代的，而一個迭代過程，不知道知道迭代是如何進行的，還要知道，迭代的初值是什麼，這節課討論的就是這個問題。 那既然初始化是必要的，爲什麼一定要
一、正向傳播 正向傳播是指數據從X傳入到神經網絡，經過各個隱藏層得到最終輸出的過程 在計算一個神經網絡的輸出的時候，如果已知輸入，那麼就是一個標準的正向傳播過程 還是跟直接blog一樣的例子 在這個例子中，我們實際上是在對每一個輸入，以
一、爲什麼能夠向量化 大部分原因和前面blog中描述是一致的，這裏又有了一點心得思考。 如果我們在後面要進行梯度下降法或者別的什麼方法進行迴歸計算或者別的深度學習的時候，我們總是要對整個神經網絡的參數進行調整的，那麼這個調整的過程需要確定
一、激活函數定義 我們在研究一個神經元的時候（這裏指生物學中的神經元），我們知道其有軸突和樹突，可以傳導衝動，同時我們還知道，衝動在傳導的時候有一個閾值，低於某個值的衝動無法被傳導或者傳道的時候減弱了，所以其實神經衝動的傳導是一個非線性的
一、一些有關神經網絡的符號約定 這個在上篇blog中提了一部分，這裏補充剩下的一部分 我們對於加權函數一般記爲z=w^T x+b，而激活函數一般使用a=g(z)表示 對於最終的輸出我們不妨記爲y hat，儘管這個真的沒有什麼特別的意義
一、這節設置的目的 在前面的四節課以及之前學習中，吳恩達已經很詳細講解了向量化及其好處，這節課卻反過來教學生如何進行向量化以及向量化爲什麼是對的，個人認爲這節課的設置是有一些多餘的， 猜測其可能原因是想多舉出一些例子讓學生更好的理解淺層神
一、梯度下降法 有關什麼是梯度下降法，這在之前幾周的學習中我們已經掌握了，這裏簡要分析。 對於一個函數，我們在某一個點的next操作可以認爲是跟這個點的導數有關的，因爲導數會指引我們走向極值。然後我們每次根據這個點的導數向前走一步的過程中
一、爲什麼不能用非線性函數 假如我們的神經網絡的所有激活函數都是線性的函數，我們不妨想這麼一個問題 既然兩個線性的函數是可以複合的，所以一個只由線性函數構成的神經網絡的所有函數能不能複合成一個函數呢？ 顯然是可以的，線性函數直接是可以自
本章節主要講述的是淺層神經網絡。而這一節則是對整個章節的概覽 一、神經元 神經網絡，神經元連接而成的網絡 如圖就是一個神經元，可以看出，有輸出，有輸出，中間經過了一些運算，這將來接下來的blog中進行討論。 這是一個基於losgiti
鏈接：https://pan.baidu.com/s/1ENynOEU33LFsoEln3HeZGw 提取碼：0spc 本次作業是完成 一個“識別貓”的神經網絡網絡搭建。 代碼： import numpy as np impor
