原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第八節 激活函數的導數

一、激活函數的導數 有關每個函數的導數在前面的blo中已經很詳細的寫過了,這個不加贅述。 值得一提的是有關ReLU函數在x=0處沒有導數的問題。由於可以想想的是,我們的訓練集的分散且巨大的,所以我們最終0點的情況非常少,可以忽略不計,因此

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第十一節 隨機初始化

一、爲什麼隨機初始化 在之前有關梯度下降法的blo中我們討論了一個係數是如何在一個神經網絡中進行迭代的,而一個迭代過程,不知道知道迭代是如何進行的,還要知道,迭代的初值是什麼,這節課討論的就是這個問題。 那既然初始化是必要的,爲什麼一定要

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第三節 計算神經網絡的輸出

一、正向傳播 正向傳播是指數據從X傳入到神經網絡,經過各個隱藏層得到最終輸出的過程 在計算一個神經網絡的輸出的時候,如果已知輸入,那麼就是一個標準的正向傳播過程 還是跟直接blog一樣的例子 在這個例子中,我們實際上是在對每一個輸入,以

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第四節 多個例子中的向量化

一、爲什麼能夠向量化 大部分原因和前面blog中描述是一致的,這裏又有了一點心得思考。 如果我們在後面要進行梯度下降法或者別的什麼方法進行迴歸計算或者別的深度學習的時候,我們總是要對整個神經網絡的參數進行調整的,那麼這個調整的過程需要確定

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第六節 激活函數

一、激活函數定義 我們在研究一個神經元的時候(這裏指生物學中的神經元),我們知道其有軸突和樹突,可以傳導衝動,同時我們還知道,衝動在傳導的時候有一個閾值,低於某個值的衝動無法被傳導或者傳道的時候減弱了,所以其實神經衝動的傳導是一個非線性的

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第二節 神經網絡表示

一、一些有關神經網絡的符號約定 這個在上篇blog中提了一部分,這裏補充剩下的一部分 我們對於加權函數一般記爲z=w^T x+b,而激活函數一般使用a=g(z)表示 對於最終的輸出我們不妨記爲y hat,儘管這個真的沒有什麼特別的意義  

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第五節 向量化實現的解釋

一、這節設置的目的 在前面的四節課以及之前學習中,吳恩達已經很詳細講解了向量化及其好處,這節課卻反過來教學生如何進行向量化以及向量化爲什麼是對的,個人認爲這節課的設置是有一些多餘的, 猜測其可能原因是想多舉出一些例子讓學生更好的理解淺層神

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第九節 神經網絡的梯度下降法

一、梯度下降法 有關什麼是梯度下降法,這在之前幾周的學習中我們已經掌握了,這裏簡要分析。 對於一個函數,我們在某一個點的next操作可以認爲是跟這個點的導數有關的,因爲導數會指引我們走向極值。然後我們每次根據這個點的導數向前走一步的過程中

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第七節 我們爲什麼需要非線性激活函數?

一、爲什麼不能用非線性函數 假如我們的神經網絡的所有激活函數都是線性的函數,我們不妨想這麼一個問題 既然兩個線性的函數是可以複合的,所以一個只由線性函數構成的神經網絡的所有函數能不能複合成一個函數呢? 顯然是可以的,線性函數直接是可以自

原创 【吳恩達深度學習】【神經網絡和深度學習】 第三章 第一節 神經網絡概覽

本章節主要講述的是淺層神經網絡。而這一節則是對整個章節的概覽 一、神經元 神經網絡,神經元連接而成的網絡 如圖就是一個神經元,可以看出,有輸出,有輸出,中間經過了一些運算,這將來接下來的blog中進行討論。 這是一個基於losgiti

原创 12.7 bzoj 1207[HNOI2004]打鼴鼠

題目描述 鼴鼠是一種很喜歡挖洞的動物,但每過一定的時間,它還是喜歡把頭探出到地面上來透透氣的。根據這個特點阿Q編寫了一個打鼴鼠的遊戲:在一個n*n的網格中,在某些時刻鼴鼠會在某一個網格探出頭來透透氣。你可以控制一個機器人來打鼴鼠,如果

原创 計算機系統大作業 hello的一生

csdn上傳不了附件,直接附上網盤地址 鏈接: https://pan.baidu.com/s/16c6SYnGitJa-eCA2FogWeA 提取碼: w5k3 點贊 收藏 分享 文章舉報

原创 8.19 bzoj1968[Ahoi2005]COMMON 約數研究

題目描述 輸入 只有一行一個整數 N(0 < N < 1000000)。 輸出 只有一行輸出,爲整數M,即f(1)到f(N)的累加和。 樣例輸入 3 樣例輸出 5 題解:我們考慮對於每一個i(i<n),它作爲因子出現的次數都

原创 8.19 bzoj1001[BeiJing2006]狼抓兔子

題目描述 現在小朋友們最喜歡的”喜羊羊與灰太狼”,話說灰太狼抓羊不到,但抓兔子還是比較在行的, 而且現在的兔子還比較笨,它們只有兩個窩,現在你做爲狼王,面對下面這樣一個網格的地形: 左上角點爲(1,1),右下角點爲(N,M)(上

原创 11.30 bzoj1787 [Ahoi2008]Meet 緊急集合

Description Input Output Sample Input 6 4 1 2 2 3 2 4 4 5 5 6 4 5 6 6 3 1 2 4 4 6 6 6 Sample Output