原创 #Python# 如何在Windows系統cmd窗口清屏

第一種方法,在命令行窗口輸入: import os i=os.system("cls") 第二種方法,在命令行窗口輸入: import subprocess i=subprocess.call("cls", shell=True)

原创 2 強化學習——Multi-armed Bandits

The most important feature distinguishing reinforcement learning from other types of learning is that it uses training

原创 深度學習入門筆記 Day8/15 誤差反向傳播法(二)

一、如何實現加法層和乘法層 用代碼實現昨天的蘋果、橘子問題。 這裏的layer應該理解爲節點,MulLayer是乘法節點的實現,AddLayer是加法節點的實現。  對於每個節點聲明一個類變量 mul_apple_layer = Mul

原创 2.1 A k-armed Bandit Problem

考慮如下問題:有k個不同的選擇(或者說動作)擺在你的面前,你需要不斷重複地選擇其中一個,每次你選擇其中一個之後,會根據你選擇的動作給你一個數值獎勵,這個數值獎勵符合正態分佈。你的目標是在經過一定的次數後,比如1000次後,獲得的期望獎勵之

原创 深度學習入門筆記 Day6/15 神經網絡(四)

一、什麼是數值微分 數值微分就是用求導數近似值的方法。 取  或其他較小的數,則函數在x點處的導數等於: 用python等計算機語言實現時,要注意, 並不是越小越好,因爲計算機的存儲空間有限,32位單精度浮點數可表達的數字範圍在-3.4

原创 Powell算法總結

這是一種最優化算法,可以用於求解多元方程式的解。 1. 預備知識 對於任意一個n維非線性函數,若其至少二階連續可微,則可將其在某一點  處,進行泰勒展開,保留其二階項,寫成: 略去二次以上高階項,並將其寫成如下形式: 若取,則上式變爲

原创 TensorFlow入門(一)

1、爲什麼要用TensorFlow? TensorFlow的作用是讓你從諸如“如何讀入一堆圖片”“如何處理圖像的灰度值”“如何歸一化向量”這樣的細節問題中解脫出來,讓你不用擔心自己的模型中有各種各樣的bug;因此,你可以更關注於建立一個優

原创 深度學習入門筆記 Day9/15 與學習相關的技巧(一)

一、爲什麼SGD不夠完美 1. 在輸入參數的係數相差較爲巨大的時候,比如: 的時候,由於參數  變化對於y的影響比參數  變化要小得多,那麼在更新參數的時候,對於x1的更新就很不明顯,雖然上式的最小值明顯在 處,但是如果選擇初始值 可能最

原创 深度學習入門筆記 Day7/15 誤差反向傳播(一)

辛苦碼了好多字,都不見了,破網速。。。不幹了,撂挑子了。。。 一、什麼是計算圖? 將計算過程用圖形表示出來。   二、什麼是反向傳播的鏈式法則? 複合函數求導可以層層求導。   三、如何實現乘法和加法的反向傳播?  

原创 深度學習入門筆記 Day10/15 與學習相關的技巧(二)

一、如何使用Weight Decay權值衰減或者Dropout技術緩解過擬合? 過擬合現象是指在訓練集中表現優秀,但是在其他未知的數據集上表現很差的現象。 由於很多過擬合原本就是因爲權重參數取值過大才發生的。Weight Decay權值衰

原创 深度學習入門筆記 Day2/15 感知機

一、感知機是什麼? 感知機是一種算法,把多個輸入信號按一定的邏輯關係進行輸出(一個輸出),單層感知機公式如下: 通過調整權重和閾值,可以用來實現各種邏輯電路。 二、如何用單層感知機實現各種邏輯電路? 比如或門:設置權重和閾值 w1=0.

原创 深度學習入門筆記 Day3/15 神經網絡(一)

一、什麼是神經網絡,它和多層感知機的區別是什麼? 神經網絡和多層感知機的結構是類似的,區別有兩點: 1. 多層感知機的偏置b在神經網絡結構裏變成了一個常數輸入1的權重。 2. 感知機的激活函數是階躍函數(在0處不連續),神經網絡則使用的是

原创 深度學習入門筆記 Day4/15 神經網絡(二)

一、如何使用Numpy數組實現一個權重既定的三層神經網絡的前向傳播? import numpy as np def identity_function(x): return x def init_network():

原创 深度學習入門筆記 Day1/15

  第一章 Python入門 Day1/15 1.2 Python的安裝 另外安裝了一個Python的IDE:pyCharm 經常使用的兩個外部庫:     a. Numpy:用於數值運算 import numpy as np(可以改

原创 深度學習入門筆記 Day5/15 神經網絡(三)

一、可否從數據中自動學習神經網絡的權重參數? 當然可以,不然學深度學習幹啥!神經網絡的特徵就是可以從數據中學習。所謂“從數據中學習”,是指可以由數據自動決定權重參數的值。 深度學習、機器學習的區別:深度學習的優勢在於不需要人爲挑選特徵值。