前言
因爲近期學習的需要，需要學習一下theano的使用，在網上發現了莫煩python的視頻，感覺還可以，以此做一個學習筆記，分享及便於日後查詢。該筆記我會盡量以簡潔易懂的方式進行記錄，同時也會加入自己的一些想法和看法（一般會標紅或者加粗等標記一下）。
1.1 科普：人工神經網絡 VS 生物神經網絡
生物神經網絡
- 900億個神經細胞構成
- 嬰兒期的神經元還並沒有形成系統和網絡，只是一些分散的細胞而已。通過生活中一些有意義的事情的激勵，神經元之間產生了聯結，從而產生了記憶。
人工神經網絡
- 一般在講人工神經網絡的時候，都指的是已經形成體系的人工神經網絡（所有的神經元之間的連接都是固定不可更換的，這就是說，在人工神經網絡裏，沒有憑空產生聯結這一回事。這也是人工神經網絡並沒不會替代生物神經網絡的原因之一）
- 通過上一條可以看出，人工神經網絡只是模仿了生物神經網絡的一個學習過程（類似與一種優化過程），人工神經網絡不會產生新的聯結。
生物神經網絡和人工神經網絡的本質區別
人工神經網絡靠的是正向和反向傳播來更新神經元，從而形成一個好的神經系統，本質上，這是一個能讓計算機處理和優化的數學模型。
而生物神經網絡是通過刺激，產生新的聯結，讓信號能夠通過新的聯結傳遞而形成反饋。
我的理解，人工神經網絡只是對生物神經網絡從結構上和從學習過程上的一種模仿。兩種網絡的學習過程非常類似，都是通過經驗數據不斷的反饋而習得。只不過，人工神經網絡是不能產生新的聯結的，只能優化更新已經存在的神經元，而生物神經網絡是產生新的聯結。也就是說，人工神經網絡中“更新神經元”的操作，對應着生物神經網絡中“產生新聯結”的過程
1.2 什麼是神經網絡（Neural Network）
- 是一種計算模型、數學模型
- 神經元可以被訓練和強化
- 由多層神經元構成，每一層擁有不同的名稱，比如，輸入層，隱藏層（可以有多層）、輸出層。
- 每一個神經元都有一個刺激它的激勵函數，通過誤差的反向傳播，來調整神經元的敏感性。
1.3 神經網絡 梯度下降
- 神經網絡實際上是術語“optimization”這個家族中的一員，它術語梯度下降法這個分支中的一個。
科普：神經網絡的黑盒不黑
- 與其說黑盒是在加工處理，還不如說在講一種代表特徵轉換成另一種代表特徵，一次次特徵之間的轉換，也就是一次次的更有深度的理解。
- 只是因爲有時候代表特徵太多了，我們人類沒有辦法看懂他們代表的是什麼，然而計算機卻能看清楚它所學到的規律，所以我們才覺得神經網絡就是個黑盒。
遷移學習
對於一個有分類能力的神經網絡，有時候我們只需要這套神經網絡的理解能力，並拿出這種能力去處理其他問題，所以我們保留它的代表特徵轉換能力。
Why theano
theano相對於tensorflow來說，更加學術化，如果是使用機器學習進行學術性研究，網上已經有很多使用theano的學術性資料，所以theano在這種情況下是值得推薦的，
神經網絡在做什麼
擬合數據