原创 Linux Shell腳本與Vim常用操作筆記
本篇筆記記錄最最基本的vim和shell操作。 ShellScript能幹什麼 Shellscript類似與Windows的批處理，可以把很多指令彙總到一起，於是可以很容易地通過一個操作執行多個命令。很輕量，有效率。 在Vim中編
2020-02-21 10:12:46
原创 線性解碼器——解決數據縮放問題
稀疏自編碼器效果不錯，但是有個固有缺陷：必須對輸入數據的範圍縮放到(0,1)。 設想一個圖像如果不經預處理，直接把大於1的值輸入稀疏自編碼器，那麼被sigmoid一下，就成了（0,1）的範圍了，再被sigmoid一下，還是在（0,1）
2020-02-21 10:12:46
原创 Softmax迴歸——識別MINST數據庫
Softmax迴歸就是推廣版本的邏輯迴歸。 只不過邏輯迴歸是個2分類問題，而Softmax是多分類問題，僅此而已。 Softmax迴歸在2分類情況下就蛻化成了邏輯迴歸。 邏輯迴歸的代價函數 考慮到權重衰減，修改一下就是Softmax迴歸
2020-02-21 10:12:46
原创 Python學習筆記（二）——NumPy
Python可以用List當數組用，但是由於List的元素可以是任意對象，因此保存一個List需要保存所有指針和元素。非常消耗內存。 本文學習博客：用Python做科學計算 整理筆記，以待備用。 首先是NumPy函數庫導入 import
2020-02-21 10:12:46
原创 Alex / OverFeat / VGG 中的卷積參數
研究需要，統計了一些經典CNN結構的卷積層參數。 Alexnet Layer Input Kernel Output Stride Pad 1 256 * 3 * 227 * 227 48 * 3 * 11 * 11 256
2018-09-03 23:09:24
3
原创 談談深度學習中的 Batch_Size
談談深度學習中的 Batch_Size Batch_Size（批尺寸）是機器學習中一個重要參數，涉及諸多矛盾，下面逐一展開。 首先，爲什麼需要有 Batch_Size 這個參數？ Batch 的選擇，首先決定的是下降的方向。如果數據集比較
2018-09-03 23:09:21
1
原创 Neural Networks for Machine Learning by Geoffrey Hinton （7）序列建模與RNN
序列建模 用機器學習對序列建模的意義 將輸入序列變化到另一個域上的輸出序列，例如： 將聲壓信號轉化成單詞序列。 若沒有目標序列，可以通過預測輸入序列中的下一段來作爲學習信號。 這種方法介於監督學習與無監督學習之間，它使用了監督學習的
2018-09-03 23:09:19
原创 Theano學習筆記（六）——載入與保存、條件
載入與保存 Python標準的保存類別實體並重新載入它們的途徑是pickle機制。許多Theano對象可以由此被序列化（或者反序列化），然而pickle的侷限性在於，被序列化的類別實例的代碼或者數據並沒有被同時保存。因此重新載入先前版本的
2018-09-03 23:09:19
原创 『RNN 監督序列標註』筆記-第四章 LSTM（Long Short-Term Memory）
『RNN 監督序列標註』筆記-第四章 LSTM（Long Short-Term Memory） 標準 RNN 在實際使用中能夠有效利用的上下文範圍很有限，這是由於經過若干次迭代，隱含層權重值要麼消失要麼爆炸。Long Short-Term
2018-09-03 23:09:18
原创 理解LSTM網絡
理解LSTM網絡 週期神經網絡（Recurrent Neural Networks） 人類並非每一秒都在從頭開始思考問題。當你閱讀這篇文章時，你是基於之前的單詞來理解每個單詞。你並不會把所有內容都拋棄掉，然後從頭開始理解。你的思考具有持久
2018-09-03 23:09:18
原创 『RNN 監督序列標註』筆記-第一/二章 監督序列標註
『RNN 監督序列標註』筆記-第一/二章 監督序列標註 監督序列標註（Supervised Sequence Labeling）與傳統的監督模式分類（supervised pattern classification）的不同之處在與樣本
2018-09-03 23:09:18
原创 Neural Networks for Machine Learning by Geoffrey Hinton （4）
一種可以學習家譜關係的簡單神經網絡 血緣一共有12種關係： son, daughter, nephew, niece, father, mother, uncle, aunt, brother, sister, husband, wif
2018-09-03 23:09:18
原创 在LaTeX中插入visio圖片
在文件選項卡上，單擊選項，然後在導航窗格中，單擊自定義功能區主選項卡的窗格中，單擊以選擇開發人員選項，然後單擊確定。在開發人員選項卡上，單擊顯示 ShapeSheet，然後單擊頁面。在ShapeSheet打印屬性部分中，設置爲0的下列值：
2018-09-03 23:09:18
原创 讓Caffe生成的數據集能在Theano上直接運行（一）——lmdb與protobuf
不論使用何種框架進行CNNs訓練，共有3種數據集： Training Set用於訓練網絡。 Validation Set用於訓練時測試網絡準確率。 Test Set用於測試網絡訓練完成後的最終正確率。 Caffe生成的數據分爲2種格式
2018-09-03 23:09:18
原创 Theano學習筆記（四）——導數
導數使用T.grad計算。 這裏使用pp()打印梯度的符號表達式。 第3行輸出是打印了經過優化器簡化的符號梯度表達式，與第1個輸出相比確實簡單多了。 fill((x** TensorConstant{2}), TensorConstant
2018-09-03 23:09:18