原创 入門神經網絡優化算法（五）：一文看懂二階優化算法Natural Gradient Descent（Fisher Information）
歡迎查看我的博客文章合集：我的Blog文章索引：：機器學習方法系列，深度學習方法系列，三十分鐘理解系列等 這個系列會有多篇神經網絡優化方法的複習/學習筆記，主要是一些優化器。目前有計劃的包括： 入門神經網絡優化算法（一）：Gra
2020-03-03 01:20:50
47
原创 今天開始學Convex Optimization：第2章 背景數學知識簡述
文章目錄第2章 背景數學知識簡述2.1 數學分析和微積分基礎函數性質集合SetsNorms線性函數、仿射函數函數的微分（導數）2.2 線性代數基礎Matrix Subspaces正定和半正定矩陣特徵分解奇異值分解Singular
2020-02-23 22:11:55
6
原创 Adobe PDF Reader XI 閃退解決辦法，用了N年的PDF軟件又可以繼續用了！
最近很煩人的一個情況是用了好多年的Adobe Reader一直閃退，打開一分鐘就閃退。我是Windows10系統，都是在360軟甲管家上下載的，然後看了一下評論，發現大家都是這樣。這個PDF閱讀器用了十多年了，用過一些其他的，總是
2020-02-23 22:11:55
9
原创 深度學習/機器學習入門基礎數學知識整理（七）：數學上sup、inf含義，和max、min的區別
文章目錄inf和sup的定義inf和sup的性質、證明sup, inf和max, min的區別參考資料 inf和sup的定義 經常在文獻中看到inf和sup，很多人不知道是什麼意思。其實這兩個概念是來自於“數學分析”中的上確界和下
2020-02-21 08:24:49
239
原创 入門神經網絡優化算法（一）：Gradient Desend，Momentum，Nesterov accelerated gradient
梯度下降 基於梯度的優化算法，Gradient based optimization，也往往被稱爲一階優化算法。所以很容易猜到，還有二階優化算法等的高階優化算法，但是在實際應用中，基於梯度的一階優化算法是目前的絕對主流方法（當前是
2020-02-21 08:24:49
70
原创 今天開始學Convex Optimization：第一章 Introduction，基本概念介紹
文章目錄第一章 Introduction凸優化問題最小二乘問題線性規劃問題一個優化問題例子：最佳燈源問題Chebyshev逼近問題，轉化成線性規劃參考資料 2020年我自己希望多看一些基礎的理論知識，包括優化理論、微分方程等，重點
2020-02-21 08:24:37
3
原创 深度學習/機器學習入門基礎數學知識整理（八）：中心極限定理，一元和多元高斯分佈
文章目錄中心極限定理中心極限定理的簡單應用高斯分佈一元高斯分佈多元高斯分佈多元高斯分佈的的線性變換兩個高斯分佈的KL散度參考資料 中心極限定理 設隨機變量X1，X2，…Xn，獨立同分布，並且具有有限的數學期望和方差：E(Xi)=μ
2020-02-21 08:24:37
原创 Python基礎整理（一）：Python切片操作，Python淺拷貝、深拷貝和賦值的區別，Python排序
文章目錄Python切片操作基本用法根據索引取部分數據多層切片其他對象的切片操作修改單個元素、在某個位置插入元素Python賦值、淺拷貝、深拷貝的區別Python常用內置對象的排序sortsortedheapqcollection
2020-02-21 08:24:37
原创 大餅博士的神經網絡/機器學習算法收錄合集：2020年整理，持續更新ing
文章目錄CoordConv, Uber, 2018 [1] [2]NullHop，稀疏CNN計算加速器， ETH Zurich，2018Learning rate, batchsize and minima [3]An Empir
2020-02-21 08:24:37
4
原创 Python Matplotlib畫圖基礎介紹
文章目錄Matplotlib第一個簡單的圖形座標軸控制，標題打上文字標註，公式一個圖中畫多張子圖大小不一的多張子圖散點圖柱狀圖plt.rcParams參數設置詳細顏色字母對照表參考資料 Matplotlib 是 Python 中最
2020-02-21 08:24:37
原创 Word2vec算法原理（一）：跳字模型（skip-gram） 和連續詞袋模型（CBOW）
word embedding算法中最爲經典的算法就是今天要介紹的word2vec，最早來源於Google的Mikolov的： 1、Distributed Representations of Sentences and Docum
2019-06-10 20:09:00
原创 深度學習方法（十六）：Batch Normalization及其變種——Layer Norm, Group Norm，Weight Norm等
很久沒寫博文了，今天晚上得點空， 抽時間把一塊很基礎的Layer設計——歸一化層寫一下，主要是方便自己日後查閱。寫的可能會有點慢，有空就寫一點。 本文的內容包括： Batch Normalization Layer Normaliz
2019-03-30 10:22:59
原创 深度學習方法（十五）：知識蒸餾（Distilling the Knowledge in a Neural Network），在線蒸餾
Distilling the Knowledge in a Neural Network 這篇介紹一下Hinton大神在15年做的一個黑科技技術，Hinton在一些報告中稱之爲Dark Knowledge，技術上一般叫做知識蒸餾（Kn
2018-10-20 09:41:17
原创 深度學習方法（十）：卷積神經網絡結構變化——Maxout Networks，Network In Network，Global Average Pooling
歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。 技術交流QQ羣：433250724，歡迎對算法、技術感興趣的同學加入。 最近接下來幾篇博文會回到神經網絡結構的討論上來，前面我在“深度學
2018-09-12 07:48:43
9
原创 深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等
前面大概有2年時間，利用業餘時間斷斷續續寫了一個機器學習方法系列，和深度學習方法系列，還有一個三十分鐘理解系列（一些趣味知識）；新的一年開始了，今年給自己定的學習目標——以補齊基礎理論爲重點，研究一些基礎課題；同時逐步繼續寫上述三個系列的
2018-09-04 23:18:40
8