原创 深度學習中的Momentum算法原理
一、介紹 在深度學習中，Momentum（動量）算法是對梯度下降法的一種優化， 它將物理學中物體的運動理論和梯度下降相結合，其特點是直觀易懂，已成爲目前非常流行的深度學習優化算法之一。 在介紹動量優化算法前，需要對 指數加
2020-07-08 06:58:33
19
原创 牛頓法的收斂速度爲何比梯度下降法快？
原文鏈接： 牛頓法 從本質上去看，牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到一個盆地的最底部，梯度下降法每次只從你當前所處位置選一個坡度最大的方向走一步，牛頓法在選
2020-07-08 06:58:33
16
原创 棧的應用：中綴表達式和後綴表達式互轉
一、概要 中綴表達式是我們經常接觸的算術表達式，如（a+b）* c，a * （c - d）等，優點是便於記憶，缺點是對運算順序有嚴格的要求。後綴表達式又稱逆波蘭式，如abc*+d e *f+g*+，雖然不便記憶，但是它不像中
2020-07-08 06:58:23
2
原创 Redis精彩文章收錄
Redis的hmget操作複雜度問題。https://neway6655.github.io/redis/2016/10/10/redis-hmget-deep-study.html Redis內存優化實踐。https://neway
2020-07-08 06:58:23
1
原创 Python實現兩個有序集合的交集和並集
本文通過python實現簡易的集合交併算法，輸入是兩個以遞增順序排序的集合，輸出它們的有序交集和有序並集。 1、Union算法 def union(s1, s2): o = [] i = j = 0 s1
2020-07-08 06:58:23
4
原创 RabbitMQ中的不同exchange類型及其使用場景
在RabbitMQ中，主要存在三種類型的exchange，本文將對這三種類型的exchange的定義及其使用場景進行說明。 一、Fanout類型 如果把exchange比作門衛，那麼這種exchange類型可
2020-06-11 16:07:00
原创 Python修飾器簡介
原文來自簡書，地址：https://www.jianshu.com/p/ab702e4d4ba7 前言 對python的修飾器的理解一直停留在"使用修飾器把函數註冊爲事件的處理程序"的層次，也是一知半解；這樣拖着不是辦法，索性今天好好
2020-06-11 16:07:00
原创 基於深度學習的Hub頁識別
一、引言 在web爬取領域，hub自動識別是一個比較重要的研究內容，通過自動識別的hub，可以增加爬蟲的種子源列表，進而提高數據的抓取量和覆蓋度。業界已有一些基於傳統機器學習方法的hub識別算法，但傳統識別算法需要有豐富的特徵工程
2020-06-11 16:06:59
1
原创 關於希爾排序的一些思考
一、基本思想 希爾排序是衝破2次時間界的算法之一，它通過比較相距一定間隔的元素來工作，各趟比較所用的距離隨着算法的進行而減小，直到僅比較相鄰元素的最後一趟爲止，鑑於此，希爾排序也叫做 縮小增量排序。 二、希爾排序流程圖
2020-06-11 16:06:59
原创 java中共享內存的實現
JDK1.4裏面的MappedByteBuffer爲開發人員在java中實現共享內存提供了良好的方法，該 緩衝區實際上是一個磁盤文件的內存映像，二者的變化會保持同步，即內存數據發生變化過後會立即反 應到磁盤文件中，這樣會有效的保證共享內存
2020-05-14 19:56:15
原创 離線計算、批量計算、實時計算和流式計算之間的區別
分佈式計算技術中，我們經常會聽到離線計算、批量計算、實時計算和流式計算這四個概念，也常常會弄混。那麼，離線計算和批量計算，實時計算和流式計算到底是什麼呢？離線計算和批量計算、實時計算和流式計算分別是等價的嗎？ 通過下表，對其中的一
2020-04-24 02:23:44
原创 深度學習中的RMSprop算法原理
在 https://blog.csdn.net/gaoxueyi551/article/details/105238182 一文中，說明了基於Momentum的算法，本文介紹的RMSprop算法的引入背景和Momentum算法相同
2020-04-15 17:44:22
5
原创 一種有效的神經網絡權重初始化方法
本文介紹一種權重初始化方法，它可以很大程度上避免神經元過早飽和而導致的學習率下降問題。 一、問題引出 一種簡單而有效的方法是將每個權重看作一個服從均值爲0且方差爲1的高斯分佈，然後獨立的對每個權重從分佈中採樣進行初始化。如
2020-03-12 08:32:14
原创 矩陣乘法的優化
本文轉載在矩陣乘法的優化，其文概要思想便是利用緩存命中率和程序的局部性原理來優化兩個矩陣之間的乘法。原文內容如下。代碼部分的正確性沒有親自驗證。 矩陣乘法的定義是十分簡單的，如果按照數學上的定義，可以寫出下面的程序：
2020-03-02 03:39:19
原创 激活函數與損失函數的配對問題
輸出層的激活函數應該選擇何種損失函數做搭配影響着神經網絡的訓練速度，並間接影響在測試數據上的分類準確性。本文拋磚引玉，整理並分析幾種組合情況。 一、Sigmod與均方損失 這是一個糟糕的搭配。爲什麼那？ 因爲一個小小的符號
2020-02-24 16:04:37