原创 最全的激活函數詳解

博客已遷至知乎，本文鏈接：https://zhuanlan.zhihu.com/p/70821070 前言 這篇文章首先講了神經網絡中爲什麼要引入激活函數，以及一個激活函數應該具有哪些性質。最後詳細地對比了幾種常見的激活函數的優缺

2020-06-03 12:49:07

原创 numpy常見用法總結

前言 NumPy 是一個 Python 包。 它代表 “Numeric Python”。 它是一個由多維數組對象和用於處理數組的例程集合組成的庫，主要用來處理數組和矩陣。NumPy調用了大量的用C語言編寫的算法庫，使得其可以直接操

2020-06-03 12:49:06 1

原创 三種梯度下降算法的比較和幾種優化算法

前言 這篇文章介紹了三種梯度下降方法的原理與優缺點，詳細地講解了Momentum、RMSprop和Adam優化算法，給出了使用建議。 三種梯度下降方法 1.Batch Gradient Descent，全部樣本梯度下降一次，訓練樣本

2019-01-02 23:56:35 35

原创 seq2seq中的attention機制

前言 本文來講一講應用於seq2seq模型的兩種attention機制：Bahdanau Attention和Luong Attention。文中用公式+圖清晰地展示了兩種注意力機制的結構，最後對兩者進行了對比。seq2seq傳送門：

2018-12-24 02:08:16

原创 Git詳解

前言 Git是目前世界上最先進的分佈式版本控制系統。本文從頭詳細地介紹了Git的各種用法。 配置本機用戶和郵箱 λ git config --global user.name 名字 λ git config --global user

2018-12-23 22:56:31

原创 CNN文本分類原理講解與實戰

前言 卷積神經網絡主要用來做圖片分類、目標檢測等圖像相關的任務，這篇文章介紹了它在NLP中的應用：文本分類。本文先介紹了CNN，然後分析了CNN爲什麼能用在NLP中，最後講解了Yoon Kim (2014)提出的CNN文本分類模型，代

2018-12-23 22:56:31 13

原创 最全的數據結構歸納總結

一些概念 數據結構就是研究數據的邏輯結構和物理結構以及它們之間相互關係，並對這種結構定義相應的運算，而且確保經過這些運算後所得到的新結構仍然是原來的結構類型。 1.數據：所有能被輸入到計算機中，且能被計算機處理的符號的集合。是計算

2018-12-18 01:24:08

原创 seq2seq詳解

前言 我們通常使用RNN來對序列到序列問題建模，但是使用RNN建模，輸出序列的長度必須和輸入序列的長度相等。seq2seq框架很好地解決了這個問題。本文介紹了兩種最常見的seq2seq框架。若對RNN不熟悉，請參考我前兩篇文章：RNN

2018-12-17 22:23:25 8

原创 深入理解TensorFlow之基礎概念：數據流圖、張量、操作、會話、優化器

前言 本文梳理了TensorFlow的基本概念：數據流圖、Tensor、Operation、Variable、Placeholder、Session、Optimizer、minimize。並對每個概念進行了詳細的講解和擴展。 閱讀本

2018-12-15 01:14:58 2

原创 LSTM詳解

前言 之前的文章講解了RNN的基本結構和BPTT算法及梯度消失問題，說到了RNN無法解決長期依賴問題，本篇文章要講的LSTM很好地解決了這個問題。本文部分內容翻譯自Understanding LSTM Networks。 文章分爲四個

2018-12-14 22:14:50

原创 pandas常見用法總結

前言 Pandas是一個開放源碼的Python庫，它使用強大的數據結構提供高性能的數據操作和分析工具。這篇文章以實例方式介紹了pandas的常見用法。 導入 # pandas一般會與numpy配合使用 import pandas as

2018-12-13 22:22:56

原创 numpy入門-常見用法總結

前言 NumPy 是一個 Python 包。 它代表 “Numeric Python”。 它是一個由多維數組對象和用於處理數組的例程集合組成的庫，主要用來處理數組和矩陣。NumPy調用了大量的用C語言編寫的算法庫，使得其可以直接操作內

2018-12-12 22:36:50 1

原创 理解BPTT及RNN的梯度消失與梯度爆炸

前言 上篇文章RNN詳解已經介紹了RNN的結構和前向傳播的計算公式，這篇文章講一下RNN的反向傳播算法BPTT，及RNN梯度消失和梯度爆炸的原因。 BPTT RNN的反向傳播，也稱爲基於時間的反向傳播算法BPTT(back prop

2018-12-10 22:31:43

原创 RNN詳解

前言 本文首先介紹了爲什麼使用RNN及其與DNN的區別，然後詳細講解了RNN的結構和它的計算公式。最後簡單介紹了雙向RNN及深層雙向RNN的結構和計算公式。 爲什麼用RNN？ DNN和CNN無法對時間序建模，上一層神經元的輸出只能傳

2018-12-09 22:27:51