原创 圖解Transformer
前言 Attention這種機制最開始應用於機器翻譯的任務中，並且取得了巨大的成就，因而在最近的深度學習模型中受到了大量的關注。在在這個基礎上，我們提出一種完全基於Attention機制來加速深度學習訓練過程的算法模型-Tra
2018-12-13 00:57:06
12
原创 圖解BERT，ELMo以及如何將其應用於遷移學習
原文鏈接：The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) 作者：Jay Alammar BERT論文地址：BERT: Pre-training
2018-12-06 13:19:33
22
原创 非計算機專業本科畢業如何迅速成長爲一名算法工程師
首先先offer鎮樓 我想介紹一下我的學習經歷，希望對一些還處於迷茫時期的人，提供一些幫助。我不否認我現在還處於算法很初級入門的階段，但是總算憑藉自己的努力以本科生的學歷從遙遙算法求職部隊中殺出了一條路。 １７年的時候，到了
2018-11-28 13:25:39
原创 關於自然語言處理（NLP）的個人學習資料
個人研究的各種亂七八糟無聊資料~： 深入看過的論文： 鏈接：https://pan.baidu.com/s/19mlS8eSY8vbzr96FPYfOvw 提取碼：vy3o 期待深入看的論文 鏈接：https://pan.baidu.
2018-11-28 13:25:38
原创 基於深度self-attention的字符集語言模型（transformer）論文筆記
論文題目：Character-Level Language Modeling with Deeper Self-Attention 論文地址：https://arxiv.org/abs/1808.04444v1 摘要 LSTM
2018-11-26 10:00:12
10
原创 什麼是文本的詞嵌入？
前言 詞嵌入是單詞的一種數值化表示方式，一般情況下會將一個單詞映射到一個高維的向量中（詞向量）來代表這個單詞。例如我們將： ‘機器學習’表示爲 [1,2,3] ‘深度學習‘表示爲[2,3,3] ‘英雄聯盟‘表示
2018-11-22 09:35:47
2
原创 基於Attention的機器翻譯模型，論文筆記
論文題目：Neural Machine Translation by Jointly Learning to Align and Translate 論文地址：http://pdfs.semanticscholar.org/071b/16
2018-11-20 10:27:21
原创 【Language model】使用RNN LSTM訓練語言模型 寫出45°角仰望星空的文章
開篇 這篇文章主要是實戰內容，不涉及一些原理介紹，原理介紹爲大家提供一些比較好的鏈接： 1. Understanding LSTM Networks : RNN與LSTM最爲著名的文章，貼圖和內容都恰到好處，爲研究人員提供很好的參考價
2018-11-20 10:27:21
1
原创 TensorFLow的GPU實現與CUDA，cuDNN的關係
TensorFLow的GPU 只採用CPU在大規模數據集中訓練卷積神經網絡的速度很慢，因此可以結合圖處理單元（Graphic Processing Unit，GPU）進行加速。GPU具有單指令多數據流結構，非常適合用一個程序處理各種大規模
2018-11-04 10:56:07
原创 Python編程實現對2個字符串最長的公共子串的多種求解方式，性能測試及優化
解法1-暴力求解法： def LongestCommonSubstring(FirstString,SecondString): ''' 求最長子串解法1： 以字符串1的每個漢字作爲起始位置 去字符串2中
2018-10-27 10:29:47
原创 以解數學題的方式來理解word2vec
1 one-word context 假設： 詞彙表裏面有3個單詞 ‘今天’，‘天氣’，‘不錯’； 即V=3 隱藏層具有2個節點；即N=2 目的是當輸入一個單詞，我們來預測其下一個單詞？ 則在input layer由one-hot
2018-10-20 10:07:40
原创 TextRank關鍵詞提取算法原理，公式推導，源碼分析
1.前言 在介紹TextRank前，我想先給大家介紹下PageRank，實質上個人認爲可以把TextRank當做PageRank2.0。 谷歌的兩位創始人的佩奇和布林，借鑑了學術界評判學術論文重要性的通用方法，“那就是看論
2018-09-30 09:49:24
19
原创 支持向量機(SVM)的算法原理，公式推導，python編程實現
1.前言 如圖，對於一個給定的數據集，通過直線A或直線B（多維座標系中爲平面A或平面B）可以較好的將紅點與藍點分類。那麼線A與線B那個更優呢？ 在SVM算法中，我們認爲線A是優於線B的。因爲
2018-09-26 09:45:10
22
原创 神經網絡的原理，算法推導，python編程實現
1.前言 如圖是一個神經網絡的簡化結構，隱藏層每一個節點都是一個神經元，比如下圖的a1,a2,a3。機器學習中的神經網絡是模擬生物神經網絡結構，每個神經元與其他神經元相連，當神經元的電位超過了一個‘閾值’，那麼它就會被激活，即‘興奮’
2018-09-18 09:26:20