原创 深度模型之激活函數以及Initializer
文章目錄1.爲什麼要激活函數2.常見激活函數2.1.sigmoid激活函數2.2.tanh激活函數2.3.Relu激活函數2.4.PRelu2.4.1.RRelu2.4.2.Leaky ReLU2.5.elu激活函數2.6.Gel
2020-06-13 10:20:22
原创 paper:Attention Is All You Need（模型篇）
文章目錄1.爲什麼是attention2.分層詳解Transformer3.向量詳解Transformer3.1.輸入向量3.2.self attention3.3.Multi-Head Attention3.4.position
2020-06-13 10:20:22
原创 machine comprehension using match-lstm and answer pointer
又是一篇之前讀的paper，最近把之前讀的paper整理整理… 文章目錄前言1.模型概述2.LSTM preprocessing Layer3.match-LSTM4.Answer Pointer Layer4.1.Seque
2020-06-13 10:20:22
原创 Envy（最大值前後綴 +雙指針 + 二分）
Envy 時間限制: 1 Sec 內存限制: 128 MB 提交: 312 解決: 63 [提交][狀態][討論版] 題目描述 今年的 ACM 比賽推出了一個賽後的娛樂活動，所有參賽選手排成一排玩擊鼓傳花，關於擊鼓傳花的玩法是這樣
2020-06-13 10:20:12
原创 NLP之句子相似度之入門篇
文章目錄1.基於統計的方法1.1.編輯距離計算1.2.傑卡德係數計算1.3.TF 計算1.4.TFIDF 計算1.5.BM252.基於深度學習的方法2.1.Word2Vec 計算6.參考文獻 如下在師兄的博文基礎上修改：靜覓 »
2020-06-13 10:20:11
10
原创 c++ tensorflow調用與BERT實戰
先貼幾個站點，有時間再歸納一下，關於bert的實戰，後面也會整理出來 reference 使用C++調用TensorFlow模型簡單說明 C++運行TensorFlow模型 tensorflow/tensorflow
2020-04-15 03:02:52
13
原创 docker常用集錦
文章目錄1.關於docker2.常用命令2.1.docker安裝2.1.1.成功驗證2.1.2.啓動2.2. image鏡像2.2.1.將 image 文件從倉庫抓取到本地2.2.2.鏡像查看&刪除2.3.docker容器2.3.
2020-02-20 13:11:10
原创 pycharm 基礎配置
pycharm是一個相當不錯的IDE，但是每次安裝新環境之後就比較難受，各種設置需要重新查一遍，這裏就不定時整理一點相關設置，也是根據自己的需求整理的，以免下次浪費時間，將持續更新… 文章目錄1.import 紅線錯誤2.設置字體
2019-05-11 13:18:39
原创 capsules系列Investigating Capsule Networks with Dynamic Routing for Text Classification
文章目錄1.背景介紹2.模型特色3.模型結構4.小結參考 1.背景介紹 早期對文本建模的成果，已經在文本分類方面取得了一些成功，使用簡單的詞袋子分類器（Joachims，1998；McCallum等，1998），意味着理解獨立單詞或N
2019-04-09 10:28:54
原创 優化器算法optimizer
文章目錄1.相關背景1.1.指數加權移動平均(Exponential Weighted Moving Average)1.1.1.演化與概述1.1.2.公式理解1.1.3.EMA 偏差修正1.1.4.EMA 在 Momentum 優化
2019-03-28 10:49:40
原创 r-net:machine reading comprehension with self-matching networks
我覺得這篇文章的文筆真的有點不敢恭維，首先向量矩陣的維度不說清楚還能腦補，但是這邊前後不同層之間用一樣的變量名是什麼意思啊(這麼說出來會不會被MSRA鄙視，以後的簡歷都過不了了，ORZ)，本文中儘量避免這種情況。嗯嗯，文章還是不錯的
2019-03-01 13:41:31
3
原创 capsule系列之Dynamic Routing Between Capsules
文章目錄1.背景2.什麼是capsule3.capsule原理和結構3.1.capsule結構3.2.Dynamic Routing 算法3.3.小部件3.3.1.爲耦合係數（coupling coefficients）3.3.1.b
2019-02-28 03:13:46
4
原创 QANet: Combining Local Convolution With Global Self-Attention For Reading Comprehension
文章目錄1.概述2.模型結構2.1.Input embedding layer2.2 Embedding Encoder Layer2.3.Context-Query Attention Layer2.4.Model Encoder
2019-02-26 15:18:09
10
原创 paper:Hierarchical Attention Networks for Document Classification
又是一篇很久之前用到的模型，今天回來整理，發現分類的模型都好簡單啊，然後看到模型基於GRU，總覺得有點不想看，因爲帶時間序列的訓練起來太慢了，最進沒怎麼關注分類的新模型，不過我覺得CNN和transformer結構(self att
2019-02-24 15:33:14
1
原创 Bi-Direction attention flow for machine reading(原理篇)
文章目錄1.Attention Summary2.Model Architecture2.1.Input embedding layer2.2.Embedding encoder layer2.3.Context-query atte
2019-02-22 04:42:55
6