原创 算法與數據結構系列
本篇是算法與數據結構系列的目錄： 1.排序算法總結 2.紅黑樹 3.在線生成紅黑樹 作者：yiyele 轉載請保留原文地址：http://write.blog.csdn.net/mdeditor#!postId=7431744
2018-08-21 22:31:51
原创 設計模式系列
設計模式系統總結： 1.設計模式-創建型軟件設計模式(一) 2.設計模式-創建型軟件設計模式(二) 3.設計模式-創建型軟件設計模式(三) 4.設計模式-結構型軟件設計模式(一) 5.設計模式-結構型軟件設計模式(二) 6.設
2018-08-21 22:31:51
原创 C++系列總結
本篇blog是關於所有Ｃ＋＋文章的所有鏈接總結： １.從C++類創建後，自動創建的函數有哪些開始談起 ２.this指針介紹 3.C++模板詳解 4.C++關鍵字總結 5. C++內存處理 6. 內存映射文件
2018-08-21 22:31:51
原创 關於機器學習-深度學習的總結
最近在知乎上看到了一個機器學習的相關學習流程，覺得很有道理，所以，後面的blog我將開始具體的分享一些機器學習的學習筆記。目前已經更新的blog有：基礎總結篇：1.機器學習中的相似性度量2.機器學習中的損失函數總結3.pearson相關係
2018-08-21 22:31:51
原创 RNN-Encoder Decoder架構中引入的注意力機制
一.簡介 注意力機制是在Encoder與Deconder架構中針對輸出不同的序列（分詞）在輸入序列中所佔權重一樣，或者使用同一個C向量的不足中，引入了能夠學習針對不同輸出序列在不同輸入序列所佔的比重不同的一個機制，例如，“我喜歡足
2018-08-21 22:31:50
原创 LSTM模型的兩種分解技巧
介紹 LSTM模型在語言模型，機器翻譯等領域取得了非凡的成就，然後LSTM網絡有幾百萬的參數以及需要數週在多GPU系統中進行訓練。因此，一下介紹兩種方法來縮減網絡參數以及訓練時間。兩種方法分別爲factorized LSTM（FLSTM）
2018-08-21 22:31:50
4
原创 tensorflow中關於BahdanauAttention以及LuongAttention實現細節
背景介紹 在 TensorFlow 中，Attention 的相關實現代碼是在 tensorflow/contrib/seq2seq/python/ops/attention_wrapper.py 文件中，這裏面實現了兩種 Attenti
2018-08-21 22:31:50
3
原创 語言模型簡介
1.語言模型簡介： 統計語言模型是指單詞序列的概率分佈，假設有一個句子，長度爲m，那麼整個句子的概率爲 p(w1,...,wn)p(w1,...,wn) ，利用語言模型，可以確定哪個詞序列的可能性更大，或者給定若干個詞，可以預測下一個最可
2018-08-21 22:31:50
2
原创 基於LSTM的seq2seq模型介紹以及相應的改進
簡介 DNN模型在語言識別等任務上具有強大的能力，主要是因爲DNN可以在適當步驟中進行並行計算，儘管DNN很靈活並很有用，但是DNN只能用於固定維度的輸入以及輸出的任務中，並且輸入以及輸出已知。因此，Ilya sutskever .et提
2018-08-21 22:31:50
3
原创 Encoder-Decoder 預訓練
Encoder-Decoder模型預訓練 通過對Encoder-Decoder模型進行預訓練能夠有效的提高模型的訓練效果。 seq2seq模型在數據集比較小的情況下，容易過擬合，在《Unsupervised Pretraining fo
2018-08-21 22:31:48
55
原创 高效的文本分類
相關介紹 文本分類任務是自然語言處理中重要的任務之一，近來，神經網絡的使用變得更爲普遍，神經網絡在文本分類任務中表現更好，但是在訓練和測試時間比較慢，限制了在大型語料庫中的使用。 與此同時，線性分類器在文本分類器中被認爲是一種很好的ba
2018-08-21 22:31:48
原创 RNN與LSTM網絡簡述
**最近看到一個blog，對LSTM模型介紹的很全面，所以我在這裏記錄一下。後續會逐漸補充公式推導的部分。 **RNN關鍵點之一是連接先前的信息到當前的任務中，而LSTM模型是一種特別的RNN。不幸的是RNN對長期依賴信息的學習能力不足
2018-08-21 22:31:48
原创 LSTM變種-GRU網絡結構
簡介 GRU是LSTM的一種變體，其將忘記門和輸入門合成了一個單一的更新門。同樣還混合了細胞狀態和隱藏狀態，加諸其他一些改動。最終的模型比標準的 LSTM 模型要簡單，是非常流行的變體。 使用LSTM的原因之一是解決RNN Deep N
2018-08-21 22:31:48
原创 怎樣生成一個好的詞向量
一.簡介 本文主要是在我讀過論文《How to Generate a Good Word Embedding?》後進行的總結，一下就是我總結的內容。 二.綜述 文中指出幾乎所有的詞向量訓練方法都基於分佈式假說：在近似文本中出現的詞語傾向於
2018-08-21 22:31:46
3
原创 pandas用法總結
一、生成數據表 1、首先導入pandas庫，一般都會用到numpy庫，所以我們先導入備用： import numpy as np import pandas as pd 2、導入CSV或者xlsx文件： df = pd.DataFram
2018-08-21 22:31:46