原创 GPU相關
Tensorflow如何配置和使用GPU tf.GPUOptions() gpu_options = tf.GPUOptions(allow_growth=True) gpu_options =tf.GPUOptions(per_proc
2020-07-07 06:39:05
2
原创 PyTorch實現一個簡單的二分類網絡模型
import torch from torch.autograd import Variable import torch.nn.functional as F import matplotlib.pyplot as plt
2020-07-07 06:39:05
原创 PyTorch簡單入門實戰--一個簡單的迴歸模型
一、用PyTorch做一個簡單的神經網絡迴歸模型 import torch from torch.autograd import Variable import torch.nn.functional as F import ma
2020-07-07 06:39:05
原创 KERAS和tensroflow實現Attention機制
一、Keras實現Attention from keras import backend as K from keras.engine.topology import Layer class Position_Embedding_Atte
2020-06-20 20:36:48
1
原创 有監督的關係抽取任務之PCNN
有監督的關係抽取任務: PCNN的實現過程： 1）數據預處理：首先對數據進行位置編碼，按句子中各個詞離entity的距離進行編碼。 例如：“As we known，Steve Jobs was the co-founder of Ap
2020-06-20 20:36:48
原创 python快排算法原理與實踐
一、快排算法原理 快排算法採用了分而治之的策略。它的基本思想是：通過一趟排序將要排序的數據分割成獨立的兩部分，其中一部分的所有數據都比另外一部分所有數據都要小，然後再按照此方法對這兩部分數據分別進行快速排序，整個排序過程可以遞歸進行，以此
2020-06-20 20:36:48
原创 注意力Attention機制
一、注意力機制的提出背景和思想，解決哪方面的問題 attention機制：一種能讓模型對重要信息重點關注，並充分學習吸收的技術，它不是一個完整的模型，是一種機制，能夠作用於任何序列模型中。 計算相似度(score) 二、有哪幾種注意力機制
2020-06-20 20:36:48
原创 charCNN、textCNN、BI-lstm、textRNN
一、charCNN 1. 要解決什麼問題 2.模型結構與設計思想（爲什麼這樣設計） 二、textCNN 1. 要解決什麼問題 輸入一個[sequence, embedding_size]句子，對其進行分類； 2.模型結構與設計思想（爲什
2020-06-20 18:41:08
1
原创 循環神經網絡模型系列總結
一、RNN 1.1 模型結構： 1.2 多層RNN 通過num_layers設置循環神經網絡隱含層的層數，例如2。 對於一個多層循環神經網絡，當前時刻隱含層的輸入來自同一時刻輸入層(如果有)或上一層隱含層的輸出。每一層的隱含狀態只沿着
2020-06-20 18:41:08
原创 NLP複習
二、embedding NNLM->Word2vec->Doc2vec->FastText->ELMO ->GPT->Bert 1. word2vec的原理，爲何使用哈夫曼樹，如何構建哈夫曼，
2020-06-20 18:41:08
原创 keras的三種模型實現與區別
前言 一、keras提供了三種定義模型的方式 1. 序列式(Sequential) API 序貫(sequential)API允許你爲大多數問題逐層堆疊創建模型。雖然說對很多的應用來說，這樣的一個手法很簡單也解決了很多深度學習網絡結構的構
2020-06-20 18:41:08
原创 任務式對話系統
引言 原理 任務式聊天機器人的模塊包括： 1）NLU（understanding）： 2）對話管理（Diaglog mangement） 3）NLG（Generation） 構建聊天機器人的三大模塊： 一、有哪些知識點 1.1 自然
2020-06-20 18:41:08
2
原创 一條typical的文本預處理流程
raw_text ----> Tokenize(分詞) ---> Lemma/Stemming -----> stopwords -----> word_list
2020-06-20 18:41:08
原创 tensorflow調參方法及深度學習調參經驗
一、tensorflow調參方法 （1）Grid Search：網格搜索，在所有候選的參數選擇中，通過循環遍歷，嘗試每一種可能性，表現最好的參數就是最終的結果。 （2）Random Search： （3）Bayesin Optimizat
2020-06-20 18:41:08