原创 變分自編碼器（VAE：Auto-Encoding Variational Bayes）
文章目錄基於潛變量的生成模型變分邊界與目標函數VAE模型結構 代碼實現： 基於tensorflow2.2實現，代碼見github。 參考文獻 1. Auto-Encoding Variational Bayes 2. 變分自編碼
2020-06-30 11:27:01
1
原创 深度學習：生成對抗網絡（Generative Adversarial Nets, GANs）
文章目錄GANsGANs理論推導全局最優解訓練過程的收斂性優缺點 代碼實現： 基於Tensorflow2.2實現，代碼見gitub。 參考文獻 1. Generative Adversarial Nets 2. Understa
2020-06-25 12:42:33
原创 依存句法解析：基於深層雙仿射注意力的神經網絡依存解析（Deep Biaffine Attention for Neural Dependency Parsing）
文章目錄IntroductionDeep Biaffine Attention雙仿射層的作用MLP層的作用模型超參數 【代碼實現】基於tensorflow2.2實現，直接運行在goole colab，見github倉庫. 【參考文
2020-06-22 11:40:17
53
原创 自然語言處理：機器翻譯模型（MT、NMT、Seq2Seq with Attention）
文章目錄Machine Translation, MTLearning Alignment for SMTDecoding for SMTNeural Machine Translation, NMTNMT TrainingNMT
2020-06-20 07:40:18
原创 深度學習：正則化防止過擬合（L1、L2、Dropout）
文章目錄ReferenceL1正則化L2正則化L1和L2正則化的區別Dropout Reference 1.Overfit and underfit 深度模型（參數多）擅長過度擬合訓練數據，通過增加訓練數據可有效防止過擬合，但一
2020-06-20 07:40:18
9
原创 依存句法解析：基於神經網絡的高性能依存句法解析器（A Fast and Accurate Dependency Parser using Neural Networks）
文章目錄Transition-based Dependency ParsingNeural Network Based Parser模型輸入隱藏激活函數輸出層模型訓練 代碼實現：基於tensorflow 2.2實現，代碼見gith
2020-06-20 07:40:05
原创 Attention Is All You Need (Transformer and Self-Attention)
文章目錄Transformer ArchitectureEncoderDecoderSelf AttentionScaled Dot-Product AttentionMulti-Head AttentionPositional
2020-06-20 07:40:05
原创 深度學習：Attention機制（Bahdanau attention & Luong Attention）
文章目錄Bahdanau Attention MechanismLuong attention mechanismDifferences between Bahdanau and Luong attention mechanism
2020-06-15 02:35:15
原创 自然語言處理：關係抽取之分段卷積神經網絡（PCNN）
文章目錄遠程監督PCNN關係抽取PCNN方法論向量表達卷積層分段最大池化層Softmax層多實例學習Reference Tensorflow2.2實現，見github倉庫。 遠程監督 關係抽取訓練集標註成本高，一般使用遠程監督方
2020-06-10 02:03:44
原创 Tensorflow 2.x：Dataset的repeat、shuffle和batch操作
Shuffle shuffle( buffer_size, seed=None, reshuffle_each_iteration=None ) This dataset fills a buffer with buff
2020-05-26 01:13:26
原创 Tensorflow2.x：使用RNNs預測溫度時間序列（時間序列數據轉爲tf輸入流）
本文使用RNNs預測溫度，數據集使用weather time series dataset，該數據集包含14中不同特徵，如氣溫、氣壓、溼度等，數據的統計間隔爲10分鐘，共包含2009年至2016年共計約42w數據。 根據輸入特徵數
2020-05-21 15:36:44
原创 Tensorflow2.x：類別不平衡數據的處理（bias偏置、類別加權、過採樣、評價曲線）
文章目錄初始bias偏置Class Weight, 樣本/類別加權Oversampling, 過採樣Tensorflow實現 Reference 1. Classification on imbalanced data 本文參照
2020-05-20 15:19:00
原创 Tensorflow2.x：利用tf.data.Dataset API讀取CSV文件/DataFrame對象作爲Keras輸入流
文章目錄0. Reference1. 準備數據2. 轉換輸入流、分割數據集3. 構造Features4. 創建、編譯Keras模型5. 訓練模型6. 使用自定義Features輸入流的完整代碼7、輸入流簡化版—輸入特徵均爲連續性數
2020-05-20 06:34:01
原创 深度學習：層標準化詳解（Layer Normalization）
爲什麼Batch Normaization難以應用於RNNs？ Batch Normalization使用mini-batch的均值和標準差對深度神經網絡的隱藏層輸入附加標準化操作，可有效地提升訓練速度。對於前向神經網絡應用Bat
2020-05-20 06:34:01
原创 深度學習：批標準化詳解（Batch Normalization for Reducing Internal Covariate Shift）
文章目錄爲什麼要使用BN?怎樣使用BN？如何有效地實現BN？如何訓練和推理使用BN的網絡？BN作用在神經元的輸入側還是輸出側？爲什麼BN網絡可以使用更高的學習率？爲什麼BN網絡自帶正則化效果？BN在Tensorflow中的實現Re
2020-05-17 14:08:10