原创 文本生成評價指標的進化與推翻

文章目錄前言基於詞重疊率的方法機器翻譯 & 摘要 常用指標BLEUROUGENISTMETEORTERdata to text 常用指標relation generation (RG)content selection (CS)c

原创 NLP 任務中有哪些巧妙的 idea?

文章目錄1. 分佈式假設(Distributional Hypothesis)2. 詞袋模型(Bag-of-Words)3. 潛在語義分析(Latent Semantic Analysis)4. 概率主題模型(Probabilis

原创 給你的數據加上槓杆:文本增強技術的研究進展及應用實踐

文章目錄漏譯數據稀疏引入知識語篇翻譯 轉載來源:https://www.zhihu.com/question/59282269/answer/641009083 作者:飛槳PaddlePaddle 漏譯 第一個挑戰就是漏譯,

原创 HeterSumGraph,異質圖神經網絡的抽取式摘要模型

文章目錄建模句間關係HeterSumGraph(HSG)實驗與分析引用文獻 Heterogeneous Graph Neural Networks for Extractive Document Summarization (

原创 萬字長文帶你一覽ICLR2020最新Transformers進展

文章目錄1. Self-atention 的變體Long-Short Range AttentionTree-Structured Attention with Subtree MaskingHashed AttentioneXt

原创 從BERT、XLNet到MPNet,細看NLP預訓練模型發展變遷史

文章目錄1.BERT 原理及 MLM 簡述1.1 Masked Language Model & Next Sentence Predict**1.2 Self-Attention1.3 Denoising Auto Encode

原创 超越 BERT 模型的 ELECTRA 代碼解讀

文章目錄1、概述2、ELECTRA 模型2.1 總體框架2.2 代碼框架2.3 pretraining 階段2.3.1 主方法入口2.3.2 數據 mask2.3.3 Generator BERT2.3.4 Discrimina

原创 Fast BERT論文解讀

文章目錄一、概述二、模型詳解BackBoneModel TrainingAdaptive Inference三、實驗三、結論 轉載來源:https://zhuanlan.zhihu.com/p/143027221 自從 BER

原创 RSA加密算法耗時耗在哪裏?

文章目錄結論1:密鑰生成佔據初始化99%的時間結論2:加密耗時佔據99%的時間附:源代碼 結論1:密鑰生成佔據初始化99%的時間 public void createKeys(int keySize) throws Except

原创 Java性能優化經驗總結

文章目錄循環減少重複計算基礎知識使用移位來代替除法操作ArrayList & LinkedList數組複製使用System.arraycopy()代替通過來循環緩衝經常使用對象變量避免隨意使用靜態變量多使用局部變量避免頻繁創建對象

原创 NLP的發展歷程

文章目錄一、第一階段(地上爬)1、傳統統計語言模型:n-gram2、 n-gram 存在的三個缺點二、第二階段(爬上第一階梯)1.NNLM(Neural Net Language Model)--鋪墊2.NNLM優化----鋪墊3

原创 XLNet:運行機制及和Bert的異同比較

文章目錄自迴歸語言模型(Autoregressive LM)自編碼語言模型(Autoencoder LM)XLNet做了些什麼與Bert的預訓練過程的異同問題哪些因素在起作用?對NLP應用任務的影響 轉載來源:https://zh

原创 BERT 可解釋性-從“頭”說起

文章目錄一、背景介紹二、Bert 模型 Attention-Head 實驗2.1 Attention-Head 比較冗餘2.2 某些 head 負責判斷詞的邊界 (使得字模型帶有分詞信息)2.3 某些 head 負責編碼輸入的順序

原创 關於在XP上運行C#程序幾點注意

文章目錄前言背景主要觀點1 最高支持 .Net Framework 4.0.30319.12 安裝時可能會因缺少WIC文件而無法安裝3 配置正常後運行完美 前言 雖然XP已經斷更多年,但是目前一些工控機仍然會用XP,因此本文主要介

原创 Java下AES加密單線程性速度280MB/s多線程450MB/s

文章目錄測試目的測試環境測試結果機器1單線程測試結果機器2單線程測試結果機器1多線程測試結果測試代碼單線程多線程 測試目的 測試Java下的AES的加密速度。 測試環境 機器1: 硬件:i5 9600K + 16 GB DD