原创 BERT預訓練模型的演進過程!(附代碼)

文章目錄1. 什麼是BERT2. 從Word Embedding到Bert模型的發展2.1 圖像的預訓練2.2 Word Embedding2.3 ELMO2.4 GPT2.5 BERT2.5.1 Embedding2.5.2 M

原创 Transformer各層網絡結構詳解!面試必備!(附代碼實現)

文章目錄1. 什麼是Transformer2. Transformer結構2.1 總體結構2.2 Encoder層結構2.2.1 Positional Encoding2.2.2 Self-Attention2.2.3 Multi

原创 XLNet預訓練模型,看這篇就夠了!(代碼實現)

文章目錄1. 什麼是XLNet2. 自迴歸語言模型(Autoregressive LM)3. 自編碼語言模型(Autoencoder LM)4. XLNet模型4.1 排列語言建模(Permutation Language Mod

原创 seq2seq通俗理解----編碼器和解碼器(TensorFlow實現)

文章目錄1. 什麼是seq2seq2. 編碼器3. 解碼器4. 訓練模型5. seq2seq模型預測5.1 貪婪搜索5.2 窮舉搜索5.3 束搜索6. Bleu得分7. 代碼實現8. 參考文獻 1. 什麼是seq2seq 在⾃然語

原创 【Model Log】模型評估指標可視化,自動畫Loss、Accuracy曲線圖工具,無需人工參與!

文章目錄1. Model Log 介紹2. Model Log 特性3. Model Log 演示地址4. Model Log 安裝5. Model Log 使用5.1 啓動 web 端5.2 Model Log API使用5.3

原创 HanLP《自然語言處理入門》筆記--3.二元語法與中文分詞

文章目錄3. 二元語法與中文分詞3.1 語言模型3.2 中文分詞語料庫3.3 訓練與預測3.4 HanLP分詞與用戶詞典的集成3.5 二元語法與詞典分詞比較3.6 GitHub項目 筆記轉載於GitHub項目:https://gi

原创 BERT實現QA中的問句語義相似度計算

文章目錄1. BERT 語義相似度2. 安裝 bert-as-service3. 啓動 BERT 服務4. 相似度計算 1. BERT 語義相似度 BERT的全稱是Bidirectional Encoder Representat

原创 13.深度學習(詞嵌入)與自然語言處理--HanLP實現

文章目錄13. 深度學習與自然語言處理13.1 傳統方法的侷限13.2 深度學習與優勢13.3 word2vec13.4 基於神經網絡的高性能依存句法分析器13.5 結語13.6 GitHub 筆記轉載於GitHub項目:http

原创 《自然語言處理入門》12.依存句法分析--提取用戶評論

文章目錄12. 依存句法分析12.1 短語結構樹12.2 依存句法樹12.3 依存句法分析12.4 基於轉移的依存句法分析12.5 依存句法分析 API12.6 案例: 基於依存句法分析的意見抽取12.7 GitHub 筆記轉載於

原创 HanLP《自然語言處理入門》筆記--5.感知機模型與序列標註

文章目錄5. 感知機分類與序列標註5.1 分類問題5.2 線性分類模型5.3 感知機算法5.4 基於感知機的人名性別分類5.5 結構化預測問題5.6 線性模型的結構化感知機算法5.7 基於結構化感知機的中文分詞5.8 GitHub

原创 8.HanLP實現--命名實體識別

文章目錄8. 命名實體識別8.1 概述8.2 基於隱馬爾可夫模型序列標註的命名實體識別8.3 基於感知機序列標註的命名實體識別8.4 基於條件隨機場序列標註的命名實體識別8.5 命名實體識別標準化評測8.6 自定義領域命名實體識別

原创 11. HanLP實現樸素貝葉斯/SVM--文本分類

文章目錄11. 文本分類11.1 文本分類的概念11.2 文本分類語料庫11.3 文本分類的特徵提取11.4 樸素貝葉斯分類器11.5 支持向量機11.6 標準化評測11.7 情感分析11.8 GitHub 筆記轉載於GitHub

原创 10.HanLP實現k均值--文本聚類

文章目錄10. 文本聚類10.1 概述10.2 文檔的特徵提取10.3 k均值算法10.4 重複二分聚類算法10.5 標準化評測10.6 GitHub 筆記轉載於GitHub項目:https://github.com/NLP-LO

原创 詳解隱馬爾可夫模型(HMM)中的維特比算法

文章目錄4. 隱馬爾可夫模型與序列標註4.1 序列標註問題4.2 隱馬爾可夫模型4.3 隱馬爾可夫模型的訓練4.4 **隱馬爾可夫模型的預測**4.5 隱馬爾可夫模型應用於中文分詞4.6 性能評測4.7 總結4.8 GitHub項

原创 HanLP《自然語言處理入門》筆記--9.關鍵詞、關鍵句和短語提取

文章目錄9. 信息抽取9.1 新詞提取9.2 關鍵詞提取9.3 短語提取9.4 關鍵句提取9.5 總結9.6 GitHub 筆記轉載於GitHub項目:https://github.com/NLP-LOVE/Introductio