原创 Xl-net
XL-NET Xl-net結合了AR（自迴歸模型）與AE（去噪自編碼模型）的有特點 AR擅長生成類任務，也就意味着只能利用前向或者後向的文本，不能同時兼顧上下文，這也就是AR的最大的劣勢 一、Xl-net與bert的關係
2020-06-26 15:23:59
原创 個人積累學習資源（僅供學習！）
深度學習之自然語言處理斯坦福大學CS224n集訓營 網易雲吳恩達序列模型（nlp相關視頻） NLP、機器學習實戰 計算機視覺機器學習相關論文整理 動手學習深度學習 CS224n筆記1 自然語言處理與深度學習簡介 機器學習深度學習算
2020-06-10 10:06:18
原创 刁鑽數據的處理（處理不平衡數據）
不平衡數據分類學習 一、 不平衡數據的出現場景 搜索引擎的點擊預測 點擊的網頁往往佔據 很小的比例 電子商務領域的商品推薦 推薦的商品被購買的 比例很低 信用卡欺詐檢測 網絡攻擊識別 … 二、 解決方案 2.1 從
2020-06-10 10:06:18
原创 【潛在語義分析】LSI/LSA
LSA 背景介紹 文本挖掘中，主題模型。聚類算法關注於從樣本特徵的相似度方面將數據聚類。比如通過數據樣本之間的歐式距離，曼哈頓距離的大小聚類等。而主題模型，顧名思義，就是對文字中隱含主題的一種建模方法。 比如從“人民的名義”
2020-06-10 10:06:18
45
原创 TextRNN及與其他模型的組合
首先複習一下基礎的RNN結構如下所示 開始正題 一、LSTM模型 LSTM（Long Short-Term Memory）是長短期記憶網絡，是一種時間遞歸神經網絡，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。 就
2020-06-10 10:06:08
原创 任務型charbot
任務型chatbot的基本流程 得到得到通知ASRNLUintentemtityDSTDPLNLGTTS NLU識別Intent和Entity，不同的intent可以設計不同的slot，講 Entity填充到slot中
2019-10-25 23:51:20
原创 從句法樹中提取特徵
句法樹 我們把一個句子構建成語法樹(CKY算法構建) SNPNPNMicrosoftVVPisVPPlocatedPNinUSA NP：名詞短語 P：介詞 PP：介詞短語 V：動詞 N：名詞 內部節點都是可以拆分的，葉子節點不
2019-10-25 23:51:17
原创 Bert-實戰
參考BERT fine-tune 終極實踐教程 Bert 實戰 bert在主要分爲兩個任務：一、訓練語言模型和預訓練部分（run_pretraining.py），二、訓練具體任務的fine-turning部分(run_class
2019-09-26 22:30:00
10
原创 Bert理論筆記
觀b站bert理論視頻筆記 Transformer 之前講的很多了，再多說一點：對於位置編碼，使用的是相對位置編碼，這樣可以保證比較好的相對的位置關係。對於decoder部分不經存在self-attention還有encod
2019-08-28 23:41:42
2
原创 如何在jupyter裏面使用virtualenv創建的虛擬環境
1. 安裝virtualenv pip install virtualenv 2. 新建虛擬環境 virtualenv [環境名稱] 3. 進入虛擬環境 source [環境名]/bin/activate 4. 退出虛擬
2019-07-07 23:07:07
原创 決策樹
決策樹 一、 基本介紹 1.1 樹模型 決策樹：從根節點開始一步步走到葉子節點（決策） 所有的數據最終都會落到葉子節點，既可以做分類也可以做迴歸 1.2 樹的組成 根節點：第一個選擇點 非葉子節點與分支：中間過程 葉子
2019-05-02 10:43:55
原创 ELMO
ELMO學習摘要 Jay Alammar的博客 論文地址 如何將ELMO詞向量用於中文 遷移學習NLP：BERT、ELMo等直觀圖解 ELMo算法原理解析 講的比較好的ELMO博客 嵌入（Embedding）的新時代 詞嵌入一直是
2019-04-06 02:06:06
原创 Transformer
Transformer 先放一個jalammar博客 transformer總體結構 爲什麼有多個encoder呢？：從下往上可以提取表層的詞法信息 -> 抽象的語義信息 encoder到decoder的部分就是attenti
2019-04-06 02:06:06