原创 文獻閱讀筆記:Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5)

文章目錄0. 背景0.1 摘要1. 介紹2. 模型2.1 輸入和輸出格式3. 實驗3.1 baseline3.2 對比的框架3.3 無監督目標函數3.4 預訓練數據集3.5 訓練策略3.5.1 微調策略3.5.2 多任務學習3.6

原创 docker拉取的pytorch-gpu版找不到cuda和cudnn的位置,爲何?

問題描述 pytorch 鏡像位置: https://hub.docker.com/r/pytorch/pytorch/tags 拉取鏡像: docker pull pytorch/pytorch:1.5-cuda10.1-cud

原创 ICLR2020論文閱讀筆記reformer: THE EFFICIENT TRANSFORMER

0. 背景 機構:Google Research 、U.C. Berkeley 作者:Nikita Kitaev、Łukasz Kaiser、Anselm Levskaya 論文地址:https://arxiv.org/abs/2

原创 文獻閱讀筆記electra: pre-training text encoders as discriminators rather than generators

目錄0. 背景0.1 摘要1. 介紹2. 方法3. 實驗3.1 實驗設置3.2 模型拓展3.3 Small版模型3.4 Large版模型3.5 有效性分析4. 總結 0. 背景 機構:斯坦福、Google Brain 作者:Kev

原创 Rasa教程系列-1-命令行交互

文章目錄0. 背景1. 命令行速查表2. 訓練模型3. 交互式學習4. Talk to Assistant5. 啓動Rasa Server6. 啓動 Action Server7. Stories的可視化8. 用test數據對模型

原创 文獻閱讀筆記:Phrase-Based & Neural Unsupervised Machine Translation

文章目錄0. 背景0.1 摘要1. 介紹2. 無監督機器翻譯的共同原則3. 無監督機器翻譯模型3.1 無監督 NMT3.2 無監督 PBSMT4. 實驗4.1 評測的數據集:4.2 初始化4.3 訓練4.4 模型選擇4.5 結果4

原创 概率圖模型系列-1-從樸素貝葉斯和HMM說起

文章目錄0. 背景1. 預備知識1.1 條件概率1.2 貝葉斯公式1.3 全概率公式2. 樸素貝葉斯整個句子作爲特徵分詞3. 概率圖模型(PGM)4. 馬爾科夫鏈5. 隱馬爾可夫鏈5.1 HMM的概念5.2 HMM示例5.3 HM

原创 知識圖譜系列-1-概述

文章目錄0. 背景1. 知識分類2. 發展背景3. 知識表示4. 是否包含規則 0. 背景 本文嘗試在學習知識圖譜過程中將一些零碎的知識進行一次較爲系統的梳理,一是爲了輔助自己對於該領域知識的體系化,二來是將自己的學習歷程以此方

原创 文獻閱讀筆記:NEZHA(Neural Contextualized Representation for Chinese Language Understanding)

0. 背景 機構:華爲諾亞方舟實驗室 作者:Junqiu Wei, Xiaozhe Ren等 面向任務:自然語言理解 論文地址:https://arxiv.org/abs/1909.00204 論文代碼:https://githu

原创 知識圖譜系列-2-知識圖譜發展歷程及其分類

1. 知識圖譜發展歷程 知識圖譜的發展可以從人工智能和語義網(注意語義網和語義網絡是不同的)這兩個領域進行追溯。在人工智能方面,人類致力於使計算機更智能,能夠進行推理、分析、預測等高級思維活動。而知識圖譜是該目標實現的一個工具,通

原创 Rasa教程系列-NLU-3-實體抽取

文章目錄介紹自定義實體抽取位置、日期、人名、組織日期、金額、時長、距離和序號正則表達式將自定義特徵傳給CRFEntityExtractor 介紹 目前1.6.1版本支持的extractors如下: Component Req

原创 Rasa教程系列-NLU-4-組件

注意: 爲了清晰起見,官方重新命名了預定義的管道,以反映它們做了什麼,而不是在Rasa NLU 0.15中使用了哪些庫。tensorflow_embed_embeddings管道現在稱爲supervised_embeddings,

原创 同一臺機器中啓動多個neo4j數據庫

文章目錄0. 背景1. 默認方式啓動neo4j2. 方案0:指定配置文件啓動neo4j3. 方案1:使用多個安裝文件4. 方案2:使用docker4.1 拉取 neo4j 鏡像4.2 創建 neo4j 容器4.3 創建多個 neo

原创 Rasa教程系列-Core-3-Responses

如果希望助理響應用戶消息,則需要管理這些響應。在機器人的訓練數據中,通過stories指定機器人應該執行的操作。這些操作可以使用utterances將消息發送回用戶。 有三種方法來管理這些utterances: (1)Uttera

原创 Rasa教程系列-NLU-2- 選擇pipeline

文章目錄1. 短answer2. 長answer2.1 pretrained_embeddings_spacy2.2 pretrained_embeddings_convert2.3 supervised_embeddings2.