原创 IBM 提出基於語言模型的數據增強新方法

作者:張之棟(InfoQ)     2019年11月15日18:45 VentureBeat 消息,IBM Research 的研究人員在近期發表的一篇論文中,提出了一種文本分類任務的數據擴充新方法。該方法被研究人員稱爲基於語言模型的數據

原创 Star-Transformer

【精簡Transformer】Star-Transformer  本文是復旦大學發表於NAACL 2019的工作。文章的主要貢獻在於精簡transformer,增強了在modestly size datasets上的表現。精簡思路非常清晰

原创 微軟提出 DNN 並行訓練新方法 PipeDream,比傳統方法快四倍

作者:Amar Phanishayee 譯者:夏夜 發佈時間:2019 年 11 月 15 日 10:00 本文介紹了微軟新提出的 PipeDream,旨在使深度學習網絡訓練並行化水平更高,進而提高訓練效率。 深度神經網絡(DNNs

原创 ACM論文投稿時常用的幾項操作

一、我們發現ACM的latex模板中會有ACM Reference Format信息,如下: 投稿時,可以使用如下的方法將其去掉,在 \documentclass[sigconf]{acmart} 下面直接添加這幾行即可去掉 \set

原创 Latex常用積累

1.  latex中把公式中一部分斜體變爲直體   2.Loss Function的這個符號LaTeX 裏怎麼打?    實際上,就是手寫體的L,Latex中這樣引用就行: \mathcal{L}    3.常用數學符號的 LaTeX

原创 The State of Transfer Learning in NLP [18 AUGUST 2019]

This post expands on the NAACL 2019 tutorial on Transfer Learning in NLP. The tutorial was organized by Matthew Peters,

原创 2020人工智能頂會-混亂未分級分領域

CVPR 2020: IEEE Conference on Computer Vision and Pattern Recognition NeurIPS 2020: Neural Information Processing Syste

原创 kaggle 首戰拿金牌總結

kaggle 首戰拿金牌總結 這篇文章是我對自己第一次參加 kaggle 競賽並獲得金牌(14/4129)的一個總結,談不上太多經驗,涉及到的一些比賽規則和小技巧希望能對剛剛開始打 kaggle 比賽的小夥伴起到一些幫助。 1. 平臺

原创 Multi-Task Deep Neural Networks for Natural Language Understanding【MT-DNN模型】

背景 機構:微軟亞洲研究院 NLP 組與 SDRG(微軟雷德蒙德語音對話研究組) 作者:Xiaodong Liu、Pengcheng He 發佈地方:arxiv 面向任務:自然語言理解任務(NLU)的學習表示 論文地址:https://a

原创 【論文筆記】An End-to-End Model for QA over KBs with Cross-Attention Combining Global Knowledge

一、概要   該文章發於ACL 2017,在Knowledge base-based question answering (KB-QA)上,作者針對於前人工作中存在沒有充分考慮候選答案的相關信息來訓練question represent

原创 論文《Adversarial Reading Networks For Machine Comprehension》

綜述:文中描述當前閱讀理解任務中受限於監督學習設置,以及可用的數據集。這篇論文主要提出關於閱讀理解任務中的對抗學習以及self-play.它用一個名爲reader network來找到關於text和query的答案,還用一個名爲nar

原创 BERT for unsupervised text tasks

This post discusses how we use BERT and similar self-attention architectures to address various text crunching tasks at

原创 How do they apply BERT in the clinical domain?【BERT in clinical domain】

This story is published in both Dev.to and Medium. Contextual word embeddings is proven that have dramatically improved

原创 Some examples of applying BERT in specific domain【Applying BERT in specific domain】

Several new pre-trained contextualized embeddings are released in 2018. New state-of-the-art results is changing every

原创 19 entities for 104 languages: A new era of NER with the DeepPavlov multilingual BERT

There’s hardly anyone left in the world data science community who wouldn’t agree that the release of BERT was the mos