情感分類屬於文本分類的一個應用場景，一般都是人（用戶）對某些具體事物（商品、事件）表達某些情感。落地場景是很多的。這學期最開始是做stance detection相關的工作，而其中target-specific stance detection和情感分類中的aspect-based sentiment analysis是很相關的，而AIC的比賽又正好是這個後者，所以順便調研了下sentiment analysis。在此列出讀論文的列表，部分論文直接列出一些簡單的筆記，這些論文可讀性不強（方法過於簡單，或者論文本身的貢獻不在方法上，沒有太多記錄成筆記的價值…），部分論文會逐步完善，給出簡單的閱讀筆記。閱讀價值評分純粹是基於自己對於文章的理解，標準包括：動機、方法、數據集質量、實驗安排、相關工作等，滿分爲5（相對評分，即分值高低僅反映論文在以下列表中的可讀價值，並不一定說明這篇文章有多好）。列表如下：
| 名稱 | 所屬會議(來源) | 類型 | 時間 | 閱讀價值 | 筆記 |
|---|---|---|---|---|---|
| Deep Learning for Sentiment Analysis: A Survey | 2018 | 5 | Survey | ||
| Deep Memory Networks for Attitude Identification | WSDM | long paper | 2017 | 3.5 | attitude identification，感覺和aspect情感分類差不多，都有target對象。本文通過memory network聯合建模了target識別、情感分類兩個任務。在情感分類、stance detection、debate數據集上取得了較好效果。模型圖畫得很複雜，其實結構是很直觀的。相當於先識別target（找到相關表述），再將該部分輸出作爲情感分類模塊的輸入。target和兩個模塊中的計算都進行了attention的交互。可以參看該文的參考文獻。 |
| User modeling with neural network for review rating prediction | IJCAI | long paper | 2015 | 3 | 哈工大的工作，直接看該組在同年ACL的文章即可，是該篇加強版 |
| End-to-end adversarial memory network for cross-domain sentiment classification | IJCAI | long paper | 2017 | 4 | 情感分類中的遷移學習。本文重點是找pivot，即在不同domain中都常出現的表達情感的詞。通過設置memory network，使得模型能夠捕捉重點詞。通過設置情感分類和domain分類兩個網絡，並設置對抗學習目標。兩個模型在共享權重的前提下，情感分類側重區分情感（數據爲source domain的labeled data），domain分類通過引入GRL來使模型混淆無法區分domain，從而學習到domain-transferable的特徵表示（數據來自兩個domain的unlabeled data）。無論動機、模型還是最後的實驗結果、分析，本文都十分出色。值得多多參考學習。 |
| Aspect Sentiment Classification with both Word-level and Clause-level Attention Networks | IJCAI | long paper | 2018 | 3.5 | 層次attention模型，不過不是詞-句-篇，而是詞-從句-句（篇）。模型借鑑了前人工作中的一些做法，包括把aspect的embedding拼接到輸入上，用aspect embedding來和LSTM的隱層輸出做attention。感覺還是有點水的，相關工作中也沒有提到之前有過的Ruder et.al. 2016 EMNLP的工作，也是類似的層次化結構，不過是句級別。從句級別的話將句子切得更細，是更小的獨立語言單元，理論上效果應該更好。不過該篇文章使用的embedding不是public的，是自己抓了數據額外訓練的，所以真實效果有多好也不好說。最終實驗結果還是很好的，但是實驗對照地比較少。 |
| Neural Sentiment Classification with User and Product Attention | EMNLP | long paper | 2016 | 3.5 | 使用了兩個向量分別表示用戶u、產品p，和LSTM計算的特徵進行打分，相當於attention。但是Vu和Vp都沒有藉助外部內容初始化，只是藉助了神經網絡的BP，期待這兩個向量能擬合用戶和產品的偏好。需要之後看看代碼。 |
| Learning Sentence Embeddings with Auxiliary Tasks for Cross-Domain Sentiment Classification | EMNLP | long paper | 2016 | 3 | 利用輔助任務，構建跨領域句向量，來進行情感分類任務上的遷移學習。 |
| Aspect Level Sentiment Classification with Deep Memory Network | EMNLP | long paper | 2016 | 4 | 藉助memory（attention）的機制，實現基於單隱層的NN，模型既考慮了aspect的上下文的關係，也考慮了上下文離aspect word的距離。結果上來說超過簡單的LSTM，但是速度快很多。可以作爲memory入門應用的論文閱讀，對於memory和attention的應用是淺顯易懂的。 |
| Attention-based LSTM for Aspect-level Sentiment Classification | EMNLP | long paper | 2016 | 3.5 | 將aspect以embedding的形式和LSTM的隱狀態輸出拼接，然後做attention，Du et.al 2017則是在embedding拼接的時候就進行了attention。SemEval 2014的評測。一句話中可能含有多個aspect，aspect都是預定義好的。很可能訓練時是將看做多個樣本<content, aspect A, sentiment A>…和AIC的任務是類似的。 |
| A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis | EMNLP | long paper | 2016 | 3.5 | SemEval下的一個ABSA的評測，但原始數據就是以句子爲單位的。每個評論由幾句話構成。這篇文章就是先在句級別做LSTM，再在評論級別做LSTM，兩階段都拼接了aspect，從而去捕捉不同句子aspect情感表達之間的潛在聯繫。 |
| Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts | COLING | long paper | 2014 | 2 | … |
| Combination of Convolutional and Recurrent Neural Network for Sentiment Analysis of Short Texts | COLING | long paper | 2016 | 2 | CNN+RNN，正常模型套路。最後結果沒有比原來的好多少。不過背景介紹和模型敘述中都是在講CNN和RNN，以後可以參考。 |
| Effective LSTMs for Target-Dependent Sentiment Classification | COLING | long paper | 2016 | 3.5 | 考慮target的信息。由於情感分析中target都會在句子中出現，因此可以直接根據target所在位置切分上下文，分別建模。也可以顯式地將target編碼和原有特徵表示進行拼接。 |
| Learning Semantic Representations of Users and Products for Document Level Sentiment Classification | ACL | long paper | 2015 | 3.5 | 集成用戶、商品信息來進行評論分類。該組發表的2015 IJCAI的強化版 |
| Predicting Polarities of Tweets by Composing Word Embeddings with Long Short-TermMemory Xin | ACL | long paper | 2015 | 3 | … |
| Linguistically Regularized LSTMs for Sentiment Classification | ACL | long paper | 2017 | 3.5 | 在LSTM中引入正則化機制來模擬每個詞的性質影響：情感詞、非情感詞、否定詞、程度副詞。文章通過一些假設和概率分佈的變化來模擬性質詞對相鄰位置的影響，最終通過損失函數的方式進行建模。對詞性質的使用方式很新穎，其中關於詞性如何影響分類的分析值得參考。 |
| Target-Sensitive Memory Networks for Aspect Sentiment Classification | ACL | long paper | 2018 | 4 | aspect sentiment classification。提出了個問題，情感分類和target是相關的，前人工作中使用attention機制能很好地捕捉到target相關的上下文信息，但是在如何利用target分類上出現了一些問題。本文設計了幾種打分函數來規避這個問題。文章中提到的那種attention，經過分析，確實是有問題的，以後做相關問題時要注意這一點，即就算是找到了target的上下文，由於有些表述是target-sensitive的，最終如何將target信息集成到分類過程中是需要好好設計的。 |
| Cross-Domain Sentiment Classification with Target Domain Specific Information | ACL | long paper | 2018 | 4 | cross-domain的情感分類中，大多數工作都只關心了兩個domain的共性特徵，而少有關注target domain的個性特徵。本文通過構建co-training的架構，同步建模cross-domain的共性和個性特徵，並將其合併來預測target domain的unlabeled data。這主要是基於不同domain中情感詞的表達是既有共同（great）又有個性（food：delicious，price：low…）。另外，已經出現多次更改損失函數來使網絡達到某種功能的文章，需要注意。這篇文章的部分架構可以可以參考。 |
| Aspect Based Sentiment Analysis with Gated Convolutional Networks | ACL | long paper | 2018 | 4 | 這一篇文章指出了LSTM和attention在模型複雜度和效率上的問題，提出使用CNN+Gate的機制，既能達到捕捉aspect相關context的目的，又能並行加速。行文中對於其他方法缺點的敘述十分到位，可以參考。該篇文章的門機制的引入也值得引起關注。門機制實現起來簡單，若能較好掌握原理，比較容易能作爲模型的一個創新點。 |
| A Helping Hand: Transfer Learning for Deep Sentiment Analysis | ACL | long paper | 2018 | 2.5 | … |
| Transformation Networks for Target-Oriented Sentiment Classification | ACL | long paper | 2018 | 4 | 針對attention來做ABS問題的缺陷進行了改進，更好地編碼target、融合target序列和上下文、經過非線性變換後如何保留時序性、如何在CNN中引入距離關係。工作量是很大的，也借鑑了很多其他文章的工作，每部分模塊的motivation都講的很清楚，最後實驗結果也不錯。值得多參考 |
| Sentiment Lexicon Enhanced Attention-Based LSTM for Sentiment Classification | AAAI | short paper | 2018 | 2 | … |
| Improving Review Representations with User Attention and Product Attention for Sentiment Classification | AAAI | long paper | 2018 | 3.5 | HAN的架構，兩個網絡，分別用兩個向量表徵user、product來做attention，意圖是兩個網絡分別捕捉文本中用戶、產品相關的個性描述。最終將兩個網絡的特徵表示合併做預測。兩個網絡特徵也分別用來softmax，作爲最終損失的一部分，不參與預測。灌水的經典樣例，模型經典，出發點尚可，灌得剛剛好。 |
| Multi-Entity Aspect-Based Sentiment Analysis With Context, Entity and Aspect Memory | AAAI | long paper | 2018 | 4 | 終於找到了AIC任務的定義。。。。這篇文章定義了multi entity and multi-aspect的情感分類任務，並做了一個attention模型在自建數據集上驗證效果。行文流暢，思路清晰，實驗也做得很到位（模塊的拆解）。模型有借鑑之處，考慮了距離、entity和aspect的attention等。之後要再看。 |
| SNNN : Promoting Word Sentiment and Negation in Neural Sentiment Classification | AAAI | long paper | 2018 | 2 | … |
| Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM | AAAI | long paper | 2018 | 3.5 | 使用了外部知識庫（圖譜）SenticNet，並且用前人開發的工具將圖映射成了embedding。在每個時間步都抽取一些概念進行評價作爲特徵補充，通過修改LSTM中各個門的計算對象，將特徵補充到網絡中。提供了一種通過embedding來使用知識的方式 |
| Learning Latent Opinions for Aspect-level Sentiment Classification | AAAI | long paper | 2018 | 3.5 | 在句子中，情感表達常以span的形式出現，具有結構化的特徵。爲了捕捉這種特徵，前人工作使用了位置embedding或基於位置的權重機制，但這些方法都基於神經網絡，需要大量的數據才能學到這種關係。本文在Bi-LSTM+CRF，引入binary隱變量z表示當前詞是否是opinion expression的一部分，來捕捉情感相關表達的結構特徵。想法很新穎，引入了二元隱變量表達是否關係。 |
| Encoding Syntactic Knowledge in Neural Networks for Sentiment Classification | ACM Transactions on Information Systems | journal | 2017 | 3 | … |
由於該類文章只做了簡單的調研，也沒有意向往下做。所以筆記就僅限這篇博文，不再展開，就權當後續的索引吧，如果以後可能涉及情感分類，再回來查閱。閱讀的論文都是從第一篇survey中挑的，建議自己去讀綜述僅限論文篩選，寫得很詳細。情感分類數據集很多，也有很多細節的問題，表達主體（人）、表達客體（對象）、表達場景、方式都有很多可以做的點，能用到各類技術手段。現實中能反映情感的數據太多了，豆瓣影評、大衆點評…但凡涉及到具體事物和反饋機制，都會產生大量的情感數據。而且情感分析在不同場景下，儘管可能具有不同的特點，但表達上一般都是直抒胸臆，晦澀的表達比較少，這就使得問題沒有那麼NLU，當前的神經網絡技術能夠很好地進行處理，所以在工業界能用得上。