語音識別框架即聲學模型加語言模型。
2018-icassp-ACCELERATING RECURRENT NEURAL NETWORK LANGUAGE MODEL BASED ONLINE SPEECH RECOGNITION SYSTEM
提出一個用於在線語音識別的加速神經網絡語言模型。首先介紹了一種具有過去歷史信息的緩存語言模型，然後介紹了神經網絡語言模型在CPU-GPU上的混合部署。提出了一種對歷史信息進行有損壓縮的處理策略，在LibriSpeech語料中測試發現，減小歷史信息可以在保證識別精度的情況下提高識別速度大約1.23倍，另一方面CPU和GPU混合並行計算可以提高4倍的識別速度。
ASR包含，聲學模型，上下文模型，發音模型，語言模型
語言模型爲插值
創新點：通過壓縮歷史向量，加速在線語音識別的速度。
2018-icassp-LIMITED-MEMORY BFGS OPTIMIZATION OF RECURRENT NEURAL NETWORK
LANGUAGE MODELS FOR SPEECH RECOGNITION
一般RNNLM使用SGD訓練，最小化交叉熵損失。但是SGD只用了一階導數信息，不能完全刻畫的損失函數的曲率關係，這會導致訓練時收斂變慢。本文提出使用包含二階導數信息的L-BFGS的優化函數用於訓練RNNLM.在Switchboard English 和Babel Cantonese兩個語料庫測試發現LBFGS可以減小詞錯誤率，減小困惑度，加快收斂速度。語言模型爲插值模型
創新點：根據作者調研，本文是第一篇將L-BFGS應用於RNNLM的。即改變SGD的優化函數。
2018_Interspeech_Dual Language Models for Code Switched Speech Recognition.
作者展示了一種用於雙語對話語音識別（如：我們的total 是五十七）的dual語言模型，dual語言模型可以改善單語言模型的架構。我們建立了兩個互補的單語言模型，通過概率模型在兩個單語言模型直接切換。作者在SEAME中文和英文語料庫實驗，發現相對於標準的bilingual語言模型，dual語言模型可以有效的改善困惑度。
創新點：提出了一種應用於雙語語音識別的基於概率模型選擇單語言模型的雙語言模型。
思考：中文和方言是不是也可以看成兩種不同的語言呢。現在的語音識別需要手動切換語種，能不能識別語種再應用對應語音識別系統。即語種識別
2018_Interspeech_mproving Language Modeling with an Adversarial Critic for Automatic Speech Recognition
使用最大似然估計訓練RNNLM在預測時會欠擬合，所以會限制對N個識別結果的打分。受GAN網絡啓發，作者提出了一個方法改善這個問題，在訓練階段將RNNLM看成產生式模型，使用neural ctitic促使RNNLM學習句子的長期依賴，產生正確的結果。雖然GAN網絡在產生離散序列方面有缺陷，但是作者提出了一個梯度算法可以改善。（看的不是很明白）
2018_Interspeech_Neural Error Corrective Language Models for Automatic Speech Recognition
作者提出了一個用於校正語音識別錯誤的NNLM。作者命名爲神經錯誤校正語言模型簡稱NECLM，包含encoder和decoder兩個部分。encoder根據語音識別器產生的最好的幾個識別結果和自信分數構建上下文向量，decoders使用上下文向量計算詞出現的概率對識別結果進行校正。在日語識別任務中發現識別結果比基於CNN聲學模型+RNN語言模型的語音識別效果好。詞錯誤率降低了1.83%.
創新點：提出基於encoder-decoder的語言模型用於對語音識別結果校正。改善很小
2018_Interspeech_Recurrent Neural Network Language Model Adaptation for Conversational Speech Recognition
作者提出了兩個自適應RNNLM用於刻畫對話語音識別中話題以及長距離觸發。一個爲對話緩存模型，一個爲DNN自適應模型。結果表明WER和困惑度都有所改善。WER相對改善了3.9%,困惑度改善了10%。作者又在非對話語音識別語料進行的實驗，發現也有所改善。說明該不行不侷限於對話式語音識別。
創新點：提出基於FMA(FAST marginal adapation)的兩個自適應語言模型，用於改善語音識別。