原创 劍指offer刷題

3.數組中重複的數字: 題目描述 在一個長度爲n的數組裏的所有數字都在0到n-1的範圍內。 數組中某些數字是重複的,但不知道有幾個數字是重複的。也不知道每個數字重複幾次。請找出數組中任意一個重複的數字。 例如,如果輸入長度爲7的數組{

原创 kaldi 語音識別 lattice-free MMI聲學訓練

List item 在語音識別領域,DT訓練能顯著提高語音識別系統的性能。DT訓練需要所有的單詞序列組合來做訓練。一般而言我們會先利用交叉熵準則訓練一個基準模型,配合使用一個相對較弱的語言模型生成相應的詞圖(lattice).La

原创 leetcode4.尋找兩個有序數組的中位數

題目: 給定兩個大小爲 m 和 n 的有序數組 nums1 和 nums2。 請你找出這兩個有序數組的中位數,並且要求算法的時間複雜度爲 O(log(m + n))。 你可以假設 nums1 和 nums2 不會同時爲空。 示

原创 leetcode85. 最大矩形

示例: 思路:動態規劃 https://blog.csdn.net/maxiaotiaoti/article/details/62230381 定義概念,初始化邊界,一般遞推 cur_left當前元素可以延伸到最左邊元素的下標。當

原创 語音識別實踐7.1——訓練加速

GPU流水線反向傳播 異步隨機梯度下降 增廣拉格朗日算法及乘子方向交替算法 減小模型規模 改善訓練速度可以通過更好的訓練算法或者使用更小的模型。DNN中的權值矩陣大體上是低秩的,且DNN最後一層佔用了系統50%的模型參數以及訓練計算

原创 SVD模型裁剪 TDNN-f

論文:Daniel Povey 2018年論文, Simi-Orthogonal Low-Rank Matrix Factorization for Deep Neural Networks 半正定低秩矩陣分解DNN 參考:https

原创 MMI在ASR中的應用

介紹 ASR中DNN聲學模型訓練通常使用CE準則作爲損失函數進行訓練,CE準則是最小化幀錯誤率,但在基於幀識別的ASR中我們一般直接使用WER(自錯誤率)來評價語音識別準確率,更關心的是序列的準確性,會導致損失函數和訓練目標不一致。

原创 HMM中的訓練問題

baum-Welch 最大化似然度準則 CE準則 最小化幀錯誤率 MMI準則 最大化O與V的互信息,也即最小化H(W|O)條件熵。 最大化句子正確率 MPE準則 最小化音素錯誤率 sMBR 最小化狀態錯

原创 語音識別中DT訓練和ML的區別

X表示訓練數據中的語音信號,W代表訓練數據中的文本,θ\thetaθ代表聲學模型參數,LM語言模型是固定的。 ML的目標函數是: θ^ML=arg⁡max⁡θpθ(X∣W){{\hat \theta }_{ML}} = \arg \m

原创 WFST優化算法

Determinization確定化 DFA僅具有一個單個初始狀態,並且對於來自每個狀態的任何輸入標籤,最多隻有一個轉換,即給定符號在給定狀態下的轉換是唯一的,因此目標狀態也是唯一的,因此,如果輸入符號序列被接受,則從初始狀態到最終

原创 Speech Recognition Algorithms Using Weighted Finite-State Transducers

語音識別概述 語音識別統計框架 語音分析/特徵提取 聲學模型 子詞模型和發音字典 上下文相關音素模型 語言模型 解碼 WFST FA FA基本性質 半環理論 基本操作 轉換器組合算法 優化算法:確定化、weight pushing

原创 the kaldi speech recognition toolkit——翻譯

基於WFST的語音識別,利用開源的openfst。 C++編寫,核心庫支持

原创 state-of-the art speech recogniton with seqence to sequence models

Google 2018 attention-based 注意力機制 encoder-decoder 編碼解碼模型 LAS 模型

原创 動態規劃——0-1揹包問題

0-1揹包問題: 題目: 有一個揹包,它的容量爲C(capacity)。現在有n種不同的物品,編號爲0…n-1,其中每一件物品的重量爲W(i),價值爲v(i)。問可以向這個揹包中盛放哪些物品,使得在不超過揹包容量的基礎上,物品的總價

原创 leetcode198.打家劫舍,動態規劃

題目: 你是一個專業的小偷,計劃偷竊沿街的房屋。每間房內都藏有一定的現金,影響你偷竊的唯一制約因素就是相鄰的房屋裝有相互連通的防盜系統,如果兩間相鄰的房屋在同一晚上被小偷闖入,系統會自動報警。 給定一個代表每個房屋存放金額的非負整數