機器學習 - 語音識別

語音識別

聲音的本質是震動，震動的本質是位移關於時間的函數，波形文件(.wav)中記錄了不同採樣時刻的位移。

通過傅里葉變換，可以將時間域的聲音函數分解爲一系列不同頻率的正弦函數的疊加，通過頻率譜線的特殊分佈，建立音頻內容和文本的對應關係，以此作爲模型訓練的基礎。

案例：

import numpy as np
import numpy.fft as nf
import scipy.io.wavfile as wf
import matplotlib.pyplot as mp

sample_rate, sigs = wf.read('../data/freq.wav')
print(sample_rate)
print(sigs.shape, sigs.dtype)
sigs = sigs / 2 ** 15
times = np.arange(len(sigs)) / sample_rate
freqs = nf.fftfreq(sigs.size, 1 / sample_rate)
ffts = nf.fft(sigs)
pows = np.abs(ffts)
mp.figure('Audio', facecolor='lightgray')
mp.subplot(121)
mp.title('Time Domain', fontsize=16)
mp.xlabel('Time', fontsize=12)
mp.ylabel('Signal', fontsize=12)
mp.tick_params(labelsize=10)
mp.grid(linestyle=':')
mp.plot(times, sigs, c='dodgerblue', label='Signal')
mp.legend()
mp.subplot(122)
mp.title('Frequency Domain', fontsize=16)
mp.xlabel('Frequency', fontsize=12)
mp.ylabel('Power', fontsize=12)
mp.tick_params(labelsize=10)
mp.grid(linestyle=':')
mp.plot(freqs[freqs >= 0], pows[freqs >= 0], c='orangered', label='Power')
mp.legend()
mp.tight_layout()
mp.show()

語音識別

梅爾頻率倒譜系數(MFCC)通過與聲音內容密切相關的13個特殊頻率所對應的能量分佈，可以使用梅爾頻率倒譜系數矩陣作爲語音識別的特徵。基於隱形馬爾科夫模型進行模式識別，找到測試樣本最匹配的聲音模型，從而識別語音內容。

梅爾頻率倒譜系數相關API：

import scipy.io.wavfile as wf
import python_speech_features as sf

sample_rate, sigs = wf.read('../data/freq.wav')
mfcc = sf.mfcc(sigs, sample_rate)

案例：

python -m pip install python_speech_features

隱馬爾科夫模型相關API：

import hmmlearn.hmm as hl
# n_components: 用幾個高斯分佈函數擬合樣本數據
# covariance_type: 相關矩陣的輔對角線進行相關性比較
# n_iter: 最大迭代上限
model = hl.GaussianHMM(n_components=4, covariance_type='diag', n_iter=1000)
model.fit(mfccs)
# 使用模型匹配測試mfcc矩陣的分值
score = model.score(test_mfccs)

案例：

聲音合成

根據需求獲取某個聲音的模型頻域數據，根據業務需要可以修改模型數據，逆向生成時域數據，完成聲音的合成。

案例：

import json
import numpy as np
import scipy.io.wavfile as wf
with open('../data/12.json', 'r') as f:
    freqs = json.loads(f.read())
tones = [
    ('G5', 1.5),
    ('A5', 0.5),
    ('G5', 1.5),
    ('E5', 0.5),
    ('D5', 0.5),
    ('E5', 0.25),
    ('D5', 0.25),
    ('C5', 0.5),
    ('A4', 0.5),
    ('C5', 0.75)]
sample_rate = 44100
music = np.empty(shape=1)
for tone, duration in tones:
    times = np.linspace(0, duration, duration * sample_rate)
    sound = np.sin(2 * np.pi * freqs[tone] * times)
    music = np.append(music, sound)
music *= 2 ** 15
music = music.astype(np.int16)
wf.write('../data/music.wav', sample_rate, music)