回声就是声音信号经过一系列反射之后，又听到了自己讲话的声音，这就是回声。一些回声是必要的，比如剧院里的音乐回声以及延迟时间较短的房间回声；而大多数回声会造成负面影响，比如在有线或者无线通信时重复听到自己讲话的声音（回想那些年我们开黑打游戏时，如果其中有个人开了外放，他的声音就会回荡来回荡去）。因此消除回声的负面影响对通信系统是十分必要的。
针对回声消除（Acoustic Echo Cancellation，AEC ）问题，现如今最流行的算法就是基于自适应滤波的回声消除算法。本文从回声信号的两种分类以及 AEC 的基本原理出发，介绍几种经典的 AEC 算法并对其性能进行阐释。
回声分类
在通信系统中，回声主要分为两类：电路回声和声学回声
电路回声
电路回声通常产生于有线通话中，而造成电路回声的根本原因是转换混合器的二线-四线阻抗不能完全匹配。中心局至转换混合器之间采用四线的连接方式传输信号，上面两条线路用于发送给用户端信号，下面两条线路用于接收用户端信号。通信公司为了降低远距离信号传输成本，将混合器至用户端的连接线减少为二线连接，分别用于用户端信号的接受与发送。中间的转换混合电路功能是将四线连接转换为二线连接，由于在转换过程中使用了不同型号的电线或者负载线圈没有被使用的原因，不可避免地会产生阻抗不匹配现象，导致混合器接收线路上的语音信号流失到了发送线路，产生了回声信号，使得另一端的用户在接收信号的同时听到了自己的声音。
电路回声产生原理
在现如今的数字通信网络中，转换混合器与数模转换器融为一体，但无论是模拟电子线路还是数字电子线路，二-四线的转换都会造成阻抗不匹配问题，从而导致其产生电路回声，影响现代通信质量。由于电路回声的线性以及稳定性，用一个简单的线性叠加器就可以实现电路回声消除。首先将产生的回声信号在数值上取反，线性地叠加在回声信号上，将产生的回声信号抵消，实现电路回声的初步消除。然而由于技术缺陷，线性叠加器不能完整地将回声信号抹去，因此需要添加一个非线性处理器，其实质是一个阻挡信号的开关，将残余的回声信号经过非线性处理之后，就可以实现电路回声的消除，或者得到噪声很小的静音信号。由于电路回声信号是线性且稳定的，所以比较容易将其消除，而本文主要研究的是如何消除非线性的声学回声。
电路回声消除的基本原理
声学回声
在麦克风与扬声器互相作用影响的双工通信系统中极易产生声学回声。如下图所示
远端讲话者A-->麦克风A-->电话A-->电话B---->扬声器B--->麦克风B-->电话B-->电话A-->扬声器A--->麦克风A--->.........就这样无限循环，
详细讲解：远端讲话者A的话语被麦克风采集并传入至通信设备，经过无线或有线传输之后达到近端的通信设备，并通过近端 B 的扬声器播放，这个声音又会被近端 B 的麦克风拾取至其通信设备形成声学回声，经传输又返回了远端 A 的通信设备，并通过远端 A 的扬声器播放出来，从而远端讲话者就听到了自己的回声。
声学回声产生原理
声学回声信号根据传输途径的差别可以分别直接回声信号和间接回声信号。
直接回声：近端扬声器B将语音信号播放出来后，近端麦克风B直接将其采集后得到的回声。
直接回声不受环境的印象，与扬声器到麦克风的距离及位置有很大的关系，因此直接回声是一种线性信号。
间接回声：近端扬声器B将语音信号播放出来后，语音信号经过复杂多变的墙面反射后由近端麦克风B将其拾取。
间接回声的大小与房间环境、物品摆放以及墙面吸引系数等等因素有关，因此间接回声是一种非线性信号。
回声消除技术主要用于在免提电话、电话会议系统等情形中。
AEC的基本原理
如今解决 AEC 问题最常用的方法，就是
使用不同的自适应滤波算法调整滤波器的权值向量，估计一个近似的回声路径来逼近真实回声路径，从而得到估计的回声信号，并在纯净语音和回声的混合信号中除去此信号来实现回声的消除。
AEC的基本原理
$x(n)$为远端输入信号，经过未知的回声路径$w(n)$得到$y(n)=x(n)*w(n)$，再加上观测噪声$v(n)$即为期望信号$d(n)= y(n) + v(n)$。x(n)通过自适应滤波器$\hat{w}(n)$得到估计的回声信号，并与期望信号$d(n)$相减得到误差信号$e(n)$，即$e(n)=d(n)-\hat{w}^T(n)x(n)$，误差信号的值越小说明自适应滤波算法所估计的回声路径就越接近实际的回声路径。
滤波器采用特定的自适应算法不停地调整权值向量，使估计的回声路径$\hat{w}(n)$逐渐趋近于真实回声路径$w(n)$。显然，在 AEC 问题中，自适应滤波器的选择对回声消除的性能好坏起着十分关键的作用。
自适应滤波器的基本原理
自适应滤波器是一个对输入信号进行处理并不停学习，直到其达到期望值的器件。自适应滤波器在输入信号非平稳条件下，也可以根据环境不断调节滤波器权值向量，使算法达到特定的收敛条件，从而实现自适应滤波过程。
自适应滤波器按输入信号类型可分为模拟滤波器和离散滤波器，本文中使用的是离散滤波器中的数字滤波器（数字滤波器按结构可划分为输入不仅与过去和当前的输入有关、还与过去的输出有关的无限冲激响应滤波器（IIR），以及输出与有限个过去和当前的输入有关的有限冲激响应滤波器（FIR））为了使得自适应滤波器具有更强的稳定性，并且具有足够的滤波器系数可以用来调整以达到特定的收敛准则，一般选取横向的 FIR 滤波器进行来进行回声的消除
横向FIR滤波器结构框图
$x(n)$是远端输入信号，$\hat{w}_i(n)$是滤波器系数，其中$i=0,1,...,L-1$，$L$为滤波器的长度，$n$为采样点数，$\hat{w}(n)$为滤波器的权值向量且$\hat{w}(n)=[\hat{w}_0(n),\hat{w}_1(n),...,\hat{w}_{L-1}(n)]^T$，根据误差信号$e(n)=d(n)-\hat{w}^T(n)x(n)$的值以及不同算法的收敛准则调整滤波器的权值向量。
然而自适应滤波算法的选择从根本上决定了回声消除的效果是否良好，接下来将介绍几种解决 AEC 问题的经典自适应滤波算法。
回声消除常用算法
LSM算法
通过上面AEC的基本原理我们知道了误差信号$e(n)$等于期望信号减去滤波器输出信号：
$$e(n)=d(n)-\hat{w}^T(n)x(n)$$
对上式两端先平方，然后再求其数学期望，可将$e(n)$的MSE表示为：
$$\xi=E[e^2(n)]=E[d^2(n)]-2P^T\hat{w}(n)+\hat{w}^T(n)R\hat{w}(n)$$
其中，$P=E[d(n)x(n)]$为$d(n)$与输入信号$x(n)$的负相关矩阵，$R=E[x(n)x^T(n)]$为$x(n)$的自相关矩阵。
对误差信号求导并且使导数值置零，求解得到使得误差最小的“最优权重” $\hat{w}_{opt}(n)=\frac{P}{R}$，R 和 P 的估计分别为$\hat{R}(n) 和$\hat{P}(n)$，利用各自的瞬时估计值将其分别表示为：$\hat{R}(n)=x(x)x^T(n)$；$\hat{P}(n)=d(n)x(n)$ 。另外，用$\hat{g}_w(n)$表示误差信号对权值向量导数的估计值，利用下式方法求解最优权值向量的维纳解：
得到：$\hat{g}_w(n)=-2e(n)x(n)$ ，算法取瞬时平方误差作为目标函数，那么$\hat{g}_w(n)$为其真实梯度，因为：
因此得到 LMS 算法的权值向量更新公式：
$$\hat{w}(n+1)=\hat{w}(n)+2\mu e(n)x(n)$$
式中，$\mu$为固定步长因子，$\mu$的大小很大程度上决定了算法的收敛与稳态性能。LMS 算法复杂性低，但是它的收敛速度慢。为改善 LMS 这个不足之处，科研人员提出一系列改进算法，NLMS 算法就是其中一种
NLMS算法
NSAF算法
MATLAB代码实现
当需要同时进行语音通信（或全双工传输）时，回声消除对于音频电话会议非常重要。在回声消除中，测得的麦克风信号
包含两个信号：
-
近端语音信号$v(n)$
-
远端回声信号$\hat{d}(n)$
目的是从麦克风信号中去除远端回声信号，从而仅发送近端语音信号。本示例包含一些声音片段，因此您可能现在要调整计算机的音量。
房间脉冲响应
首先，您需要对扬声器所在的扬声器到麦克风的信号路径的声学建模。使用长有限冲激响应滤波器来描述房间的特征。下面的代码生成一个随机的脉冲响应，该响应与会议室的显示相同。假设系统采样率为16000 Hz。
fs = 16000； M = fs / 2 + 1; frameSize = 2048; [B，A] = cheby2（4,20，[0.1 0.7]）; impulseResponseGenerator = dsp.IIRFilter（' Numerator '，[zeros（1,6）B]，... 'Denominator'，A）; FVT = fvtool（impulseResponseGenerator）; ％分析过滤器 FVT.Color = [1 1 1];
roomImpulseResponse = impulseResponseGenerator( ... (log(0.99*rand(1,M)+0.01).*sign(randn(1,M)).*exp(-0.002*(1:M)))'); roomImpulseResponse = roomImpulseResponse/norm(roomImpulseResponse)*4; room = dsp.FIRFilter('Numerator', roomImpulseResponse'); fig = figure; plot(0:1/fs:0.5, roomImpulseResponse); xlabel('Time (s)'); ylabel('Amplitude'); title('Room Impulse Response'); fig.Color = [1 1 1];
近端语音信号
电话会议系统的用户通常位于系统麦克风附近。这是麦克风上男性讲话的声音。
load nearspeech player = audioDeviceWriter('SupportVariableSizeInput', true, ... 'BufferSize', 512, 'SampleRate', fs); nearSpeechSrc = dsp.SignalSource('Signal',v,'SamplesPerFrame',frameSize); nearSpeechScope = dsp.TimeScope('SampleRate', fs, ... 'TimeSpan', 35, 'TimeSpanOverrunAction', 'Scroll', ... 'YLimits', [-1.5 1.5], ... 'BufferLength', length(v), ... 'Title', 'Near-End Speech Signal', ... 'ShowGrid', true); % Stream processing loop while(~isDone(nearSpeechSrc)) % Extract the speech samples from the input signal nearSpeech = nearSpeechSrc(); % Send the speech samples to the output audio device player(nearSpeech); % Plot the signal nearSpeechScope(nearSpeech); end release(nearSpeechScope);
远端语音信号
在电话会议系统中，语音从扬声器中传播出去，在房间里弹跳，然后被系统的麦克风拾取。聆听在没有近端语音的情况下在麦克风处拾起语音时的声音。
load farspeech farSpeechSrc = dsp.SignalSource('Signal',x,'SamplesPerFrame',frameSize); farSpeechSink = dsp.SignalSink; farSpeechScope = dsp.TimeScope('SampleRate', fs, ... 'TimeSpan', 35, 'TimeSpanOverrunAction', 'Scroll', ... 'YLimits', [-0.5 0.5], ... 'BufferLength', length(x), ... 'Title', 'Far-End Speech Signal', ... 'ShowGrid', true); % Stream processing loop while(~isDone(farSpeechSrc)) % Extract the speech samples from the input signal farSpeech = farSpeechSrc(); % Add the room effect to the far-end speech signal farSpeechEcho = room(farSpeech); % Send the speech samples to the output audio device player(farSpeechEcho); % Plot the signal farSpeechScope(farSpeech); % Log the signal for further processing farSpeechSink(farSpeechEcho); end release(farSpeechScope);
麦克风信号
麦克风处的信号既包含近端语音，也包含在整个房间中回声的远端语音。回声消除器的目的是消除远端语音，从而仅将近端语音发送回远端听众。
reset(nearSpeechSrc); farSpeechEchoSrc = dsp.SignalSource('Signal', farSpeechSink.Buffer, ... 'SamplesPerFrame', frameSize); micSink = dsp.SignalSink; micScope = dsp.TimeScope('SampleRate', fs,... 'TimeSpan', 35, 'TimeSpanOverrunAction', 'Scroll',... 'YLimits', [-1 1], ... 'BufferLength', length(x), ... 'Title', 'Microphone Signal', ... 'ShowGrid', true); % Stream processing loop while(~isDone(farSpeechEchoSrc)) % Microphone signal = echoed far-end + near-end + noise micSignal = farSpeechEchoSrc() + nearSpeechSrc() + ... 0.001*randn(frameSize,1); % Send the speech samples to the output audio device player(micSignal); % Plot the signal micScope(micSignal); % Log the signal micSink(micSignal); end release(micScope);
频域自适应滤波器（FDAF）
该示例中的算法是频域自适应滤波器（FDAF）。当待识别系统的脉冲响应较长时，此算法非常有用。FDAF使用快速卷积技术来计算输出信号和过滤器更新。该计算可在MATLAB®中快速执行。通过频点步长归一化，它还具有快速收敛性能。为滤波器选择一些初始参数，并查看远端语音在误差信号中的消除程度。
% Construct the Frequency-Domain Adaptive Filter echoCanceller = dsp.FrequencyDomainAdaptiveFilter('Length', 2048, ... 'StepSize', 0.025, ... 'InitialPower', 0.01, ... 'AveragingFactor', 0.98, ... 'Method', 'Unconstrained FDAF'); AECScope1 = dsp.TimeScope(4, fs, ... 'LayoutDimensions', [4,1], ... 'TimeSpan', 35, 'TimeSpanOverrunAction', 'Scroll', ... 'BufferLength', length(x)); AECScope1.ActiveDisplay = 1; AECScope1.ShowGrid = true; AECScope1.YLimits = [-1.5 1.5]; AECScope1.Title = 'Near-End Speech Signal'; AECScope1.ActiveDisplay = 2; AECScope1.ShowGrid = true; AECScope1.YLimits = [-1.5 1.5]; AECScope1.Title = 'Microphone Signal'; AECScope1.ActiveDisplay = 3; AECScope1.ShowGrid = true; AECScope1.YLimits = [-1.5 1.5]; AECScope1.Title = 'Output of Acoustic Echo Canceller mu=0.025'; AECScope1.ActiveDisplay = 4; AECScope1.ShowGrid = true; AECScope1.YLimits = [0 50]; AECScope1.YLabel = 'ERLE (dB)'; AECScope1.Title = 'Echo Return Loss Enhancement mu=0.025'; % Near-end speech signal release(nearSpeechSrc); nearSpeechSrc.SamplesPerFrame = frameSize; % Far-end speech signal release(farSpeechSrc); farSpeechSrc.SamplesPerFrame = frameSize; % Far-end speech signal echoed by the room release(farSpeechEchoSrc); farSpeechEchoSrc.SamplesPerFrame = frameSize;
回波回波增强（ERLE）
由于您可以访问近端和远端语音信号，因此可以计算回声回波损耗增强（ERLE），这是对回声衰减量的平滑度量（以dB为单位）。从图中可以看出，在收敛周期结束时您获得了大约35 dB的ERLE。
diffAverager = dsp.FIRFilter('Numerator', ones(1,1024)); farEchoAverager = clone(diffAverager); setfilter(FVT,diffAverager); micSrc = dsp.SignalSource('Signal', micSink.Buffer, ... 'SamplesPerFrame', frameSize); % Stream processing loop - adaptive filter step size = 0.025 while(~isDone(nearSpeechSrc)) nearSpeech = nearSpeechSrc(); farSpeech = farSpeechSrc(); farSpeechEcho = farSpeechEchoSrc(); micSignal = micSrc(); % Apply FDAF [y,e] = echoCanceller(farSpeech, micSignal); % Send the speech samples to the output audio device player(e); % Compute ERLE erle = diffAverager((e-nearSpeech).^2)./ farEchoAverager(farSpeechEcho.^2); erledB = -10*log10(erle); % Plot near-end, far-end, microphone, AEC output and ERLE AECScope1(nearSpeech, micSignal, e, erledB); end release(AECScope1);
不同步长值的影响
为了获得更快的收敛速度，可以尝试使用更大的步长值。但是，这种增加会产生另一种效果：当近端扬声器讲话时，自适应滤波器“调整不当”。聆听您选择的步长比以前大60％时会发生什么。
% Change the step size value in FDAF reset(echoCanceller); echoCanceller.StepSize = 0.04; AECScope2 = clone(AECScope1); AECScope2.ActiveDisplay = 3; AECScope2.Title = 'Output of Acoustic Echo Canceller mu=0.04'; AECScope2.ActiveDisplay = 4; AECScope2.Title = 'Echo Return Loss Enhancement mu=0.04'; reset(nearSpeechSrc); reset(farSpeechSrc); reset(farSpeechEchoSrc); reset(micSrc); reset(diffAverager); reset(farEchoAverager); % Stream processing loop - adaptive filter step size = 0.04 while(~isDone(nearSpeechSrc)) nearSpeech = nearSpeechSrc(); farSpeech = farSpeechSrc(); farSpeechEcho = farSpeechEchoSrc(); micSignal = micSrc(); % Apply FDAF [y,e] = echoCanceller(farSpeech, micSignal); % Send the speech samples to the output audio device player(e); % Compute ERLE erle = diffAverager((e-nearSpeech).^2)./ farEchoAverager(farSpeechEcho.^2); erledB = -10*log10(erle); % Plot near-end, far-end, microphone, AEC output and ERLE AECScope2(nearSpeech, micSignal, e, erledB); end release(nearSpeechSrc); release(farSpeechSrc); release(farSpeechEchoSrc); release(micSrc); release(diffAverager); release(farEchoAverager); release(echoCanceller); release(AECScope2);
回声回波损耗增强比较
步长较大时，由于近端语音引入的错误调整，导致ERLE性能不佳。为了解决此性能难题，声学回声消除器包括一种检测方案，可告知何时存在近端语音并在这些时间段内降低步长值。没有这种检测方案，从ERLE图可以看出，具有较大步长的系统的性能不如前者。
使用分区减少延迟
对于长脉冲响应，传统FDAF在数值上比时域自适应滤波更有效，但是由于输入帧大小必须是指定滤波器长度的倍数，因此它具有高延迟。对于许多实际应用程序来说，这可能是不可接受的。通过使用分区的FDAF可以减少延迟，该方法将过滤器脉冲响应分为较短的部分，将FDAF应用于每个部分，然后合并中间结果。在这种情况下，帧大小必须是分区（块）长度的倍数，从而大大减少了长脉冲响应的等待时间。
% Reduce the frame size from 2048 to 256 frameSize = 256; nearSpeechSrc.SamplesPerFrame = frameSize; farSpeechSrc.SamplesPerFrame = frameSize; farSpeechEchoSrc.SamplesPerFrame = frameSize; micSrc.SamplesPerFrame = frameSize; % Switch the echo canceller to Partitioned constrained FDAF echoCanceller.Method = 'Partitioned constrained FDAF'; % Set the block length to frameSize echoCanceller.BlockLength = frameSize; % Stream processing loop while(~isDone(nearSpeechSrc)) nearSpeech = nearSpeechSrc(); farSpeech = farSpeechSrc(); farSpeechEcho = farSpeechEchoSrc(); micSignal = micSrc(); % Apply FDAF [y,e] = echoCanceller(farSpeech, micSignal); % Send the speech samples to the output audio device player(e); % Compute ERLE erle = diffAverager((e-nearSpeech).^2)./ farEchoAverager(farSpeechEcho.^2); erledB = -10*log10(erle); % Plot near-end, far-end, microphone, AEC output and ERLE AECScope2(nearSpeech, micSignal, e, erledB); end
开源的音频处理库
专为语音设计的无专利音频压缩格式。Speex项目旨在通过提供免费替代昂贵的专有语音编解码器的方法来降低语音应用程序的进入门槛。此外，Speex非常适合Internet应用程序，并提供了大多数其他编解码器中没有的有用功能。
Speex基于CELP ，旨在以2到44 kbps的比特率压缩语音。Speex的一些功能包括：
- 同一位流中的窄带（8 kHz），宽带（16 kHz）和超宽带（32 kHz）压缩
- 强度立体声编码
- 丢包隐藏
- 可变比特率操作（VBR）
- 语音活动检测（VAD）
- 不连续传输（DTX）
- 定点端口
- 回声消除器
- 噪声抑制
Speex编解码器已被Opus淘汰。它会继续可用，但是由于Opus在各个方面都比Speex更好，因此建议用户切换Opus，
Opus是一款完全开放，免版税，功能广泛的音频编解码器。Opus在互联网上的交互式语音和音乐传输方面无可匹敌，但也适用于存储和流媒体应用程序。
Opus可以处理各种音频应用程序，包括IP语音，视频会议，游戏内聊天，甚至是远程现场音乐表演。它可以从低比特率的窄带语音扩展到高质量的立体声音乐。支持的功能有：
- 比特率从6 kb / s到510 kb / s
- 采样率从8 kHz（窄带）到48 kHz（全带）
- 帧大小从2.5毫秒到60毫秒
- 支持恒定比特率（CBR）和可变比特率（VBR）
- 音频带宽从窄带到全带
- 支持语音和音乐
- 支持单声道和立体声
- 最多支持255个通道（多流帧）
- 动态可调的比特率，音频带宽和帧大小
- 良好的丢失健壮性和数据包丢失隐藏（PLC）
- 浮点和定点实现
WebRTC(实时通信)：用户可以通过简单API为浏览器和移动应用程序提供实时通信(RTC)功能
推荐使用webrtc
参考
《基于自适应滤波器的声学回声消除研究——冯江浩》
MATLAB官网audio_Examples_Acoustic Echo Cancellation
Hand Book of Speech Enhancement and Recognition