语音信号的采集与分析文献综述

注：该文档为原创，仅提供参考

语音信号的采集与分析的研究现状与进展

学生姓名：陈静波指导教师：张石清

班级：11级电子信息2班学号：1130220060

摘要：语音信号的采集与分析技术是一门涉及面很广的交叉科学，它的应用和发展与语音学、声音测量学、电子测量技术以及数字信号处理等学科紧密联系。其中语音采集和分析仪器的小型化、智能化、数字化以及多功能化的发展越来越快，分析速度较以往也有了大幅度的高。本文简要介绍了语音信号采集与分析的发展史以及语音信号的特征、采集与分析方法，主要运用Matlab以及DSP等一些电脑软件进行仿真分析，最后加入噪声进行滤波处理，比较滤波前后的变化

关键词：语音信号，采集与分析， Matlab

1.课题背景

The speech processing studies have advanced rapidly in recent years spurred on by great progresses in the VLSI technologies and in the digitalization of the networks. This paper offers an overview of the most attractive techniques which have focused the recent researchs

and developments in speech coding, recognition and synthesis areas. For speech compression, the emphasis is put on a family of techniques named code-excited linear prediction (CELP) which dominates current studies for rates in the range of 4 to 16 kbit/s. In terms of speech recognition, particular emphasis is placed on the ollowing three elements which are essential in order to increase the robustness of the systems : telephone line adaptation, rejection of parasite noise and out-of- vocabulary words, and

keyword spotting. In terms of text-to-speech synthesis, the PSOLA (pitch synchronous overlap and add) technique is outlined herein. This echnique gives rise to a new generation of synthesis systems which produce speech with very natural timbre. The analysis of current tendencies for each area allows to suggest attractive directions for future research.

语音信号采集与分析是以语音语言学和数字信号处理为基础而形成的一门涉及面很广的综合性学科，与心理学、生理学、通信与信息科学、计算机科学以及模式识别和人工智能等学科都有着非常密切的关系。对语音信号进行采集与分析的研究一直是数字信号处理技术发展的重要推动力量，这是因为许多新的处理方法的提出，首先是在语音信号处理中获得成功，然后再推广到其他领域。语音信号的分析与处理作为一个重要的研究领域，随着通信技术的发展，语音采集和分析仪器的数字化、智能化、小型化和多功能化的发展越来越快，其分析速度也有了大幅度的提高。但现在市场上的语音分析系统价格昂贵、操作复杂，且仅能用于特定的测量分析项目。基于上述不足，设计一款基Maflab的语音信号采集与分析系统[1]，其具有价格便宜、使用方便、通用性强等优点。

2. 研究现状

语音信号的采集与分析作为一个重要的研究领域，已经有很长的研究历史。但是它的快速发展可以说是从1940年前后Dudley的声码器(vocoder)和potter等人的可见语音Visible Speech)开始的[1]。1952年贝尔(Bell)实验室的Davis等人首次研制成功能识别十个英语数字的实验装置。1956年Olson和Belar等人采用8个带通滤波器组提取频谱参数作为语音的特征，研制成功一台简单的语音打字机。20世纪60年代初由于Faut和Steven的努力，奠定了语音生成理论的基础，在此基础上语音合

成的研究得到了扎实的进展。20世纪60年代中期形成的一系列数字信号处理方法和技术，如数字滤波器、快速傅里叶变换(FFT)等成为语音信号数字处理的理论和技术基础。在方法上，随着电子计算机的发展，以往的以硬件为中心的研究逐渐转化为以软件为主的处理研究。然而，在语音识别领域内，初期有几种语音打字机的研究也很活跃，但后来已全部停了下来，这说明了当时人们对话音识别难度的认识得到了加深，所以1969年美国贝尔研究所的Pierce感叹地说?语音识别向何处去??。

到了1970年，好似反驳Pierce的批评，单词识别装置开始了实用化阶段，其后实用化的进程进一步高涨，实用机的生产销售也上了轨道[2]。此外社会上所宣传的声纹(Voice Print)识别，即说话人识别的研究也扎扎实实地开展起来，并很快达到了实用化的阶段.到了1971年，以美国ARPA(American Research Projects Agency)为主导的?语音理解系统?的研究计划也开始起步。这个研究计划不仅在美国国内，而且对世界各国都产生了很大的影响，它促进了连续语音识别研究的兴起。历时五年的庞大的ARPA研究计划，虽然在语音理解、语言统计模型等方面的研究积累了一些经验，取得了许多成果，但没能达到巨大投资应得的成果，在1976年停了下来，进入了深刻的反省阶段。但是，在整个20世纪70年代还是有几项研究成果对语音信号处理技术的进步和发展产生了重大的影响。这就是20世纪70年代初由板仓(Itakura)提出的动态时间规整(DTW)技术，使语音识别研究在匹配算法方面开辟了新思路；20世纪70年代中期线性预测技术(LPC)被用于语音信号处理，此后隐马尔可夫模型法(HNMM)也获得初步成功，该技术后来在语音信号处理的多个方面获得巨大成功；20世纪70年代未，Linda、Buzo、Gray和Markel等人首次解决了矢量量化(VQ)码书生成的方法，并首先将矢量量化技术用于语音编码获得

成功。从此矢量量化技术不仅在语音识别、语音编码和说话人识别等方面发挥了重要作用，而且很快推广到其他许多领域。因此，20世纪80年代开始出现的语音信号处理技术产品化的热溯，与上述语音信号处理新技术的推动作用是分不开的。20世纪80年代，由于矢量量化、隐马尔可夫模型和人工神经网络(ANN)等相继被应用于语音信号处理，并经过不断改进与完善，使得语音信号处理技术产生了突破性的进展。其中，隐马尔可夫模型作为语音信号的一种统计模型，在语音信号处理的各个领域中获得了广泛的应用。其理论基础是1970年前后，由Baum 等人建立起来的，随后，由美国卡内基梅隆大学(CMU)的Baker和美国IBM公司的Jelinek等人将其应用到语音识别中。由于美国贝尔实验室的Babiner等人在20世纪80年代中期，对隐马尔可夫模型深人浅出的介绍，才使世界各国从事语音信号处理的研究人员了解和熟悉，进而成为一个公认的研究热点，也是目前语音识别等的主流研究途径[2]。

进入20世纪90年代以来，语音信号采集与分析在实用化方面取得了许多实质性的研究进展。其中，语音识别逐渐由实验室走向实用化。一方面，对声学语音学统计模型的研究逐渐深入，鲁棒的语音识别、基于语音段的建模方法及隐马尔可夫模型与人工种经网络的结合成为研究的热点。另一方面，为了语音识别实用化的需要，讲者自适应、听觉模型、快速搜索识别算法以及进一步的语言模型的研究等课题倍受关注。

目前语音信号的采集和处理主要基于仿真软件如：MATLAB仿真，以及基于DSP 数字化模块处理、小波变换对语音信号的时域和频域的分析处理

2.1基于MATLAB语音信号的采集过程以及分析过程

MATLAB中提供了强大的数据采集工具箱[3]可满足控制声卡对数据进行采集的

要求。语音数据采集过程如图1所示

在Matlab环境中，可以通过多种编程方法驱动声卡实现对语音信号的采集与播放[4]，它的信号处理和分析工具箱为语音信号的分析提供了丰富的功能函数，利用这些功能函数可以快捷地完成语音信号的分析和处理。使用Matlab语言编程可以将声音文件变换为离散的数据文件，然后利用其强大的矩阵运算能力处理数据，如数字滤波、时域和频域分析、傅里叶变换、各种分析图的呈现和声音回放等。在Matlab环境中，可以通过以下3种方法驱动声卡：一是将声卡作为对象处理采集语音信号；二是调用Wavrecord功能函数采集语音信号；三是运用Audiorecorder对象采集语音信号

语音信号是一种非平稳的时变信号，它携带着各种信息。在语音编码、语音识别语音合成和语音增强等一系列语音处理中都需要提取语音信号中包含的各种信息。语音信号分析的目的在于方便而有效地提取并表示语音信号所携带的各种信息。语音信号分析可以分为时域和变换域等处理方法[5]。信号的频域分析是研究信号特征的重要手段之一，通常是对信号进行傅里叶变换，这一方法在许多领域都发挥了重要的作用。在进行时域分析时，要对输入的信号进行预加重，其目的是为了对语音的高频部分进行加重，去除口唇辐射的影响，增加语音的高频分辨率。一段语音信号预加重前后的频谱如2图所示。

图2 一段语音滤波前后的频谱

对比预加重前和预加重后的语音信号频谱，可以看出，预加重后的频谱在高频部分的幅度得到了提升，信号的频谱变得平坦。语音是一个受准周期脉冲或随机噪声源激励的线性系统的输出，输出频谱是激励源频谱与声道系统频率响应的乘积。激励源和声道系统的频率响应都是随时间变化的，因此一般标准的傅里叶变换虽然适用于周期和平稳随机信号的表示，但不能直接用于语音信号。由于语音信号可以认为在短时间内近似不变，因而可以采用短时分析法。我们将每个短时的语音称为一个分析帧。一般帧长取10 m8—30 m8。我们采用一个长度有限的窗函数来截取语音信号形成分析帧。通常会采用矩形窗和汉明窗，图3是加不同窗函数时的语音波形及频谱图

图3 加不同窗函数时的语音波形及频谱图

通过对比矩形窗和汉明窗及其频谱可知，采用矩形窗时，整个频谱图显得比较破碎，而当加汉明窗时，得到的短时频谱要平滑得多。因而在语音频谱分析中汉明窗用得比较普遍

数字滤波器的设计处理：

采用数字滤波器来对语音信号进行去噪处理，可选用窗函数法设计FIR数字滤波器。图4为窗函数法对语音信号进行去噪前后的波形及频谱图，也可选用双线性变换法设计巴特沃斯滤波器，图5为双线性变换法对语音信号进行去噪前后的波形及频谱图

图4 窗函数法去噪前后语音信号波形及频谱图对比

图5 双线性变换法去噪前后语音信号波形及频谱图对比

对比以上两种方法设计的滤波器，可得出以下结论：窗函数法中相位响应有严格的线性，不存在稳定性问题，设计简单。双线性变换法中不会出现由于高频部分超过折叠频率而混淆到低频部分去的现象，但会产生频率混跌现象，使数字滤波器的频响偏移模拟滤波器的频响。

在对语音信号进行滤波的时候，由于人的语音信号的能量主要集中在低频部分，双线性低通滤波器的滤波效果最好，滤波后的语音信号失真比较小[6]。

结论：

本系统运用Matlab软件实现了对语音的采集与分析[7]，分别对语音信号的时域与频域进行了分析，对所采集的语音信号加人干扰噪声，对加入噪声的信号进行播放，并进行时域和频域分析。最后设计了滤波器，对有噪的语音信号进行去噪处理，充分利用了Matlab强大的数值计算功能、方便的声卡控制功能和信号分析能力，完成了设计的目的。该系统在语音信号的采集与分析的实际应用中取得了良好的效果，具有较好的应用前景

2.2 基于DSP语音信号的采集以及分析过程

系统采用1片TMS320VC5402芯片和2片TLC320AD50C的连接电路实现语音信号采集功能，其接口电路如图6所示[8-9]。

图6音信号采集电路

电路中的DSP工作在被动接收数据模式下,AD50C工作在主动模式下。电路连接中选用TMS320-VC5402处理器的McBSP实现与TLC320AD50C之间的数据传输，由C5402的多通道缓冲串口(McBSP)的接收数据硬中断(BRINTl或BRlNT0)激活中断服务程序来完成数据的接收。7rLC320AD50C的主时钟频率由DSP提供，引脚MCLK接DSP的CLKOUT脚，TLC320AD50C提供可与DSP通信的移位时钟SCLK 和帧同步脉冲FS。AD50C的采样频率Z与AD50C控制寄存器4的B位有关。选择TLC320AD50C的INP和INM作为MD变换的语音信号输入端，ADC后的数据通过DOUT引脚传

送到McBSP的DR，同时可通过DIN接收来自McBSP的数据。而且通过对M／S脚配置高电平输入(依据DSP的电源选择可连接3．3V)，使第一个TLC320AD50C 配

置为主片，设置第二片TLC320AD50C的M／S脚为接地，使其配置为从片，1个主片最多可以带3个从片，并且主片AD50C的FSD脚接至从片的FS脚。整

体电

路设计中还设置了硬件上电复位功能。

因为语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频段(大约在800Hz 以上)会按照-6dB／oct跌落。在采样和量化后，要增加1个6dB／oct的预加重滤波器提升高频部分，使语音信号频谱变得平坦，便于随后频谱分析或者声道参数分析。

预加重数字滤波器一般是一阶，其传递函数为

H(z)=1-μz-1

其中，μ值一般在0．92-0．96之间，系统中μ=O．94[10]。

图6中，ADC后的语音数据经过由电阻R和电容C组成的RC网络就是本系统中所采用的预加重滤波器电路部分，R和C的大小依据加重时间确定。

2.3 语音信号数字化及其预处理

为了将原始模拟语音信号变为数字信号，必须经过采样和量化两个步骤，从而得到时间和幅度上均为离散的数字语音信号。根据采样定理，当采样频率大于信号的两倍带宽时，采样过程不会丢失信息，利用理想滤波器可从采样信号中不失真地重构原始信号波形。语音信号是随时间而变的一维信号，它所占据的频率范围可达l0 kHz 以上，但是对语音清晰度和可懂度有明显影响的成分，最高频率约为5.7 kHz。在将语音信号进行数字化前，必须先进行防混叠滤波，滤除高于1/2 采样率的信号成分或噪声。这种防混叠滤波通常与模数转换器做在一个集成块内，目前，市面上购买到的普通声卡在这方面做的都很好，语音声波通过话筒输入到声卡后直接获得的是经过防混叠滤波、A/D 变换、量化处理的离散的数字信号

[11-12]。文中后续研究采用的声音数据的采集就是通过声卡及录音程序将外部声源信号以wave形式存储在系统硬盘上完成的。同样回放是通过语音播放程序将处理后的数据经过声卡输出到外部设备上或直接播放完成的。

语音信号是一种典型的非平稳信号，它的均值函数U（x）和自相关函数R(x1 x2 ) 都随时间而发生较大的变化[13]。但是，语音是由十发声气流冲击发音器官产生物理振动而产生的，发音器官形状的变化与声音的变化速度相比较是很缓慢的过程。因此，在信号处理时，往往将语音信号作为一个短时的平稳过程来处理，即假定在一段时间(2 0～30 ms) 内，发音器官的形状( 频谱参数和物理特征) 保持不变。实践证明，这种假设与实际情况是相符合的。因此，实际的语音预处理中可以采用平稳过程的分析处理方法：先将连续的语音数据流用一个窗函数序列分割成一些连续段，然后对每一段( 帧) 进行处理。大部分情况下，语音信号处理的帧长都是取20 ms。在取数据时，前一帧和后一帧的交叠部分成为帧移，帧移与帧长的比值一般取为0－1/2。

为了避免分帧时产生的截断效应，实际上已取出的一帧语音Sn要经过加窗处理，即用一定的窗函数Wn与Sn相乘，从而形成加窗语音。在语音信号数字处理中常用的窗函数是矩形窗和海明窗

The object of the standardization process started by ITU-T in 1988 was to provide a single 16 kbit/s coding algorithm for general use, offering performance at least equal to that of ADPCM speech coding at 32

kbit/s. In addition to quality constraints, ITU-T sets a maximum encoder-decoder time-delay of 5 ms. The ITU-T quality and time-delay targets could be met only by using digital signal processing techniques both more powerful but more complex than the ADPCM technique, and employing

nalysis-by-synthesis with a perceptual criterion and low-delay linear prediction. The LD-CELP coding technique was put forward by AT&T [14]nd adopted by ITU-T in Recommendation G.728.his article discusses only the major modifications to the basic CELP technique which constitute the innovative features of the LO-CELP coder. -- Synthesis filter and its computation. The synthesis filter model does not include a long-term predictor, but the short-term predictor is a 50th order filter to improve the quality of high-pitched voices. To achieve the low time-delay, the prediction coefficients are

no longer transmitted but backward computed every 20 samples by linear prediction [15] on the constructed signal at the coder and at the decoder (by analogy with ADPCM coding, in which the coder also includes a local decoder)

2.3 Application to Automatic Speech Recognition

Next we present the evaluation results for different audi-torily/motivated spectro-temporal features and SEs. The block diagram of the ASR system used in the experimen-tation is depicted in Fig. [16]. Feature Extraction

To obtain the speech features, a conventional SS was applied first to the noisy signal in order to emphasise the speech signal over the noise. Then auditory filterbank analysis was performed over this (partially) denoised spectrogram.Two different auditory filterbanks were considered: a set of triangular Mel-scaled filte rs (‘‘ The Mel Scale’’ section)and a set of Gammatone filters (‘‘ ERB and ERB-Rate’’ section). For either type, speech was analysed using a frame length of 25 ms and a frame shift of 10 ms after pre-emphasis and Hamming windowing.In order to decorrelate the filterbank log-energies obtained in the previous stage, a Discrete Cosine Transform (DCT) was computed over them, yielding MFCC or GTC, respectively. Of these, coefficients C0 to C12 and their corresponding delta ( D )

and acceleration ( DD) coefficients were taken yielding feature vectors of 39 components. The last step in the feature extraction stage was to apply mean and variance normalisation on either type of coefficient. ISOLET Database and Testbed

For each type of features, we trained and tested different MLP/HMM hybrid speech recognisers following the ISO-LET testbed.ISOLET is a database of letters of the English alphabet spoken in isolation [17]. The database consists of 7 800 spoken letters (two productions of each letter by each of 150 different speakers) at a sample rate of 16KHz. Spe-cifically, we used the version called Noisy-ISOLET where the speech signals of ISOLET have been contaminated with 8 different noise types at different SNRs (clean, 0, 5,10, 15 and 20dB). The noise types are: Speech babble,Factory floor noises 1 and 2, Car interior noise (volvo), Pink noise, F-16 cockpit noise, Destroyer operations roomnoise, and Leopard military vehicle noise.

The experiments using the ISOLET Testbed [18] were performed over an hybrid MLP/HMM ASR system, whose fundamentals are described in [ 19 ]. A context of 5 frames of 39 components each was used, so the input to each MLP

had 195 elements.

The hybrid MLP/HMM system was tested in two dif-ferent conditions: in the mismatched case, the system was trained using clean speech, whereas in the matchedcase the training set was composed of a balanced combination of speech contaminated with the different noises of the data-base at several SNR. A 5-fold cross-correlation procedure was employed in both cases to improve statistical significance

3. 总结与展望

语音识别的子课题很多, 其中最难的是非特定人、大词汇量、连续语音识别. 近

年来这个课题已经取得很大的进展. 世界上有很多权威实验室推出了可供表演的识别系统, 有些公司还推出了商品.但是由于不同人的发音差别很大, 再加上环境噪声等影响, 系统的正确识别率和顽健性离实际使用还有很大距离. 目前, 人们所期望的口呼打字机或听写机还没有得到推广。语音增强包括从强噪声中提取语音信号,或者从几个人同时说话的混合波形中, 分离出各自的语音信号, 这类研究虽然理论上有一些算法, 但效果均不理想, 还没有达到可以实用的水平。现代数字信号处理的进步都能在语音信号处理技术中得到应用。语音信号是最能体现信号非线性的一个领域。现代数字信号处理的一个主要发展趋势是对非线性、非平稳信号的研究。因此, 循环平稳信号分析、多谱分析和时频尺度理论对于语音信号的表示,关键特征的捕捉有很重要的应用前景。在此基础上, 结合语音语义理论的研究, 开展多层次的语音信号的表示将对语音信号的应用有重要价值。

目前，语音理解技术开始使计算机丢掉了键盘和鼠标，人们对语音理解的研究重点正拓展到特定应用领域的自然语音理解上。一些基于口语识别、语音合成和机器翻译的专用性系统开始出现，如信息发布系统、语音应答系统、会议同声翻译系统、多语种口语互译系统等等，正受到各方面越来越多的关注。这些系统可以按照人类的自然语音指令完成有关的任务，提供必要的信息服务，实现交互式语音反馈。语音是语言的声学表现形式，是最符合人类自然习惯的一种人际信息传播方式，具有便捷性、高效性、随机性、交互性等显著特点，是实现人机交互的一种重要通信方式。可以预见，随着计算机技术、数字信号处理技术和大规模集成电路的迅速发展，语音信号数字处理技术将成为信息化战争不可或缺的重要组成部分，并直接进入到信息化战争的前沿

参考文献

[1]张雪英．数字语音处理及MATLAB仿真[M]．北京：电子工业出版社，2010

[2] 胡航.语音信号处理[M].第5版. 哈尔滨：哈尔滨工业大学出版社，2011

[3]陈怀琛，吴大正，高西全．MATLAB及在电子信息课程中的应用[M]．北京：电子工业出版社，2009

[4]陈家焱，陈冬娇，张达响．基于Matlab的声音信号采集与分析处理[J]．计算机与现代化，2005(6)：91—96

[5]李春泉，伍军云，熊殷．基于MATLAB的语音信号时频域参数分析[J]．科技广场，2007(9)：22—24

[6] 于振江. 一种基于Matlab的语音信号采集与分析系统设计[J]. 太原理工大学信息工程学院出版社，2010

[7]陈宇峰．基于声卡和Matlab的语音信号采集和处理[J] 3.中国现代教育装备，2oo6(5)：49—56

[8]康文静.刘功亮.李昆吉.Kang Wenjing.Liu Gongliang.Li Kunji 虚拟式语音信号实时采集与识别平台[期刊论文]-计算机测量与控制2010,18(8)

[9]石磊在PC平台上的语音信号采集和处理[期刊论文]-科技资讯2008(8)

[10]AL-DULAIMYFHT，WANGZuo-ying．Nonlineartime-frequencydistributions of spectrum energy operator in large vocabulary mandarin speaker independent speech recognition system[J]．清华大学学报：英文版，2003，8(6)：667--671．

[11]祝庆国，刘刚，鲜勇．战术导弹防御中红外线探测预警分析[J]．INFRARED(MONTHLY), 2006,27(11):15-18

[12-13]，贺筱军，李彦明．地空导弹组网反隐身效能评估指标体系[J]．兰州大学学报（自然科学版），2005，41 (5):870-872

[14] CHEN (J. H.), Cox (R. V.), LIN (Y. C.), JAYANT (N.), MELCHNER (M. J.). A low-delay CELP coder for the ccITT 16 kbit/s speech coding standard. IEEEJ SAC (June 2012), 830-848. [15]MARKEL (J. D.), GRAY (A. H.). Linear prediction of speech. Springer Verlag, Berlin, Heidelberg (2009)

[16]Florentine M, Fastl H, Buus S. Temporal integration in normal hearing, cochlear impairment, and impairment simulated by masking. J Acoust Soc Am. 1998; 84(1):195–203

[17].Cole R, Muthusamy Y, Fanty M. The isolet spoken letter data-base. 2011

[18]Gelbart D, Hemmert W, Holmberg M, Morgan N. Noisy ISOLET and ISOLET testbeds. database. 2011

[19] Bourlard H, Morgan N. Hybrid HMM/ANN systems for speech recognition: overview and new research directions. Adapt Process Seq Data Struct. 1998;389–417