多媒体复习资料

第一章多媒体技术概述

一、媒体

1.含义：媒体（Media）就是指信息的载体，其本质是信息传播的技术和手段。

2.按照媒体的发展，媒体可以分为传统媒体和新媒体：

传统媒体：广播、电视、报刊杂志

新媒体：基于互联网、PC和移动终端技术的数字媒体技术，包括网站、博客、微博、微信、手机App等。

3.国际电信联盟（International Telecommunication Union，ITU）对媒体进行了详细的分类：

1)感觉媒体（Perception media）：指直接作用于人的感觉器官、从而为人的感知系统

所接受的信息形态或媒体形式。

举例：文字、声音、图形、图像、动画、视频

2)表示媒体（Presentation media）：指感觉媒体在电子设备、计算机、网络等系统内

部的存在形式，即编码形态的媒体。

举例：计算机系统中的ASCII 码、国家标准汉字字符集的区位码、字符的点阵码、

音频、图像与视频编码。

3)表现媒体（Representation media）：指将编码形式的媒体显示成感觉媒体的设备或

技术，实际上就是指多媒体系统的输入、输出设备。

举例：显示器、投影仪、打印机、绘图仪、有源或无源音箱、键盘、鼠标、摄像机、

麦克风。

4)存储媒体（Store media）：指用于存放表示媒体（即编码形态的媒体）的设备或技

术。

举例：内存、寄存器、磁盘、磁带、光盘、USB 盘。

5)传输媒体（Transmission media）：指用于传送表示媒体的设备或技术。

举例：双绞线、电缆、光纤、空气、电磁波。

二、多媒体

1.含义：多媒体就是指能够同时处理两种以上感觉媒体的计算机系统，其目标是为用户提

供更丰富的应用体验。

2.多媒体技术的特征：

1)媒体类型或媒体技术的多样性。一个可以被称为多媒体的应用系统，必须至少集成

了两种不同类型的媒体及其相关技术。该特征是多媒体系统的本质特征，也是其魅

力所在。

2)媒体内容的同步性（synchronization）。在多媒体应用系统中，多种媒体是融合在一

起的，它们是以一种协同的方式工作的。

3)交互性（Interactive）。与交互性密切相关的另外两个概念是人机交互

（Human-Computer Interaction，HCI）和人机界面（Human-Computer Interface，HCI）。

前者是研究、设计、评价和实现交互式计算系统的科学。人机界面则是人与计算机

之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。

3.多媒体应用：

1)大众传媒领域

大众传媒（mass media）是指传播速度快、覆盖范围广、影响效果大的媒体，主要包括报纸、广播、电视、电影、互联网等。

2)消费电子领域

消费电子（consumer electronics）产品是指用于个人和家庭的与广播、电视有关的各类音频和视频产品，主要包括：电视机、影碟机（VCD、SVCD、DVD）、录

像机、摄录机、收音机、收录机、组合音响、激光唱机（CD）、视频游戏设备、智

能电视机顶盒等。

3)现代教育技术领域

现代教育技术是指建立在信息与网络技术基础之上的教育教学手段构成的系统。

4)多媒体通信领域

数字通信是用数字信号作为载体来传输消息，或用数字信号对载波进行数字调制后再传输的通信方式。它可传输电报、数字数据等数字信号，也可传输经过数字

化处理的语声和图像等模拟信号。

数字通信系统通常由用户设备、编码与解码、调制和解调、加密和解密、传输和交换设备等组成。

多媒体通信是指在一次呼叫过程中能同时提供多种媒体信息如声音、图像、图形、数据、文本等的新型通信方式，所以，它是通信技术和多媒体技术相结合的产

物。

视频会议是最典型的多媒体通信系统，它由视频会议终端、会议服务器、多点

控制单元（MCU）等子系统构成。多媒体技术在视频会议终端中占有重要地位，主要包括音视频数据的采集、编码、解码、传输与呈现等处理。

5)表演与会展

6)Web应用

Web 应用是指基于浏览器/服务器模型的应用系统，在客户端表现为浏览器页面，是一种以HTTP协议为核心的网络应用。数量最多的Web应用是各类网站，如门户网站（搜狐、163、新浪等）、搜索网站（百度等）和各种专业网站（音乐、视频、软件、行业等等）。

7)物联网领域

物联网是通过各种信息传感设备及系统（如传感器网络、射频识别（Radio Frequency Identification, RFID）、红外感应器、条码与二维码、全球定位系统、激光扫描器等）和其它基于物物通信模式的短距离无线传感网络，按约定的协议，把物体接入互联网所形成的一个巨大的智能网络。

8)军事领域

首先，多媒体技术在战场信息采集和传输中具有重要的作用，例如通过图像、视频和音频信息的采集获取战场和相关地域的直观战况和态势，能够为指挥决策提供有力支持。

其次，多媒体技术在军事指挥系统中也扮演重要角色。目前最现代化的军事指挥系统被称为C4ISR 系统（C4 表示Command、Control、Communication、Computer，

I 表示Information，S 代表Surveillance，R 表示Reconnaissance），以美国的国家

军事指挥中心为典型代表。

第三，军事训练中应用了大量多媒体技术。为了提高军事训练效果、节省训练成本，各国军事训练系统都不同程度地采用了基于多媒体技术的各种模拟、仿真训练方法。

9)游戏与软件

游戏软件通常是指各种游戏规则与声音图像视频相结合的软件产品。目前，在网络上我们经常看到的大型3D 网络游戏和网页游戏等都是通过用3DMAX、MAYA、FLASH 等多媒体软件和JAVA、C++、VB、HTML5 等程序语言相结合而开发出来的，所以叫游戏软件。

4.多媒体技术的体系结构

1)硬件平台层

现代多媒体计算平台，从硬件配置上看，主要包括如下几个方面：

a)光盘驱动器：包括可重写光盘驱动器（CD-R)、WORM 光盘驱动器和CD-ROM

驱动器。

b)音频卡：在音频卡上连接的音频输入输出设备包括话筒、音频播放设备、MIDI

合成器、耳机、扬声器等。数字音频处理的支持是多媒体计算机的重要方面，

音频卡具有A/D和D/A音频信号的转换功能，可以合成音乐、混合多种声源，

还可以外接MIDI电子音乐设备。

c)图形加速卡：图文并茂的多媒体表现需要分辨率高，而且同屏显示色彩丰富的

显示卡的支持，同时还要求具有Windows 的显示驱动程序，并在Windows

下的像素运算速度要快。所以现在带有图形用户接口GUI 加速器的局部总线

显示适配器使得Windows的显示速度大大加快。

d)视频卡：可细分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专

用卡，其功能是连接摄像机、VCR 影碟机、TV 等设备，以便获取、处理和表

现各种动画和数字化视频媒体。

e)扫描卡：它是用来连接各种图形扫描仪的，是常用的静态照片、文字、工程图

输入设备。

f)打印机接口：用来连接各种打印机，包括普通打印机、激光打印机、彩色打印

机等，打印机现在已经是最常用的多媒体输出设备之一了。

g)交互控制接口：它是用来连接触摸屏、鼠标、光笔等人机交互设备的，这些设

备将大大方便用户对MPC 的使用。

h)网络接口：是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结

合的时代已经来临，这就需要专门的多媒体外部设备将数据量庞大的多媒体信

息传送出去或接收进来，通过网络接口相接的设备包括视频电话机、传真机、

LAN和ISDN 等。

2)操作系统层

计算机操作系统是管理计算机软硬件资源，控制其他程序运行，并为用户提供操作界面的系统软件的集合。

操作系统中配置的重要多媒体组件如下：

a)编解码器（codec，coder和decoder合成词语）：是系统中完成媒体数据

压缩、解压缩、格式转换（转码）等操作的软件，在多媒体操作系统中居

核心地位。

b)媒体服务器（media server）：一种通过网络或平台向用户提供各种多媒体

业务所需的媒体资源功能的系统软件，通常表现为操作系统中的媒体服务

（media service）组件。

c)多媒体编程接口：应用编程接口是指一组数量可观、结构复杂的子程序、

函数、变量、常量、类、数据结构，是应用系统设计与实现的软件资源。

Windows 操作系统中常见的多媒体编程接口有DirectX、DirectShow、

Media Foundation、SilverLight等。Andriod操作系统下，开发人员可以使

用Media APIs，实现移动设备上的MP3、MP4、高清视频播放等等。

3)应用系统层

整个多媒体技术架构的最上层是各类多媒体开发工具和应用系统。最典型的应用系统是各类多媒体著作或编辑工具，如Photoshop、Authorware、Illustrator、

PowerPoint、Premier、3D Max等等。

5.多媒体应用系统设计面临的挑战

1)数据量大

2)实时性要求高

3)同步性要求严格

4)数据来源繁多

6.多媒体技术的核心问题

暂无

第二章数字音频基础

一、声音

1.含义：声音是物体振动形成的机械波，称为声波。声波通过介质（例如空气、水等）传

播到听觉系统里产生听觉反应。声音本质上是介质的周期振动。

2.基本属性：频率和振幅

频率：指振动的快慢，通常用每秒钟的振动次数表示（赫兹）。人耳可以听到的声音频率范围在20到2万赫兹之间。高于这个范围的波动称为超声波（Ultrasonic），而低于这一范围的称为次声波（Subsonic）。我们把人类听觉系统所能听到的声音称为音频（Audio）。

振幅：指声波在某个位置上的瞬时强弱。

3.三要素：音高、音质（音色）、音强

二、从模拟到数字

1.模拟音频信号：用连续变化的电压或电流表示的音频信号。

2.数字音频信号：通过采样和量化技术获得的离散性（数字化）音频数据。

3.采样：指以一定的频率（或周期）捕获模拟音频信号，从而得到一系列离散化音频样本

的过程。

采样频率：单位时间内捕获的样本个数，是采样周期的倒数。

采样定理：将频带为 F 的模拟音频信号f(t）采样为离散化样本序列f(t0+△t)、f(t0+2△t)…f(t0+n△t)后，如果1/△t（即采样频率）大于2F，即采样频率大于模拟信号频带

F 的两倍，则可从离散样本序列恢复原来的信号f(t)。

常见的采样频率及其应用场合↑

4.量化：指用若干比特表示一个样本的过程。

量化深度（bit depth）：表示一个样本所使用的比特数。

采样是时间上的离散化，而量化则是空间上的离散化。

5.编码：以某种格式最终生成数字音频数据流的过程，所得到的数字音频数据将会被存储、

传输或者进行各种处理。

模拟音频数字化的三个步骤是采样、量化、编码。

三、声卡

1.结构：

2.功能模块

1)DSP：Digital Signal Processor数字信号处理

负责采样、量化、编码和解码、数模转换

2)Synthesizer : 合成器

负责将数字音频波形数据或MIDI消息合成为声音。

3)ROM or/and RAM : 波表/软波表

ROM存放有实际音乐设备的声音样本，用于合成，称之为波表

RAM能够被新的样本数据更新，称之为软波表。

4)Mixture：混声器

负责过滤以降低噪音、混合不同的声音信号、单/双通道转换、音量调节

四、数字音频编码

1.含义：指将模拟音频转换成数字音频并以某种格式存储的技术或过程。

2.种类：

1)PCM(Pulse Code Modulation脉冲编码调制)编码：即通过脉冲编码调制方法生成数

字音频数据的技术或格式。

a)系统原理

系统由三个部分构成：

●防失真滤波器：它是一个低通滤波器，用来滤除音频信号以外的信号。

●波形编码器：主要完成采样任务。

●量化器：负责对样本进行量化，即对每一个样本赋予一个对应的二进制数

据，从而得到PCM样本序列，作为系统的输出。其实，量化器输出的PCM

样本序列还会进一步被编制成格式化的二进制码流，包括帧和通道的构成，

这个处理可以视为狭义的编码过程。

b)量化分类

●均匀量化（线性量化）：指采用相等的量化间隔（量化阶跃）进行的量化。

量化间隔：指将整个量化空间分割成若干离散的有限状态后，相邻的两个

离散状态值之间的差值。

●非均匀量化（非线性量化）：指量化间隔在量化空间中不是一个常数的量

化。

一般情况下，量化间隔的大小分布服从一种非线性函数，对小的输入信号采用较小的量化间隔，大的输入信号则采用较大的量化间隔。

分类：

μ律压扩（μ-Law）：

所定义的函数关系如下：

x:输入信号的幅值，其大小归一化为-1和+1之间的一个小数，即-1

≤x≤1。

sgn(x):x 的极性，也就是信号的正负。

μ:一个常量参数，由最大量化间隔和最小量化间隔之比决定，一般

在100~500之间取值。μ值越大，整个对数曲线越往上拱，反之就越

靠近45度的线性量化曲线。在具体实现时，μ一般取255，并把对

数曲线变成8条折线以简化计算。

A 律压扩（A-Law）：

所定义的函数关系如下：

x:为输入信号的幅度，归一化成为-1 < x < 1。

Sgn(x):x的极性，也就是信号的正负。

A:为确定压缩量的参数，为最大量化间隔和最小量化间隔之比。A 律

压扩的前一部分是线性的，以1/A为分界点，其余部分与μ律压扩类

似，为对数函数。具体计算时，A 取87.56。为简化计算，同样把整

个曲线变成8条折线。

2)DM(Delta Modulation增量调制)编码：通过增量起伏来记录模拟音频信号实际变化

过程的数字音频编码。

a)原理

x[i]：编码输出

y[i]：yi的预测值

yi：第i个采样值

Δ：量化间隔

连续的1表示信号在上升，每次上升一个Δ；

连续的0表示信号在下降，每次下降一个Δ；

在信号的平缓部分，编码输出表现为0 和1的交错，即数字化信号以阶

Δ的大小上下起伏，用以记录模拟波形的平缓变化（对DM编码来说只能

这样做）。

伪代码描述：

Algorithm：DM 编码

input：模拟信号样本序列

output：DM 编码比特流x[]

DM_coding()

{

// 初始化阶段

x[0] = 1; //第一个编码比特等于1

y[0] = 0; //第一个样本的预测值赋0

while(输入第i 个样本){

// 预测值计算阶段

if (x[i-1] = 1 ){ //如果前一个编码输出是1

y[i] = y[i-1] + Δ; //则当前样本的预测值等于前一个预测值加Δ

}

else

{

y[i] = y[i-1] - Δ; //当前样本的预测值等于前一个预测值减Δ

}

// 编码阶段

if(yi> y[i]){ //如果实际样本值大于预测值

x[i] = 1; //编码输出等于1

}

Else

{

x[i] = 0; //否则，编码输出等于0

}

}

}

b)优缺点

优点

数据量得到显著压缩。DM编码总是用一个比特来表示一个样本，即对应

一个样本的编码不是1就是0。所以，DM编码被称为一位系统。

●缺点

斜率过载

如果输入信号变化太快，那么预测信号将不能保持对输入信号的跟踪，

因为当前预测值只能在前一次预测值的基础上加1 个Δ（或减1 个

Δ），也就是说，由于量化阶跃Δ固定不变，导致预测值跟不上信号

的变化。这种现象称为增量调制器的“斜率过载”（slope overload），

即模拟信号的斜率太大，超过了量化阶跃允许的变化幅度。一般来说，

当输入信号的变化速度超过输出信号的最大变化速度时，就会出现斜

率过载。

粒状噪声

当输入信号变化比较平缓时，增量调制器的编码输出为交错出现的0

和1，即数字信号并不平缓，而是以量化阶跃Δ的大小起伏变化，这

就相当于引入了噪声信号。DM编码器的这种噪声是系统固有的，不

可能彻底消除。

3)ADPCM(Adaptive Difference Pulse Code Modulation,自适应差分脉冲编码调制)：利用

样本与样本之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术

a)原理

第一，使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测

值之间的差值总是最小，并对差值进行编码。

第二，利用自适应的思想在时间维度上改变量化阶跃的大小，对小的差值使用

小的量化阶跃（Δ），对大的差值则使用大的量化阶跃进行编码。

4)SB-ADPCM(Sub Band-ADPCM,子带自适应差分脉冲编调制)：是一种融合了子带与自

适应差分脉冲编调制技术的新型编码方法。

SBC(Sub Band Coding,子带编码)：子带编码使用一组带通滤波器（Band-Pass Filter，BPF）把输入音频信号的频带分成若干个连续的子频段，子频段又称为子带。对每

个子带中的音频信号采用独立的编码方案编码。在传输编码信号时，系统会采用复

用技术，将所有子带的编码整合起来传输。在接收端解码时，首先进行解复用，即

把各个子带信号分解出来，然后对每个子带的数据独立解码。当然，最后还原音频

信号时，系统会把所有子带的解码信号融合起来，从而还原成原来的音频信号。这

里的融合，实际上就是相加，即某一时刻的还原信号样本等于同一时刻所有子带样

本之和。

3.数字音频编码国际标准

第三章音频数据处理程序设计

一、波形音频文件

1.含义：波形音频文件（WAVE文件）是存储数字音频样本（samples）序列的格式文件，

这些样本直接记录了音频的波形，故称波形音频文件。

2.格式标准：RIFF（Resource Interchange File Format），一个WAVE 文件的最开头四个字

节便是“RIFF”。

3.组成：WAVE 文件是由若干个Chunk（可以翻译为块）组成的。按照在文件中的出现位

置，它们分别是RIFF WAVE Chunk、Format Chunk、Fact Chunk（可选）和Data Chunk。

1)RIFF WAVE Chunk

size 是整个wav 文件大小减去ID 和Size所占用的字节数，即FileLen- 8 = Size。

Fact Chunk 是可选字段，一般当wav 文件由某些软件转化而成，则包含该Chunk。

4)Data Chunk

根据Format Chunk 中的声道数以及采样bit 数，wav 数据的bit 位置可以

分成以下4 种形式:

二、音频播放程序

1.利用PlaySound函数播放音频文件

1)基本介绍：PlaySound是Windows系统提供的基本音频播放函数，在C/C++中使用。

PlaySound函数不仅能够播放波形音频文件，而且可以播放系统事件对应的音频。

2)原型：

●pszSound：字符串变量，指向播放的波形音频文件，可以为NULL，这时任何

当前播放的音频将停止

●hmod：可执行文件的句柄，该可执行文件包含了需要加载的资源。一般情况

下，hmod被设置为NULL。

●fdwSound：播放标识，有15 种取值：

SDN_ASYNC：异步播放，即调用PlaySound函数后声音开始播放，而调用立即返回，无需等待播放完毕。

SDN_SYNC：同步播放，即调用要在播放完毕后才能返回。

SND_RESOURCE：此时hmod设置为一个可执行文件的句柄。

SND_ALIAS：此时pszSound不能是文件名，而必须是注册的事件别名。

3)核心代码：

switch (wmId)

{

case ID_DISP_SOUND: //控件ID

PlaySound(L"angry_bird.wav",NULL,SND_ASYNC); //播放音频

break;

case ID_STOP_SOUND:

PlaySound(NULL, NULL,SND_ASYNC); //停止播放

break;

}