基于通用可编程GPU的视频编解码器——架构、算法与实现
基于通用可编程GPU的视频编解码器——架构、算法与实现随着数字电视和网络技术的发展，以PC为核心的数字家庭娱乐方式，逐渐成为一种主流趋势。如何在现有的PC系统上，在不升级硬件的前提下，廉价而方便的实现对高清晰度视频的实时编解码，引起了研究者们的广泛关注。
可编程GPU(Graphics Processing Unit)的出现，为解决上述问题提供了一条可能的途径。作为显卡的核心处理器，GPU传统上只负责3D绘制等图形渲染工作，然而研究者们发现，利用其可编程性，可以让GPU完成一些3D渲染以外的工作。
基于GPU的通用科学计算迅速成为了研究热点。然而，将可编程GPU应用于视频编解码领域的研究却还很少见。
本文利用GPU的可编程3D引擎，提出了将GPU作为协处理器以加速视频编解码的技术方案。为了充分发挥GPU的计算能力，本文提出了CPU+GPU的并行编解码器架构，并在此基础上，设计了一系列适合于GPU实现的编解码算法。
实验证明，本文提出的架构、算法和实现方案，相对于传统编解码器，可以在不升级硬件的情况下，大大提高高清晰度视频流编解码的速度。本文首先简要介绍了高清晰度视频技术的发展和可编程GPU的工作原理。
第三章详细介绍本文实现的基于GPU的MPEG2编码器。具体分析了其独特的并行架构，创新的适合于GPU实现的ATSMVP、MCSAD和ZB-LMES算法，以及双线程的结构。
同时还基于编码速度和编码信噪比，分析比较了本文编码器和传统编码器的性能。第四章详细介绍基于GPU的MPEG2解码器。
具体阐述了本文所提出的分级的并行解码器架构，独创的反量化、IDCT和
运动补偿的多通道算法，以及GPU和CPU之间的负载均衡算法。同时，也比较了本文解码器和传统解码器的性能。
通过实验的对比和仔细的分析，我们可以得出结论：对于高清晰度视频，建构于CPU+GPU之上的并行编解码器，比经过充分优化的基于传统架构的编解码器，具有更高的编解码速度，而同时保持了编解码增益。
常见的视频编码详解
常见的视频编码详解 A VI所采用的压缩算法并无统一的标准。也就是说，同样是以A VI为后缀的视频文件，其采用的压缩算法可能不同，需要相应的解压软件才能识别和回放该A VI文件。除了Microsoft 公司之外，其他公司也推出了自己的压缩算法，只要把该算法的驱动(Codec)加到Windows 系统中，就可以播放用该算法压缩的A VI文件。最新流行的MPEG-4视频也借用A VI的名称，只要机器安装了它的编码解码，也能够实现正常的播放。这些A VI都能够在用Authorware 或PowerPiont开发的作品当中正常放映。各种编码Codec所生成的A VI文件的大小和质量是不同的，对系统和硬件要求也不同。 因此在压缩A VI时，必须根据计算机的软硬件情况，来考虑采用什么Codec算法，否则你的作品中视频放映是难以令人满意的。下面就是对各种常见编码解码Codec的说明。 常见的视频编码 1、Cinepak Codec by Radius 它最初发布的时候是用在386的电脑上看小电影，在高数据压缩率下，有很高的播放速度。利用这种压缩方案可以取得较高的压缩比和较快的回放速度，但是它的压缩时间相对较长。 2、Microsoft Video 1 用于对模拟视频进行压缩，是一种有损压缩方案，最高仅达到256色，它的品质就可想而知，一般还是不要使用它来编码A VI。 3、Microsoft RLE 一种8位的编码方式，只能支持到256色。压缩动画或者是计算机合成的图像等具有大面积色块的素材可以使用它来编码，是一种无损压缩方案。 4、Microsoft H.261和H.263 Video Codec 用于视频会议的Codec，其中H.261适用于ISDN、DDN线路，H.263适用于局域网，不过一般机器上这种Codec是用来播放的，不能用于编码。 5、Intel Indeo Video R3.2 所有的Windows版本都能用Indeo video 3.2播放A VI编码。它压缩率比Cinepak大，但需要回放的计算机要比Cinepak的快。 6、Intel Indeo Video 4和5
视频压缩编码方法简介—AVI
视频压缩编码方法简介—AVI AVI（Audio Video Interleave）是一种音频视像交插记录的数字视频文件格式。1992年初Microsoft公司推出了AVI技术及其应用软件VFW（Video for Windows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个AVI文件的主要参数包括视像参数、伴音参数和压缩参数等： 1、视像参数 （1）、视窗尺寸（Video size）：根据不同的应用要求，AVI的视窗大小或分辨率可按4：3的比例或随意调整：大到全屏640×480，小到160×120甚至更低。窗口越大，视频文件的数据量越大。 （2）、帧率（Frames per second）：帧率也可以调整，而且与数据量成正比。不同的帧率会产生不同的画面连续效果。 2、伴音参数：在AVI文件中，视像和伴音是分别存储的，因此可以把一段视频中的视像与另一段视频中的伴音组合在一起。AVI 文件与WAV文件密切相关，因为WAV文件是AVI文件中伴音信号的来源。伴音的基本参数也即WAV文件格式的参数，除此以外，AVI文件还包括与音频有关的其他参数： （1）、视像与伴音的交织参数（Interlace Audio Every X Frames）AVI格式中每X帧交织存储的音频信号，也即伴音和视像交替的频率X是可调参数，X的最小值是一帧，即每个视频帧与音频数据交织组织，这是CD－ROM上使用的默认值。交织参数越小，回放AVI文件时
读到内存中的数据流越少，回放越容易连续。因此，如果AVI文件的存储平台的数据传输率较大，则交错参数可设置得高一些。当AVI文件存储在硬盘上时，也即从硬盘上读AVI文件进行播放时，可以使用大一些的交织频率，如几帧，甚至1秒。 （2）、同步控制（Synchronization） 在AVI文件中，视像和伴音是同步得很好的。但在MPC中回放AVI文件时则有可能出现视像和伴音不同步的现象。 （3）、压缩参数：在采集原始模拟视频时可以用不压缩的方式，这样可以获得最优秀的图像质量。编辑后应根据应用环境环择合适的压缩参数。 3、 AVI数字视频的特点 （1）、提供无硬件视频回放功能：AVI格式和VFW软件虽然是为当前的MPC设计的，但它也可以不断提高以适应MPC的发展。根据AVI格式的参数，其视窗的大小和帧率可以根据播放环境的硬件能力和处理速度进行调整。在低档MPC机上或在网络上播放时，VFW的视窗可以很小，色彩数和帧率可以很低；而在Pentium级系统上，对于64K色、320×240的压缩视频数据可实现每秒25帧的回放速率。这样，VFW就可以适用于不同的硬件平台，使用户可以在普通的MPC上进行数字视频信息的编辑和重放，而不需要昂贵的专门硬件设备。 （2）、实现同步控制和实时播放：通过同步控制参数，AVI可以通过自调整来适应重放环境，如果MPC的处理能力不够高，而AVI文件的数据率又较大，在WINDOWS环境下播放该AVI文件时，播放器可
高清编解码器测试说明
高清编解码器测试说明 测试时间：10.26-11.6 本次测试联系了NTT、汤姆逊、tandberg和哈雷四家编、解码器厂家。在测试限定期限内，NTT公司送测一台支持MPEG2和H.264 格式高清编码器HVE9100 设备。汤姆逊公司送测一台支持MPEG2和H.264 格式高清解码器RD3000设备。Tandberg 和哈雷公司未参加测试。 本次测试信源是由传输部提供千兆光纤信号，其中包含三路MPEG2高清信源。信源经过千兆交换机将光信号转为电信号送入高清解码器。 汤姆逊高清解码器设备支持MPEG2和H.264两种格式高清信源的解码，操作简便并且解码配置自适应。经过测试，该产品能够满足我方技术要求。
NTT高清编码器设备支持MPEG2和H.264两种格式高清信源的编码。通过测试，该产品基本能够满足我方技术要求，
注：本次测试配合收录系统一并测试，MPEG2格式编码输出的节目经过收录-编辑-转码-VOD播出整个流程测试通过。H.264格式编码输出的节目经过收录-VOD播出失败。
4.7高清编码器技术要求 1)投标人提供的编码器必须符合以下标准： ●视频编码标准符合MPEG4-AVC和 MPEG-2标准 ●音频编码标准符合MPEG-1LayerII, Dolby Digital(AC3) 2.0/Dolby Digital(AC3)5.1, AAC LC或 HE2.0和5.1 2)编码器视频编码格式支持HD MPEG-2 4:2:0 MP@HL，音频支持MPEG-1 LayeⅡ编码，音 频编码模式single/dual/ stereo可选。 3)编码器视频编码格式支持H.264 HP@4.0/4.2(High profile, Level 4.2/4.0)， MP@3.0(Main profile, Level 3.0) ，BP(Baseline profile) 。音频支持MPEG-1 Layer Ⅱ编码，音频编码模式single/dual/ stereo可选。 4)单块编码卡可支持两路高/标清信号编码。 5)编码器必须支持SD-SDI、HD-SDI和SD Composite（标清复合）视频信号输入。 6)编码器必须支持数字AES/EBU及SDI嵌入式音频两种方式的音频输入。 7)编码器每路编码节目其输出码率应在2.0M-30Mbps范围可调。 8)编码器可独立对视音频码率分别进行调整。 9)编码器必须支持IP输出，IP输出应支持UDP/RTP协议。 10)编码器必须支持对节目号及其视频音频PID进行调整 11)编码器支持GOP结构（I,IBP,IBBP）的调整，GOP长度可调，支持自适应GOP长度，open GOP和closed GOP可选。 12)音频采样率支持48KHz,音频码率64K至384K可调。 13)编码器应支持对输入视频的预处理，包括滤波、降噪等功能（如需要单独授权，请注明）。 14)编码器应支持SNMP协议，有以太网网管接口，并免费提供设备的SNMP MIB库。*3.14 编 码器输入-输出可灵活联接设置，同一输入内容可同时编码输出多种（多屏）码流（频道）: 可变分辨率、帧频、和带宽。 15)投标人须承诺免费提供今后的软件升级服务。 16)接口配置：ASI输出，IP输出，百兆以太网管理口。 17)单机MTBF不低于74000小时。 18)向下兼容标清 19)双电源冗余
视频编解码芯片
芯片厂商如何改变视频监控行业() 随着中国安防市场近年来的迅速增长，芯片市场也随之得到了强劲发展。安防行业的需求逐渐明确，芯片厂家开始关注并主动去推广安防这个潜力巨大的市场。安防行业的发展吸引了越来越多的芯片厂商加入，成为继工业自动化、消费电子、电话机等领域之后一个新的利润角逐场。 然而，表象背后，是否会续写电脑行业的悲哀，频频受制于英特尔？“狼来了”的口号是否会在安防行业响起？值得我们欣慰的是，安防行业产品种类繁多，应用情况又各不相同，这也就决定了芯片厂商还没有能力“一手遮天”。 未来，将会有越来越多的芯片厂商将目光投向芯片，致力于提高集成度，引入先进工艺，降低系统成本，改善系统性能以增强市场竞争力。为下游用户带来更多价值，从而推动产业向更深、更广的范围发展。 目前，中国已成为全球最大的安防市场。中国安防产值从十年前两百多亿元增长到目前的两千亿元，安防各类产品、系统、解决方案的应用层出不穷，安防市场出现难得的“百花齐放”的景象。然而，繁华背后却隐藏着些许担忧。核心技术的缺失，阻碍了中国安防技术源动力的蓬勃发展，成为中国安防市场向高端科技领域进军的掣肘。那么，是谁在禁锢着安防技术？谁又在影响和改变着安防呢？毋庸置疑，芯片决定着安防技术的级别。 随着“平安城市”、“北京奥运”等重大项目的带动，中国视频监控市场呈现迅猛发展的态势，以年均的速度傲视整个安防市场。视频监控市场需求的不断增长，除了引起安防监控设备厂商的关注，同样也引起了视频监控核心器件——芯片生产商的广泛关注。作为安防产品的上游核心客户，芯片厂商“跺一跺脚”就会直接影响着安防设备生产商们的生死存亡。、、、等一大批国际半导体企业将目光投向中国安防市场，量身打造一些符合中国安防市场使用的芯片，对推动中国安防市场的蓬勃发展起到了一定积极的作用。另外，像中国台湾和中国大陆的一些芯片商也纷纷拿出“看家本领”，进一步推动了中国安防市场的发展。海思、中星微、升迈、映佳等纷纷涉足视频监控处理芯片领域。 芯片厂商发力视频监控市场 年，恩智浦芯片在中国推广并得到应用之后，年，推出通用数字媒体处理器，正式进军中国数字视频监控领域。年左右，海思作为全球率先推出监控专用芯片的半导体公司，在綷历了三年多的调研和研发之后，进入到大家的视野之中。几乎在同一时间，台湾升迈开始整合，兼容和及多项外围，为数字监控量身打造视频编解码芯片。 基于国内蓬勃发展的监控形势，海思自年在全球推出首款针对安防应用的开始，至今已綷发展到了第三代芯片，已成为国内领先的视频监控解决方案供应商。海思半导体有限公司成立于年月，前身是建于年的华为集成电路设计中心。作为领先的本土芯片提供商，海思的产品线覆盖无线网络、固定网络、数字媒体等领域的芯片及解决方案，并成功应用于全球多个国家和地区。 在中国芯片业发展的历史上，有这样一家公司为历史所铭记，它的名字叫“中星微电子有限公司”。这家承担了国家战略项目——“星光中国芯工程”的企业，致力于数字多媒体芯片的开发、设计和产业化。中星微电子从年开始投入视频监控系统的研发和设计，在网络摄像机专用芯片、终端以及运营级网络视频监控平台等方面持续投入，并取得了一系列的成果。目前，中星微依靠多媒体芯片、视频编解码、智能、网络产品开发的技术积累，提供多媒体处理芯片、高清网络摄像机、硬件视频智能分析终端、视频监控统一媒体平台四大视频监控组件，并在此基础上提供视频监控应用解决方案。 有专家指出，安防用的芯片具有几个显著特点：一是长时间不间断工作，二是多视频的集中管理，三是视频信息的安全和稳定性要求，四是视频的实时传输和存储要求。这些特点
视频文件格式和视频编码方式区别
目前网上的各种视频格式可以说是泛滥成灾，加上各个PMP(Portable Media Player,便携式媒体播放器)生产厂家的对自己产品在功能方面的炒作，使得很多人对视频格式的名称都是一头的雾水。 经常有些童鞋问我类似下面的问题。 A问我说：“我的MP4分明写着能播放AVI吗?为什么这一个AVI文件就播放不了？” B问：“我的MP4支持Mpeg-4啊，为什么Mp4文件不能播放呢？” 好的，下面我从最基本的概念给大家解释一下，顺便回答这两个问题 首先大家要清楚两个概念，视频文件格式和视频编码方式。 视频文件格式一般情况下从视频文件的后缀名就能看出来，比如AVI,Mp4,3gp,mov，rmvb等等。这些格式又叫做容器格式（container format），顾名思义就是用来装东西的，你可以把它想象成为一个便当盒，或者野餐篮（兄弟，你没吃早饭吧）。 通常我们从网上下载的电影都是有声音的（废话，难道你只看默片！众人扔香蕉皮），所以容器格式中一般至少包含有两个数据流（stream），一个视频流，一个音频流，就好比是一个便当盒里装着的配菜和米饭。 视频编码方式则是指容器格式中视频流数据的压缩编码方式，例如Mpeg-4，，，等等。而视频数据采用了何种编码方式是无法单单从文件格式的后缀上看出来的。就是说你无法从一个盖着盖子的便当盒外面看出里面装了什么配菜。 如果你想播放一个视频文件，第一步你的播放器（不论是软件的还是硬件的）要能够解析相应的容器格式，这一步也叫做解复用（demux），第二步你的播放器要能够解码其中所包含视频流和音频流。这样影片才能播放出来。 打个不太恰当的比方，播放器好比你雇用的一个试菜员，由他来品尝便当（视频文件），然后告诉你便当里装了什么东西。（没天理阿！我想自己吃，好的当然可以，0x00 00 01 B6 05 FF 36 1A 50 …… ……，俄~） 所以试菜员首先要懂得如何打开便当盒，还要知道吃的出来便当盒里装了什么配菜，这样你才能获得你想要的信息。 回过头来看前面的两个问题，用以上的比喻翻译一下。 问题A，我的试菜员能打开AVI这种便当的，为什么我不能知道里面装了什么？ 回答很简单，虽然他能够打开便当，但是吃不出里面的东西是什么。理论上没有一个播放器能够播放所有的AVI格式的电影，因为你不知道我会往里面放什么配菜。 问题B，我的试菜员吃过Mpeg-4这种牛排阿，为什么不能打开Mp4这种便当盒呢？ 这个问题通过翻译之后看起来已经不是问题了，Mpeg-4是视频编码方式，而Mp4是容器格式，两者本来就不是一个范畴里的东西。 好了下面简单介绍一下流行的视频格式。 AVI是音频视频交错（Audio Video Interleaved）的英文缩写，它是Microsoft公司开发的一种数字音频与视频文件格式，允许视频和音频交错在一起同步播放。 AVI文件的格式是公开并且免费的，大量的视频爱好者在使用这种文件格式。很多PMP 唯一能支持的格式就是AVI格式，一般的PMP都带有可以转换其他格式视频成为AVI格式的软件。 AVI文件采用的是RIFF（Resource Interchange File Format，资源互换文件格式）文件结构，RIFF是Microsoft公司定义的一种用于管理windows环境中多媒体数据的文件格
以太网音视频编解码器
TVSENSE YZX-400EN/DE 网络音视频编解码器 用 户 手 册 南京易之讯科技有限公司 二○○六年四月
TVSENSE 视频编解码器使用手册 目录 一、产品简介 (3) 技术特点 (3) 二、产品结构 (4) 2.1内部布置： (4) 2.2外形尺寸: (4) 三、技术指标 (5) 四、接口说明 (6) 4.1前面板 (6) 4.2后面板 (6) 4.3接口指示说明： (6) 五、接线说明 (7) 5.1网络接线 (7) 5.2音频接线 (7) 5.3视频接线 (7) 5.4控制接线 (8) 六、串口定义 (9) 6.1 串口定义： (9) 6.2 内部跳线： (10) 七、调试软件 (11) 7.1硬件准备： (11) 7.2硬件连接： (11) 7.3软件准备： (11) 7.4设备IP配置DevNetSet (12) 7.5设备管理DevManager (13) 7.5.1设备配对 (13) 7.5.2串口配置 (15) 7.6网络浏览DevVideoBrowser (16) 八．典型应用 (17) 九、产品装箱清单 (18)
序言 ●简介 本音视频编解码器是为适应基于TCP/IP协议和10M/100M以太网传输通道而设计的，采用MPEG2压缩方式，具有强大的即时图像捕捉和图像压缩功能。它利用以太网通道实现实时视频音频传输，并同时提供RS232/485串行数据通信端口，满足远程视频监控、视频会议等系统需要。 注意事项 本说明书提供给用户安装调试、参数设置及操作使用的有关注意事项，务请妥善保管，并为了您的正确、高效地使用本产品，请仔细阅读本说明书。 一、产品简介 技术特点 ●基于MPC860T+OSE（RTOS）的嵌入式设计； ●采用最新MPEG-2优化技术，最小带宽支持1024Kbps； ●以太网传输端到端延时小于180ms； ●提供10M/100M以太网接口，带宽适应范围宽，支持多点对多点同时访问； ●具备同时发送单播包及组播包功能，可支持临时用户加入访问，同时在某些不支持组播功 能的特殊网段中通过单播方式访问； ●双向语音对讲，支持回音抵消功能，独特的以太网方式下双向语音对话设计，适合监控中 心与前端对讲； ●提供两路RS-485/232双向透明串口，可用于远端设备控制及监控数据采集； ●可选集中式机箱，提高集成度； ●与多家同类设备实现互联互通，适应大规模联网监控； ●在各种高温、高尘等恶劣环境下，产品能够正常工作； ●提供相关系统软件，实现网络浏览、虚拟矩阵等功能； ●提供应用程序开发接口（包括WINAPI和ActiveX），方便进行二次开发； ●产品设计生产符合ISO9001标准。
音视频编码技术
音视频编码技术报告 姓名: 学号： 学院(系):电子与信息工程学院 专业: 电子与通信工程 题目: 基于DCT变换的图像压缩技术的仿真
1.引言 在信息世界迅猛发展的今天, 人们对计算机实时处理图像信息的要求越来越高。如何在保证图像质量的前提下, 同时兼顾实时性和高效性成了一个值得关注的问题。于是, 对图像信息进行一定的压缩处理成为了一个不可或缺的环节。图像压缩是关于用最少的数据量来表示尽可能多的原图像的信息的一个过程。 本文主要研究基于DCT 变换的有损压缩编码技术。离散余弦变换, 简称DCT , 是一种实数域变换, 其变换核为余弦函数, 计算速度快。DCT 除了具有一般的正交变换性质外, 它的变换阵的基向量能很好地描述人类语音信号和图像 信号的相关特征。因此, 在对语音信号、图像信号的变换中,DCT 变换被认为是一种准最佳变换。近年颁布的一系列视频压缩编码的国际标准建议中, 都把DCT 作为其中的一个基本处理模块。而且对于具有一阶马尔柯夫过程的随机信 号,DCT 十分接近于Karhunen -Loeve 变换, 也就是说它是一种最佳近似变换。 2.图像压缩编码的简介 从信息论的角度看，图像是一个信源。描述信源的数据是信息量和信息量冗余之和。数据压缩实际上就是减少这些冗余量。图像编码压缩的方法目前有很多，其分类方法根据出发点不同而有差异。根据解压重建后的图像和原始图像之间是否具有误差（对原图像的保真程度），图像编码压缩分为无误差（亦称无失真、无损、信息保持）编码和有误差（有失真或有损）编码两大类。 无损压缩（冗余度压缩、可逆压缩）：是一种在解码时可以精确地恢复原图像，没有任何损失的编码方法，但是压缩比不大，通常只能获得1~5倍的压缩比。用于要求重建后图像严格地和原始图像保持相同的场合，例如复制、保存十分珍贵的历史、文物图像等。 有损压缩（不可逆压缩）：只能对原始图像进行近似的重建，而不能精确复原，适合大数工用于存储数字化了的模拟数据。压缩比大，但有信息损失，本文采用有损压缩。 DCT图像压缩编码可以概括成图2.1的框图。 图2.1 DCT压缩编码过程简化 3.DCT变换 最小均方误差下得到的最佳正交变化是K-L变换，而离散余弦变换(DCT)是仅次于K-L变换的次最佳变换，目前已获得广泛应用。离散预先变换DCT用于图像压缩操作中的基本思路是，将图像分为8×8的子块或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码。
数字视频编解码 2012 试题1
2011第一学期 数字视频编解码试题 （研究生） 1、在数字视频编码过程中，运动补偿是预测编解码的基本形式之一，请阐述其基本理论及其重要性。 运动补偿是一种描述相邻帧(相邻在这里表示在编码关系上相邻，在播放顺序上两帧未必相邻)差别的方法，具体来说是描述前面一帧(相邻在这里表示在编码关系上的前面，在播放顺序上未必在当前帧前面)的每个小块怎样移动到当前帧中的某个位置去。这种方法经常被视频压缩/视频编解码器用来减少视频序列中的空域冗余。一个视频序列包含一定数量的图片--通常称为帧。相邻的图片通常很相似，也就是说，包含了很多冗余。使用运动补偿的目的是通过消除这种冗余，来提高压缩比。 2、请阐述一般数字视频信号的DCT 变换编码的步骤及其重要特点。 数字图像信号的DCT 变换编码过程为：将图像N ×N 的图像矩阵X 变换成N ×N 的系数矩阵Y 。变换过程可以用变换矩阵A 来描述。 N ×N 矩阵的DCT 变换如下： T Y AXA = N ×N 矩阵的IDCT 变换如下：T X A YA = 其中A 为N ×N 转换矩阵，A 中的各个元素为： (21) cos ( > 0)2ij i j i A C i N π += 其中0>0), i C i C 然后对变换后的系数进行量化，量化通过降低整数精度，以减少存储位数，增加0系数数目，从而达到数据压缩目的。然后进行重排序，把非零系数集中在一起，使剩下的零系数能被更加有效的编码。然后进行熵编码，将描述视频流的一串符号编码成适于传输的压缩比特流。从而获得高效压缩结果。 3、试比较Huffman 编码与算术编码的异同点。 相同点：霍夫曼编码和算术编码都是是根据出现的概率将输入的符号映射编码成一系列码字。不同点：霍夫曼编码是把每一个输入符号映射为一个码字，而算术编码是将一系列数据符号映射为一个单独的小数，所以霍曼编码每一个符号的映射码字必须是整数个比特，而算术编码每个传输符号不需要被编码成整数比特。因此算术编码的编码性能优于霍夫曼编码。 4、如何理解MPEG-4视频编码的“分档次和等级”？ MPGE-4的功能内容非常繁多而且详细，包含低质的编码和高质的编码，还包括各种视频对象的编码等等，这些功 能全部在编码器中实现是非常困难的，而且通常是不必要的。为了使用不同的应用场合，MPEG-4进行了“分档次和等级”，对不同的画面质量的编码方式做了详细的分类，对不同档次做了标准，从而是编码器在不同性能的处理器和不同的应用目标上都可以实现通用性。 5、设某时刻的一块图像亮度抽样信号值为f (x ，y )8×8，采用Z 形扫描和变字长编码（可以借 助于任意的计算工具如C 语言或MA TABL 工具等，但要求答卷中带源程序） 139 144 149 153 155 155 155 155 144 151 153 156 159 156 156 156 150 155 160 163 158 156 156 156 f (x ，y )8×8= 159 161 162 160 160 159 159 159 159 160 161 162 162 155 155 155 161 161 161 161 160 157 157 157 162 162 161 163 162 157 157 157 162 162 161 161 163 159 158 158 （1）求出该块亮度信号的离散余弦变换（DCT ）矩阵表达式。 （2）若采用Q coeff =roungd(coeff/Q step )的量化器，其中量化步长Q step =16。求出其量化（Q ） 后的矩阵表达式。 （3）如果上一帧亮度信号的直流值为25，根据所得的量化矩阵表方式，写出该帧亮度信号
高清嵌入式视频编解码器 高清数字视频传输编码器
高清嵌入式视频编解码器高清数字视频传输编码器 ——虹图高清嵌入式编解码器TMV-HV1001 虹图高清嵌入式编解码器TMV-HV1001是北京图美视讯虹图系列视频编码器产品中的一员。本产品是针对较大规模的专业级数字视频系统应用而设计的专业设备，用于解决视频一级低速率数据的编解码、复用以及网络传输。具有功耗低、数据处理能力强、接口丰富等优点，很好地满足了实时系统控制、工业自动化、实时数据采集、军事系统等有严格要求，并且可靠性要求高的重要设备的需求。 【产品优势】 ? 支持全高清视频实时编解码; ? 嵌入式构架; ? 支持2 路VGA输入、2路VGA输出接口; ? 支持2 路HDMI 高清输入、2路HDMI输出接口; ? USB2.0 接口，可插入U盘用于临时视频码流存储; ? SATA接口，用于本地视频存储，适合DVR场合使用; ? 视频编码支持MPEG4-10 AVC Base line，最高1080P 60帧/秒; ? 双路千兆以太网音视频传输; ? 友好的操作界面和便于操作的菜单系统。 【产品规格】 视频输入：2 路VGA接口，2路HDMI接口 视频输出：2路VGA接口，2路HDMI接口 其他接口：1个USB2.0接口，1个SATA接口 网络接口：2 路千兆以太网 机箱：采用标准1U机箱 电源：AC220V
环境：温度：0℃~70℃湿度：85%RH 以下 外形尺寸：480×360×44(宽×深×高(mm)) 【应用领域】 可以广泛应用在通讯、网络，适合实时系统控制、产业自动化、实时数据采集、军事系统等需要高速运算的领域，也适用于智能交通、航空航天、医疗器械、水利等模块化及高的可靠度、可长期使用的应用领域。此外还适合课堂录播系统、医疗系统、雷达系统等仪器视频记录系统。 各种有线、无线网络环境的视频通讯传输应用。
三维视频编码技术的发展与挑战
收稿日期：2011－03－16；修回日期：2011－05－09。 基金项目：国家自然科学基金资助项目（30970780）；北京市自然科学基金及教委重点科技项目（KZ200910005005）。作者简介：邓智玭（1983－），女，湖南邵阳人，博士研究生，主要研究方向：视频编码；贾克斌（1962－），男，北京人，教授，博士生导师，主要研究方向：多媒体技术；陈锐霖（1971－），男，香港人，教授，博士生导师，主要研究方向：视频技术；伏长虹（1981－），男，香港人，副教授，主要研究方向：视频编码；萧允治（1954－），男，香港人，教授，博士生导师，主要研究方向：视频编码。 文章编号：1001－9081（2011）09－2453－04 doi ：10．3724/SP．J．1087．2011．02453 三维视频编码技术的发展与挑战 邓智玭1，2，贾克斌1，陈锐霖2，伏长虹2，萧允治 2 （1．北京工业大学电子信息与控制工程学院，北京100124；2．香港理工大学电子资讯工程系，香港九龙） (zhipindeng@gmail．com;kebinj@bjut．edu．cn) 摘 要：介绍了三维视频编码的核心技术。首先比较了纯视频格式和深度增强格式三维视频编码技术的发展方 向及面临的挑战，其中重点分析了深度估计技术和视点合成技术的研究思路；然后概括了国际3DV /FTV 标准的制定 现状；最后对三维视频编码技术进行了总结和展望。 关键词：三维视频；多视点视频；立体视频；视频编码；深度图 中图分类号：TN919．81 文献标志码：A New trend and challenges in 3D video coding DENG Zhi-pin 1，2，JIA Ke-bin 1，CHAN Yui-lam 2，FU Chang-hong 2，SIU Wan-chi 2 (1．College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing 100124，China ；2．Department of Electronic and Information Engineering，The Hong Kong Polytechnic University，Kowloon Hongkong，China ) Abstract:The key technologies of 3D video coding were introduced．Firstly，the developing directions and challenges of video-only format and depth-enhancement format 3D videos were elaborated．The depth estimation and view synthesis technologies were analyzed in detail．Subsequently，the process of standardizing the current 3DV /FTV standard of MPEG was summarized．The conclusion and prospect were given at last． Key words:3D video;multiview video;stereoscopic video;video coding;depth map 0引言 近二十年来，视频广播技术发生了重大变革，从20世纪的模拟电视到数字电视、高清数字电视，乃至现在的三维电 视，视频技术随着人们生活水平的提高不断发展进步 ［1－2］ 。当今世界，人们已经不再满足于传统的单目视频带来的视觉感受，具有临场感和交互性的三维立体视频以其独特的景深 效果给用户带来前所未有的奇妙体验［3］ 。随着好莱坞推出《阿凡达》等立体电影，三维视频技术逐渐成为多媒体信息产 业的热门话题［4－6］ 。与传统的单目视频相比，三维视频包含的数据量成倍增加［7］ 。为了避免信道中数据量激增，必须对其进行有效的编码压缩。近年来，全球各大研究机构都投入大量精力对三维视频编码技术进行深入研究。 1三维视频编码技术 根据传输形式不同将三维视频分为两大类：1）纯视频格 式，需要传输所有视角的数据［8］ ；2）深度增强格式，传输有限个单目视频及其深度序列， 在解码端利用视点合成技术生成虚拟视点［9］ 。这两类三维视频由于传输形式不同而采用不同的编码方式。 1．1纯视频格式三维视频 纯视频格式三维视频由多路具有细微视角差异的视频组成，由两台（或多台）相邻摄像机从不同角度同时对同一场景进行拍摄得到，这些视频可以直接在三维立体显示设备上播放。1．1．1 立体视频编码 最直接的双通道立体视频编码方式是采用Simulcast 方 法直接对左右视点数据进行独立压缩，如图1（a ）所示，但是 左右视点间的相关性没有得到利用，编码效率较低［10］ 。早在 十几年前， MPEG-2Multiview Profile 就提出结合左右视点之间的交叉相关性和同一视点内部的时空相关性来提高立体视频编码效率［11－12］ 。近年来，立体补充增强信息（Stereo Supplemental Enhancement Information ，Stereo SEI ）和帧组合补 充增强信息（Frame Packing Arrangement SEI ）被纳入到H.264/AVC 中［13］。根据Stereo SEI ，在编码前将左右视点以左右/上下方式交错排列成一段视频，然后通过场间预测来消除视点间的交叉冗余，在解码端通过反交错将立体视频还原成两段独立视点，如图1（b ）所示。该方式与原有的H．264编 解码器完美兼容， 不需要改变原有硬件结构。2009年7月，国际运动图像专家组（Moving Picture Expert Group ，MPEG ）颁 布了MPEG-4AVC Stereo High Profile ，作为多视点视频编码 （Multiview Video Coding ，MVC ）标准的一个子集［14］。然而，Stereo High Profile 只适用于逐行和隔行扫描的双通道立体视频序列，不支持临场感更强的多视点视频和自由视点视频。1．1．2 多视点视频编码 多视点视频是由多台相邻摄像机从不同角度对同一场景 进行拍摄得到的多路视频序列［15］ 。多视点视频的数据量巨 大，相邻视点间的交叉冗余信息比双通道立体视频大得多，为 了最大限度地提高压缩率， 在编码时采用一种基于分层B 帧（Hierarchical B Pictures ，HBP ）的视点—时间金字塔型预测结构［16－18］ ，如图2所示。该结构被MVC 的官方测试模型JMVC 采纳［19］ 。 2009年1月，国际联合视频小组（Joint Video Team ，JVT ） 第31卷第9期2011年9月 计算机应用 Journal of Computer Applications Vol．31No．9Sep．2011
视频编码的基本原理及基本框架
视频编码的基本原理及基本框架 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。 去时域冗余信息 使用帧间编码技术可去除时域冗余信息，它包括以下三部分： －运动补偿 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。 －运动表示 不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。－运动估计 运动估计是从视频序列中抽取运动信息的一整套技术。 注：通用的压缩标准都使用基于块的运动估计和运动补偿 去空域冗余信息 主要使用帧内编码技术和熵编码技术： －变换编码 帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。 －量化编码 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。
熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。 视频编码的基本框架 H.261 H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=1~30)。 H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF 和CIF。 H.263 H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。 H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率：SQCIF(128x96)、QCIF、CIF、4CIF、16CIF。 与H.261和H.263相关的国际标准 与H.261有关的国际标准 H.320：窄带可视电话系统和终端设备； H.221：视听电信业务中64~1 920Kb/s信道的帧结构； H.230：视听系统的帧同步控制和指示信号； H.242：使用直到2Mb/s数字信道的视听终端的系统。 与H.263有关的国际标准 H.324：甚低码率多媒体通信终端设备； H.223：甚低码率多媒体通信复合协议； H.245：多媒体通信控制协议； G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。 JPEG 国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。常用的基于离散余弦变换(DCT)的编码方法，是JPEG算法的核心内容。
视频压缩编码方法简介—AVI
视频压缩编码方法简介—A V I A VI（Audio Video Interleave）是一种音频视像交插记录的数字视频文件格式。1992年初Microsoft公司推出了A VI技术及其应用软件VFW（Video for Windows）。在A VI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个A VI文件的主要参数包括视像参数、伴音参数和压缩参数等。 1.视像参数 （1）视窗尺寸（Video size）。根据不同的应用要求，A VI的视窗大小或分辨率可按4:3的比例或随意调整，大到全屏640×480，小到160×120甚至更低。窗口越大，视频文件的数据量越大。 （2）帧率（Frames per second）。帧率也可以调整，而且与数据量成正比。不同的帧率会产生不同的画面连续效果。 2.伴音参数。在A VI文件中，视像和伴音是分别存储的，因此可以把一段视频中的视像与另一段视频中的伴音组合在一起。A VI文件与WA V文件密切相关，因为WA V文件是A VI文件中伴音信号的来源。伴音的基本参数也即WA V文件格式的参数，除此以外，A VI文件还包括与音频有关的其他参数。 （1）视像与伴音的交织参数（Interlace Audio Every X Frames）。A VI格式中每X帧交织存储的音频信号，也即伴音和视像交替的频率X是可调参数，X的最小值是一帧，即每个视频帧与音频数据交织组织，这是CD－ROM上使用的默认值。交织参数越小，回放A VI文件时读到内存中的数据流越少，回放越容易连续。因此，如果A VI文件的存储平台的数据传输率较大，则交错参数可设置得高一些。当A VI文件存储在硬盘上时，也即从硬盘上读A VI文件进行播放时，可以使用大一些的交织频率，如几帧，甚至1秒。 （2）同步控制（Synchronization）。在A VI文件中，视像和伴音是同步得很好的。但在MPC中回放A VI文件时则有可能出现视像和伴音不同步的现象。 （3）压缩参数。在采集原始模拟视频时可以用不压缩的方式，这样可以获得最优秀的图像质量。编辑后应根据应用环境选择合适的压缩参数。 3.A VI数字视频的特点 （1）提供无硬件视频回放功能。A VI格式和VFW软件虽然是为当前的MPC设计的，但它也可以不断提高以适应MPC的发展。根据A VI格式的参数，其视窗的大小和帧率可以根据播放环境的硬件能力和处理速度进行调整。在低档MPC机上或在网络上播放时，VFW的视窗可以很小，色彩数和帧率可以很低；而在Pentium级系统上，对于64K色、320×240的压缩视频数据可实现每秒25帧的回放速率。这样，VFW就可以适用于不同的硬件平台，使用户可以在普通的MPC上进行数字视频信息的编辑和重放，而不需要昂贵的专门硬件设备。 （2）实现同步控制和实时播放。通过同步控制参数，A VI可以通过自调整来适应重放环境，如果MPC 的处理能力不够高，而A VI文件的数据率又较大，在WINDOWS环境下播放该A VI文件时，播放器可以通过丢掉某些帧，调整A VI的实际播放数据率来达到视频、音频同步的效果。 （3）可以高效地播放存储在硬盘和光盘上的A VI文件。由于A VI数据的交叉存储，VFW播放A VI数据时只需占用有限的内存空间，因为播放程序可以一边读取硬盘或光盘上的视频数据一边播放，而无需预先把容量很大的视频数据加载到内存中。在播放A VI视频数据时，只需在指定的时间内访问少量的视频图像和部分音频数据。这种方式不仅可以提高系统的工作效率，同时也可以实现迅速地加载和快速地启动播放程序，减少播放A VI视频数据时用户的等待时间。 （4）提供了开放的A VI数字视频文件结构。A VI文件结构不仅解决了音频和视频的同步问题，而且具有通用和开放的特点。它可以在任何Windows环境下工作，而且还具有扩展环境的功能。用户可以开发自己的A VI视频文件，在Windows环境下可随时调用。 （5）A VI文件可以再编辑。A VI一般采用帧内有损压缩，可以用一般的视频编辑软件如Adobe Premiere 或MediaStudio进行再编辑和处理。
网络视频(编解码)器使用说明
网络视频编解码器 使用说明书 目录 第一章产品介绍 (2) 1.1 编码器接口说明 (2) 第二章基本安装 (3) 2.1开机 (3) 2.2关机 (3) 2.3 重启 (3) 2.4 视频输入的连接 (3) 2.5 视频输出设备的选择和连接 (3) 2.6音频信号的输入 (3) 2.7音频输出 (3) 2.8网络连接 (4) 第三章基本操作 (5) 3.1 IP设置 (5) 3.2内网登录 (5) 3.2.1 CMS登录 (5) 3.2.2 IE登录 (7) 3.3外网登录 (10) 3.3.1 CMS云登录 (10) 3.3.2 IE云登录 (12) 3.3.3 通过智能手机访问 (14) 3.4 系统设置 (17) 3.4.1 普通设置 (17) 3.4.2 编码设置 (18) 3.4.3 通道管理 (19) 3.4.4网络设置 (23) 3.4.5 网络服务 (24) 3.5. 输出模式 (26) 附录1.鼠标操作 (28) 附录2.技术参数 (29)
第一章产品介绍 注意事项： 请勿将重物至于本设备上； 请勿让任何固体或液体，掉入或渗入设备内； 请定期用刷子对电路板、接插件、机箱风机、机箱等进行除尘，在进行机体清洁工作前，请关闭电源并拔掉电源； 请勿自行对本设备进行拆卸、维修或更换零件。 使用环境： 请在0℃~40℃的温度下放置和使用本产品，避免阳光直射，或靠近热源； 请勿将本设备安装在潮湿的环境； 请勿将本设备暴露在多烟、多尘的环境； 避免强烈的碰撞，请勿摔落机器； 请保持本产品的水平安装，安装在稳定的场所，注意防止本产品坠落； 请安装在通风良好的场所，切勿堵塞本产品的通风口； 仅可在额定输入输出范围内使用。 1.1 编码器接口说明
高清解码器：解决了全数字高清上电视墙的问题
高清解码器：解决了全数字高清上电视墙的问题 在安防行业视频监控领域，基于IP的网络视频监控系统发展势头迅猛，市场越做越大，许多知名传统模拟视频监控厂商，甚至是以前非安防领域如通信行业的厂商也都推出了自己的IP视频监控产品及解决方案。网络视频监控发展到今天，其技术已经成熟，成本也大幅下降，尤其是最近两年高清网络视频监控的出现，被越来越多的用户所接受。 现在市场上有些方案采用基于PC多显示卡实现电视墙功能，但这种解决方案由诸多问题： 1、基本采用的是“软解”的方式来实现，是通过软件来完成复杂的H.264编解码 算法，视频不流畅、清晰度明显下降，达不到全高清的现实效果； 2、可靠性低，很难保证在7x24小时环境下长时间、不间断运行； 3、由于基本采用Windows系统，极易受到病毒攻击； 4、日常维护比较复杂、繁琐； 灵歌网络的嵌入式网络高清解码器HDD1218的出现，彻底解决了全数字高清监控系统上电视墙的困扰。HDD1218是一款针对全数字高清上电视墙而专门研发的产品，适合大中型规模高清网络视频集中监控系统。HDD1218拥有分组轮巡，网络自动监测、多屏输出、多接口同时输出、远程录像回放等功能。具体功能特性如下： ● 嵌入式Linux设计和专用编解码芯片 专用的编解码芯片，保证了低延迟、画面流畅、色彩逼真的显示效果；最高支持2路1080p 15M bps视频流的同时解码 ● 兼容多种型号的网络摄像机 支持包括国外主流品牌Sony, Panasonic, Axis, Arecont, Pelco, CNB等，以及国内一些知名厂商的网络摄像机。 ● 支持多种视频接口同时输出 包括HDMI ，DVI，Component（分量），CVBS，输出格式包括1080p,720p,D1等。 ● Web远程控制 用户无需在PC上安装任何控制软件，通过Web浏览器来完成所有远程控制 ● 支持向上、向下的双向倍频显示 既可以解码1080p的高清网络摄像机在传统的模拟显示器上显示D1画面；也可以解码D1分辨率的网络摄像机在高清显示器上显示1080p效果。