·mpeg-4目标
·多媒体视频编码
·mpeg-4的优点
·mpeg-4视频编码核心思想及关键技术
·mpeg-4的应用
mpeg-4简介mpeg4于1998年11月公布，原预计1999年1月投入使用的国际标准mpeg4不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。mpeg专家组的专家们正在为mpeg-4的制定努力工作。mpeg-4标准主要应用于视像电话(videophone)，视像电子邮件(videoemail)和电子新闻(electronicnews)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176x144。mpeg-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。
与mpeg-1和mpeg-2相比，mpeg-4的特点是其更适于交互av服务以及远程监控。mpeg-4是第一个使你由被动变为主动(不再只是观看，允许你加入其中，即有交互性)的动态图像标准；它的另一个特点是其综合性；从根源上说，mpeg-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。mpeg-4的设计目标还有更广的适应性和可扩展性。
mpeg-4目标一、低比特率下的多媒体通信；
二、是多工业的多媒体通信的综合。
据此目标，mpeg4引入av对象（audio/visaulobjects），使得更多的交互操作成为可能。
mpeg-4是为在国际互联网络上或移动通信设备（例如移动电话）上实时传输音/视频讯号而制定的最新mpeg标准，mpeg4采用objectbased方式解压缩，压缩比指标远远优于以上几种，压缩倍数为450倍(静态图像可达800倍)，分辨率输入可从320×240到1280×1024，这是同质量的mpeg1和mjepg的十倍多。
mpeg4使用「图层」(layer)方式，能够智能化选择影像的不同之处，是可根据图像内容，将其中的对象（人物、物体、背景）分离出来分别进行压缩，使图文件容量大幅缩减，而加速音/视频的传输，这不仅仅大大提高了压缩比，也使图像探测的功能和准确性更充分的体现出来。
在网络传输中可以设定mpeg4的码流速率，清晰度也可在一定的范围内作相应的变化，这样便于用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置，大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术，动态时快录，静态时慢录，从而减少平均数据量，节省存储空间。而且当在传输有误码或丢包现象时，mpeg4受到的影响很小，并且能迅速恢复。
mpeg4的应用前景将是非常广阔的。它的出现将对以下各方面产生较大的推动作用：数字电视、动态图像、万维网（www）、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒系统、internet/intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、dvd上的交互多媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等。
当然，除了mpeg4外，还有更先进的下一个版本mpeg7，准确来说，mpeg-7并不是一种压缩编码方法，而是一个多媒体内容描述接口。继mpeg4之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。mpeg7就是针对这个矛盾的解决方案。mpeg7力求能够快速且有效地搜索出用户所需的不同类型的多媒体材料。预计这个方案于2001年初最终完成并公布。按照以往mpeg-4的经验，mpeg-7起码要再过两年才能进入实际应用阶。
多媒体视频编码运动图像专家组mpeg于1999年2月正式公布了mpeg-4(iso/iec14496)标准第一版本。同年年底mpeg-4第二版亦告底定，且于2000年年初正式成为国际标准。
mpeg-4与mpeg-1和mpeg-2有很大的不同。mpeg-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(www、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。mpeg-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。
mpeg-4的编码理念是：mpeg-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。
mpeg-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。
mpeg-4的优点
(1)基于内容的交互性
mpeg-4提供了基于内容的多媒体数据访问工具，如索引、超级链接、上传、下载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。mpeg-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。
（2)高效的压缩性
mpeg-4基于更高的编码效率。同已有的或即将形成的其它标准相比，在相同的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时mpeg-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习等。
（3)通用的访问性
mpeg-4提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储介质中的应用，此外，mpeg-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。
这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过atm网络等进行的远程数据库业务等。
mpeg-4视频编码核心思想及关键技术核心思想
在mpeg-4制定之前，mpeg-1、mpeg-2、h.261、h.263都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷：
·将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；
·不能对图像内容进行访问、编辑和回放等*作；
·未充分利用人类视觉系统（hvs，humanvisualsystem）的特性。
mpeg-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及*作的发展趋势。
***对象（***o，audiovisualobject）是mpeg-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和*纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在mpeg-4中所见的视音频已不再是过去mpeg-1、mpeg-2中图像帧的概念，而是一个个视听场景（***场景），这些不同的***场景由不同的***对象组成。***对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始***对象，它可以是自然的或合成的声音、图像。原始***对象具有高效编码、高效存储与传输以及可交互*作的特性，它又可进一步组成复合***对象。因此mpeg-4标准的基本内容就是对***对象进行高效编码、组织、存储与传输。***对象的提出，使多媒体通信具有高度交互及高效编码的能力，***对象编码就是mpeg-4的核心编码技术。
mpeg-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。
mpeg-4采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。
关键技术
mpeg-4除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。
a.视频对象提取技术
mpeg-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是mpeg-4视频编码的关键技术，也是新一代视频编码的研究热点和难点。
视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此，尽管mpeg-4框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。
目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。
在视频分割中基于数学形态理论的分水岭（watershed）算法被广泛使用，它又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。
b.vop视频编码技术
视频对象平面（vop，videoobjectplane）是视频对象（vo）在某一时刻的采样，vop是mpeg-4视频编码的核心概念。mpeg-4在编码过程中针对不同vo采用不同的编码策略，即对前景vo的压缩编码尽可能保留细节和平滑；对背景vo则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。
mpeg-4支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用，如可视电话、会议电视，mpeg-4则采用vlbv（verylowbit-ratevideo，极低比特率视频）核进行编码。
传统的矩形图在mpeg-4中被看作是vo的一种特例，这正体现了传统编码与基于内容编码在mpeg-4中的统一。vo概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视频信号的交互性和灵活性，使得更广泛的视频应用及更多的内容交互成为可能。因此vop视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。
c.视频编码可分级性技术
随着因特网业务的巨大增长，在速率起伏很大的ip（internetprotocol）网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广泛，且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。
视频编码的可分级性（scalability）是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。
mpeg-4通过视频对象层（vol，videoobjectlayer）数据结构来实现分级编码。mpeg-4提供了两种基本分级工具，即时域分级（temporalscalability）和空域分级（spatialscalability），此外还支持时域和空域的混合分级。每一种分级编码都至少有两层vol，低层称为基本层，高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。
在随后增补的视频流应用框架中，mpeg-4提出了fgs（finegranularityscalable，精细可伸缩性）视频编码算法以及pfgs（progressivefinegranularityscalable，渐进精细可伸缩性）视频编码算法。
fgs编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。
pfgs则是为改善fgs编码效率而提出的视频编码算法，其基本思想是在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。
d.运动估计与运动补偿技术
mpeg-4采用i-vop、p-vop、b-vop三种帧格式来表征不同的运动补偿类型。它采用了h.263中的半像素搜索（halfpixelsearching）技术和重叠运动补偿（overlappedmotioncompensation)技术，同时又引入重复填充（repetitivepadding）技术和修改的块（多边形）匹配（modifiedblock（polygon）matching）技术以支持任意形状的vop区域。
此外，为提高运动估计算法精度，mpeg-4采用了mvfast（motionvectorfieldadaptivesearchtechnique）和改进的pmvfast（predictivemvfast）方法用于运动估计。对于全局运动估计，则采用了基于特征的快速顽健的ffrgmet（feature-basedfastandrobustglobalmotionestimationtechnique）方法。
在mpeg-4视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在h.263和mpeg中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则：
（1）绝对误差和（sad,sumofabsolutedifference）准则；
（2）均方误差（mse,meansquareerror）准则；
（3）归一化互相关函数（nccf,normalizedcrosscorrelationfunction）准则。
在上述三种准则中，sad准则具有不需乘法运算、实现简单方便的优点而使用最多，但应清楚匹配准则的选用对匹配结果影响不大。
在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可*的方法是全搜索法（fs,fullsearch），但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交*搜索法、二维对数法和钻石搜索法，其中钻石搜索法被mpeg-4校验模型（vm,verificationmodel）所采纳，下面详细介绍。
钻石搜索（ds,diamondsearch）法以搜索模板形状而得名，具有简单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优，选择大的搜索模板则可能无法找到最优点。因此ds算法针对视频图像中运动矢量的基本规律，选用了两种形状大小的搜索模板。
·大钻石搜索模板（ldsp,largediamondsearchpattern），包含9个候选位置；
·小钻石搜索模板（sdsp,smalldiamondsearchpattern），包含5个候选位置。
ds算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最佳匹配块落在大钻石中心。由于ldsp步长大，因而搜索范围广，可实现粗定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在ldsp周围8个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位，以不产生较大起伏，从而提高运动估计精度。
此外sprite视频编码技术也在mpeg-4中应用广泛，作为其核心技术之一。sprite又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用sprite可以直接重构该视频对象或对其进行预测补偿编码。
sprite视频编码可视为一种更为先进的运动估计和补偿技术，它能够克服基于固定分块的传统运动估计和补偿技术的不足，mpeg-4正是采用了将传统分块编码技术与sprite编码技术相结合的策略。
mpeg-4的应用
（1)应用于因特网视音频广播
由于上网人数与日俱增，传统电视广播的观众逐渐减少，随之而来的便是广告收入的减少，所以现在的固定式电视广播最终将转向基于tcp/ip的因特网广播，观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到硬盘，然后再播放，而是流媒体视频(streamingvideo)，点击即观看，边传输边播放。
现在因特网中播放视音频的有：realnetworks公司的realmedia，微软公司的windowsmedia，苹果公司的quicktime，它们定义的视音频格式互不兼容，有可能导致媒体流中难以控制的混乱，而mpeg-4为因特网视频应用提供了一系列的标准工具，使视音频码流具有规范一致性。因此在因特网播放视音频采用mpeg-4，应该说是一个安全的选择。
（2)应用于无线通信
mpeg-4高效的码率压缩，交互和分级特性尤其适合于在窄带移动网上实现多媒体通信，未来的手机将变成多媒体移动接收机，不仅可以打移动电视电话、移动上网，还可以移动接收多媒体广播和收看电视。
（3)应用于静止图像压缩
静止图像（图片）在因特网中大量使用，现在网上的图片压缩多采用jpeg技术。mpeg-4中的静止图像(纹理)压缩是基于小波变换的，在同样质量条件下，压缩后的文件大小约是jpeg压缩文件的十分之一。把因特网上使用的jpeg图片转换成mpeg-4格式，可以大幅度提高图片在网络中的传输速度。
（4)应用于电视电话
传统用于窄带电视电话业务的压缩编码标准，如h261，采用帧内压缩、帧间压缩、减少象素和抽帧等办法来降低码率，但编码效率和图像质量都难以令人满意。mpeg-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号，使电视电话业务可以在窄带的公用电话网上实现。
（5)应用于计算机图形、动画与仿真
mpeg-4特殊的编码方式和强大的交互能力，使得基于mpeg-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材，并实时组合出所需要的结果。因而未来的计算机图形可以在mpeg-4语法所允许的范围内向所希望的方向无限发展，产生出今天无法想象的动画及仿真效果。
（6)应用于电子游戏
mpeg-4可以进行自然图像与声音同人工合成的图像与声音的混合编码，在编码方式上具有前所未有的灵活性，并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏，实现极高自由度的交互式操作。
（7）硬件产品上面的应用
目前，mpeg4技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上，这项高清晰度，高压缩的技术得到了众多硬件厂商的钟爱，而市场上支持mpeg4技术的产品也是种类繁多。下面笔者就列举一些代表性的产品，旨在让读者了解mpeg4技术在今天应用范围之广。
（1）、摄像机：日本夏普公司推出过应用在互联网上的数字摄像机vn－ez1。这台网络摄像机利用mpeg4格式，可把影像文件压缩为asf（高级流格式），用户只要利用微软公司的mediaplayer播放程序，就可以直接在电脑上进行播放。
（2）、播放机：飞利浦公司于今年八月份推出了一款支持divx的dvd播放机dvd737。它可以支持divx3.11、4.xx、5.xx等mpeg4标准，而对于新标准的支持则可以通过升级固件来实现。（3）、数码相机：日本京瓷公司在11月中旬发售其最新款数码相机finecaml30，这款是采用300万像素、3倍光学变焦设计的数码相机产品，l30采用了mpeg4格式动态视频录制，可以让动态视频录制画面效果比传统数码相机更出色。
（4）、手机：在手机领域，mpeg4技术更是得到了广泛的应用，各大手机厂商也都推出了可拍摄mpeg4动态视频的手机型号，如西门子st55、索尼爱立信p900/p908、lg彩屏g8000等。
(5)、mpeg4数字硬盘：在今年深圳举行的安防展览会上，开发数字录像监控产品的厂家纷纷推出了他们的最新产品，而支持mpeg4的dvr压缩技术也成为改展会上的亮点。
如北京华青紫博科技推出的"e眼神mpeg4数字视频王"便是一款基于网络环境的高清晰数字化监控报警系统。内置多画面处理器，集现场监控、监听、多路同时数字录像与回放等多种功能为一体。
其实，市场上还有许多基于mpeg4技术的硬件产品，笔者这里就不一一列举了，不过笔者相信，随着视频压缩技术的不断发展，mpeg4技术的产品会越来越多的出现在我们生活，工作中。