CN1460924A - 退色估计/补偿 - Google Patents

Abstract

描述用于实现在视频处理应用中退色估计和补偿的技术和工具。例如，视频编码器在一个或多个参考图象上完成退色补偿一编码其中检测到退色的图象。视频解码器在一个或多个参考图象上实现对应的退色补偿。

Description

退色估计/补偿

本专利宣布得到美国临时性专利序号为NO.60/377,628，2002年5月3号申请的美国临时性专利的利益，它加入到这里作为参考。本专利涉及同时申请的名为“Parameterization for Fading Compensation”，序号为aa/bbb,ccc的美国专利和同时申请的名为“Signaling for Fading Compensation”，序号为aa/bbb,ccc的美国专利，它们揭示的内容合并到这里作为参考。

技术领域

描述为实现在视频处理应用中的退色估计和补偿的技术和工具。例如，视频编码器/解码器在一个或多个参考帧上完成退色补偿的使编码/解码被检测到退色的帧。

背景技术

数字视频占用大量的存储和发送能力。典型的原始数字视频序列每秒包括15或30帧。每帧能包括数万至数十万个象素(称为象元)。每个象素表示图的细小单位。以原始形式，计算机通常用24数据位表示一个象素。同此，通常原始数据视频序列的每秒的位数，或位速率能是5百万位/秒或更多。

大多数计算机和计算机网络缺乏处理原始数字视频的资源。为此原因，工程师使用压缩位速率(也称编码)来减少数字视频的位速率。压缩能是无损的，其中质量不受影响，但由于视频的复杂性，在速率方面的减少是有限的。或者，压缩能是有损的，其中视频的质量受影响，但在位速率方面的减少是惊人的。解压缩逆被压缩。

通常，视频压缩包括帧内压缩及帧间压缩。帧内压缩技术压缩单独的帧，常称为I-帧或关键帧。帧间压缩技术参考的前帧或后续帧来压缩帧，它们通常称为预计帧，P-帧，或B-帧。

微软公司的Windows Media Video，Version 8[“WMV8”]包括视频编码器和视频解码器。WMV8编码器使用帧内及帧间压缩，而WMV8解码器使用帧内及帧间解压缩。

              A.WMV8中的帧内压缩

图1示出在WMV8编码器中在关键帧中象素的块(105)的基于块的帧内压缩(100)的例子。例如，WMV8编码器将关键视频帧分割成象素质8×8的块，并应用8×8的离散全经变换[“Dcr”-Discrete Cosins Transform](110)到单独的块，将8×8的图素块(105)转换成8×8块的DCT系统(115)。编码器量化(102)了DCT系数，导致量化DCT系统的8×8块(125)，然后编码器使其为熵编码做好准备。

编码器将DC系数(126)编码成从被编码的块的以前编码的邻区(如相邻块(135))的DC系数(136)来的差分。该编码器熵编码该差分(140)。图1示出编码成从相邻(到左边)块(135)的左列(137)来的差分(147)的AC系数的左列(127)。余下的AC系数从量化的DCT系统的块(125)而来。

编码器将预测的量化的AC DCT系数的8×8块(145)扫描(150)成一维数组(155)并随后使用游程长度编码(160)的变化熵编码该扫描的AC系数。编码器从一个或多个游程/层/最后(run/level/last)表(1650)熵编码，并输出该熵码(170)。

             B.WMV8中的帧间压缩

在WMV8编码器中的帧间压缩器使用基于块移动的补偿预测编码，随后是残留误差的转换码。图2和3示出在WMV8编码中对预测的基于块的帧间压缩。特列是，图2示出对预测帧(210)的移动估计而图3示出对预测帧的移动估计块的预测残留的压缩。

例如，WMV8编码器将预测帧的分割成象素8×8的块。4个8×8块的组形成宏块。对每个宏块，完成移动估计处理.移动估计近似于像素的宏块相对于如以前已编码的前一帧那样的参考的移动。在图2中，WMV8编码器计算在预测帧(210)中宏块(215)的移动向量。为计算此移动向量，编码器在参考帧(230)的搜索区域(235)中搜索。在搜索区域(235)中，编码器将从预测帧(210)来的宏块(215)与各种后选的宏块比较以找到很好的匹配的后选宏块。在编码器找到很好匹配的宏块之后，编码器输出指定对匹配宏块的移动向量编码的熵的信息，使得解码器在解码过程中能找到匹配的宏块。当解码带着移动补偿的预测帧(210)时，解码器使用移动向量对采用从参考帧(230)来的信息的宏块(215)计算预测帧。宏块(215)的预测难以完美，所以解码器通常编码在预测宏块(215)本身之间的象素差(也称为误差或残留块)的8×8的块。

图3示出在WMV8编码器误差块(335)的计算和编码的例子。误差块(335)是预测块(315)和原始当前块(335)之差。编码器将DCT(340)应用到误差块(335)，产生8×8的系数块(345)。然后，编码器量化(350)DCT系数，产生8×8的量化DCT系数块(355)。量化步长是可以调节的。量化导致精度损失，但不完全损失系数的信息量。

然后编码器使8×8的量化DCT系数块(355)为熵编码做好准备。编码器将8×8的块(355)扫描(360)成64元素的一维数组(365)，使得系数通常从最低频排序到最高频，这通常建立零值的长游程。

编码器使用游程长度编码(370)的变种熵编码该扫描的系数。编码器从一个或多个游程/层/最后表(375)中选择熵码并输出该熵码。

图4示出对帧间编码(inter-coded)块的对应解码过程(400)的例子。由于DCT系数的量化，重构的块(475)不同于对应的原始块。压缩是有损的。

综观图4，解码器使用带一个或多个游程/层/最后表(415)的可变长度解码(410)和游程长度解码(420)，解码(410，420)表示预测残留的熵编码信息。解码器逆向扫描(430)一维数组(425)，将熵解码信息存入二维块(435)。解码器逆向量化并逆向离散全经变换(一起，440)数据，导致重构的误差块(445)。在分别的移动补偿路程中，解码器使用对于从参考帧的位移的移动向量信息(445)计算预测块(465)。解码器将预测块(465)与重构误差块(445)相结合(470)以形成重构的块(475)。

在原始的和重构的帧之间改变量称为失真，解码帧所需要的位数称为对帧的速率。失真的量粗略地反比于速率。换言之，用更少的位编码一个帧(更大的压缩)导致更大的失真，反之亦然。

               C.传统的基于移动的视频压缩的局限性

带有如退色，幻影化，和混合效果的视频序列需要相当大量的数据位去解码，因为传统给移动的视频压缩方法通常队那样的帧不起作用。例如，考虑一个视频序列，其中一帧中的一个对象从一帧的下一帧在一个方向上稍有移动。在通常的块—匹配移动估计技术中，在较有退色的视频序列中对在当前帧中的一个块找到在以前帧中的匹配，并解码最近的移动向量可能是简单的事情。但是例如若“退色的黑”发生在视频序列中，在当前的帧中的每个亮度值可以相对于前一帧改变，使得视频解码器不能对该块找到很好的匹配。退色也能由于自然的亮度变化发生在序列中。如混合和幻影化那样的其他渐变效应也降低了直接移动估计/补偿的有效性。

           D.视频压缩和解压缩的标准

除WMV8之外，若干国际标准关系到视频压缩和解压缩。这些标准包括Motion Picture Experts Group[“MPEG”]1，2和4标准以及从InternationalTelecommunication Union[“ITU”]来的H.261，H.262，和H.263标准。类似WMV8，这些标准使用的压缩技术的细节上不同于WMV8。例如，H.263标准的附录P描述了Reference Picture Resampling方式(参考图形重系样方式)，用于在编码期间适当的改变图形的分辨率的预测。

给出对数字视频的视频压缩和解压缩的关键的重要性，无需惊奇，视频的压缩和解压缩有很大的发展余地。无论以前的视频压缩和解压缩技术有多少益处，但是他们没有下列技术和工具的优点。

发明内容

视频压缩的一个目的是改善速率—失真的性能—换言之，使用较少的位得到同样的质量，或使用同样的位数达到更高的质量，达到此月标的一个方法是识别出需要相当大量的位来编码的视频序列的部分，并随后找到更好压缩那些部分的方法。带有如退色，幻影化，和混合效应的视频序列的部分是常有的。然后，当这些部分确实发生时，它们需要大量的位来编码，因为传统的基于移动的视频压缩方法通常无效。

因而，总之，详细地描述针对改善对视频序列的速率—失真的性能的各种技术及工具，那些视频序列包括渐强量示，渐弱量示，交叉退色或其他退色，混合或幻影化效果。例如，视频编码器通过根据退色参数调节参考帧实现对当前帧的退色补偿。视频解码器通过调节参考帧实现退色补偿。

在第一组技术的工具中，视频解码器或解码器借助退色参数通过在参考视频帧中(如帧，域或对象平面)重能映射象素值(如色调或亮度值)获得退色参数，并完成退色补偿。例如，退色参数指定象素范围的线性或非线性，一阶，二阶或更重阶的变换。视频编码器或解码器相对于重新映射的参考视频图象至少当前视频图像的部分做出移动补偿。在某些情况，编码器完成退色检测以判断是否获得退色参数。退色检测能包括对当前图象相对原始参考视频图象计算误差测量，且将此误差测量与阈值比较，并能在间隔系样(downsampled)的图象上实现。在某些情况，为获得退色参数，解码器例如通过借助重新映射的参考视频图像模型化当前视频图像来估计这些参数。

在第二组技术和工具中，视频编码器或解码器获得对当前帧的整体亮度改变补偿参数，并借助整体亮度改变补偿参数，通过对所有参考视频帧编码器或解码器对至少部分当前视频帧重新映射的参考视频做出移动补偿。

在第三组技术和工具中，视频编码器在检测到在一个或多个视频帧中的退色后提取退色参数。此提取包括根据在间隔系样的当前帧和一个或多个间隔系样的参考帧之间的象素的差获得初步的退色参数。该退色参数被量化及解量化。解量化的退色参数可用于(如通过比较重新映射的和原始有界的绝对误差和)确定，是否根据载满分辨率的当前帧和一个或多个满分辨率参考帧之间象素值的差获得最终的退色参数。视频编码器通过载满分辨率上如完成回归分析或某些其他分析获得最经的退色参数。

各种技术和工具能组合地或单独的使用。不同实施例实现一个或多个所描述的技术工具。

从下面参考附图对不同实施例的描述，另外的特征和优点将变得一清二楚。

附图说明

图1是示出按现有技术的基于块的帧内压缩的原理图。

图2是示出按现有技术在视频便码器中移动估计的原理图。

图3是示出按现有技术的基于块的帧间压缩的原理图。

图4是示出按现有技术的基于块的帧间解压缩的原理图。

图5是能实现若干所述诸实施例的合适的计算环境的原理图。

图6是用于若干所述实施例的普通的视频编码器系统的原理图。

图7是用于若干所述实施例的普通的视频解码器系统的原理图。

图8是流程图，示出使用退色估计和补偿编码的视频技术。

图9是流程图，示出使用退色补偿解码的视频技术。

图10是能实现退色估计和补偿的视频编码系统的原理框图。

图11是能实现退色补偿的视频解码系统的原理框图。

图12是流程图，示出用于退色估计和参数程序的技术。

图13是示出发信号方案的图表，用于指出对一个帧是否使用退色补偿。

具体实施方式

描述的实施例涉及退色估计的/或补偿的技术和工具。没有退色补偿/估计功能，具有如退色，幻影化，和混合现象的视频序列需要相当大量的数据位来编码，因为传统的基于移动的视频压缩方法在那样的帧上一般不起作用。描述的实施例通过在那样帧中做出退色估计/补偿改善速率—失真性能。各种实施例涉及用于估计，应用，编码和/或解码整体亮度改变参数的技术和工具。

在某些实施例的退色补偿包括对一个或多个参考帧做出整体亮度改变，它们可以是一帧，一帧的一部分(如帧中的单独块或宏块或帧中的一组宏块)，或要编码或解码的另外特定部分。然后通过从北调节的一个或多个参考帧来的移动估计/补偿预测当前帧。另外，退色补偿包括整体改变到参考帧，以补偿如混合或幻影那样的现象。通常，退色补偿包括度地退色(即退色到黑或从黑色退色)，混合，幻影化或其他影响像素值强度的自然或合成光照效果的补偿。然而，不失一般性，术语整体亮度改变及退色这里可交换的使用，除非上下文另作明确表示。

除了在帧上完成了退色补偿，某些实施例在域，对象层或其他图象上完成退色补偿。

在某些实施例中，通过在YUV颜色空间中调节参考帧在亮度和色度通道中得值发生退色补偿。调节包括缩放及移位亮度象素值和缩放及移位色调象素值。另外，颜色空间可以不同(如YIQ或RGB)和/或补偿不使用其他调节技术。

编码器/解码器在逐帧的基础上完成退色估计/补偿。另外，编码器/解码器可在某个另外基础上或载入一个或多个块或宏块的部分上实现退色估计/补偿。

各种技术和工具能组合地或单独的使用。不同的实施例实现一个或多个所述技术和工具。虽然这些技术的操作通常为了表示的缘故以特定顺序次序描述，应该理解，描述的方式包含在操作次序中的次要的重排序，除非需要特定的排序。例如，在某些情况顺序描述的操作能重排序或同时执行。此外，为简单起见，流程图通常示出特定技术能结合其他技术使用的各种途径。

在某些实施例中，视频编码器和解码器使用位流中的各种特征及信号。虽然叙述了特定标志及信号，应明白，此描述方式包括对标志和信号的不同传统(如0而不是1)

                I.计算环境

图5示出其中能实现若干所述实施例的合适的计算环境(500)的普通的例子。该计算环境不试图作为使用或功能范围的任何限止，因为技术和工具能在各种通用或当用计算环境中实现。

参考图5，计算环境(500)包括至少一个处理单元(510)和存储器(520)。在图5中，最基本的配量(530)包括在虚线之中。处理单元(510)执行计算机可执行指令并能是真实的或虚拟的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。存储器(520)能是易失存储器(如寄存器，缓冲器，RAM)，非易失存储器(如ROM，EEPROM，卡存为)，或两者的组合。存储器(520)存储实现如视频编码器或解码器那样的编码器或解码器的软件(580)。

计算环境可具有另外特征。例如，计算环境(500)包括存储器(540)，一个或多个输入设备(550)，一个或多个输出设备(560)，和一个或多个通讯连接(570)。如总线，控制器，或网络等互联机构(未示出)互联该计算环境(500)设备部件。通常，操作系统软件为在该计算环境(500)中执行的其他软件提供运行环境，并协调计算环境(500)各部件的活动。

存储器(540)能是可取走活不可能取走的，并磁盘，磁带或盒带，CD-ROM，DVD，或任何其他能用于存储信息并在该计算环境(500)中能被访问的其他介质。存储器(540)存储实现编码器活结码器的软件的指令。

输入设备(550)能是如键盘，鼠标，笔，或跟踪就那样的接触输入设备，语音输入设备，扫描设备，或另外向计算环境(500)提供输入的设备，对声频或视频编码，输入设备(550)能是声卡，视频卡，TV调谐卡，或以模拟方式接收声频或视频输入的类似设备，或将声频或视频样本读入计算环境(500)的CD-ROM或CD-RW。输出设备(560)可以是置示器，打印机，扬声器，CD-写入器，或从计算环境(500)提供输出得其他设备。

通讯连接(570)使能经通讯介质通讯另外计算实体。通讯介质传递入计算机可执行指令，声频或视频输入或输出，或以调制数据信号方式的其他数据。调制数据信号是那样的信号。他是有一个或多个特征组或以在信号中编码信息的方式改变。作为例子，通讯合介质包括用电，光，RF，红外，声频或其他载体实现的有线或无线技术，但不限于这些。

能以计算机可读介质的一般情况描述技术和工具。计算机可读介质是任何在计算环境中能访问的可用介质。作为例子，对计算机环境(500)，计算机可读介质包括内存(520)，存储器(540)通讯介质和上述的任何组合，但不限于这些。

技术和工具能以计算机可执行指令的一般情况描述，使得包括在程序模块的那些在目标的真实的或虚拟的处理器上的计算环境中执行。通常，程序模块包括例行程序，程序，库，对象，类，组体，数据结构等，它们完成特定任务或实现特定抽象数据类型。在各种实施例中，程序模块的功能在程序模块之间按需要分割获组合。程序模块的计算机可执行指令能在当地的或分布式计算环境中执行。

为表示方便，详细描述使用术语“估计”，“信号”，“编码”，“解码”来描述在计算机环境中的操作。这些术语对由计算机完成的操作是高级抽象，应不会和人完成的动作混淆。对应于这些术语的实际计算机操作根据实现而变化。

                 II.普通的视频编码器和解码器

图6是普通的视频编码器(600)的原理框图，图7是普通的视频解码器(700)的原理框图。

所示在编码器和解码器中各模块之间的关系指出了在编码器和解码器中只要信息流，为简单起见不示出其他关系。尤其是，图6和7通常不示出提示视频序列，帧，宏块，块等的编码器设置，模式，表格等的周边信息。那样的周边信息通常在周边信息作熵编码之后在输出位流中发出。输出位流的格式能是WindowsMedia Video格式或其他格式。

编码器(600)和解码器(700)是基于块的，并使用4∶2∶0宏块格式，每个宏块包括4个亮度8×8亮度块(时常处理成16×16宏块)和2个8×8色度块。另外，编码器(600)和解码器(700)可以是基于对象的，使用不同的宏块或块的格式，或在不同于8×8块及16×16宏块的尺寸与配量的象素组上完成操作。

根据所需的实现和压缩类型，编码或解码模块能加入，忽略，分割成多个模块，与其他模块组合，和/或用类拟模块替代。在另选实施例中，带不同模块和/或模块的另外配置的编码器及解码器实现一个或多个所述技术。

               A.视频编码器

图6是普通视频编码系统(600)的原理框图。编码器(600)接收包括当前帧(605)的一系列视频帧，并产生压缩的视频信息(695)作为输出。特定的视频编码器地实施例通常使用普通编码器(600)的变种或补充版本。

边码器系统(600)压缩预测帧及关键帧。为表示起见，图6示出关键帧通过解码器系统(600)的路径和进到预测帧的路径。使用编码器系统(600)的许多部件压缩关键帧和预测帧。由那些部件完成的确切操作，根据要压缩的信息的类型而变化。

预测帧[也称为双向预测的p-帧，b-帧，或编码之间帧]借助一个或多个其它帧的预测(或差)表示。预测残留是预测帧和原始帧之间的差。相反，关键[也称i-帧，编码内部帧]不参考其它帧的被压缩。

若当前帧(605)是前向预测帧，移动估计器(610)估计当前帧(605)的宏块或其他像素组相对于参考帧的移动，参考帧是缓存在帧存储器(620)的重构的以前帧(625)。在另外的实施例中，参考帧是后读帧，或当前帧被双向预测。移动估计器(610)作为周边信息输出如移动向量那样的移动信息(615)。移动补偿器(630)应用移动信息(615)到重构的以前帧(625)以形成移动补偿当前帧(635)和原始当前帧(605)之间的差是预测残留(645)。另外，移动估计器和移动补偿器应用另外类型和移动估计/补偿。

频率转换器(660)将空间域视频信息转换成频率域(即频)数据。对基于块的视频帧，频率转换器(660)应用离散余位转换[“DCT”]或DCT的变化到移动预测残留数据的块，产生DCT系数块。另外，频率转换器(660)应用如付主叶变换那样的另外传统频率转换，或使用子波或子波段分析。在某些实施例中，频率转换器(660)应用频率转换到对关键帧的空间预测残留的块。频率转换器(660)能应用8×8，8×4，4×8或其他大小的频率转换。

然后，量化器(670)量化频谱数据系数的块。量化器应用均匀的标量的量化于遂帧变化或根据其他变化的变步长谱数据。另外，量化器应用另外类型的量化于谱数据系数，如非均匀的，向量的，或非适应性量化，或者在不使用频率转换的编码系统中直接量化空间域数据。除了适应的量化，编码器(600)能使用帧丢失(frame droppins)，适应的滤波，或其他技术于速率制。

当需要重构的当前帧用于后续的移动估计/补偿时，逆向量化器(676)对量化的谱数据系数完成逆向量化。然后逆向频率转换器(666)完成频率转换(660)的逆向操作，产生重构的预测残留(对预测帧)或重构的关健帧。若当前帧(605)是关键帧，将重构的关键帧取作重构的当前帧(未示出)。若当前帧(605)是关键帧，重构的预测残留被加到移动-补偿当前帧(635)，以形成重构的当前帧。帧存储(620)缓存了重构的当前帧，用于预测下一个帧。在某些实施例，解码器应用解块(deblocking)滤波器到重构帧，以适应的光顺在帧的块中的不连续性。

熵编码器(680)压缩了量化器(670)的输出和某些周边信息[如移动信息(615)，量化步长]。典型的熵编码技术包括算术编码，差分编码，Huffman编码，游程长度编码，LI编码，词典编码，和上述的组合。熵编码器(680)通常使用不同编码技术与不同类型的信息(如DC系数，AC系数，不同类型的周边信息，)并能从特定编码技术中的多个编码表选择。

熵编码器(680)将压缩的视频信息(695)放入缓存器(690)。缓存级指示器反馈给位速率适应的模块。压缩的视频信息(695)从缓存器(694)以定常或相当定常的位速率例出，并对后续的流，以那个位速率存储。另外，编码器系统(600)在压缩后主即流出压缩的视频信息。

在缓存(690)的前后，压缩的视频信息(695)能通道编码，用于在网络上发送。通道编码能应用误差检测和校正数据于压缩的视频信息(695)。

              B.视频解码器

图7是普通视频解码器系统(700)的原理框图。解码器系统(700)接收用于压缩的视频帧序列的信息(795)，并产生包括-重构帧(705)的输出。视频解码器的特定实施例通常使用普通解码器(700)的变种或补充版本。

解码器系统(700)解压缩预测帧和关键帧。为表示方便，图7示出关键帧通过解码系统(700)的路程以及对前向预测帧的路径。使用许多解码器系统(700)的部件于解压缩关键帧和预测帧。由那些部件完成的确定操作能根据被压缩的信息类型而变化。

缓存器(790)接收对压缩的视频序列的信息(795)，并使接收的信息对熵解码器(780)可用。缓存器(790)通常以随时间非常固定的速率接收信息，并包括抖动(jitter)缓存器，以平滑在带宽或发送中的短促变化。缓存器(790)能包括回放缓存器和其他缓冲器。另外，缓存器(790)以变化的速率接收信息。在缓存器(790)前后，压缩的视频信息能被通道解码，并为误差检测及校正而处理。

熵解码器(780)熵解码经熵编码的数据以及熵编码的周边信息(如移动信息(715)，量化步长)，通常应用在编码器中实现的熵编码的逆向操作。熵解码技术包括算术解码，差分解码，Huffman解码，游程长度解码，LZ解码，词典解码，和上述的组合。熵解码器(780)频繁地对不同类型的信息(如DC系数，AC系数，不同类型的周边信息)使用不同的解码结束，并能从特定解码技术的多个编码表中选择。

若要重构的帧(705)是前向预测帧，移动补偿器(730)将移动信息(715)施加到参考帧(725)，以形成要重构的帧(705)的预测(735)。例如，移动补偿器(730)使用宏块移动向量寻找在参考帧(725)中的宏块。帧缓存(720)存储以前重构的帧，用作参考帧。另外，移动补偿器能应用其他类型的移动补偿。由移动补偿器作出的预测难以完美，所以解码器(700)也重构预测残留。

当解码器需要重构帧，用于后续的移动补偿，帧存储器(720)缓存重构之帧，用于预测下一帧。在某些实施例中，编码器应用解块滤波器于重构的帧，以适应地光顺在帧的块中的不连续性。

逆向量化器(770)逆向量化熵解码数据。通常，逆向量化器应用均匀的标量逆向量化于带有逐帧变化或根据其他而变化的步长的熵解码数据。另外，逆向量化器应用其他类型的数据逆向量化，例如，非均匀的，向量的，或非适应性量化，或在不使用逆向频率转换的解码系统中直接逆向量化空间域数据。

逆向频率转换器(760)转换量化的频率域数据成空间域视频信息。对基于块的视频帧，逆向频率转换器(760)应用逆向DCT【IDCT】，或IDCT的变化于DCT系数的块，产生移动预测残留数据。另外，频率转换器(760)应用另外传统的逆向频率转换(如付立叶变换)或使用子波或子频带综合。在某些实施例中，逆向频率转换器(760)应用逆向频率转换到关键帧的空间预测残留块。逆向频率转换器(760)能应用8×8，8×4，4×8或其他大小的逆向频率转换。

III、整体亮度改变估计/补偿

某些描述的实施例包括用于估计，应用，编码和/或解码由少量参数描述的整体亮度改变。该工具与技术使重构视频的主观和客观质量在更低的位速率达到。每个单独的工具或技术实现下列中一个或多个：1)整体亮度改变补偿方案；2)整体亮度参数的参数化；3)计算上有效地估计/提取整体亮度参数；4)低代价地对带整体亮度改变的帧取信号；和5)低代价地对整体亮度参数发信号通知。对一个帧，一个域，如单独块那样的帧/域的一部分，单独的宏块，或宏块组，或图象的另外特定部分，亮度改变可以是整体的。虽然下面描述读到在整个帧上亮度改变的参数化和补偿，能使用亮度改变补偿的相同框架于(a)判定在图象一部分(如单独块或宏块)存在退色，(b)计算在此部分内的退色参数，和(c)参数化及发送这些对图象的给定部分的退色参数。这些技术对图象的多个部分能重复使用。

整体亮度改变(也称为“退色”)能是视景的亮度和/或对比度的改变。通常，改变是线性的，但退色也能定义位包括在同一框架内的任何光顺，非线性映射。退色，幻影化和混合广泛地用于建立视频内容，以便光顺在视景迁移中视频帧的演变。而且，某些序列由于亮度的改变自然地展现出退色。带着如退色，幻影化和混合效果的视频帧需大量数字位来用传统的基于移动的视频压缩方法编码，这通常对那样帧是不可行的。

A、整体亮度改变补偿方案

图8示出使用整体亮度改变补偿编码视频的技术(800)。如图6所示的编码器(600)那样的编码器能实现该技术(800)。

首先，编码器检验在如在视频序列中要编码的当前帧那样的要编码的帧中的退色(801)。若编码器检测到该帧的退色(810)，编码器获得退色参数。例如，编码器如下面章节C中所述检测到退色并获得退色参数。或者，编码器使用不同技术检测退色和/或获得参数。编码器发信号通知退色补偿是打开或是关闭，若是打开则信号发信号通知退色参数。

若对该帧检测到退色，则如下面章节B所述编码器对该帧(830)在一个或多个参考帧上实现退色补偿。当编码器在多个参考帧上完成退色补偿时，这些多个参考帧可以是要编码帧之前或之后(以回放的次序)。编码器信号通知，从多个参考帧的哪一个补偿要编码的哪部分。对此信号通知，编码器能使用在那样系统已经用于参考帧选择的信号通知。在某些实施例中，编码器能既使用原始帧，又使用在移动估计/补偿中的重映射参考帧于要编码的帧。例如，编码器能这样地编码既有退色的内容又有未退色的当前帧。

退色补偿后，编码器使用从调节的参考帧来的移动估计/补偿来编码该帧(840)。若编码器未检测到退色，编码器不去获得退色参数或不去完成退色补偿地编码该帧(840)。当编码做完(850)，过程结束。

图9示出使用退色补偿解码已编码的视频的技术(900)。如图7所示的解码器(700)能实现该技术(900)。

首先，解码器检验(910)，对要解码的帧退色是否已打开或关闭。完成此检验的一个方法是校验由编码器发出的信号信息。若解码器判定，对该帧退色是打开的(910)，解码器完成退色补偿(920)。例如，解码器得到由编码器送出的退色参数并对要解码的帧在一个或多个参考帧上完成退色补偿(如在编码中那样)。

然后解码器使用如从调节的参考帧来的移动补偿解码帧(930)。若退色关闭，解码器解码该帧(930)而不必完成退色补偿。当解码完成(940)，过程结束。

图10示出用于完成整体亮度改变补偿的示例性编码器框架(1000)。在此框架(1000)中，编码器使用由退色估计获得的参数有条件地重映射参考帧。当编码器以经过帧的很好程度的可靠性与一致性检测到退色，解码器完成重映射或退色补偿。否则退色补偿是等同操作(即输出＝输入)。

参考图10，编码器将当前帧(1010)与参考帧(1020)比较，使用退色检测模块(1030)判定是否发生退色。在某些实施例中，参考帧是视频序列中在当前帧之前的帧。另外，参考帧可以是早于以前帧或在当前帧之后。当使用多个参考帧时，解码器能检验每个参考帧中的退色。编码器根据退色检测的结果产生“退色打开”或“退色关闭”信号(1040)。

若退色打开，退色估计模块(1050)根据对当前帧(1010)和参考帧(1020)完成的计算估计退色参数(1060)(在下面章节C中讨论某些实施例中退色估计的细节)。

退色补偿模块(1070)使用退色参数(1060)来重映射参考帧(1020)(或者多个参考帧)。然后编码器能使用其他编码器模块(1080)(如移动估计和补偿，频率转换器，和量化模块)来压缩该帧。编码器输出编码的当前帧(1010)定义的移动向量，残留和其他信息(1090)。除了从用平移移动向量的移动估计/补偿以外，对整体亮度改变补偿的框架可应用于各种基于移动补偿的视频码。

图11示出用于实现整体亮度改变补偿的示例性解码器框架(1100)。解码器产生经解码的当前帧(1110)。为解码经编码的退色一补偿的帧，解码器使用退色补偿模块(1130)在以前解码的参考帧(1120)上(或者多个参考帧)，完成退色补偿。

若退色打开/关闭信号(1140)指出，对编码的当前帧(1110)退色是打开，解码器在参考帧(1120)上完成退色补偿。解码器通过使用在退色估计期间获得的退色参数(1150)完成退色补偿(如在编码器那样)。否则(若对当前帧退色被关闭)，退色补偿是等同操作(即输出＝输入)。

然后解码器能使用其他解码器模块(如移动补偿，逆向频率转换，和逆向量化模块)采用由编码器提供的移动向量，残留和其他信息(1170)来解压缩经编码的帧。

B、参数化和补偿

在视频编辑中，有时借助应用简单的象素范围的到亮度和色度通道的线性转换实现合成的退色。相似地，交叉-退色有时作为随时间合成改变的两个视频序列的线性和实现。因而在某些实施例中，如图10的框架(1000)示出的编码器将退色(不论是自然的或合成的)参数化成象素范围的线性转换，并将交叉-退色参数化成线性和，而如在图11的框架(1110)中所示的解码器完成对应转换。

令I(n)是帧n处的图象，而I(n-1)是在前一帧的图象。在移动小的地方，通过在等式1中的一阶关系模型化简单的退色(由于在视频序列中的可能移动，等式1的关系是近似的。)

I(n)≈CI(n-1)+B          (1)

其中退色参数B和C分别对应于亮度和对比度。当发生非线退色时，第一阶分量通常考基本的改变。

从一个图象系列U(n)到一个图象系列V(n)的交叉退色能借助等式2的关系模型化。等式2中的关系是近似的，因为在序列中可能有移动。

I(n)≈αnV+(1-αn)U

≈I(n-1)+α(V-U)

＝/(1-α)I(n-1)n≈0                (2)

  \(1+α)I(n-1)n≈1/α

n≈0表示交叉-退色的开始，n≈1/α表示交叉退色的结束。对延伸若干帧的交叉退色，α是小的。在交叉-退色起点，若n帧接近于n-1帧的衰减(对比度＜1)版本。趋向终点，第n帧是第n-1帧的放大(对比度＞1)版本。换言之，在交叉-退色的起点，第n帧能模型化成第n-1帧乘以对比度值1-α，而在交叉-退色的终点。第n帧能模型化成第n-1帧乘以对比度值1+α。等式2示出，在交叉-退色的起点和终点，编码器能使用线性规则(如在下面等式3和4中所示)通过重映射参考帧(如n-1帧)获得第n帧。

编码器通过重映射参考帧完成整体亮度改变的补偿。编码器在逐个图素的基础上或在某些其他基础上重映射参考帧。原始的未重映射的参考帧基本上被舍弃(虽然在多参考帧的情况，未重映射的参考帧也能被使用)。

根据等式1，下面的线性规则借助两个参数B和C(对应于视景的辉度和对比度)将参考帧R的亮度值映射到重映射的参考帧 $\hat{R}\≈\mathrm{CR}+B---\left(3\right)$

参考帧的亮度值用对比度缩放(或“加权”)并用辉度值移位(即加上偏移量)。对色度，重映射遵照下列规则 $\hat{R}\≈C(R-\mathrm{\μ})+\mathrm{\μ}---\left(4\right)$

其中μ是色度值的均值。在一个实施例中，128认为是色度值的无符号8-位表示的均值。此色度重映射的规则不使用辉度分量。

在某些实施例中，在等式3和4中使用的二参数线性重映射扩展到高阶项。例如，等式5是重映射R的亮度值到

的二阶等式： $\hat{R}\≈C_1{R}^2+C_{2}R+B---\left(5\right)$

其他实施例使用其他重映射规则。在对非线性退色的那样重映射规则的一个类别中，线性映射用非线性映射替代。

C、退色参数的估计

退色估计是在编码过程期间计算退色参数的过程。如在图10的框架(1000)中示出的编码器能在编码过程中计算辉度(B)和对比度(C)参数。

在某些实施例中，为了精确地并以立即方式估计参数，编码器使用图12中示出的技术(1200)。在图示的技术中，只分析亮度通道。另外，当有更多计算资源可用时，编码器在分析中包括色度。例如，解码器在等式3和4(不只是等式3)对C求解，使C更可靠。

在图12中示出的实施例中，在退色估计过程中视景的移动是不顾的。这是基于下列观察：(a)退色和交叉退色通常发生在静止或低一移动的视景，和(b)在高运动视景中对整体亮度改变补偿的效用是很低的。另外，解码器对退色参数和移动信息联合地求解。然后使用移动信息在技术(1200)的较后的阶段或在某些其他时间细化退化参数的精确度。使用移动信息的一个方法是在退色估计计算中忽略参考帧的那些部分，在那里检测移动。

在技术(1200)的各种部分，∑abs(I(n)-R)或 $\mathrm{\Σabs}(I\left(n\right)-\hat{R})$ 的绝对误差之和作为判定退色的存在和参数的量度。另外，编码器可使用其他或附加的量度，如在同一误差项上的平方误差的和【“SSE”】或平均平方误差【“MSE”】，或者编码器使用不同的误差项。

在技术(1200)期间的各个点上，编码器在满足退出条件后能结束技术(1200)。图12示出若干退出条件。作为另外的退出条件(图12中未示出)，编码器检验在技术(1200)的开始及中间阶段对比度参数是否接近1(在一个实施例中，99＜C＜1.02)若是，结束该技术。

编码器通过间隔采样当前帧和参考帧(1210)开始过程(1200)。在一个实施例中，解码器用因子4水平和垂直地间隔采样。另外，编码器能用任何因子间隔采样，或完全不间隔地采样。

然后解码器在当前帧和参考帧的低分辨率版本只(由下标d指出)计算绝对误差和∑abs(Id(n)-Rd)。绝对误差和测量在间隔采样当前帧和间隔采样参考帧之间的象素值的差。若该绝对误差和小于某个阈值(1230)(如在间隔采样的当前帧和参考帧的象素的亮度值之间预定的差值量度)，编码器得出结论，未发生退色，并且不进行退色补偿(1235)。

另外，编码器估计亮度(B)和对比度(C)参数(1240)。对B和C的第一截断估计借助Rd由模型Id(n)获得。在一个实施例中，亮度和对比度通过整个间隔采样帧的线性回归分析获得。在另外实施例中，编码器为了更可靠的分析使用其他形式的统计分析，如整体最小平方，最小平方均值等。例如解码器最小化误差项Id(n)-Rd的MSE或SSE。在某些情况，MSE和SSE不可靠，所以编码器还测试对该误差项的绝对误差。编码器舍弃对特定点(可能由于移动而非退色)的高误差值。

然后编码器通过量化及解量化B和C计算B_f和C_f(1250)。第一截断参数被量化及解量化，给出B_f和C_f，以保证它们落入允许的范围，并测试一致性。在某些实施例中，对通常8-位深度的成象，B和C每个量化到6位。B取从-32到31的整数值，表示成有符号的5-位整数。表示成Cq的C的量化值从0.515625以0.015625(1/64)的相同步长变化到1.484375，对应于1到63的量化值。通过将B和C舍入到最近的合法解量化值，并选取合适的二进制索引而完成量化。

然后编码器计算原始的有界误差和(Sorgbnd)以及重映射的有界绝地误差和(SRpmpbnd)(1270)。在某些实施例中，编码器使用拟合优良度分析计算该和。对于在原始分辨率处随和的或伪随机的图素组，编码器计算重映射的有界绝地误差和∑babs(I(n)-CfR-Bf)，其中对某个界限M，babs(x)＝min(abs(x)，M)。在一个实现中，是要编码的帧的量化参数的倍数。当量化参数是粗略的，界限M较高，当量化参数是精确的，它较低。编码器还累计原始有界绝对误差和∑babs(I(n)-R)。若计算资源足够，编码器能计算整个帧的有界误差和。

然后，根据原始的和重映射的有界绝对误差和的相对值，编码器判定是否使用退色补偿(1280)。例如在某些实施例，编码器不进行退色补偿，除非重映射有界绝对误差和小于或等于原始有界绝对误差和某个阈值的百分比σ。在一个实现中，σ＝0.95。若编码器完成退色补偿，这次根据满分辨率下在I(n)和R之间的线性回归分析，重新计算退色参数(1290)。为节省计算时间，编码器能在帧的随机或伪随机采样上进行重复线性回归分析。而且为了更可靠的分析，编码器能另选地使用其他形式的统计分析(如总的最小平方，最小平方均值等)。当编码完成(1295)，过程结束。

在一个实施例中，编码器允许在等式3和4中C＝-1的特殊情况。此特殊情况用位流中Cq＝0发信号。在此“逆向”方式，在由B移位前参考帧被反转，而B的范围是以相同步长2从193到319。

D、信号通知

如图10的框架(1000)所示的编码器发送退色打开/关闭信号信息和退色参数。如图11的框架(1100)所示的解码器接收信号信息和退色参数。

在某些实施例中，在序列级上编码器发送一位，指示对该序列整体亮度改变补偿是否使能用于序列。编码器还能信号通知在帧级上的整体亮度改变和/或信号通知对帧的一部分，如帧中单独块或宏块，的整体亮度改变。

在通常的视频序列的帧中，整体亮度改变或退色的发生是少见的。有可能通过增加一位信号通知退色(或等价地不存在退色)。例如，编码器能通过使用一位信号通知在帧级上退色(或等价地不存在退色)。然而，与其他信息一起信号通知退色(或等价地不存在退色)更经济。例如，编码器使用在对移动方式的可变长度码(VLC)中的换码序列(即移动向量的数和配置，子象素内插方案)完成帧级的信号通知。在那样的实施例中，编码器连带地信号通知最少见的移动方式和退色补偿的激活。

令事件F表示存在退色，G表示对该帧挑选最少见的移动方式。令VLC<MVMODE>表示dangG为假时的移动方式。VLC表设计成带有用于信号通知何时F和/或G为真时的换码符号<ESC>。表1示出F和移动方式的联合编码，其后是当退色补偿被激活时的退色参数B和C。

	G＝假	G＝真
			F＝假	<MVMODE>	<ESC>0
F＝真	<ESC>1<MVMODE>[B][C]	<ESC>1<ESC>[B][C]

表1：最少见移动方式和退色信号的联合编码

若对某个帧整体亮度改变激活，跟随另外的VLC(<MVMODE>或<ESC>)以指出移动方式。然后，使用对B和C的二个6-位固定长码字，分别发信号通知这些参数。另外，使用VLC信号通知参数。当应用于如会或宏块那样的帧的单独部分，编码器能对那部分单独地信号通知退色参数。例如，若退色只应用于视频帧的一个宏块，退色信息能通过联合熵编码与如编码块样式或转换类型那样的宏块级信息发信号通知。

图13是示出编码安排(对应于表1，对一个实现)的树形图，其中编码器联合地编码最少见的移动方式和退色的存在。(退色参数编码的细节被省略。)编码器使用VLC表示每个其他移动方式(如码“0”，“10”，和“110”分别表示移动方式0，1，和2)。当退色未被激活，编码器使用换码的码(如“111))后跟”0“表示最少见的移动方式。编码器使用换码的码后跟“1“，表示退色被激活。

应该理解，这里叙述的程序、过程、或方法不涉及也不限于任何特定类型的计算环境，除非另作说明。各类通用或专用计算环境能使用或的操作。以软件示出的实施例的单元能以硬件实现，反之亦然。

考虑到我们的发明的原理能应用的许多可能的实施例，我们要求所有可能落入下面的权利要求及其等价的范围及精神的实施例为我们的发明。

Claims (45)

1、存储计算机可执行指令的计算机可读介质，用于计算机系统被编程，

从而实现处理一个或多个视频图象的计算机实现方法，其特征在于，

该方法包括：

获得退色参数；

通过对重映射的参考视频图象计算多个重映射的象素值实现退色补偿，其中多个重映射象素值至少部分地根据借助退色参数在原始视频图象中使用的多个原始象素的值重映射；和

对相对于重映射的参考视频图象的当前视频图象的至少部分完成移动补偿。

2、如权利要求1的计算机可读介质，其特征在于，该方法还包括在编码期间和在获得参数之前，检测在相对于原始参考视频图的当前视频图象的退色。

3、如权利要求2的计算机可读介质，其特征在于，该检测包括：

对相对于原始参考视频图象的当前视频图象计算误差量度；

将该误差量度与退色检测阈值比较；和

根据此比较判定是否获得退色参数。

4、如权利要求3的计算机可读介质，其特征在于，该方法还包括，在计算误差量度之前间隔采样当前视频图象和原始参考视频图象。

5、如权利要求3的计算机可读介质，其特征在于，该误差量度是绝对误差之和。

6、如权利要求1的计算机可读介质，其特征在于，获得退色参数的操作包括在编码期间估计退色参数。

7、如权利要求6的计算机可读介质，其特征在于，该估计操作包括使用线性回归分析，借助于重映射的参考视频图象，通过模型化当前的视频图象对退色参数求解。

8、如权利要求6的计算机可读介质，其特征在于，该估计操作包括使用使用当前视频图象和重映射的参考视频图象的多分辨率分解，对退色参数求解。

9、如权利要求6的计算机可读介质，其特征在于，该估计操作包括使用采样当前视频图象重映射的参考视频图象的部分象素，对退色参数求解。

10、如权利要求1的计算机可读介质，其特征在于，该获得操作包括在解码期间接收退色参数。

11、如权利要求1的计算机可读介质，其特征在于，退色参数规定象素范围的线性变换。

12、如权利要求1的计算机可读介质，其特征在于，退色参数规定象素范围的非线性变换。

13、如权利要求1的计算机可读介质，其特征在于，多个重映射象素值用于整个视频帧。

14、如权利要求1的计算机可读介质，其特征在于，多个重映射象素值用于部分视频帧。

15、如权利要求1的计算机可读介质，其特征在于，该退色参数用于整个视频图象，其中至少部分当前视频图象是整个当前视频图象。

16、如权利要求1的计算机可读介质，其特征在于，该退色参数用于小于整个视频图象的一部分，而至少部分当前视频图象是该部分。

17、如权利要求16的计算机可读介质，其特征在于，该部分是一个块。

18、如权利要求16的计算机可读介质，其特征在于，该部分是宏块。

19、如权利要求16的计算机可读介质，其特征在于，该部分是多个宏块的组。

20、如权利要求14的计算机可读介质，其特征在于，该部分包括帧中一个域或帧中一个对象层。

21、如权利要求1的计算机可读介质，其特征在于，退色补偿包括亮度的改变。

22、如权利要求1的计算机可读介质，其特征在于，退色补偿包括色度的改变。

23、如将要求1的计算机可读介质，其特征在于，该退色补偿包括在一个视频视景和另一个视频视景之间的交叉退色。

24、如权利要求1的计算机可读介质，其特征在于，该退色补偿包括幻影化一个视频对象。

25、如权利要求1的计算机可读介质，其特征在于，该退色参数规定二阶或更高阶变换。

26、如权利要求1的计算机可读介质，其特征在于，该方法在视频解码期间完成。

27、如权利要求1的计算机可读介质，其特征在于，该方法在视频编码期间完成。

28、存储计算机可执行指令的计算机可读介质，用于使计算机被编程，从而实现处理在视频序列中的当前视频帧，其特征在于，该方法包括：对当前视频帧获得整体亮度改变补偿参数；

通过对重映射的参考视频帧计算重映射的象素值实现整体亮度改变补偿，其中重映射的象素值至少部分地根据借助对当前视谱帧的整体亮度改变补偿参数，在原始参考视频帧中使用的原始象素值的重映射，其中该重映射的象素值是对整个参考视频帧的；且

对相对于重映射的参考视频帧的当前视频帧的至少部分完成移动补偿。

29、如权利要求28的计算机可读介质，其特征在于，该整体亮度改变补偿参数规定象素范围的线性变换。

30、如权利要求28的方法，其特征在于，该整体亮度改变补偿参数包括在亮度和/或色度方面的改变。

31、如权利要求28的计算机可读介质，其特征在于，该方法在视频解码期间完成。

32、如权利要求28的计算机可读介质，其特征在于，该方法在视频编码期间完成。

33、用于处理视频图象的计算机化系统，其特征在于，该计算机化系统包括：

用于检测相对于视频序列中参考图象的视频序列的当前图象中的整体亮度变化的装置；

用于估计在当前图象中整体亮度变化的参数的装置；

用于通过根据估计的参数调节参考图象的象素值进行整体亮度改变补偿的装置；和

用于从调节的参考图象的象素值对至少当前图象的一部分进行移动补偿的装置。

34、用于处理视频图象的计算机化系统，其特征在于，该计算机化系统包括：

用于根据估计的退色参数调节视频序列中一个或多个参考图象的象素值的装置，其中估计的退色参数在退色估计中计算模块，并是根据在相对于一个或多个参考图象的视频序列中的当前图象中的退色的检测计算的；和

用于从调节一个或多个参考图象的象素值对至少当前图象的一部分进行移动补偿的装置。

35.在一个计算机系统处理一个或多个视频帧的计算机实现方法，其特征在于，该方法包括：

提取对退色补偿的退色参数，其中提取是在检测在一个或多个视频帧中的退色之后进行的，并其中提取操作包括：

根据在间隔采样的当前帧和一个和多个间隔采样的参考帧之间象素值之差获得初步的退色参数；

量化该初步退色参数；和

解量化该初步退色参数。

36.如权利要求35的方法，其特征在于，该提取操作还包括：

使用解量化的初步退色参数以判定是否根据在满分辨率的当前帧和一个或多个满分辨率参考帧之间的象素值的差获得最终的退色参数；和

获得最终的退色参数。

37.如权利要求36的方法，其特征在于，获得最终退色参数的操作包括在满分辨率的当前帧和一个或多个满分辨率参考帧上进行线性回归分析。

38.如权利要求36的方法，其特征在于，使用解量化的初步退色参数的步骤包括：

根据解量化的初步退色参数计算重映射的有界绝对误差和；

计算原始的有界绝对误差和；和

将重映射有界绝对误差和原始的有界绝对误差和作比较。

39.如权利要求35的方法，其特征在于，获得初步退色参数的操作包括在间隔采样的当前帧和一个或多个间隔采样的参考帧上进行线性回归分析。

40.如权利要求35的方法，其特征在于，获得初步退色参数的操作包括在间隔采样的当前帧和一个或多个间隔采样的参考帧上进行总的最小平方分析。

41.如权利要求35的方法，其特征在于，获得初步退色参数的操作包括在间隔采样的当前帧和一个或多个间隔采样的参考帧上进行最小平方均值分析。

42.存储计算机可执行指令的计算机可读介质，用于使计算机系统实现权利要求35的方法。

43.存储计算机可执行指令的计算机可读介质，用于使计算机系统被编程，从而实现计算机实施方法，其特征在于，该方法包括：

对当前视频帧的一部分获得退色参数；

通过对重映射的参考视频帧的对应部分计算多个重映射的象素值，借助退色参数实现退色补偿，其中多个重映射的象素值至少部分地根据在原始的参考视频图象中对相对于重映射参考视频的对应部分的当前视频帧的部分进行移动补偿。使用的多个原始的象素值的重映射。

44.如权利要求43的计算机可读介质，其特征在于，当前帧的部分包括一个或多个宏块。

45.如权利要求43的计算机可读介质，其特征在于，当前帧的部分包括在重映射的参考帧中一个或多个宏块。

Images