CN101416524A - 运动估计搜索范围和扩展的运动矢量范围的动态选择 - Google Patents

运动估计搜索范围和扩展的运动矢量范围的动态选择 Download PDF

Info

Publication number
CN101416524A
CN101416524A CNA2007800123090A CN200780012309A CN101416524A CN 101416524 A CN101416524 A CN 101416524A CN A2007800123090 A CNA2007800123090 A CN A2007800123090A CN 200780012309 A CN200780012309 A CN 200780012309A CN 101416524 A CN101416524 A CN 101416524A
Authority
CN
China
Prior art keywords
motion vector
encoder
estimation
hunting zone
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800123090A
Other languages
English (en)
Other versions
CN101416524B (zh
Inventor
C·张
C-L·林
T·W·赫尔科比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101416524A publication Critical patent/CN101416524A/zh
Application granted granted Critical
Publication of CN101416524B publication Critical patent/CN101416524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了用于在运动估计期间选择搜索范围和/或运动矢量范围的技术和工具。例如，一视频编码器执行由第一搜索范围约束的运动估计，得到多个运动矢量。该编码器计算关于该运动矢量的运动矢量分布信息。为计算该分布信息，该编码器可以在直方图中描绘运动矢量，并对有多少运动矢量落入该分布信息的多个区间的每一个中进行计数。该编码器然后选择第二搜索范围，并执行由第二搜索范围约束的运动估计。选择第二搜索范围可包括选择运动矢量范围，这在某些情况下实际上确定了第二搜索范围。

Description

运动估计搜索范围和扩展的运动矢量范围的动态选择
背景
数字视频消耗了大量的存储和传输容量。典型的原始数字视频序列包括每秒15或30帧。每一帧可包括数万或数十万的像素(也称为pel)，其中每一像素表示图像的一微小元素。在原始形式中，计算机通常将像素表示为总共24比特的一组三个样本。由此，原始数字视频序列的每秒的比特数，即比特率可以是5百万比特/秒或更多。
许多计算机和计算机网络缺少处理原始数字视频的资源。为此，工程师使用压缩(也称为编码或译码)来降低数字视频的比特率。压缩通过将视频转换成较低比特率的形式来降低存储和传送视频的成本。解压(也被称为解码)从压缩的形式中重构一种版本的原始视频。“编解码器”是编码器/解码器系统。压缩可以是无损的，其中视频质量不受损害，但是比特率的降低受到视频数据的内在可变性数量(有时称为熵)的限制。或者，压缩可以是有损的，其中视频质量受到损害，但是可实现的比特率的降低更显著。有损压缩通常结合无损压缩来使用—有损压缩建立信息的近似，而无损压缩被用于表示该近似。
有损压缩的基本目标是提供良好的码率-失真性能。因此，对于特定的比特率，编码器试图提供最高质量的视频。或者，对于原始视频的特定质量/保真度水平，编码器试图提供最低比特率编码的视频。在实践中，诸如编码时间、编码复杂度、编码资源、解码时间、解码复杂度、解码资源、总体延迟和/或质量/比特率改变中的平滑度等考虑事项也影响了在编解码设计中做出的判决以及在实际编码期间做出的判决。
一般而言，视频压缩技术包括“图像内”压缩和“图像间”压缩。图像内压缩技术压缩个别图像，而图像间压缩技术参考一个或多个前导和/或后续图像(通常称为参考或锚图像)来压缩图像。
图像间压缩技术通常使用运动估计和运动补偿，通过充分利用视频序列中的时间冗余性来降低比特率。运动估计是一种用于估计图像之间的运动的过程。在一种常见技术中，使用运动估计的编码器试图将当前图像中的当前样本块与另一图像，即参考图像的搜索区域中的相同大小的候选块进行匹配。当编码器在参考图像的搜索区域中找到精确或“足够接近”的匹配时，编码器将当前和候选块之间的位置改变参数化为运动数据(诸如运动矢量(“MV”))。运动矢量常规上是二维值，其具有指示左或右空间漂移的水平分量和指示上或下空间漂移的垂直分量。一般而言，运动补偿是一种使用运动数据从参考图像重构图像的过程。
图1示出了一个示例编码器中用于预测图像的部分的运动估计。对于8 x 8的样本块、16 x 16的块(通常称为“宏块”)或当前图像的其它单元，编码器找出参考图像中的相似单元以用作预测值。在图1中，编码器对当前的预测图像(110)中的16 x 16的宏块(115)计算运动矢量。编码器在参考图像(130)的搜索区域(135)中进行搜索。在搜索区域(135)中，编码器将来自预测图像(110)的宏块(115)与各种候选宏块进行比较，以找出作为良好匹配的候选宏块。编码器输出指定到预测值宏块的运动矢量的信息。
编码器计算当前单元及其经运动补偿的预测之间的逐样本差别，以确定残差(也称为误差信号)。对该残差进行频率变换、量化和熵编码。作为一种线性熵压缩变换，频率变换往往产生能量集中在较低频率系数中的变换系数。预测图像的总体比特率很大一部分取决于残差的比特率。如果残差是简单的(即，由于找出精确或良好匹配的运动估计)或者有损压缩显著降低了残差的复杂度，则残差的比特率较低。采用成功的运动估计所节省的比特可用于改善别处的质量或降低总体比特率。另一方面，复杂残差的比特率可能较高，取决于用于降低残差的复杂度的有损压缩的程度。
如果一预测图像被用作用于后续运动补偿的参考图像，则编码器重构该预测图像。当重构残差时，编码器用反量化来重构被量化的变换系数，并执行反频率变换。编码器执行运动补偿来计算经运动补偿的预测值，并将该预测值与重构的残差相组合。
编码器通常花费很大一部分编码时间来执行运动估计，试图找出良好匹配并由此改进码率-失真性能。一般而言，使用参考图像中的大搜索范围提高了编码器找到良好匹配的机率。然而，编码器可能将当前块与大搜索范围中的所有可能空间上漂移的块进行比较。在大多数情形中，编码器缺少时间或资源来对要编码的每一块或宏块检查大搜索范围中的每一可能的运动矢量。特别地，当编解码器允许对于大漂移的运动矢量时，搜索大搜索范围以找到最佳运动矢量的计算成本可能是相当高的，尤其是在要编码的内容是高清视频的时候。各种技术帮助编码器加速运动估计。
采用一种技术，用户设置、类(profile)设置或水平设置直接将运动矢量范围设为特定大小。运动矢量范围指示运动矢量的允许的大小。对于否则会执行参考图像上的完全搜索的编码器而言，运动矢量范围实际上通过排除在该运动矢量范围之外的运动矢量来约束搜索范围。用户用命令行参数、用户界面控件等来设置运动矢量范围，以覆盖默认值。例如，对于高质量的离线编码，使用大运动矢量范围(且因此是大搜索范围)。或者，对于较低质量的实时编码，使用较小的运动矢量范围(且因此是较小的搜索范围)。尽管这些设置解决了关于编码时间和资源的问题，但它们因其不能对所编码的视频内容的运动特性中的改变自适应运动矢量范围或搜索范围而是不灵活的。结果，在某些情形中，大运动矢量范围和搜索范围对于一系列低运动图像是不需要的。或者，小运动矢量范围和搜索范围对于一系列高运动图像是不恰当的。
在分层运动估计中，编码器找出低分辨率下(例如，使用经4:1降采样的图像)的一个或多个运动矢量、将这些运动矢量放大到较高的分辨率(例如，整数像素)、找出放大的运动矢量周围的邻域中较高分辨率下的一个或多个运动矢量，依此类推。尽管这允许编码器跳过较高分辨率下的穷尽搜索，但是当只有极少或没有运动来证明这一搜索时它会导致低分辨率下的浪费的长搜索。这一分层运动估计也无法对所编码的视频内容中的运动特性的改变自适应运动矢量范围和搜索范围。
其它编码器在对图像的当前块或宏块执行运动估计时通过考虑同一图像中空间上直接相邻的块的运动矢量来动态地调整搜索范围。这种编码器通过严密地集中于对当前块或宏块的运动矢量搜索过程来动态地加速运动估计。然而，在某些情形中(例如，强局部化运动、不连续运动或其它复杂运动)，这一运动估计可能无法提供恰当的性能。
一般而言，编码器在运动估计期间使用失真度量。失真度量帮助编码器评估与在运动估计选择中使用候选块相关联的质量和速率成本。
一种常见的失真度量是绝对差的和(“SAD”)。为计算参考图像中的候选块的SAD，编码器计算当前和候选块之间的残差的绝对值的和，其中残差是当前块和候选块之间的逐样本差。低计算复杂度是SAD的优点。然而，在某些情况下，SAD是对总体码率-失真成本的较差的近似。特别低，当在当前块和候选块之间有较大但均匀的样本差时，SAD较差地近似实际失真。SAD无法解决对残差执行的频率变换的能量压缩效应。假定当前块的样本值具有与候选块相比显著但均匀的差别。最有可能的是，编码期间的频率变换将捕捉和隔离非零DC系数值的均匀样本差。(DC系数是最低频率变换系数。)由于能量压缩效应，选择候选块的总体码率-失真成本可能很小。然而，SAD可能会不正确地指示大成本。
某些视频编码器因此使用绝对的经哈达玛(Hadamard)变换的差的和(“SAHD”)作为失真度量，或使用另一绝对的经变换的差的和(“SATD”)度量。为计算参考图像中的候选块的SAHD，编码器对当前块进行哈达玛变换，并对候选块进行哈达玛变换，然后计算经哈达玛变换的块之差的绝对值的和。或者，编码器计算残差，对该残差进行哈达玛变换，并计算经哈达玛变换的残差的绝对值的和。稍后在压缩中使用的频率变换通常不是哈达玛变换。相反，哈达玛变换近似了编码器稍后对残差使用的频率变换的能量压缩，但是哈达玛变换的计算更简单。在运动估计中使用SAHD通常导致比使用SAD更好的码率-失真性能，因为SAHD解决了均匀的总体样本值漂移，但是使用SAHD也增加了计算复杂度。单个哈达玛变换相对简单，但是在计算失真度量时执行哈达玛变换极大地增加了运动估计的累积计算复杂度，因为编码器通常花费如此大的一部分编码时间以在运动估计期间评估不同的候选块。
平方误差和(“SSE”)、均方误差(“MSE”)以及均方差是其它失真度量。采用SSE，编码器对残差值求平方，然后对平方的值求和。采用MSE，编码器计算平方的值的平均值。均方差的一种定义为：
1 I Σ i ( x i r - x ‾ i r ) 2 ,
其中
Figure A200780012309D00082
是残差
Figure A200780012309D00083
中的I个残差值的均值。均方差在某种程度上解决了当前块和候选块之间的总差别。SSE、MSE和均方差在某些情况下产生可接受的码率-失真性能，但是增加了测量失真的计算复杂度。
某些编码器计算码率-失真成本作为运动估计期间的失真度量。码率-失真成本具有失真项和速率项，且具有相对于失真项来缩放速率项的因子(通常称为拉格朗日乘数)。速率项可以是关于运动矢量信息和/或残差信息的估计的或实际的比特率成本。失真项可以基于原始样本与重构的样本(在频率变换、量化、反量化和反频率变换之后重构的样本)的比较(例如，SAD)。或者，失真项可以是某一其它失真度量或估计。码率-失真成本通常提供对不同运动估计选择的码率-失真性能的最准确评估，但是也具有最高计算复杂度，尤其是对每一不同的运动估计选择评估不同的量化参数的时候。
在大多数情况下，编码器在整个运动估计中使用相同的失真度量(例如，仅SAD、仅SAHD)。这是不灵活的，并且取决于所使用的度量，可能是计算上低效的或导致较差的码率-失真性能。
另一种方法是使用SAD来找出运动估计中前x个候选运动矢量，然后使用码率-失真成本来评估前x个候选运动矢量中的每一个。例如，用码率-失真成本来评估前3个候选运动矢量。尽管这避免了从运动估计的开始使用码率-失真成本的计算成本，但是在某些情况下，编码器由于SAD的缺陷而错过良好的候选运动矢量，并且改为稳定在较差的候选运动矢量上。如果编码器在开始时使用SAHD，之后对前x个候选运动矢量使用码率-失真成本，则编码器更有可能找到良好的候选运动矢量，但是计算复杂度显著增加。
在又一种方法中，编码器在分层运动估计的整数像素级使用SAD，而在分层运动估计的1/2像素和1/4像素级使用SAHD。再一次，尽管这避免了从运动估计的开始使用SAHD的计算成本，但是在许多情况下，编码器由于SAD的缺陷而错过良好的候选运动矢量。
除了这些技术之外，许多编码器使用专门的运动矢量搜索模式或被认为有可能在可接受量的时间内找到良好匹配的其它策略。已经开发了用于加速或以其它方式改进运动估计的各种其它技术。给定视频压缩对于数字视频的关键重要性，运动估计是充分开发的领域并不令人惊奇。然而，不论早先的运动估计技术的好处如何，它们都没有以下技术和工具的优点。
概述
本申请针对用于在运动估计期间选择搜索范围和/或运动矢量范围的技术和工具。例如，一种视频编码器使用关于前一图像的运动矢量的运动矢量分布信息来对当前图像选择运动矢量范围。在许多情况下，该运动矢量范围实际上约束了对当前图像的运动估计的搜索范围。以此方式，该视频编码器用变化的运动级别改进了对视频序列的运动估计的性能。
根据所描述的技术和工具的第一方面，一种视频编码器执行由第一搜索范围约束的运动估计，这得到多个运动矢量。该编码器计算关于该运动矢量的运动矢量分布信息。例如，该编码器在直方图中描绘运动矢量，并且对有多少落入该分布信息的多个区间的每一个中进行计数。该编码器然后选择第二搜索范围，并执行由第二搜索范围约束的运动估计。
根据所描述的技术和工具的第二方面，一种视频编码器执行由第一运动矢量范围和第一搜索范围约束的运动估计。该编码器在视频比特流中用信号表示该第一运动矢量范围和运动估计的结果。在选择了第二运动矢量范围之后，该编码器执行由第二运动矢量范围和第二搜索范围约束的运动估计。该编码器在视频比特流中用信号表示该第二运动矢量范围和运动估计的结果。
根据所描述的技术和工具的第三方面，一种编码器包括用于执行运动估计的运动估计器、频率变换器、量化器、熵编码器以及用于选择约束运动估计的搜索范围的运动估计控制器。对于当前图像，选择至少部分地基于关于多个先前的运动矢量的运动矢量分布信息。
本概述以简化的形式介绍了一些概念。这些概念将在以下详细描述中进一步描述。本概述并不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
参考附图阅读以下详细描述，将更清楚前述和其它目的、特征和优点。
附图简述
图1是示出根据现有技术的运动估计的图示。
图2是其中可实现所描述的若干实施例的合适的计算环境的框图。
图3是可结合其实现所描述的若干实施例的视频编码器系统的框图。
图4是示出运动估计中运动矢量范围和搜索范围之间的关系的图示。
图5是用于基于运动矢量分布信息来动态地切换运动矢量范围和/或搜索范围的通用技术的流程图。
图6是用于使用直方图的一个或多个特征来选择运动矢量范围和/或搜索范围的技术的流程图。
图7是用于示例直方图计算例程的伪代码清单。
图8是在图7、9和11的示例中使用的值的表。
图9是用于示例直方图特征提取例程的伪代码清单。
图10是示出用于图9的示例直方图特征提取例程的预定义运动区间的曲线图。
图11是用于示例范围选择例程的伪代码清单。
图12是用于从多个可用失真度量中选择一失真度量的通用技术的流程图。
图13是用于根据失真度量选择准则和选择阈值来选择失真度量的技术的流程图。
详细描述
本申请涉及用于执行运动估计的技术和工具。在各个所描述的实施例中，视频编码器执行运动估计。
对此处所描述的实现的各种替换是可能的。例如，参考流程图所描述的某些技术可以通过改变流程图中所示的阶段的排序，通过重复或省略某些阶段等来改变。
此处描述的各种技术和工具可组合或单独使用。不同的实施例实现所描述的技术和工具的一个或多个。此处描述的各种技术和工具可用于例如图像合成或内插工具等除了视频编码器之外的工具中的运动估计。
此处所描述的技术和工具中的某一些解决了背景中所指出的一个或多个问题。通常，所给出的技术/工具并不解决所有这些问题。相反，鉴于编码时间、资源和/或质量的约束和折衷，所给出的技术/工具改进了对于特定运动估计实现或情形的性能。
I.计算环境
图2示出了其中可实现几个所描述的实施例的合适的计算环境(200)的通用示例。计算环境(200)并非旨在对使用范围或功能提出任何限制，因为这些技术和工具可以在完全不同的通用或专用计算环境中实现。
参考图2，计算环境(200)包括至少一个处理单元(210)和存储器(220)。在图2中，这一最基本的配置(230)被包括在虚线内。处理单元(210)执行计算机可执行指令，并且可以是真实或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。存储器(220)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等)或两者的某种组合。存储器(220)储存实现具有此处所描述的用于运动估计的一个或多个技术和工具的编码器的软件(280)。
计算环境可具有额外的特征。例如，计算环境(200)包括存储(240)、一个或多个输入设备(250)、一个或多个输出设备(260)以及一个或多个通信连接(270)。诸如总线、控制器或网络等互连机制(未示出)将计算环境(200)的各组件互连。通常，操作系统软件(未示出)为在计算环境(200)中执行的其它软件提供操作环境，并协调计算环境(200)的各组件的活动。
存储(240)可以是可移动或不可移动的，且包括磁盘、磁带或磁带盒、CD-ROM、DVD或可用于储存信息并可在计算环境(200)内访问的任何其它介质。存储(240)储存用于实现视频编码器的软件(280)的指令。
输入设备(250)可以是诸如键盘、鼠标、笔或跟踪球等触摸输入设备、语音输入设备、扫描设备或向计算环境(200)提供输入的另一设备。对于音频或视频编码，输入设备(250)可以是声卡、显卡、TV调谐卡、或接受模拟或数字形式的音频或视频输入的类似的设备、或将音频或视频样值读入计算环境(200)的CD-ROM或CD-RW。输出设备(260)可以是显示器、打印机、扬声器、CD刻录机或提供来自计算环境(200)的输出的另一设备。
通信连接(270)允许在通信介质上与另一计算实体的通信。通信介质传达诸如已调制数据信号形式的计算机可执行指令、音频或视频输入或输出、或其它数据等信息。已调制数据信号是其一个或多个特征以在信号中编码信息的方式设置或改变的信号。作为示例而非局限，通信介质包括以电、光、RF、红外、声学或其它载波实现的有线或无线技术。
各种技术和工具可以在计算机可读介质的一般上下文中描述。计算机可读介质可以是可在计算环境内访问的任何可用介质。作为示例而非局限，对于计算环境(200)，计算机可读介质可包括存储器(220)、存储(240)、通信介质和以上任一种的组合。
该技术和工具可在诸如程序模块中所包括的在目标真实或虚拟处理器上的计算环境中执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功能可以如各实施例中所需地组合或在程序模块之间分离。用于程序模块的计算机可执行指令可以在本地或分布式计算环境中执行。
为了呈现，详细描述使用了如判定
Figure A200780012309D0013101812QIETU
和分析
Figure A200780012309D0013101812QIETU
等术语来描述计算环境中的计算机操作。这些术语是由计算机执行的操作的高级抽象，且不应与人类所执行的动作混淆。对应于这些术语的实际的计算机操作取决于实现而不同。
II.通用视频编码器
图3是可结合其实现所描述的某些实施例的通用视频编码器(300)的框图。编码器(300)接收包括当前图像(305)的视频图像序列，并产生压缩的视频信息(395)作为对存储、缓冲区或通信连接的输出。输出比特流的格式可以是Windows媒体视频或VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式。
编码器(300)处理视频图像。术语图像一般指的是源、已编码的或已重构的图像数据。对于逐行视频，图像是逐行视频帧。对于隔行视频，图像可以指的是隔行视频帧、帧的顶场、或帧的底场，取决于上下文。编码器(300)是基于块的并且对帧使用4:2:0的宏块格式，其中每一宏块包括四个8×8的亮度块(有时候作为一个16×16的宏块来对待)以及两个8×8的色度块。对于场，可使用相同或不同的宏块组织和格式。8×8的块还可在不同的阶段上细分，例如在频率变换和熵编码阶段。编码器(300)可以对除8 x 8的块和16 x 16的宏块之外的不同大小或配置的样本集执行运算。或者，编码器(300)是基于对象的，或使用不同的宏块或块格式。
返回到图3，编码器系统(300)压缩预测图像和帧内编码的关键图像。为演示起见，图3示出了关键图像通过编码器系统(300)的路径以及用于预测图像的路径。编码器系统(300)的许多组件用于同时压缩关键图像和预测图像两者。由这些组件执行的确切操作可以取决于所压缩的信息类型而变化。
预测图像(例如，逐行P帧或B帧、隔行P场或B场、或隔行P帧或B帧)按照来自一个或多个其它图像(通常被称为参考图像或锚)的预测来表示。预测残差是预测信息和相应的原始信息之差。相反，关键图像(例如，逐行I帧、隔行I场或隔行I帧)不参考其它图像来压缩。
如果当前图像(305)是预测图像，则运动估计器(310)估计当前图像(305)的宏块或其它样本集相对于一个或多个参考图像的运动。图像存储(320)缓存重构的先前图像(325)以用作参考图像。当使用多个参考图像时，这多个参考图像可以来自不同的时间方向或相同的时间方向。编码器系统(300)可对多个参考图像使用单独的存储(320)和(322)。
运动估计器(310)可按照全样本、1/2样本、1/4样本或其它增量来估计运动，并可在逐图像的基础或其它基础上切换运动估计的精度。运动估计器(310)(和补偿器(330))也可在每一图像或其它基础上在参考图像样本内插的类型之间切换(例如，在双三次内插和双线性内插之间)。运动估计的精度可以在水平和垂直上相同或不同。运动估计器(310)输出运动信息(315)作为辅助信息。编码器(300)通过例如为运动矢量计算一个或多个运动矢量预测值，计算运动矢量和运动矢量预测值之间的差分，以及对差分进行熵编码，来对运动信息(315)进行编码。为重构运动矢量，运动补偿器(330)将运动矢量预测值与差分运动矢量信息组合。
运动补偿器(330)在形成经运动补偿的当前图像(335)时将重构的运动矢量应用于重构的(参考)图像(325)。经运动补偿的当前图像(335)的块和原始当前图像(305)的当前块之差(如果有)是该块的预测残差(345)。在稍后的当前图像重构期间，将重构的预测残差加到经运动补偿的当前图像(335)，以获得更接近于原始的当前图像(305)的经重构的图像。然而，在有损压缩中，某些信息仍从原始当前图像(305)中丢失。或者，运动估计器和运动补偿器应用另一类型的运动估计/补偿。
频率变换器(360)将空间域视频信息转换成频域(即，频谱)数据。对于基于块的视频图像，频率变换器(360)向样本数据或预测残差数据的块应用离散余弦变换(“DCT”)、DCT的变体或其它前向块变换，从而产生频率变换系数块。或者，频率变换器(360)应用诸如傅立叶变换等另一常规频率变换或使用小波或子带分析。频率变换器(360)可应用8×8、8×4、4×8、4×4或其它大小的频率变换。
量化器(370)然后量化变换系数块。量化器(370)向频谱数据应用均匀的标量量化，其步长在逐图像的基础或其它基础上变化。量化器(370)还可向频谱数据系数应用另一类型的量化，例如非均匀、矢量或非自适应量化。除自适应量化之外，编码器(300)可使用帧丢弃、自适应滤波或其它技术用于速率控制。
当需要重构的当前图像用于后续的运动估计/补偿时，反量化器(376)在量化的频谱数据系数上执行反量化。反频率变换器(366)执行反频率变换，从而产生重构的预测残差(对于预测图像)或样本(对于关键图像)。如果当前图像(305)是关键图像，则重构的关键图像用作重构的当前图像(未示出)。如果当前图像(305)是预测图像，则重构的预测残差被添加到经运动补偿的预测值(335)，以形成重构的当前图像。图像存储(320、322)之一或两者缓存重构的当前图像，以在随后的经运动补偿的预测中使用。在某些实施例中，编码器向重构的图像应用分块滤波器，以自适应地平滑图像中的不连续性和其它伪像。
熵编码器(380)压缩量化器(370)的输出以及某些辅助信息(例如，运动信息(315)、量化步长)。典型的熵编码技术包括算术编码、差分编码、哈夫曼编码、行程长度编码、LZ编码、字典式编码以及上述的组合。熵编码器(380)通常对不同种类的信息使用不同的编码技术，并且可从特定编码技术内的多个码表中选择。
熵编码器(380)向多路复用器(“MUX”)(390)提供压缩的视频信息(395)。MUX(390)可包括缓冲区，并且一缓冲区等级指示符可被反馈给控制器。在MUX(390)之前或之后，压缩的视频信息(395)可被信道编码用于通过网络发送。信道编码可向压缩的视频信息(395)应用检错和纠错数据。
控制器(未示出)接收来自诸如运动估计器(310)、频率变换器(360)、量化器(370)、反量化器(376)、熵编码器(380)和缓冲区(390)等各个模块的输入。控制器评估编码期间的中间结果，例如估计失真并执行其它码率-失真分析。控制器与诸如运动估计器(310)、频率变换器(360)、量化器(370)和熵编码器(380)一起工作以设置并改变编码期间的编码参数。当编码器评估编码期间的不同编码参数选择时，编码器可迭代地执行某些阶段(例如，量化和反量化)以评估不同的参数设置。编码器可以在前进到下一阶段之前设置一个阶段处的参数。或者，编码器可联合评估不同的编码参数，例如，对块联合地做出帧内/帧间块判决并选择运动矢量值(如果有)。要评估的编码参数判决的树以及相应编码的定时取决于实现。
编码器(300)内的模块之间所示的关系指示了编码器中的一般信息流；为简明起见，未示出其它关系。具体地，图3一般不示出指示用于视频序列、图像、宏块、块等的编码器设置、模式、表等辅助信息。这一辅助信息一旦被最终化，通常在该辅助信息的熵编码之后在输出比特流中发送。
视频编码器的具体实施例通常使用通用编码器(300)的变体或补充版本。取决于所需的实现和压缩类型，编码器或解码器的模块可被添加、省略、分成多个模块、与其它模块组合、和/或用相似的模块来替代。例如，控制器可被拆分成与编码器的不同模块相关联的多个控制器模块。在替换实施例中，具有不同模块和/或其它模块配置的编码器执行一个或多个所描述的技术。
III.用于采用扩展的运动矢量的编码的动态运动搜索范围
当编码预测的图像时，某些视频编码器允许使用“大”运动矢量，这意味着指定水平和/或垂直上的大漂移的运动矢量。大运动矢量帮助编码器捕捉极端的、复杂的或不连续的运动。然而，在大范围的可能性中搜索运动矢量的计算成本可能是相当高的，尤其是在要编码高清视频内容的时候。
本节描述了允许编码器在编码视频内容时动态地选择运动矢量范围和/或搜索范围并在不同的运动矢量范围和/或搜索范围之间切换的技术。例如，编码器在高运动较为可能的时候使用大运动矢量范围，但在其它时间不使用。这可极大地降低与运动估计相关联的计算成本，同时产生可与其中对每一预测的图像恒定地应用大运动矢量范围的运动估计可比的结果。
编码器在多个预定义的运动矢量范围之间切换。例如，编码器在以下范围之间切换。
 
MV范围 以全像素为单位的MV范围(水平x垂直)
0 [-64，63.f]x[-32，31.f]
1 [-128，127.f]x[-64，63.f]
2 [-512，511.f]x[-128，127.f]
3 [-1024，1023.f]x[-256，255.f]
表1：示例运动矢量范围
或者，编码器在其它和/或附加的运动矢量范围之间切换。或者，编码器动态地计算并调整要在运动估计中使用的运动矢量范围。
运动矢量范围会以若干方式影响在运动估计中使用的搜索范围。如果编码器在运动估计中默认地使用对参考图像的完全搜索，则运动矢量范围可限制哪些运动矢量值是可允许的(且因此，哪些运动矢量值可能在运动估计中评估)。图4示出了运动估计中的当前图像(400)和参考图像(410)。对于当前图像(400)的当前块(405)，如果编码器默认地对参考图像(410)执行完全或未约束的搜索，则运动矢量范围(420)有效地将搜索范围限于运动矢量范围(420)内的运动矢量值，该范围的中心在与当前块(405)位于同处的参考图像块(415)周围。图像边界也可在搜索范围否则会延伸到参考图像边界之外(如果不使用边缘扩展)时限制搜索范围。
即使编码器对参考图像(410)执行部分搜索，运动矢量范围(420)也可将搜索范围进一步限于部分搜索范围中将产生运动矢量范围(420)内的运动矢量的那些区域。假定编码器在中心位于参考图像(410)中的预测的运动矢量位置(435)周围的默认部分搜索范围(430)内搜索。如果默认部分搜索范围(430)的区域落在运动矢量范围(420)之外，则这些区域实际上被排除在运动估计中使用的搜索范围之外。然而，如果默认搜索范围(430)仅产生在运动矢量范围(420)内的运动矢量，则运动矢量范围(420)实际上没有进一步约束在运动估计中使用的搜索范围。
在某些实现(诸如VC-1编码器实现)中，编码器用信号表示关于运动矢量的运动矢量范围信息。例如，编码器在比特流句法中的图像层上用信号表示运动矢量范围信息，如在Srinivasan的题为“Extended Range Motion Vectors”(扩展范围的运动矢量)的美国专利公开号2005/0013372，或Holcomb等人的题为“Extended Range Variable Length Coding/Decoding of Differential MotionVector Information”(差分运动矢量信息的扩展范围的可变长度编码/解码)的美国专利公开号2005/0058205中所描述的，或使用某一其它机制。用信号表示运动矢量范围信息在某些情形中通过自适应用于用信号表示经转义编码的运动矢量信息的比特数来提高熵编码的效率。用信号表示的运动矢量范围可以与所使用的搜索范围相同。或者，用信号表示的运动矢量范围可以比所使用的搜索范围宽。在其它实现中，运动矢量范围是预定义的，或者出于熵编码的目的实际上是不受限的(即使搜索范围变化)，并且编码器不用信号表示运动矢量范围信息。
在某些实现中，编码用于Windows媒体视频主类或高级类或VC-1类的视频的编码器在编码期间动态地选择适当的运动矢量范围和/或搜索范围。或者，编码用于另一格式或类的视频的编码器在编码期间执行对运动矢量范围和/或搜索范围的动态选择。
在某些实现中，编码器在决定适当的运动矢量范围和/或搜索范围时使用直方图或其它表示中的运动矢量分布信息。该分布信息包括多个区间，并且某些区间是重叠的。编码器在决定范围时将区间内的运动矢量的计数认为是准则。这提供了确定适当范围的计算上简单但准确的方法。
A.动态地切换MV范围和/或搜索范围
图5示出了用于动态地切换运动矢量范围和/或搜索范围的通用技术(500)。诸如图3所示的编码器执行技术(500)。或者，另一编码器或运动估计工具执行技术(500)。
编码器执行(510)由运动矢量范围和/或搜索范围约束的第一运动估计。运动矢量范围可以约束完全搜索或部分搜索，或者搜索范围可以完全在运动矢量范围内。例如，编码器使用当前运动矢量范围和搜索范围对第一P图像执行运动估计。或者，编码器使用当前运动矢量范围和搜索范围对预测图像的第一部分执行运动估计。最初，当前运动矢量范围可以具有根据一特定用户设置、类设置、水平设置或其它编码器设置定义的值，或者可以从诸如最大运动矢量范围等默认设置开始。搜索模式、失真度量、退出条件、子像素内插和运动估计的其它细节取决于实现而变化。
在执行(510)了第一运动估计之后，编码器用信号表示该第一运动估计的结果。例如，编码器用信号表示关于从第一运动估计所得的运动矢量的运动矢量信息。在某些实现中，编码器在用信号表示关于运动矢量的运动矢量信息之前用信号表示运动矢量范围信息。
编码器然后决定(520)它是否应对运动矢量范围和/或搜索范围执行更新检查。例如，编码器可能对每一新的P图像但不对介于P图像之间的B图像更新运动矢量范围。以此方式，运动矢量范围对各P图像之间的运动特性的改变进行自适应。考虑具有以下回放次序和编码次序的一系列帧内(I)、单预测(P)和双预测(B)图像，
回放：I1B1B2P1B3B4P2B5B6P3...
编码：I1P1B1B2P2B3B4P3B5B6...
对于P2的运动矢量范围取决于来自P1的运动矢量的分布，且对于P2的运动矢量范围也用于B3和B4。对于P3的运动矢量范围取决于来自P2的运动矢量的分布，且对于P3的运动矢量范围也用于B5和B6，依此类推。或者，编码器对每一新的预测图像(不论是P图像还是B图像)执行更新检查，从而适当地解决了预测方向的改变以及对时间漂移的缩放。对于B图像，编码器可以考虑来自最接近的P图像，或来自该B图像之前和之后的两个P图像的运动矢量分布信息，并取决于该B图像与(诸)P图像的相对时间漂移来缩放运动矢量信息。或者，编码器对于单个预测图像内的不同部分执行更新检查。
当编码器执行更新检查时，编码器使用关于先前的运动矢量的运动矢量分布信息来更新(530)当前运动矢量范围和/或搜索范围。例如，当编码器对一新的P图像选择经更新的运动矢量范围时，该分布信息表征了来自前导的P图像的多个运动矢量。或者，当编码器对一预测图像的新的部分选择经更新的运动矢量范围时，该分布信息表征了来自同一图像的较早部分的多个运动矢量。或者，编码器使用运动矢量分布信息来选择新的搜索范围而不考虑运动矢量范围本身。经更新的搜索范围可以与在先前的运动估计中使用的搜索范围相同或不同，并且经更新的运动矢量范围可以与在先前的运动估计中使用的运动矢量范围相同或不同。图6示出了用于使用关于先前的运动矢量的运动矢量信息的直方图来选择经更新的运动矢量范围和/或搜索范围的示例技术(600)。或者，编码器使用另一机制来选择经更新的运动矢量范围和/或搜索范围，例如，使用关于先前的运动矢量的另一种形式的运动矢量分布信息。经更新的运动矢量范围和/或搜索范围然后被用作当前运动矢量范围和/或搜索范围。
编码器执行(510)由当前(可能是经更新的)运动矢量范围和/或搜索范围约束的另一运动估计。例如，编码器使用新的运动矢量范围和相应的搜索范围对第二P图像执行运动估计。或者，编码器使用经更新的搜索范围对预测图像的第二部分执行运动估计。再一次，搜索模式、失真度量、退出条件、子像素内插和运动估计的其它细节取决于实现而变化。
在执行(540)了该另一运动估计之后，编码器用信号表示该另一运动估计的结果。例如，编码器用信号表示关于从该另一运动估计所得的运动矢量的运动矢量信息。在某些实现中，编码器在用信号表示关于运动矢量的运动矢量信息之前用信号表示运动矢量范围信息。
编码器确定(550)是否完成。如果否，则编码器决定(520)它是否应对运动矢量范围和/或搜索范围执行更新检查。例如，编码器继续下一预测图像或同一预测图像的下一部分。
B.使用MV分布信息的范围选择
图6示出了用于使用运动矢量分布信息来选择运动矢量范围和/或搜索范围的技术(600)。诸如图3所示的编码器执行该技术(600)作为图5的动态切换技术(500)的更新阶段(530)的一部分。.或者，编码器在某一其它时刻执行选择技术(600)，或另一编码器或运动估计工具执行该技术(600)。图7、9和11示出了一个示例实现中在该技术(600)中使用的伪代码，而图8示出了在该示例实现中使用的值的表。
最初，编码器对先前的运动矢量计算(610)直方图。例如，编码器对前导P帧的部分或全部运动矢量计算直方图。
图7是示出用于从先前计算的运动矢量的水平和垂直运动矢量分量计算直方图的示例例程的伪代码清单(700)。例程CalculateMVHistogram接受两个数组作为输入。数组MV_x和MV_y分别储存关于先前计算的运动矢量的有符号的水平和垂直运动矢量分量值。数组MV_x和MV_y在逐块的基础上储存值，并且编码器可以预处理数组中的值。例如，如果数组储存关于8x8的块的分量值，但是一特定的16 x 16宏块具有单个运动矢量，则该单个运动矢量的分量值对该宏块的四个构成的8 x 8的块重复。一般而言，先前对不同块大小(例如，16 x 16、8 x 8、16 x 8、8 x 16、8 x 4、4 x 8或4 x 4)和不同种类的预测图像(例如，逐行帧、隔行场或隔行帧)计算的运动矢量被转换成统一表示(例如，8 x 8的非隔行块)以便进行直方图计算。对于不同的块大小，这可涉及从大于该统一表示大小的块开始重复运动矢量分量值，或者它可涉及组合来自小于该统一表示大小的相邻块的运动矢量分量值。对于隔行内容，这可涉及调整隔行定时。图7示出MV_x和MV_y为一维数组，但是它们可以改为被组织成反映块组织的二维数组。MV_x和MV_y的大小取决于表示了多少运动矢量。
输出数组MVHistogram储存输出直方图。在图7中，MVHistogram通过水平和垂直运动矢量分量的绝对值的和来描绘先前的运动矢量。具体地，该直方图包括对每一可能的运动矢量分量的绝对值的和的计数。对于表1所示的运动矢量范围中的每一个，图8的表(800)指示了最大和，并且因此指示了MVHistogram中对该运动矢量范围的计数器数字。在图8中，MVRangeX[i]指示了对于范围i的最大允许的水平运动矢量分量的绝对值，而MVRangeY[i]指示了对于范围i的最大允许的垂直运动矢量分量的绝对值。Max_MVSum[i]是对范围i的MVRangeX[i]和MVRangeY[i]之和。
返回到图7，MVHistogram被初始化为零值。在逐块的基础上，编码器迭代通过MV_x和MV_y数组。如果一个块是帧内编码的，则编码器对于无运动矢量(水平和垂直分量等于零)递增计数器。否则，编码器确定该块的水平和垂直运动矢量分量的绝对值，并对绝对值的和递增MVHistogram计数器。
或者，编码器使用某一其它机制来使用先前的运动矢量计算直方图。例如，编码器使用用于运动矢量分量或直方图的不同数据结构，忽略帧内编码的块，使用除直方图的绝对值之和之外的度量，或使用用于水平和垂直分量的不同权重来对水平运动矢量分量给予更大权重或相反。
返回到图6，编码器提取(620)该直方图的一个或多个特征。本质上，编码器总结直方图中的信息作为在稍后的判决制定中使用的一个或多个参数。
图9是示出用于使用根据图7的伪代码(700)产生的直方图来提取直方图特征的示例例程的伪代码清单(900)。使用ExtractHistogramFeature，编码器对落入该直方图的不同区间内的运动矢量计数。ExtractHistogramFeature接受该直方图作为输入并产生总共四个运动区间计数作为输出：低、中、溢出和高。
下表示出了对任何给定的MVRangeIndex i作为运动矢量范围，四个预定的运动区间。
 
区间 定义
低运动 对i>0，  [2，max_MVSum[i-1]*2/3)对i＝0， 未定义。
中运动 对i>0，  [max_MVSum[i-1]*2/3，max_MVSum[i-1])对i＝0， 未定义。
溢出 对i>0，  [max_MVSum[i-1]，max_MVSum[i]]对i＝0， [2，max_MVSum[i]]
高运动 对i>＝0，[max_MVSum[i]*2/3，max_MVSum[i]]
表2：用于直方图特征提取的预定义运动区间
图10绘出了对于i>0的表2的四个运动区间。例如，对i＝2，各区间分别是2到511、512到767、768到2560以及2048到2560。对于i＝0，前两个运动区间未定义。如果i＝0，则溢出区间延伸到2。
对于i>0，溢出运动区间指示该运动矢量范围i的一部分具有在对先前的运动矢量使用了下一较小的范围的情况下将不会被捕捉到的运动。溢出运动区间与高运动区间重叠，这提供了供编码器将这一溢出运动与运动矢量范围中的高运动进行区分的简单方式。
在ExtractHistogramFeature中，编码器计算其绝对值之和落入四个运动区间的先前的运动矢量的计数。编码器将对四个区间的计数器初始化为0。如果对先前的运动矢量的运动矢量范围i大于0，则编码器在低、中和高区间中循环通过直方图计数器，并对相应区间中的直方图计数器求和。编码器对于溢出区间中不与高区间重叠的部分循环通过直方图计数器，然后将高区间总计数加到溢出区间总计数。不两次循环通过高区间节省了直方图求和运算中的少量时间。
如果运动矢量范围i是0，则编码器在高区间中循环通过直方图计数器，对延伸的溢出区间中不与高区间重叠的部分循环通过直方图计数器，然后将高区间总计数加到溢出区间总计数。
或者，编码器使用某一其它机制来从直方图中提取特征。例如，编码器使用绝对值和的其它和/或另外的区间。或者，编码器使用其它参数值或诸如区间的平均绝对值和等统计量来总结直方图信息。或者，对于直方图中的不同度量，编码器使用不同的范围，例如多个维度中的范围。
返回到图6，编码器接着选择(630)经更新的运动矢量范围和/或搜索范围。例如，使用直方图特征，编码器对当前P图像以及前一和当前P图像之间的任何B图像(按照回放次序)选择一新的运动矢量范围。经更新的运动矢量范围可以与前一运动矢量范围相同或不同，且经更新的搜索范围可以与前一搜索范围相同或不同。
图11是示出用于使用根据图9的伪代码(900)提取的直方图特征来选择运动矢量范围的示例例程的伪代码清单(1100)。在例程DecideRange中，编码器将前一(以及默认的当前)运动矢量范围i调整+1或-1，或完全不改变i。DecideRange接受直方图特征低、中、溢出和高作为输入，并产生新的运动矢量范围作为输出。一般而言，给定四个以上定义的区间中的运动矢量的数目，编码器基于以下准则来确定新的运动矢量范围：
1.具有非零运动矢量的块数应当满足第一阈值以使运动矢量范围递增1。(在图9-11的示例中，具有绝对值和为1的运动矢量像零值运动矢量一样来对待。)
2.高运动区间中的运动矢量数应当满足第二阈值以使运动矢量范围递增1。
3.溢出运动区间中的运动矢量数应当满足第三阈值以使运动矢量范围递增1。
4.中运动区间中的运动矢量数应当满足第四阈值以使运动矢量范围递增1。
参考图11，例程DecideRange以条件检查来实现这四个准则。首先，编码器计算非零运动矢量数NonZeroMotion。对于四个运动区间低、中、溢出和高，这是低、中和溢出区间总计数之和。编码器将经更新的运动矢量范围设为等于默认的当前范围，这将是最终的范围，除非它被递增或递减。
编码器在以下情况下递增运动矢量范围i：(1)NonZeroMotion大于α*在其上收集先前的运动矢量的块数，和(2)高区间中的运动矢量数大于β*NonZeroMotion。在检查(1)中，块数是从中收集先前的运动矢量的块的数目，不论是帧内编码还是帧间编码的。例如，如果先前的运动矢量是前一P图像的运动矢量，则该数目是前一P图像中的块数，并被调整到运动矢量表示的统一块大小。检查(1)背后的动机是仅当达到某一阈值量的总运动活动时而非紧紧在几个块中有高运动活动时递增运动矢量范围。检查(2)背后的动机是仅当达到某一阈值量的高运动活动时才递增运动矢量范围。α和β的值取决于实现。
编码器在以下情况下递减运动矢量范围i：(3)溢出区间中的运动矢量数小于γ*NonZeroMotion，和(4)中区间中的运动矢量数小于β*NonZeroMotion。检查(3)背后的动机是仅当达在溢出区间中到某一阈值量的运动活动时才递减运动矢量范围。γ的值取决于实现。检查(4)背后的动机是进一步验证中区间没有太多运动活动。编码器可在检查(2)和(4)中使用不同的权重。
在DecideRange中，编码器对新范围限幅以确保它在0和3之间(包括两端)。或者，代替限幅，编码器可以验证在递增条件中i<3并验证在递减条件中i>0。
α、β和γ的示例值为α＝0.1、β＝0.1和γ＝0.02。在其中对每一P图像更新运动矢量范围且居间的B图像的数目是2或更少的各种编码情形中，这些设置提供了良好的性能。采用这些设置，编码器在递增范围大小时比在递减范围大小时略微具进取性，这往往以计算成本为代价来获得运动估计质量。
或者，编码器使用某一其它机制来从直方图特征中选择运动矢量范围和/或搜索范围。例如，编码器使用不同的阈值和/或不同的选择条件。或者，对于不同的直方图特征，编码器使用不同的范围选择逻辑。或者，编码器使用直方图特征来选择新的搜索范围而不考虑运动矢量范围本身。
IV.运动估计中的失真度量选择
在基于块的运动估计中，编码器通常将来自当前图像的当前样本块与参考图像中相同大小的一个或多个候选块进行比较。编码器使用失真度量来评估当前块和候选块之间的匹配。SAD、SAHD和拉格朗日码率-失真成本是常见的失真度量。其它失真度量包括SSE、MSE和均方差。
当决定在编码器中使用哪一失真度量时，一个目标是准确地解决对特定运动矢量估计选择招致的总码率-失真成本。对码率-失真成本的准确估计改进了码率-失真性能，因为标识了良好的运动估计选择。当在运动估计的早期标识良好的运动估计选择时，它也可改进编码器性能。
另一目标是使失真度量为低复杂度。运动估计消耗了大部分编码时间，并且失真度量的计算复杂度的递增改变累积会显著影响编码器性能。低复杂度和高准确度的目标通常受到对方的牵制。与诸如SAD等低复杂度失真度量相比，诸如SAHD等高复杂度失真度量在大多数时间更准确地解决了总体码率-失真成本。
本节描述了允许编码器或其它工具在执行运动估计时动态地在不同失真度量之间切换的技术。可用失真度量、选择准则和阈值、失真度量切换的定时以及其它编码细节取决于实现。在某些实现中，编码用于Windows媒体视频主或高级类或VC-1类的视频的编码器动态地选择失真度量以改进码率-失真性能，同时还降低了总体计算复杂度。或者，编码用于另一格式或类的视频的编码器执行对失真度量的动态选择。
A.理论和解释
失真度量切换允许编码器通过选择性地使用不同的失真度量来更准确地解决运动估计期间的码率-失真成本来改进码率-失真性能。同时，失真度量切换允许编码器通过在没有对使用更简单的失真度量的惩罚(或者仅有很小的、可接受的惩罚)的情况下使用更简单的失真度量来降低运动估计的总体计算复杂度。例如，编码器在SAD和SAHD之间切换。
在量化之后有非零变换系数时，SAHD通常比SAD更准确地近似总体码率-失真成本。在这一情况下，SAHD解决了SAD所忽略的频率变换的能量压缩效应。由此，编码器在来自频率变换的能量压缩预期会影响残差的失真成本时使用SAHD。
另一方面，由于SAHD中的哈达玛变换，SAHD在计算上比SAD更复杂。并且，在几个情形中，SAD比SAHD更准确地解决码率-失真性能。(当没有非零的量化变换系数时，由于频率变换的能量压缩效应变得没有实际重要性，因此SAD更好地近似了码率-失真成本。)因此，编码器在残差预期在量化之后的变换域中会缺少能量时使用SAD。选择性地使用SAD可以极大地降低运动估计的总体计算复杂度。
例如，编码器计算当前块与参考图像的初始候选块之间的残差。初始候选块可以是在参考图像中预测运动矢量的位置处的候选块。用于计算预测运动矢量的一种常见的机制使用当前块的左、上和右上邻居的运动矢量的分量级中值，但是也可改为使用另一机制。编码器将残差值的绝对值相加，并将该SADinitial与一阈值进行比较。该阈值被设为低于其残差必定会产生仅有零值的量化变换系数的值。如果SADinitial小于该阈值，则编码器在对当前块的运动估计中使用SAD。否则，编码器在对当前块的运动估计中使用SAHD。
选择性地在SAD和SAHD之间切换提供了优于在运动估计期间仅使用SAD或仅使用SAHD的码率-失真性能。在某些情况下，SAHD提供了比SAD更好的码率-失真性能。在其它情况下，SAD提供了比SAHD更好的码率-失真性能。
另外，采用SAD-SAHD切换的运动估计的计算复杂度要低于始终使用SAHD的运动估计的计算复杂度。编码器在SAD提供了更好的码率-失真性能或以其它方式足够满足需求时使用低复杂度的SAD。特别地，在低比特率编码情形中，由于粗略量化，许多残差仅产生零值系数。结果，运动估计的计算复杂度可以通过选择性地使用SAD而非SAHD来显著降低。类似地，在低运动视频中，由于有效的运动估计，许多残差仅产生零值系数，并且运动估计的计算复杂度可以通过选择性地使用SAD而非SAHD来显著降低。
B.示例阈值函数
对于给定的量化参数QP和量化器，某些变换系数值在编码期间被量化为零。对于QP和量化器，存在将被量化为零的最高幅度变换系数值。具有次高幅度的变换系数将被量化为最低的非零量化值。
此外，对于给定频率变换，定义在变换中使用的矩阵值。这些值中的某一些是正的，其它是负的。具有最高幅度的矩阵值具有引起变换中的值的扩大的最大可能性。
当变换具有给定SAD值的残差时，一个或多个变换系数将具有比其它系数高的幅度。某些模式的残差值导致具有大的最高幅度值的变换系数。其它模式的残差值(对于具有同一给定SAD的残差)导致具有小的最高幅度值的变换系数。特别地，当非零残差值分布在整个残差上时，所得的变换系数之中的最高幅度通常较小。另一方面，如果在残差的某一位置中有单个非零残差值时，由于隔离残差值上的最高幅度矩阵值的效应，所得的变换系数之中的最高幅度可能要大得多。
考虑这些因素，阈值可被设为使得具有小于该阈值的SAD的任何残差块将具有仅为零值的量化变换系数。阈值取决于当前量化参数QP和量化器。阈值还取决于使用中的频率变换，因为最高幅度矩阵值在不同的变换中是不同的。
在某些实现中，该阈值是当前量化参数QP的函数f(QP)，其指示了当前量化步长。函数f(QP)取决于量化器死区，后者是被量化为0的0附近的值的范围。函数f(QP)被设为使得如果SADinitial<f(QP)，则从中计算SADinitial的残差具有仅为零值的量化变换系数。函数f(QP)依赖于量化死区、量化和重构规则、以及在编码期间使用的频率变换，并且对于VC-1、H.264等是不同的。函数f(QP)可以对给定频率变换和量化方案离线计算、储存在数组或其它数据结构中、然后在编码期间使用。
取决于实现，量化参数QP可对图像、片、宏块、块或视频图像或序列的其它部分设置。例如，编码器对图像设置一量化步长，但是可能在片、宏块和/或块级修改它。量化参数QP可指示整数量化步长增量或分数(例如，1/2步长)量化步长增量。
量化器死区与量化参数QP有关。当QP较小时，死区实际上更小，而当QP较大时，死区实际上更大。编码器可在具有不同死区比率的量化器，例如，具有宽度与当前量化步长范围相同的死区的“均匀”量化器，以及具有宽度大约是当前量化步长范围的两倍的死区的“非均匀”量化器之间切换。
在实践中，编码器通常使用比相应的重构规则略微进取性一点的量化。例如，与重构之后的两个可能值之间的中点相比，编码器应用略微远离零的量化阈值。结果，在该中点周围的值被量化为两个量化值中的较低者，而非被映射到更接近的、更高的量化值。特别地，编码器通常略微增加死区的宽度以使更多值被量化为0。
1.示例量化器死区
在VC-1的某些类中，量化参数MQUANT具有1和31之间的值，指示整数增量的量化步长。MQUANT基于图像级量化参数PQUANT，但是可由用于特定宏块或图像区域的后续量化参数来修改(或甚至替换)。额外的信息位HALFQP可指示半步长增量。
对于“均匀”量化器，用于非零AC系数的重构规则为：
dequant_ACcoeff＝ACCoeffQ*double_quant，
其中ACCoeffQ是量化的AC系数，而dequant_ACcoeff是反量化的AC系数。如果块是用PQUANT来编码的：
double_quant＝2*MQUANT+HALFQP.
如果块是用其它量化句法元素来编码的：
double_quant＝2*MQUANT.
对于“非均匀”量化器，用于非零AC系数的重构规则为：
dequant_ACcoeff＝ACCoeffQ*double_quant+sign(ACCoeffQ)*Qscale，
其中Q_scale＝MQUANT。
应用这些VC-1重构规则来确定在重构之后的可能的去量化的值之间的中点，并将死区阈值DZ设在小于第一个非零的去量化的值的同一偏移量处，下表示出了采用均匀量化器和非均匀量化器的用于不同的MQUANT和HALFQP值的死区阈值DZ的示例。死区阈值DZ指示了低于其值将被量化为0的绝对值。
 
MQUANT HALFQP 用于均匀量化器的DZ(QP)       用于非均匀量化器的DZ(QP)    
 
1 0 1 2
1 1 1.5 2.5
2 0 2 4
2 1 2.5 4.5
3 0 3 6
3 1 3.5 6.5
4 0 4 8
4 1 4.5 8.5
5 0 5 10
5 1 5.5 10.5
6 0 6 12
6 1 6.5 12.5
7 0 7 14
7 1 7.5 14.5
8 0 8 16
8 1 8.5 不适用
9 不适用 9 18
10 不适用 10 20
... ... ... ...
29 不适用 29 58
30 不适用 30 60
31 不适用 31 62
表3：用于VC-1编码器的示例死区阈值
在实践中，VC-1编码器可使用不同的死区阈值，例如，更进取性地将值量化为0的死区阈值。在该情况下，死区阈值将略微高于表3所示的那些阈值。并且，DC系数可比AC系数较少进取性地量化，尤其是在较高量化步长下。记住了这一因素之后，VC-1编码器可以略微降低某些死区阈值，尤其是对于较高的QP值。
根据H.263标准，图像层值QUANT具有1和31之间的值，且指示了半步长量化步长增量。QUANT的值可以由诸如DQUANT等稍后的句法元素来改变。用于非零AC系数的重构规则为：
|REC|＝QUANT·(2·|LEVEL|+1)，如果QUANT为奇数，且
|REC|＝QUANT·(2·|LEVEL|+1)-1，如果QUANT为偶数，
其中REC是重构的AC系数，而LEVEL是量化的AC系数。在计算了|REC|之后，合并符号：
REC＝sign(LEVEL)·|REC|.
根据这些H.263重构规则，下表示出了H.263中用于不同QUANT值的死区阈值DZ的示例。
 
QUANT DZ(QUANT)
1 2
2 3
3 6
4 7
5 10
6 11
... ...
29 58
30 59
31 62
表4：用于H.263编码器的示例死区阈值
在实践中，H.263编码器可使用不同的死区阈值，例如，更进取性地将值量化为0的死区阈值。
其它编码器类似的具有与这些编码器中的量化器、量化和重构规则、以及允许的量化步长相一致的死区阈值。通常，死区阈值随着QP的增大而单调递增，但是死区阈值增大的步长以及死区阈值与QP的比率取决于如何实现量化而变化。
2.示例变换缩放因子
死区阈值应用于变换系数，而SADinitial是从样本域值计算的。由此，比例因子k被结合到阈值中：
SADinitial<DZ/k，
其中f(QP)＝DZ/k.比例因子k取决于对给定SAD值的最大可能扩大。考虑以下来自VC-1的一维8点变换T8和一维4点变换T4。
T 8 = 12 12 12 12 12 12 12 12 16 15 9 4 - 4 - 9 - 15 - 16 16 6 - 6 - 16 - 16 - 6 6 16 15 - 4 - 16 - 9 9 16 4 - 15 12 - 12 - 12 12 12 - 12 - 12 12 9 - 16 4 15 - 15 - 4 16 - 9 6 - 16 16 - 6 - 6 16 - 16 6 4 - 9 15 - 16 16 - 15 9 - 4
T 4 = 17 17 17 17 22 10 - 10 - 22 17 - 17 - 17 17 10 - 22 22 - 10
VC-1编码器可以对残差数据块Di×j(具有i行和j列)如下执行前向4 x 4、4 x 8、8 x 4和8 x 8变换。
 对4 x 4变换，
Figure A200780012309D00314
 对8 x 4变换，
Figure A200780012309D00315
 对4 x 8变换，以及
Figure A200780012309D00316
 对x8变换，
其中·指示矩阵乘法，。Ni×j指示与归一化因子的分量级乘法，T′指示矩阵T的逆，而表示系数块的变换。归一化矩阵Ni×j的值由下式给出：
N i &times; j = c i &prime; &CenterDot; c j ,
其中：
c 4 = 8 289 8 292 8 289 8 292 , 且
c 8 = 8 288 8 289 8 292 8 289 8 288 8 289 8 292 8 289 ,
差分归一化因子与因前向变换中的变换矩阵值而引起的不同扩大量有关。它们还通过在反变换中的右漂移设置了简单的归一化。
当将一维8点VC-1变换应用于残差的列然后应用于结果的行时，第二变换行的第一个矩阵值(即，16)是有最大可能性引起扩大的值。考虑归一化，它导致按照162*(8/289)2＝.198，或近似地16/81的因子的缩放。
假定SADinitial对于给定初始候选块为25。以下两个块示出了对其SADinitial为25的可能残差。
25 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1 3 1 0 0 0 0 0 1 3 1 0 0 0 0 0 1 3 1 0 0 0 0 0 1 3 1 0 0 0 0 0 0 3 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
在第一个块中，SADinitial＝25的能量在展示给水平和垂直变换中的高幅度变换矩阵值的单个残差值中隔离。当将8点变换垂直和水平地应用时，系数值25×.198≈5出现在
Figure A200780012309D0032102811QIETU
的第二行的第二个位置中。相反，对于第二个块，SADinitial＝25的能量分布在14个残差值上。结果，当将8点变换垂直和水平地应用时，没有一个系数值高达5。较低幅度矩阵值和负矩阵值的影响是变换系数的较低值。由此，如果问题是是否所有的变换系数都将被量化为0，则其中给定SADinitial的能量被隔离在展示给最高幅度变换矩阵系数的单个残差值中的模式提供了最坏的情况。该模式导致来自具有该SADinitial值的残差的最高个别变换系数值。
鉴于此原因，对于阈值函数f(QP)，比例因子k取决于用于该频率变换的最高幅度变换矩阵值。通常，这是一维变换的第二行的第一个系数，这通常对应于最低AC基函数的第一个系数。对于VC-1中的4 x 8或8 x 4变换，比例因子k是16*(8/289)*22*(8/292)＝.267。对于4 x 4变换，比例因子k是222*(8/292)2.＝.363。
如果对给定QP和量化器的死区区间被表示为DZ(QP)，则用于VC-1中的前向变换的阈值函数f(QP)为DZ(QP)/k，其中k取决于变换大小。
在H.263中，在归一化之后，用于一维DCT的最高幅度变换矩阵值是.49。再一次，这是最低AC基函数的第一个系数。对于二维DCT，比例因子k是(.49)2＝.24。用于H.263中的前向变换的阈值函数f(QP)是DZ(QP)/.24，或大致是4*DZ(QP)。
3.替换方案
对给定量化器和频率变换确定阈值f(QP)的一种替换的蛮力方法如下。对于函数f(QP)中可能的量化参数QP，评估SAD的值m。特别地，对具有幅度为m的单个非零值的残差进行频率变换。(值m在残差的左上角位置，或者在测试中所示的产生最高单个变换系数值的某一其它位置。)变换系数用QP来量化。如果存在任何非零的量化变换系数，则评估m的下一较低值。如果所有量化变换系数都具有零值，则评估m的下一较高值。该过程继续，直到对QP找到产生所有零值量化变换系数的m的最高值。然后评估QP的不同值。当评估了f(QP)中的可能的QP值时，可确定用于不同的频率变换或量化器的阈值函数f(QP)。
前述对阈值函数f(QP)的使用和定义在若干方面是保守的。假设对初始候选块(在预测的运动矢量或零值运动矢量的位置处)检查该阈值。初始候选块的残差预期要大于最终候选块的残差。然而，仅对初始候选块检查阈值无法解决向更好匹配的收敛。
此外，在f(QP)的保守定义下，许多具有大于f(QP)的SADinitial的残差块仍产生仅有零值的量化变换系数。这通常例如在非零残差值分布在残差块周围时发生。
或者，编码器使用不那么保守的阈值函数，从而正确地表征了“全零值”的情况，但是可能会错过几个“非零值”的情况。例如，在较不保守的阈值测试中，编码器考虑残差块的均值或DC分量。如果残差的DC分量/均值为0或接近0(例如，由于负残差值)，则SAD的表现可能足够，因此满足该阈值。
或者，编码器在较不保守的阈值测试中考虑对SADinitial有贡献的残差值的数目。如果有至少x个非零值(其中x是5、6等)，则满足该阈值。
或者，编码器考虑任何非零残差值的绝对值是否大于SADinitial/2。如果不是，则编码器认为满足了该阈值。
C.动态地切换失真度量
图12示出了用于在运动估计期间动态地切换失真度量的通用技术(1200)。诸如参考图3所描述的编码器执行技术(1200)。或者，另一编码器执行该技术(1200)。
最初，编码器计算(1230)失真度量选择准则。例如，编码器在搜索模式的开始处对当前块和初始候选块之间的残差计算SAD。初始候选块可以是在零值运动矢量处的块、在预测的运动矢量位置处的块、或某一其它初始候选块。或者，失真度量选择准则结合了其它和/或另外的因素，诸如残差的均值或DC分量、非零残差值的计数和/或任何非零残差值是否超过用于该残差的SAD的某一特定比例(例如，1/2)。
编码器然后评估(1240)失真度量选择准则。例如，编码器将该准则与一阈值进行比较(或者如果将多个因素结合到选择准则中，则与多个阈值比较)。或者，编码器以某一其它方式，例如使用取决于选择准则的各因素而导致不同判决的判决树，来评估该准则。
编码器从多个可用失真度量中选择(1260)一失真度量。例如，编码器在SAD和SAHD之间选择。或者，编码器在其它和/或另外的失真度量之间选择，其可包括一个或多个码率-失真成本度量、SSE、MSE、均方差、和除SAHD之外的SATD。
编码器然后在运动估计中使用(1270)所选的失真度量。具体地，编码器使用所选的失真度量来评估一个或多个运动估计选择的适合性。运动矢量范围、搜索范围、搜索模式、退出条件、子像素内插和运动估计的其它细节取决于实现而变化。例如，编码器在运动估计中使用完全搜索、部分搜索或其它搜索范围，使用块搜索模式(诸如3 x 3或5 x 5)、螺旋搜索模式或其它搜索模式，并且在预测运动矢量位置或零值运动矢量位置周围开始。运动估计可以是分层的，例如具有4:1二次采样的整数像素和1/4像素阶段，或各阶段的某一其它配置。
在运动估计(1270)期间或之后的某一点，编码器确定(1290)是否继续。例如，编码器对当前块或宏块计算(1230)选择准则，作为对当前块/宏块的运动估计中的初始检查的一部分。这允许编码器从运动估计的开始选择性地降低计算复杂度。编码器使用所选的失真度量，直到对当前块/宏块完成了运动估计。编码器然后确定(1290)是否继续下一块或宏块，并且如果是，则对下一块/宏块确定(1230)选择准则。
或者，编码器对当前块或宏块计算(1230)选择准则作为初始检查的一部分，在运动估计中选择(1260)并使用(1270)一失真度量，但是随后确定(1290)是否以用于当前块/宏块的同一失真度量继续。如果编码器以诸如SAHD等第一度量开始，但是残差值接近诸如SAD等第二度量将较佳的点，则编码器对当前块/宏块切换到第二度量。
对于分层运动估计，编码器可以计算(1230)选择准则作为一阶段中的初始和/或中间检查。例如，对于第一个最低分辨率阶段，编码器计算(1230)选择准则并在对该阶段的运动估计中选择(1260)和使用(1270)失真度量。编码器然后以第二个较高分辨率阶段继续计算(1230)选择准则，并在对该阶段的运动估计中选择(1260)并使用(1270)一失真度量。在相应阶段处可用的失真度量可以在各阶段之间相同或不同。编码器可以在较高分辨率阶段绕过失真度量选择(仅使用例如码率-失真成本度量)。
图13示出了用于使用失真度量选择准则和选择阈值来选择失真度量的技术(1300)。诸如参考图3所描述的编码器执行该技术(1300)。或者，另一工具执行该技术(1300)。
最初，编码器确定(1310)是否更新失真度量选择阈值。例如，如果该阈值依赖于当前量化步长、量化死区区间和频率变换，则编码器检查这些中的任一个是否已改变。或者，如果该阈值仅依赖于当前量化步长，则编码器检查量化步长是否已改变。
为更新阈值，编码器设置(1320)失真度量选择阈值。例如，使用将阈值与给定量化器和频率变换的量化参数值相关的数据结构，编码器在给定当前量化参数的情况下设置该阈值。该数据结构可以是数组或其它数据结构。该阈值可以来自如上所述的阈值函数f(QP)或来自另一阈值函数。
编码器还计算(1330)失真度量选择准则。例如，编码器对当前块和初始候选块之间的残差计算SADinitial。结合阈值，SADinitial给出了关于该残差是否将具有仅为零值的量化变换系数的简单的、低复杂度的指示。或者，编码器使用诸如参考图12所描述的某一其它选择准则。
编码器然后将该准则与该阈值进行比较(1340)。例如，编码器检查SADinitial是否小于阈值f(QP)。对于结合了诸如平均残差值、残差的DC分量、非零残差值的计数和/或SADinitial的分数等因素的选择准则，编码器将这些因素与阈值的相应部分进行比较。
编码器然后选择(1350)第一失真度量或选择(1360)第二失真度量。例如，在将SADinitial与保守阈值f(QP)比较之后，如果SADinitial<f(QP)，则编码器选择SAD，因为用于残差的量化变换系数将具有为零的量化值。否则，编码器选择SAHD，因为用于残差的一个或多个量化变换系数可能具有非零量化值。或者，编码器在其它和/或附加的失真度量之间选择。
编码器使用(1370)所选的失真度量来评估一个或多个运动估计选择的适合性。如参考图12所描述的，运动估计的细节取决于实现而变化。
在运动估计(1370)期间或之后的某一点，编码器确定(1390)是否继续。例如，编码器对图像中的每一新块或宏块计算(1330)选择准则作为对该块/宏块的运动估计中的初始检查的一部分，从而在必要时更新选择阈值，并且只要图像中有新的块/宏块就确定(1390)继续。或者，编码器对当前块或宏块计算(1330)失真度量选择准则作为初始检查的一部分，并在对当前块/宏块的运动估计期间确定(1390)是否选择性地更新选择准则和/或阈值。
参考各实施例描述和示出了本发明的原理之后，可以认识到，可以在排列和细节上修改各实施例，而不脱离这些原理。应当理解，此处所描述的程序、过程或方法不相关于或不限于任何特定类型的计算环境，除非另外指明。可依照此处所描述的教导来使用各种类型的通用或专用计算环境或执行操作。以软件示出的实施例的元素可以用硬件来实现，反之亦然。
鉴于可应用本发明的原理的许多可能的实施例，要求保护落入所附权利要求书及其等效技术方案的范围和精神之内的所有这样的实施例作为本发明。

Claims (20)

1.一种方法，包括在编码期间：
执行由第一搜索范围约束的第一运动估计，得到多个运动矢量；
计算关于所述多个运动矢量的运动矢量分布信息；
至少部分地基于所述运动矢量分布信息，选择第二搜索范围；
执行由所述第二搜索范围约束的第二运动估计；以及
输出所述第二运动估计的结果。
2.如权利要求1所述的方法，其特征在于，所述运动矢量分布信息被组织为多个区间，并且所述多个区间中的至少两个重叠。
3.如权利要求2所述的方法，其特征在于，所述计算包括：
在直方图中描绘所述多个运动矢量中的每一个；以及
使用所述直方图，对所述多个运动矢量中有多少落入所述多个区间的每一个中进行计数。
4.如权利要求1所述的方法，其特征在于，还包括：
用信号表示指示所述第一搜索范围的第一运动矢量范围；以及
用信号表示指示所述第二搜索范围的第二运动矢量范围；
由此所述信号表示提高了对来自所述第一运动估计和第二运动估计的运动矢量信息进行熵编码的效率。
5.如权利要求4所述的方法，其特征在于，所述第一运动矢量范围与所述第二运动矢量范围相同。
6.如权利要求1所述的方法，其特征在于，所述选择第二搜索范围包括选择一运动矢量范围，并且对所述运动矢量范围的选择实际上确定了所述第二搜索范围。
7.如权利要求1所述的方法，其特征在于，所述选择第二搜索范围包括在大小递增地增加的多个可用搜索范围之间选取，并且其中所述第二搜索范围被约束为其大小比所述第一搜索范围的大小大一、比所述第一搜索范围的大小小一、或与所述第一搜索范围的大小相同。
8.如权利要求1所述的方法，其特征在于，所述第一运动估计是对第一预测图像执行的，而所述第二运动估计是对不同于所述第一预测图像的第二预测图像执行的。
9.如权利要求8所述的方法，其特征在于，所述第二运动估计进一步对按照回放次序在所述第一和第二预测图像之间的一个或多个另外的预测图像执行。
10.一种方法，包括在编码期间：
执行由第一运动矢量范围和第一搜索范围约束的第一运动矢量估计；
在视频比特流中用信号表示所述第一运动矢量范围；
在所述视频比特流中用信号表示所述第一运动估计的结果；
选择第二运动矢量范围；
执行由所述第二运动矢量范围和第二搜索范围约束的第二运动估计；
在所述视频比特流中用信号表示所述第二运动矢量范围；以及
在所述视频比特流中用信号表示所述第二运动估计的结果。
11.如权利要求10所述的方法，其特征在于，还包括计算关于从所述第一运动估计所得的多个运动矢量的运动矢量分布信息，其中所述选择第二运动矢量范围至少部分地基于所述运动矢量分布信息。
12.如权利要求11所述的方法，其特征在于，所述分布信息被组织为多个区间，并且所述多个区间中的至少两个重叠。
13.如权利要求11所述的方法，其特征在于，所述计算包括：
在直方图中描绘所述多个运动矢量中的每一个；以及
使用所述直方图，对所述多个运动矢量中有多少落入运动矢量分布的多个区间的每一个中进行计数。
14.如权利要求10所述的方法，其特征在于，还包括：
在对来自所述第一运动估计的运动矢量信息进行熵编码时使用所述第一运动矢量范围；以及
在对来自所述第二运动估计的运动矢量信息进行熵编码时使用所述第二运动矢量范围。
15.如权利要求10所述的方法，其特征在于，所述第一运动矢量范围与所述第二运动矢量范围相同，并且其中所述第一搜索范围与所述第二搜索范围相同或不同。
16.一种编码器，包括：
用于执行运动估计的运动估计器；
用于将预测残差变换成变换系数的频率变换器；
用于量化所述变换系数的量化器；
用于对运动矢量信息和所述量化的变换系数进行熵编码的熵编码器；以及
用于选择约束所述运动估计的搜索范围的运动估计控制器，其中所述对当前图像进行选择至少部分地基于关于多个先前的运动矢量的运动矢量分布信息。
17.如权利要求16所述的编码器，其特征在于，所述选择搜索范围包括选择运动矢量范围，并且其中对所述运动矢量范围的选择实际上确定了所述搜索范围。
18.如权利要求16所述的编码器，其特征在于，所述运动估计控制器对所述多个先前的运动矢量中有多少落入运动矢量分布的多个区间的每一个中进行计数，并且其中所述多个区间中的至少两个重叠。
19.如权利要求16所述的编码器，其特征在于，所述运动估计控制器：
基于水平和垂直分量的绝对值的和在直方图中描绘所述多个先前的运动矢量中的每一个；以及
使用所述直方图，对所述多个先前的运动矢量中有多少落入运动矢量分布的多个区间的每一个中进行计数。
20.如权利要求16所述的编码器，其特征在于，所述多个先前的运动矢量来自先前的图像。
CN2007800123090A 2006-04-07 2007-04-09 运动估计搜索范围和扩展的运动矢量范围的动态选择 Active CN101416524B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/400,051 2006-04-07
US11/400,051 US8494052B2 (en) 2006-04-07 2006-04-07 Dynamic selection of motion estimation search ranges and extended motion vector ranges
PCT/US2007/008943 WO2007117711A2 (en) 2006-04-07 2007-04-09 Dynamic selection of motion estimation search ranges and extended motion vector ranges

Publications (2)

Publication Number Publication Date
CN101416524A true CN101416524A (zh) 2009-04-22
CN101416524B CN101416524B (zh) 2011-03-09

Family

ID=38575214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800123090A Active CN101416524B (zh) 2006-04-07 2007-04-09 运动估计搜索范围和扩展的运动矢量范围的动态选择

Country Status (6)

Country Link
US (1) US8494052B2 (zh)
EP (1) EP2005759A4 (zh)
JP (4) JP5535618B2 (zh)
KR (1) KR101344200B1 (zh)
CN (1) CN101416524B (zh)
WO (1) WO2007117711A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012012914A1 (en) * 2010-07-30 2012-02-02 Thomson Broadband R & D (Beijing) Co. Ltd. Method and apparatus for measuring video quality
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
WO2016202189A1 (zh) * 2015-06-14 2016-12-22 同济大学 图像编码及解码方法、图像处理设备、计算机存储介质
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位
CN106664443A (zh) * 2014-06-27 2017-05-10 皇家Kpn公司 根据hevc拼贴视频流确定感兴趣区域
CN106878733A (zh) * 2012-09-24 2017-06-20 株式会社Ntt都科摩 动态图像预测解码装置和动态图像预测解码方法
CN108353176A (zh) * 2015-09-24 2018-07-31 Lg 电子株式会社 在图像编译系统中的基于amvr的图像编译方法和装置
CN110365989A (zh) * 2019-07-15 2019-10-22 福州大学 一种面向硬件实现的视频编码帧间整像素搜索方法
CN110807790A (zh) * 2019-10-31 2020-02-18 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法
US11159818B2 (en) 2015-06-14 2021-10-26 Zte Corporation Image coding and decoding methods, image processing device and computer storage medium

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
JP4476104B2 (ja) * 2004-04-22 2010-06-09 三洋電機株式会社 符号化回路
US20060234672A1 (en) * 2005-04-15 2006-10-19 Adler Robert M Geographically specific picture telephone advisory alert broadcasting system
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US8155195B2 (en) * 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
DE102006043707A1 (de) * 2006-09-18 2008-03-27 Robert Bosch Gmbh Verfahren zur Datenkompression in einer Videosequenz
JP5936805B2 (ja) * 2006-09-29 2016-06-22 アビニティ・システムズ・ベスローテン・フェンノートシャップＡｖｉｎｉｔｙ Ｓｙｓｔｅｍｓ Ｂ．Ｖ． パラレルユーザセッションをストリーミングするための方法、システム、およびコンピュータソフトウェア
US8213509B2 (en) 2006-10-06 2012-07-03 Calos Fund Limited Liability Company Video coding on parallel processing systems
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
EP3145200A1 (en) 2007-01-12 2017-03-22 ActiveVideo Networks, Inc. Mpeg objects and systems and methods for using mpeg objects
US8265157B2 (en) * 2007-02-07 2012-09-11 Lsi Corporation Motion vector refinement for MPEG-2 to H.264 video transcoding
US8711926B2 (en) * 2007-02-08 2014-04-29 Qualcomm Incorporated Distortion estimation for quantized data
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
US8879636B2 (en) * 2007-05-25 2014-11-04 Synopsys, Inc. Adaptive video encoding apparatus and methods
US20090074084A1 (en) * 2007-09-18 2009-03-19 David Drezner Method and System for Adaptive Preprocessing for Video Encoder
US8798152B2 (en) * 2008-09-11 2014-08-05 General Instrument Corporation Method and apparatus for fast motion estimation
US8363727B2 (en) 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US9100535B2 (en) * 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
WO2010050089A1 (ja) * 2008-10-29 2010-05-06 パナソニック株式会社 動画像圧縮符号化における符号化処理方法及び符号化処理装置
US8462849B2 (en) * 2008-12-23 2013-06-11 General Instrument Corporation Reference picture selection for sub-pixel motion estimation
US20100232504A1 (en) * 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
WO2010119410A1 (en) * 2009-04-14 2010-10-21 Koninklijke Philips Electronics N.V. Key frames extraction for video content analysis
GB2469679B (en) 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
KR101432777B1 (ko) * 2009-09-03 2014-08-22 에스케이텔레콤 주식회사 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
US9083984B2 (en) * 2010-03-19 2015-07-14 Texas Instruments Incorporated Adaptive coding structure and adaptive FCode determination in video coding
ES2713173T3 (es) * 2010-03-31 2019-05-20 Orange Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes que implementan una predicción por compensación de movimiento anticipado, y programa de ordenador correspondiente
US8364009B2 (en) 2010-10-13 2013-01-29 Eldon Technology Limited Apparatus, systems and methods for a thumbnail-sized scene index of media content
KR20130138263A (ko) 2010-10-14 2013-12-18 액티브비디오 네트웍스, 인코포레이티드 케이블 텔레비전 시스템을 이용하는 비디오 장치들 간의 디지털 비디오의 스트리밍
CN102547262B (zh) * 2010-12-24 2016-08-17 盛乐信息技术（上海）有限公司 视频编码运动估计方法
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US8856212B1 (en) 2011-02-08 2014-10-07 Google Inc. Web-based configurable pipeline for media processing
TWI466550B (zh) * 2011-02-23 2014-12-21 Novatek Microelectronics Corp 多媒體裝置及其移動偵測方法
KR101242560B1 (ko) * 2011-03-30 2013-03-19 한양대학교 산학협력단 탐색 영역 조정 장치 및 방법
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
CN102193995B (zh) * 2011-04-26 2014-05-28 深圳市迅雷网络技术有限公司 一种建立多媒体数据索引、检索的方法及装置
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US8930340B1 (en) 2011-09-20 2015-01-06 Google Inc. Blending content in an output
US20130107960A1 (en) * 2011-11-02 2013-05-02 Syed Ali Scene dependent motion search range adaptation
TWI461066B (zh) 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9438928B2 (en) * 2012-11-05 2016-09-06 Lifesize, Inc. Mechanism for video encoding based on estimates of statistically-popular motion vectors in frame
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
CN108200439B (zh) * 2013-06-14 2020-08-21 浙江大学 提高数字信号变换性能的方法及数字信号变换方法和装置
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR102290964B1 (ko) * 2014-02-19 2021-08-18 삼성전자주식회사 적응적 서치 레인지를 이용한 비디오 인코딩 장치 및 그 방법
GB201405649D0 (en) 2014-03-28 2014-05-14 Sony Corp Data encoding and decoding
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
EP3007425A1 (en) * 2014-10-08 2016-04-13 Thomson Licensing Method and apparatus for detecting defects in digitized image sequences
EP3171595A1 (en) * 2015-11-18 2017-05-24 Thomson Licensing Enhanced search strategies for hierarchical motion estimation
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
US9930357B2 (en) * 2016-03-03 2018-03-27 Uurmi Systems Pvt. Ltd. Systems and methods for motion estimation for coding a video sequence
CN106485731B (zh) * 2016-09-30 2019-01-22 哈尔滨工业大学 一种基于改进霍夫变换的图像位置配准方法
CN108419082B (zh) * 2017-02-10 2020-09-11 北京金山云网络技术有限公司 一种运动估计方法及装置
CN108205146B (zh) * 2017-12-26 2022-06-17 航天天绘科技有限公司 一种基于地面接收机的导航卫星快速寻星定轨方法
US10812823B2 (en) 2018-07-11 2020-10-20 Apple Inc. Global motion vector video encoding systems and methods
CN111462170B (zh) * 2020-03-30 2023-08-25 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN113518227B (zh) * 2020-04-09 2023-02-10 于江鸿 数据处理的方法和系统
US11330296B2 (en) 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
CN113382244B (zh) * 2021-08-13 2022-01-04 杭州博雅鸿图视频技术有限公司 编解码网络结构、图像压缩方法、装置及存储介质

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0752953B2 (ja) 1987-02-25 1995-06-05 日本電信電話株式会社 動き補償符号化における動きベクトル評価方法
JPS63267080A (ja) 1987-04-24 1988-11-04 Nippon Telegr & Teleph Corp <Ntt> 映像信号伝送方式
US5379351A (en) 1992-02-19 1995-01-03 Integrated Information Technology, Inc. Video compression/decompression processing and processors
JPH0556275A (ja) 1990-08-30 1993-03-05 Sharp Corp 画像符号化装置及び画像復号装置
US5168356A (en) 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
DE69217150T2 (de) 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
JPH05137131A (ja) 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
EP0547696B1 (fr) 1991-12-18 1999-04-21 Laboratoires D'electronique Philips S.A.S. Système de transmission et/ou stockage de signaux correspondant à des images texturées
JP3068304B2 (ja) 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
JPH06233279A (ja) 1993-02-01 1994-08-19 Matsushita Electric Ind Co Ltd 動き補償符号化装置
FI94306C (fi) 1993-07-15 1995-08-10 Nokia Technology Gmbh Menetelmä televisiokuvan pienten kuvasegmenttien liikevektoreiden määrittämiseksi
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5495292A (en) 1993-09-03 1996-02-27 Gte Laboratories Incorporated Inter-frame wavelet transform coder for color video compression
KR100292475B1 (ko) 1993-12-08 2001-06-01 구자홍 디지탈 영상 흔들림 보상 장치
US6493658B1 (en) 1994-04-19 2002-12-10 Lsi Logic Corporation Optimization processing for integrated circuit physical design automation system using optimally switched fitness improvement algorithms
US5650829A (en) 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US5684538A (en) 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
US6020925A (en) 1994-12-30 2000-02-01 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
GB2305797B (en) 1995-09-27 2000-03-01 Sony Uk Ltd Video data compression
JP3994445B2 (ja) * 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR100192270B1 (ko) 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US5768537A (en) 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
JPH10191360A (ja) 1996-08-22 1998-07-21 Cirrus Logic Inc 動き推定ベクトルを求める方法および動き推定ベクトルを用いて動画像データを圧縮する方法
JP3774954B2 (ja) 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
US5912991A (en) 1997-02-07 1999-06-15 Samsung Electronics Co., Ltd. Contour encoding method using error bands
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US5947191A (en) 1997-05-07 1999-09-07 International Business Machines Electronics module heat sink with quick mounting pins
JP3226020B2 (ja) 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
GB9712651D0 (en) 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6014181A (en) 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
JP4016227B2 (ja) 1998-01-07 2007-12-05 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6501798B1 (en) 1998-01-22 2002-12-31 International Business Machines Corporation Device for generating multiple quality level bit-rates in a video encoder
US6195389B1 (en) 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
US6317460B1 (en) 1998-05-12 2001-11-13 Sarnoff Corporation Motion vector generation by temporal interpolation
US6697427B1 (en) 1998-11-03 2004-02-24 Pts Corporation Methods and apparatus for improved motion estimation for video encoding
US6081209A (en) 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6594313B1 (en) 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
JP3259702B2 (ja) 1998-12-24 2002-02-25 日本電気株式会社 動画像可変ビットレート符号化装置および方法
US6483874B1 (en) 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
EP1181828B1 (en) * 1999-05-13 2010-03-17 STMicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US7072398B2 (en) 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
EP1107609A1 (en) * 1999-12-02 2001-06-13 STMicroelectronics S.r.l. Method of processing motion vectors histograms to detect interleaved or progressive picture structures
US6876703B2 (en) 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
US6650705B1 (en) 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US7457361B2 (en) 2001-06-01 2008-11-25 Nanyang Technology University Block motion estimation method
US6987866B2 (en) 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US6996180B2 (en) 2001-09-05 2006-02-07 Intel Corporation Fast half-pixel motion estimation using steepest descent
JP4472986B2 (ja) * 2001-09-12 2010-06-02 エヌエックスピー ビー ヴィ 動き推定および／または補償
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4070471B2 (ja) * 2002-01-25 2008-04-02 株式会社東芝 動画像符号化方法及び装置
JP3941921B2 (ja) 2002-01-25 2007-07-11 三菱電機株式会社 動画像符号化装置
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
KR100846769B1 (ko) 2002-02-19 2008-07-16 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
US7239721B1 (en) 2002-07-14 2007-07-03 Apple Inc. Adaptive motion estimation
KR20040008359A (ko) 2002-07-18 2004-01-31 삼성전자주식회사 계층적 움직임 벡터 탐색을 이용한 움직임 추정 방법 및장치 및 그를 적용한 동영상 부호화 시스템
US7231090B2 (en) 2002-10-29 2007-06-12 Winbond Electronics Corp. Method for performing motion estimation with Walsh-Hadamard transform (WHT)
KR100534207B1 (ko) 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
JP4360093B2 (ja) * 2003-02-05 2009-11-11 ソニー株式会社 画像処理装置および符号化装置とそれらの方法
US7602851B2 (en) 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
JP2005136941A (ja) * 2003-10-10 2005-05-26 Sony Corp データ処理装置およびその方法と符号化装置
KR20050061762A (ko) 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
KR100866482B1 (ko) 2004-01-29 2008-11-03 삼성전자주식회사 감시 시스템 및 그 사용 방법
KR100586882B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP4410039B2 (ja) 2004-06-11 2010-02-03 シャープ株式会社 動き検出装置および動き検出方法、画像処理装置
KR100580194B1 (ko) 2004-06-11 2006-05-16 삼성전자주식회사 비트 정밀도를 낮춘 부화소 움직임 추정방법 및 장치
US20060002471A1 (en) 2004-06-30 2006-01-05 Lippincott Louis A Motion estimation unit
WO2006052577A2 (en) 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
US20060120455A1 (en) 2004-12-08 2006-06-08 Park Seong M Apparatus for motion estimation of video data
JP4501676B2 (ja) 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
EP1833259A4 (en) 2004-12-28 2011-01-19 Nec Corp PICTURE CODING DEVICE, PICTURE CODING METHOD AND PROGRAM THEREFOR
US20060233258A1 (en) 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
TWI271106B (en) 2005-10-25 2007-01-11 Novatek Microelectronics Corp Apparatus and method for motion estimation supporting multiple video compression standards
US8155195B2 (en) 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US20070268964A1 (en) 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675075B2 (en) 2010-07-30 2014-03-18 Thomson Licensing Method and apparatus for measuring video quality
WO2012012914A1 (en) * 2010-07-30 2012-02-02 Thomson Broadband R & D (Beijing) Co. Ltd. Method and apparatus for measuring video quality
US10057570B2 (en) 2012-09-18 2018-08-21 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
CN106878733B (zh) * 2012-09-24 2020-01-07 株式会社Ntt都科摩 动态图像预测解码装置和动态图像预测解码方法
CN106878733A (zh) * 2012-09-24 2017-06-20 株式会社Ntt都科摩 动态图像预测解码装置和动态图像预测解码方法
CN106664443A (zh) * 2014-06-27 2017-05-10 皇家Kpn公司 根据hevc拼贴视频流确定感兴趣区域
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位
CN106576170B (zh) * 2014-08-01 2019-06-21 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位的方法和系统
WO2016202189A1 (zh) * 2015-06-14 2016-12-22 同济大学 图像编码及解码方法、图像处理设备、计算机存储介质
US11159818B2 (en) 2015-06-14 2021-10-26 Zte Corporation Image coding and decoding methods, image processing device and computer storage medium
US11653019B2 (en) 2015-06-14 2023-05-16 Zte Corporation Image coding and decoding methods, image processing device and computer storage medium
CN108353176A (zh) * 2015-09-24 2018-07-31 Lg 电子株式会社 在图像编译系统中的基于amvr的图像编译方法和装置
CN110365989A (zh) * 2019-07-15 2019-10-22 福州大学 一种面向硬件实现的视频编码帧间整像素搜索方法
CN110365989B (zh) * 2019-07-15 2022-11-15 福州大学 一种面向硬件实现的视频编码帧间整像素搜索方法
CN110807790A (zh) * 2019-10-31 2020-02-18 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法
CN110807790B (zh) * 2019-10-31 2022-06-03 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法

Also Published As

Publication number Publication date
KR101344200B1 (ko) 2013-12-20
US20070237232A1 (en) 2007-10-11
EP2005759A4 (en) 2011-09-28
WO2007117711A2 (en) 2007-10-18
JP2015008510A (ja) 2015-01-15
JP5785285B2 (ja) 2015-09-24
JP5873536B2 (ja) 2016-03-01
JP2013048476A (ja) 2013-03-07
US8494052B2 (en) 2013-07-23
JP2009533901A (ja) 2009-09-17
WO2007117711A3 (en) 2007-12-06
JP2014147072A (ja) 2014-08-14
JP5535618B2 (ja) 2014-07-02
KR20090003300A (ko) 2009-01-09
CN101416524B (zh) 2011-03-09
EP2005759A2 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
CN101416524B (zh) 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN103024383B (zh) 一种基于hevc框架的帧内无损压缩编码方法
CN101416511B (zh) 基于纹理水平的量化调整方法
CN101001374B (zh) 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
TWI412265B (zh) 用於影像壓縮之轉換係數之預測的方法、電腦可讀取媒體、及數位媒體處理裝置
CN101416512B (zh) 基于纹理水平的量化调整方法
CN103270700B (zh) 使用平面表达的增强帧内预测编码
US8249145B2 (en) Estimating sample-domain distortion in the transform domain with rounding compensation
CN102640496B (zh) 图像编码装置、图像解码装置、图像编码方法及图像解码方法
US20120320991A1 (en) Error recovery using alternate reference frame
CN101005620B (zh) 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
CN101796847A (zh) 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及集成电路
KR20100015651A (ko) 이차원 적응 내삽 필터의 필터 계수 결정 방법
CN101366281A (zh) 用于多分辨率视频编码和解码的重新采样和调整图像大小操作
CN102150429A (zh) 用于使用构建的参考帧进行视频编码的系统及方法
CN102172030B (zh) 运动估计技术
CN102238386B (zh) 画面序列编码与重构方法、序列的编码数据流
CN1263309C (zh) 用于视频编码的运动矢量预测方法
KR101512643B1 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
Matsuda et al. Lossless video coding using variable block-size MC and 3D prediction optimized for each frame
CN100521787C (zh) 图像预测编码方法
JP2008306413A (ja) 画像符号化装置および画像符号化方法
CN105706447A (zh) 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
JP5298082B2 (ja) 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置
CN102804775B (zh) 用于视频的数据压缩

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150430

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150430

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.