CN1054017C

CN1054017C - 利用分级的运动估算确定运动矢量的方法

Info

Publication number: CN1054017C
Application number: CN95103503A
Authority: CN
Inventors: 丁海默
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1995-03-20
Filing date: 1995-03-22
Publication date: 2000-06-28
Anticipated expiration: 2015-03-22
Also published as: CN1131883A; EP0734175A1; US5754237A; JPH08265777A; EP0734175B1; JP3764505B2

Abstract

利用多层分级运动估算确定运动矢量的方法，包括(a)对处理块的每个分级搜索块对应其级别的搜索区域进行运动估算，以提供对应于该搜索块的运动矢量和最小误差函数；(b)将最小误差函数与一预定的阈值比较；(c)在分级的搜索块中，确定最低最上误差函数的搜索块；和(d)如果一个或多个搜索块的最小误差函数小于阈值，就把对应于最高级别搜索块的运动矢量作为处理块的运动矢量，反之，则把步骤(c)中确定的搜索块对应的运动矢量作为处理块的运动矢量。

Description

利用分级的运动估算确定运动矢量的方法

本发明涉及一种确定运动矢量的方法，具体地说，是利用分级的运动估算趋近，确定两个相继视频帧的运动矢量的一种改进的方法。

在各种电气/电子应用，例如高清晰度电视和视频电话系统中，一个图象信号可能要用数字化的形式传输。当图象信号以数字化形式表示时，必然会出现大量的数字数据。由于一个常规传输信道的可用频率带宽是有限的，为了在这样的信道上传输图象信号，不可避免地要对传输数据的数量进行压缩和减少。在各种的视频压缩技术中，运动补偿的帧间编码技术被公认为几种较为有效的压缩技术之一，它主要是利用两个相邻视频帧之间的视频信号冗余度，对信号进行压缩。

在运动补偿帧间编码方案中，当前帧的数据是以前一帧的数据为依据而确定的，其基础就是当前帧和前一帧之间的运动估算。这一运动估算可以用一个二维运动矢量来描述，这个二维运动矢量代表象素在前一帧和当前帧间的位移。在先技术中采用的一种运动矢量估算方案是块匹配算法(参见例如J.R.Jain等人的“Displacement Measurementand Its Applicationin Interframe Image Coding(帧间图象编码的位移测算及其应用)”，IEEE Transactions on Communications COM-29，No.12(1981年12月))。

根据块匹配算法，一个当前帧被分为许多大小相同的搜索块，一个搜索块的大小的典型范围在8×8到32×32个象素之间。为了确定在当前帧中的一个搜索块的运动矢量，要在前一帧中划出范围较大的搜索区域，并将搜索区域划分为多个与当前帧中的搜索块大小相同的候选块，然后再对当前帧中的搜索块和前一帧中的每一个候选块进行两者之间的相似性估算。误差函数例如平均绝对误差或均方误差，被用来进行当前帧中的搜索块和搜索区域中的每一个候选块之间的相似性测量。运动矢量，从定义上讲，是代表搜索块与最佳匹配块之间的位移，所谓最佳匹配块，就是与搜索块之间“误差”或差异最小的候选块。

但是，在这一块匹配运动估算趋近中，使用的是一定大小的搜索块，如果搜索块比较大，同一个运动矢量会被分配给搜索块中的所有象素，而这些象素并不是按相同方式运动的，这样就降低了整幅图象的质量。

为此，本发明的主要目的，是提供一种改进的方法，通过运动矢量的分级估算趋近可以精确地检测两个相继视频帧之间的运动矢量。

根据本发明，提供了一种确定当前帧中每一个处理块的运动矢量的方法，它是通过对当前帧和前一帧采取多层分级估算的办法实现的，其中，当前帧按照相同的大小被分成多个处理块，每个处理块有M级搜索块，M是大于1的整数，每一级搜索块的尺寸比较之低一级的搜索块大；而前一帧则被划分成多个与分级的搜索块相应的搜索区域，每个搜索区域有多个候选块，每个候选块的大小则与相应的分级搜索块的大小相同。这一方法包含如下步骤：

(a)对一个处理块的每一个分级的搜索块和与其级别对应的搜索区域进行运动估计，从而提供相应的分级的搜索块的运动矢量和最小误差函数。每一个运动矢量代表一个分级搜索块和相应级别的产生最小误差函数的候选块之间的象素的位移；

(b)将最小误差函数与一个预定的阈值相比较；

(c)在多个分级的搜索块中，确定具有最低的最小误差函数的搜索块；

(d)如果一个或多个搜索块的最小误差函数小于预定的阈值，就把与所述一个或多个搜索块中的最高级别的搜索块相应的运动矢量，作为处理块的运动矢量；如果最小误差函数中没有一个小于预定的阈值，则把所述步骤(c)中确定的搜索块相应的运动矢量，作为处理块的运动矢量。

本发明的上述和其他目的和特征，通过下述对带有图示的优选实施例的描述，将变得显而易见。其中：

图1是该具有创造性的装置的方框图，涉及确定视频信号的当前帧和前一帧之间的运动矢量。

图2描述图1所示的误差产生器中的详细方框图；

图3示出示例性的分级的搜索块。

参考图1，所表示的是该具有创造性的装置的方框图，即采用一种多层分级的运动估算趋近，确定当前帧中的许多处理块的每一块的运动矢量。每一个处理块的大小为P×Q，例如2×2个象素，在当前帧中每一个处理块都有多个分级的搜索块。

当前帧数据作为输入数字视频信号，被送进帧存储器50和块形成部分100，以便生成分级的搜索块。块形成部分100，为每一个处理块生成多级搜索块，其中，处理块位于每一个搜索块的中央。某一级搜索块比低一级的搜索块在水平和垂直方向上大2N个象素，其中N是大于0的整数，例如1；而且最低一级的搜索块等于或大于处理块。

如图1所示，块形成部分100包含M个(比如4个)块格式器，例如图中的110到170。在块格式器110，130，150，170中，为每一个处理块生成多级的搜索块，而这些搜索块的大小在水平和垂直方向上以2N个象素的级差，即2N至2N(M-1)的级差变化，其中M是大于1的整数。更明确地说，比如第一个块格式器110生成最高一级的搜索块，其大小为H×V个象素；第二个块格式器130生成低一级的搜索块，大小为(H-2N)×(V-2N)，比如(H-2)×(V-2)个象素；第三个块格式器150生成更低一级、大小为(H-4N)×(V-4N)个象素的搜索块，比如(H-4)×(V-4)个象素；而最后一个块格式器170生成最低一级的搜索块，其大小为(H-2N(M-1))×(V-2N(M-1))，比如(H-2(M-1))×(V-2(M-1))个象素。

在图3中，以图形举例说明块格式器110至170生成的本发明优选实施例中使用的多级搜索块。为便于说明，假定当前帧中的象素的各个搜索块的H和V数目相等，都等于16。

如图3所示，图象块格式器110生成一个大小为H×V的搜索块10，即16×16个象素，其中，搜索块10以处理块5为参考而建立，处理块5位于搜索块10的中心。同样地，块格式器130建立一个缩小了的搜索块12，其大小为(H-2)×(V-2)，即14×14个象素；块格式器150建立大小为(H-4)×(V-4)的进一步缩小了的搜索块14，即有12×12个象素；而最后一个块格式器170生成一个最小的搜索块16，其大小为(H-8)×(V-8)，即8×8个象素，是最低一级的搜索块。上述缩小了的搜索块都以处理块5作为参考，处理块5分别处于缩小了的搜索块12，14和16的中心。

再参看图1，由块格式器110至170生成的各级搜索块被送至运动估算单元200，该单元包含多个误差函数产生器210至270。从帧存储器50来的前一帧数据也被加到运动估算单元200。包含在运动估算单元200中的误差函数产生器210至270中的每一个，对来自帧存储器50的前一帧数据和当前帧的数据进行处理，计算并估算得出一个运动矢量，该运动矢量代表当前帧搜索块和前一帧候选块之间产生最小误差函数时的位移。

误差函数产生器210，230，250和270基本上由相同的元件制成，每一个元件具有相同的功能。因此，各个误差函数产生器210，230，250，270的工作原理基本上也是相同的。所以，参照图2代表性地详细描述误差函数产生器210，其中，示出了误差函数产生器210的详细方框图。

如图2所示，从图1上的帧存储器50来的前一帧数据，被送至搜索区域形成部分211。该搜索区形成部分211以相等的大小确定前一帧的搜索区域，每一个搜索区域的大小一般比搜索块要大。

当搜索区域形成部分211确定了搜索区域之后，搜索区域的数据被送到多个块形成部分，例如212至214。在每个块形成部分中，由上述搜索区域产生一个候选块，候选块的大小是H×V，即16×16个像素。候选块自当前帧的搜索块的位置的相对位移，作为候选块的位移矢量输出，例如612至614。在上述确定的搜索区域中，将会形成所有可能的大小为H×V个象素的候选块，并得到与每一个候选块相应的各位移矢量。

每一个候选块的象素数据从每一个候选块形成部分212至214输出，并被送至每一个块匹配部分215至217。大小为H×V个象素的搜索块的数据也由块格式器110提供，如图1所示，送至块匹配部分215至217。在每一个块匹配部分中，计算误差函数，例如对应于搜索块的象素和候选块之间绝对值误差的平均值的平均绝对误差函数，这种计算是在块格式器110的搜索块和各候选块形成部分212至214的候选块之间进行的。对搜索块的象素和每一个候选块进行对应比较，例如光强或亮度的比较，产生所述各候选块的误差函数。这种误差函数表示搜索块和所述各个候选块之间的相似性。

从块匹配器部分215至217输出的所有误差函数，都被送至最小值检测器218，最小值检测器218对这些误差函数进行比较，并选取具有最小值的误差函数。

最小值检测器218的输出信号送到选择器219，该信号指示对应最小误差函数的块。从块形成部分212至214获取的位移矢量612至614也送到选择器219。然后，选择器219对候选块的位移矢量进行选择，把对应最小误差函数位移矢量作为所述大小为H×V个象素的搜索块的运动矢量。所确定的运动矢量作为第一级运动矢量MV1，输出到运动矢量选择器400和选择器332，如图1所示。而由最小值检器器218选取的最小误差函数作为第一级误差函数E1，输出到小值检测器312和比较器322，如图1所示。

类似的，如图1所示每一个误差函数产生器230至270，使用一误差函数，例如平均绝对值误差函数，对相应的搜块和包含在前一帧相应搜索区域中的每一个候选块进行比较。因此，误差函数产生器230至270为每一级的每个搜索块产生误差函数。就每一级而言的这些误差函数经过处理，得到每一级的每个搜索块的最小误差函数；并且选择与最小误差函数相应的位移矢量作为该搜索块的运动矢量。由误差函数产生器230至270输出的各最小误差函数，分别作为第二级、第三级和最后一级误差函数E2至E4，送到小值检测器312至316；而每一级的每个搜索块的运动矢量，则分别作为第二级、第三级和最后一级运动矢量MV2至MV4送到选择器332至336。

小值检测器312在两个输入，即第一级和第二级误差函数E1和E2之间，选取较小的误差函数输出到比较器324和下一个小值检测器314，并产生一控制信号送到选择器332，该控制信号指明与较小的误差函数相对应的分级的运动矢量。下一小值检测器314在它的两个输入，即来自小值检测器312的输出和第三级误差函数E3之间，选取较小的误差函数，送到比较器326和下一级小值检测器，并产生一个控制信号送到选择器334，指明与所输出的较小的误差函数相应的分级运动矢量。同样，最后的小值检测器316在它两个输入之间，即来自前一级小值检测器的输出和最后一级误差函数之间，选取较小的误差函数，送到比较器328，并产生一个控制信号送到选择器336，指明与所产生的较小的误差函数相应的分级运动矢量。

每一个比较器322至328，对它的两个输入，即预定阈值和加到该级的等级误差函数进行比较，产生一个逻辑高电平或逻辑低电平选择信号S1至S4，送到运动矢量选择器400。即，当预定阈值比相应等级误差函数大时，每个比较器产生一个逻辑高电平选择信号，否则，产生一逻辑低电平选择信号，送到运动矢量选择器400。

比较器322对预定阈值与第一级误差函数E1进行比较，当预定阈值大于E1时，比较器产生一逻辑高电平选择信号，反之，产生一个逻辑低电平选择信号，送到运动矢量选择器400。类似地，比较器324至328中的每一个，对预定阈值和每一相应小值检测器312至316的输出进行比较，当预定阈值大于所述各个相应的小值检测器的输出信号时，就各自产生一逻辑高电平选择信号，反之，则各自产生一逻辑低电平选择信号，送到运动矢量选择器400。

根据本发明，如果S1为逻辑高电平，则选择信号S2至S4就变为逻辑高电平。如果S1为逻辑低电平，S2为逻辑高电平，则S3至S4变为逻辑高电平。换句话说，如果与某一级对应的选择信号为逻辑高电平，则对应于较低一级的选择信号即为逻辑高电平。

每一个选择器332至336，根据各自对应的小值检测器312至316提供的控制信号，在其两个输入的分级运动矢量中选择一个。这就是说，选择器332根据来自小值检测器312的控制信号，在它的两个输入，即第一级和第二级运动矢量MV1和MV2当中选取一个；并将所选取的运动矢量送到选择器334和运动矢量选择器400。选择器334，根据来自小值检测器314的控制信号，在其两个输入，即选择器332的输出和第三级运动矢量MV3中选取一个；并将选取的运动矢量送到运动矢量选择器400和下一级选择器。同样，最后一级选择器336，根据来自最后一级小值检测器316的控制信号，在其两个输入，即前一级选择器的输出和最后一级运动矢量MV4当中选取一个；并将选取的那个运动矢量送到运动矢量选择器400。

运动矢量选择器400，以选择信号S1至S4为其输入，用于从送入其中的上述运动矢量中选取一个，作为处理块的运动矢量。

如果S1是逻辑高电平，则运动矢量选择器400选取MV1作为处理块的运动矢量，而不管其他的选择信号。如果S1是逻辑低电平，而S2是逻辑高电平，则运动矢量选择器400选取来自选择器332的运动矢量，作为处理块的运动矢量。如此进行，运动矢量选择器400，把送入的逻辑高电平的选择信号中，级别最高的那个选择信号所对应的运动矢量，选作为处理块的运动矢量。如果所有的选择信号S1至S4都是逻辑低电平，则运动矢量选择器400选取由最后一级选择器336提供的运动矢量，作为处理块的运动矢量。由最后一级选择器336选取的运动矢量所对应的分级的误差函数值最低。

虽然本发明参照具体的实施例进行了说明，对于熟悉本领域的人员而言，显然可以做出各种变化和改进，而不违背本发明由所附的权利要求所限定的精神和范围。

Claims

1、一种通过对当前帧和前一帧进行多层分级运动估算，确定当前帧中每一个处理块的运动矢量的方法，其中，当前帧被分成多个大小相同的处理块，每个处理块有M级搜索块，M是大于1的整数，每一级搜索块的尺寸比低一级的搜索块大，而前一帧则被划分成多个与分级的搜索块相应的搜索区域，每个搜索区域有多个候选块，每个候选块的大小和与其对应的分级搜索块的大小相同，该方法包含如下步骤：

(a)对一个处理块的每一个分级的搜索块相对其级别对应的搜索区域进行一个运动估算，从而提供相应的分级搜索块的运动矢量和最小误差函数，每一个运动矢量代表一个分级搜索块和相应级别中产生最小误差函数的候选块之间的象素的位移；

(b)将最小误差函数与一个预定的阈值相比较；

(d)如果一个或多个搜索块的最小误差函数，小于预定的阈值，就把与所述一个或多个搜索块中的最高级别的搜索块相对应的运动矢量，作为处理块的运动矢量；如果最小误差函数中没有一个小于预定的阈值，则把所述步骤(c)中确定的搜索块相应的运动矢量，作为处理块的运动矢量。