CN101204093B - 用于检测图像序列中的渐变的过程及设备 - Google Patents

Abstract

本发明涉及一种用于检测图像序列中的渐变的方法，包括以下步骤：-针对被称为检测窗口的、长度为N幅连续图像的窗口的每幅图像，并针对在所述检测窗口之前的图像，基于与每幅所述图像的每个所述像素相关联的亮度值，计算(10)亮度级；-针对所述检测窗口的所述N幅图像中的每幅图像，计算(11)当前图像的亮度级与所述当前图像之前的图像的亮度级之间的亮度级之差；以及-如果针对所述检测窗口的至少k幅图像，所述亮度级之差大于预定阈值，则由此推断(12)所述检测窗口存在渐变，其中2≤k≤N。

Description

用于检测图像序列中的渐变的过程及设备

技术领域

本发明涉及用于检测图像序列中的渐变的设备及过程。

背景技术

在图像处理(例如压缩、内容增强)领域中，应用于图像序列的方法，例如估计两幅图像之间的运动或者对图像序列进行时间滤波等，通常需要对信息进行时间跟踪。但是图像序列中时间连续性的中断会破坏这些方法的实施。这种或多或少的突然中断与两幅连续图像之间内容的或多或少的显著改变(例如转变)相对应。必须对此进行识别，以在这些方法的应用中考虑到这种不连续性，从而提高这些方法的鲁棒性。

更具体地，镜头或连续镜头是由照相机或摄像机在单画面捕获中拍摄的未中断的图像序列。该镜头是用于分析或构建视频内容的基本单元。视频序列通常包括借助于视频编缉过程而互相连接的一连串镜头。具体而言，这些过程能够产生两个镜头之间的突然转变或者渐进转变，根据该渐进转变，通过将两幅图像相混合而将图像逐渐改变为另一图像(例如渐变)。对这些转变的检测使得在图像序列编码应用的情况下能够通过在编码器所作的选择(例如图像组或“GOP”的结构)中考虑到这些转变来提高编码质量。特别地，这种检测还能够获取镜头边界和叙述性单元，从而允许围绕内容的非线性导航。

发明内容

本发明的目的是检测图像序列中的渐进转变(更具体地是渐变)。

本发明涉及一种用于检测包括像素或图像点的图像的序列中的渐变的方法，每个所述像素或图像点与至少一个亮度值相关联。所述方法包括以下步骤：

-针对被称为检测窗口的、长度为N幅连续图像的窗口的每幅图像，并针对在所述检测窗口之前的图像，基于与每幅所述图像的每个所述像素相关联的亮度值，计算(10)亮度级；

-针对所述检测窗口的所述N幅图像中的每幅图像，基于同当前图像相关联的亮度级与同所述当前图像之前的图像相关联的亮度级之差，检测(11)渐变；以及

-如果针对所述检测窗口的至少k幅图像已检测到渐变，其中2≤k≤N，则由此推断(12)所述检测窗口存在渐变。

优选地，与图像相关联的亮度级等于与该图像的每个像素相关联的亮度值之和。

优选地，该方法还包括如果与该检测窗口相关联的运动等级小于预定阈值则对该检测窗口中渐变的存在进行验证的附加步骤。

优选地，与当前图像相关联的运动等级等于所计算的当前图像与在当前图像之前的图像(称为在前图像)之间的时间活动性与针对当前图像所计算的空间活动性之间的比率。此外，与该检测窗口相关联的运动等级等于与该检测窗口的最末图像相关联的运动等级。

优选地，该图像与在前图像之间的时间活动性等于与该图像的每个像素相关联的亮度值和与在先图像的每个像素相关联的亮度值之间的逐个像素的差值的绝对值之和。此外，该图像的空间活动性等于与该图像的每个像素相关联的亮度值的绝对值之和。

本发明还涉及一种用于检测包括像素或图像点的图像的序列中的渐变的设备，每个所述像素或图像点与至少一个亮度值相关联，所述设备包括：

-计算装置(32，33，34)，用于针对被称为检测窗口的、长度为N个连续图像的窗口的每幅图像，并针对在所述检测窗口之前的图像，基于与每幅所述图像的每个所述像素相关联的亮度值，计算亮度级；

-检测装置(32，33，34)，用于针对所述检测窗口的所述N幅图像中的每幅图像，基于同当前图像相关联的亮度级与同所述当前图像之前的图像相关联的亮度级之差，检测渐变；以及

-推断装置(32，33，34)，用于在所述检测装置已针对所述检测窗口的至少k幅图像检测到渐变时，推断所述检测窗口存在渐变，其中2≤k≤N。

本发明还涉及一种视频编码设备，包括编码装置以及根据本发明的用于检测渐变的设备。

本发明还涉及一种用于构造图像序列的设备，其特征在于该设备包括索引装置以及根据本发明的用于检测渐变的设备。

附图说明

通过非限制性的优选范例实施例和实施方式并参照附图将更好地理解和示出本发明，其中：

图1示出了根据本发明的用于检测渐变的方法；

图2示出了判决窗口的位置；

图3示出了判决窗口的位移；

图4示出了判决窗口的另一位移；

图5示出了根据本发明的设备；

图6示出了根据本发明的图像序列编码设备；以及

图7示出了根据本发明的图像序列构造设备。

具体实施方式

本发明的目的是检测图像序列中的渐变，该序列是逐行扫描的或者隔行扫描的，每幅图像包括像素，每个像素具体与亮度值相关联。在隔行扫描序列的情况下，每幅图像包括偶数场和奇数场。每个场自身包括像素或图像点，每个像素或图像点具体与亮度值相关联。考虑图像序列s和图像序列f(例如黑色或大致均匀的图像序列)，从f到s的渐变称为淡入，反之，从s到f的渐变称为淡出。包括从s到f或者从f到s的渐变的图像序列定义如下：

           e(x，y，n)＝(1-x(n)).s(x，y n)+x(n).f(x，y，n)

其中：

-x(n)是渐变因子，

-n是该序列中图像的索引，以及

-(x，y)是该图像中像素的坐标。

因子x(n)在图像或帧内部是均质的(也即与x和y无关)，并位于0和1之间。对于给定的图像或帧n，本发明采用以下方式来定义亮度级L_e(n)：

$L_e\left(n\right)=\underset{x=0}{\overset{X}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y}{\mathrm{\Σ}}}e(x,y,n)=\underset{x=0}{\overset{X}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y}{\mathrm{\Σ}}}[(1-x\left(n\right))*s(x,y,n)+x\left(n\right)f(x,y,n,)]$

由此得出

$L_e\left(n\right)=(1-x\left(n\right))\underset{x=0}{\overset{X}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y}{\mathrm{\Σ}}}s(x,y,n)+x\left(n\right)\underset{x=0}{\overset{X}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y}{\mathrm{\Σ}}}f(x,y,n)$

从而L_e(n)＝(1-x(n))*L_s(n)+x(n)L_f(n)。通过假设图像f(x，y，n)是均质的，具有等于L_f的亮度级且L_f(n)＝L_f(n+1)，则与图像或帧n相关联的亮度级和与图像或帧n+1相关联的亮度级之差等于：

L_e(n+1)-L_e(n)＝(1-x(n+1))*L_s(n+1)-(1-x(n))*L_s(n)+(x(n+1)-x(n))L_f

考虑到：L_s(n+1)-L_s(n)＝ΔL_s(n+1)，则该亮度差等于：

L_e(n+1)-L_e(n)＝ΔL_s(n+1)*(1-x(n))-(x(n+1)-x(n))*(L_s(n+1)-L_f)

如果渐变因子x(n)对于在从索引为0的图像(或帧)到索引为N的图像(或帧)的N幅图象或帧上持续的渐变而言是线性的，则以如下方式分解x(n)：

$x\left(n\right)=k_1+k_2\frac{n}{N}$

k₁和k₂是可以表现该渐变因子的线性本质的两个系数。在淡入的情况下：x(0)＝1且x(N)＝0。在淡出的情况下：x(0)＝0且x(N)＝1。由此得出图像n和n+1之间的亮度级的变化等于：

$L_e(n+1)-L_e\left(n\right)={\mathrm{\ΔL}}_s(n+1)*(1-k_1-k_2\frac{n}{N})-\frac{k_2}{N}*(L_s(n+1)-L_f)$

相对于序列s和序列f之间的亮度变化而言，序列s的两幅连续图像(或帧)之间的亮度级的变化通常是可忽略的，从而能够将上面的等式简化如下：

$L_e(n+1)-\mathrm{Le}\left(n\right)\≈-\frac{k_2}{N}*(L_s(n+1)-L_f)$

通过假设序列s中的亮度级的平稳性(stationary)，以如下方式简化该等式：

$L_e(n+1)-\mathrm{Le}\left(n\right)\≈-\frac{k_2}{N}*(L_s-L_f)$

只要大多数渐变是在弱运动序列的基础上发生的，则后一假设在大多数时间是有效的。因此在渐变期间，两幅图像(或帧)之间的亮度级变化取决于渐变的起点和终点(L_s-L_f)之间的亮度级变化，并且与该渐变的持续时间(N幅图像或帧)成反比。因此根据本发明的方法基于对两幅连续图像之间的亮度级变化的检测。然后将该变化与根据实验定义的阈值相比较。

根据图1示出的优选实施例，将该方法分解为标记为10-13的4个步骤。在该图中，所示模块是功能单元，该功能单元可以与或者不与物理上可区别的单元相对应。例如，这些模块或其中的一些模块可以一起聚合到单个组件中，或者可以构成同一软件的功能。相对地，特定模块可以由分离的物理实体组成。在下文中，为了简化描述，使用术语“图像”来指示由两帧或者单独一帧组成的图像。

步骤10包括在长度为N幅图像的窗口(称为检测窗口)上，针对该检测窗口的每幅图像以及在该检测窗口之前的序列中图像，计算亮度级。如上文所定义的，图像的亮度级是在整幅图像上与该图像的每个像素相关联的亮度值之和。长度为N幅图像的窗口是包括N幅连续图像的序列的一部分。

步骤11包括针对该检测窗口的每幅图像，通过将该图像(称为当前图像)和该图像之前的图像之间的亮度级变化与阈值相比较，来检测渐变。该阈值是该图像尺寸的倍数，图像尺寸以像素数目表示。例如，该阈值等于以像素数目表示的该图像的宽度和高度乘以1.75。如果该亮度级变化大于该阈值，则检测到当前图像存在渐变。根据是要检测淡入还是淡出，来不同地计算该亮度级变化。因此，在淡入的情况下，该亮度级变化等于在当前图像之前的图像的亮度级与当前图像的亮度级之差。在淡出的情况下，该亮度级变化等于当前图像的亮度级与在当前图像之前的图像的亮度级之差。该步骤能够针对该检测窗口的每幅图像，分离地检测淡入和淡出。优选地，可以定义不同的阈值以检测淡入和淡出。

步骤12包括基于步骤11中执行的检测对该检测窗口的渐变的存在进行推断。更确切地，该步骤包括计算该检测窗口中已经检测到渐变的图像的数目。在该步骤期间，将根据先前的针对淡入和淡出的步骤所获得的结果相结合，从而不管是淡入还是淡出均能够检测到渐变。为此，如果在步骤11中针对该检测窗口的至少k幅图像(2≤k≤N)检测到了淡入或淡出，则由此推断该检测窗口存在渐变。优选地，该检测窗口的长度等于8，k等于6。特别地，该步骤可以避免确定由于噪声或者在序列期间的亮度的不稳定而导致的伪渐变。

优选地，在可选的步骤13期间，将先前步骤12的结果与对该判决窗口的运动等级的局部评估相结合。这可以避免对图像序列中具有强运动的部分的过检测(overdetection)，这些强运动可能被误认为渐变。例如，可以由编码设备的图像级判决模块(例如，对帧/图像编码模式的判决，对图像类型I，P或B…的判决)提供该运动等级。可以通过对所计算的该图像与该图像之前的图像之间的时间活动性(例如，与该图像的每个像素相关联的亮度值和与该图像之前的图像的每个像素相关联的亮度值之差的绝对值的逐个像素之和)和针对该图像所计算的空间活动性(例如，基于该图像的与该图像的每个像素相关联的亮度值的绝对值的总和)之间的比率，计算该图像的运动等级。更确切地，针对该判决窗口的最末图像所计算的运动等级是与该判决窗口相关联的运动等级。如果在步骤12中已推断出该检测窗口存在渐变，并且该窗口的运动等级小于特定阈值，则确认该检测窗口存在渐变。

在隔行扫描序列的具体情况下，优选地是定义滑动窗口(称为判决窗口)。例如，该窗口的大小可以是三个帧。具体可以由图像级判决模块在编码设备中使用图2中示出的窗口。在图2中，定位该窗口以进行对于与标记为F_i-1和F_i-2的帧相对应的、标记为P_k的图像的图像级判决。更确切地，图像P_k是包括两个帧F_i-1和F_i-2的联合的图像(“帧图像”)，或者是包括两个独立的帧F_i-1和F_i-2的图像(“场图像”)。在文献ISO/IEC13818-2中定义的MPEG-2标准(标题为“Informationtechnology--Generic coding of moving pictures and associated audioinformation：Video”)的情况下，该图像级判决(例如，对“帧图像”/“场图像”编码模式的判决，对图像类型I、P或B…的判决)至少应用于两个连续的帧。在经过了24图像(24-image)调整类型的变换(“detelecine”或“3∶2pulldown”)的序列的具体情况下，重复帧。因此该判决窗口的尺寸是三个帧。为了将该渐变检测与图像级判决相联系，在位于该滑动窗口中F_i-1处的帧与位于该滑动窗口中相同位置处的帧之间计算步骤11中所计算的亮度级变化，以便针对标记为P_k-1的在前图像进行图像级判决。图3和4示出了针对后续图像P_k+1的判决窗口的位置。具体地，如果P_k是由F_i-1和F_i-2的联合组成并且F_i并非重复的帧，或者如果P_k是由两个独立的帧F_i-1和F_i-2组成，则图3示出了针对图像P_k+1的该判决窗口的后续位置。另一方面，如果P_k是由F_i-1和F_i-2的联合组成并且F_i是重复的帧(“detelecine”情况)，则图4示出了针对图像P_k+1的该判决窗口的后续位置。

本发明还涉及一种实现前述方法的、用于检测渐变的设备(图5中标记为30)。在图5中仅示出了该设备的必要元件。设备30包括：随机存取存储器32(RAM或类似的组件)、只读存储器33(硬盘或类似的组件)、处理单元34(例如微处理器或类似的组件)以及输入/输出接口35。通过地址和数据总线31将这些元件链接到一起。只读存储器33包含用于实现根据本发明方法的步骤10至12(以及可选的步骤13)的算法。在上电时，处理单元34加载和执行这些算法的指令。随机存取存储器32具体包括用于在该设备上电时操作处理单元34的程序以及要处理的图像。输入/输出接口35具有接收输入信号(例如源图像序列)以及输出根据本发明方法的步骤10至12(或13)的渐变检测结果的功能。

本发明应用于图像序列压缩领域。具体地，用于检测渐变的设备30可以用在图6中的编码设备40中。该设备具体包括对源图像序列400进行编码的编码装置41。该编码装置至少包括能够选择图像类型(例如帧内编码图像(I图像)、预测图像(P图像)、双向预测图像(B图像))的判决装置。例如，该模块可以实现在文献ISO/IEC13818-2(标题为“Information technology--Generic coding of moving picturesand associated audio information：Video”)中具体定义的MPEG-2编码标准。更具体地，该模块可以实现任何用于图像序列编码的标准。具体地，该模块使用设备30提供的信息来动态地调整图像类型。这可以降低压缩成本和提高编码图像的质量。

还可以将用于检测渐变的设备30与图5中用于构造图像序列的设备50相结合。设备50具体包括能够创建对源图像序列400的描述501(例如渐变的起点和终点的时间标记，或称为“时间码”)的索引装置51。设备50具体能够获取镜头边界和叙述性单元，以便能够对该序列进行非线性导航或者产生摘要。更确切地，当用于检测渐变的设备30在编辑期间引入了渐变时，设备50可以获取适当的镜头边界，从而为构造成叙述性单元提供更好的基础。此外，对渐变的获知提供了关于视频构造的高级信息。例如，在DVD上的图像数字序列的情况下，设备50能够将序列构造为章和子章。具体地，在影片中，渐变为黑色或淡出之后，又从黑色开始渐变或淡入，这通常指示“章”的改变。此外，在体育运动转播中，通常通过渐变来对慢动作(这使得可以检测到比赛的感兴趣阶段)进行定界。

当然，本发明并非限定于上述的示例性实施例。具体地，本领域中的技术人员可以将任何变体引入所提出的实施例，并将其组合以受益于多种优点。

Claims (7)

1.一种用于检测图像序列中的渐变的方法，所述图像包括像素，每个所述像素与至少一个亮度值相关联，其特征在于所述方法包括以下步骤：

-针对被称为检测窗口的、长度为N幅连续图像的窗口的每幅图像，并针对在所述检测窗口之前的图像，基于与每幅所述图像的每个所述像素相关联的亮度值，计算(10)亮度级；

-针对所述检测窗口的所述N幅图像中的每幅图像，检测(11)当前图像的亮度级与所述当前图像之前的图像的亮度级之间的亮度级之差；以及

-如果针对所述检测窗口的至少k幅图像，所述亮度级之差大于预定阈值，则由此推断(12)所述检测窗口存在渐变，其中2≤k≤N。

2.根据权利要求1所述的方法，其特征在于，图像的亮度级等于所述图像的每个所述像素的亮度值之和。

3.根据权利要求1或2所述的方法，其特征在于，在推断(12)存在渐变的步骤之后，所述方法还包括附加步骤(13)：如果与所述检测窗口相关联的运动等级低于预定阈值，则确认所述检测窗口中存在渐变。

4.根据权利要求3所述的方法，其特征在于，与图像相关联的运动等级等于时间活动性与针对所述图像而计算的空间活动性之比，所述时间活动性是在所述图像与被称为在前图像的在所述图像之前的图像之间计算的，并且与所述检测窗口相关联的运动等级等于与所述检测窗口的最末图像相关联的运动等级，其中，所述时间活动性等于同所述图像的每个像素相关联的亮度值与同所述在前图像的每个像素相关联的亮度值之间的逐个像素的差值的绝对值之和，并且所述图像的空间活动性等于与所述图像的每个像素相关联的亮度值的绝对值之和。

5.一种用于检测图像序列中的渐变的设备，所述图像包括像素，每个所述像素与至少一个亮度值相关联，其特征在于，所述设备包括： 

-计算装置(32，33，34)，用于针对被称为检测窗口的、长度为N个连续图像的窗口的每幅图像，并针对在所述检测窗口之前的图像，基于与每幅所述图像的每个所述像素相关联的亮度值，计算亮度级；

-检测装置(32，33，34)，用于针对所述检测窗口的所述N幅图像中的每幅图像，检测当前图像的亮度级与所述当前图像之前的图像的亮度级之间的亮度级之差；以及

-推断装置(32，33，34)，用于在针对所述检测窗口的至少k幅图像，所述亮度级之差大于预定阈值时，推断所述检测窗口存在渐变，其中2≤k≤N。

6.一种视频编码设备(40)，其特征在于包括编码装置(41)和根据权利要求5所述的用于检测图像序列中的渐变的设备(30)。

7.一种用于构造图像序列的设备，其特征在于包括用于创建源图像序列的序列描述符的索引装置(51)、和根据权利要求5所述的用于检测图像序列中的渐变的设备(30)。 

Images