CN103226571A - 一种广告库重复性检测方法和装置 - Google Patents

Abstract

本发明公开了一种广告库重复性检测方法和装置，其中，方法包括：对待检测广告进行分镜头处理；分别对分镜头处理后的每个镜头的关键帧提取图像特征；根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告。本发明以镜头为单元提取广告视频的图像特征，保留镜头的运动特性和整体颜色分布特征，能够检测到镜头及镜头顺序都相同的广告，尤其可以避免将镜头相同但镜头顺序不同的广告判断为相同的广告。

Description

一种广告库重复性检测方法和装置

技术领域

本发明涉及视频处理领域，更具体地，涉及一种广告库重复性检测方法和装置。

背景技术

随着视频播放媒体的不断发展，视频广告也越来越丰富，电视台、网站、应用中都会播出视频广告。

为了对视频广告进行编辑和管理，通常会建立广告库。建立广告库时，通过人工将广告存储至广告库中。

但是，由于广告库中的广告数据量巨大，人工编辑广告库时，经常出现相同广告重复入库的问题。因此，亟需一种能够判断广告库中是否已存储有相同广告的方法。

发明内容

有鉴于此，本发明实施例的目的是提出一种广告库重复性检测方法及装置，能够判断广告库中是否已存储有与待检测广告相同的广告。

为了达到上述目的，本发明实施例提出一种广告库重复性检测方法，包括以下步骤：

对待检测广告进行分镜头处理；

分别对分镜头处理后的每个镜头的关键帧提取图像特征；

根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

本发明实施例中以镜头为单元提取广告视频的图像特征，以镜头为一个单元，可以保留镜头的运动特性和整体颜色分布特征，而一般的关键帧只有图像的空间特征，因此能够检测到镜头及镜头顺序都相同的广告，尤其可以避免将镜头相同但镜头顺序不同的广告判断为相同的广告。

作为上述技术方案的优选，根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告的步骤包括：

在预设的特征库中查找与提取的图像特征匹配的图像特征；

判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征；

当对于待检测视频的每个图像特征均查找到对应的匹配的图像特征时，判断匹配的图像特征是否属于同一广告以及匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序是否一致；

当匹配的图像特征属于同一广告并且匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序一致时，确认广告库中已存储有待检测广告。

作为上述技术方案的优选，在预设的特征库中查找与提取的图像特征匹配的图像特征包括：将提取的图像特征编码生成索引值；在特征库中查找具有所述索引值的图像特征；计算查找到的图像特征与提取的图像特征之间的相似度；将查找到的与提取的图像特征之间的相似度大于预设阈值的图像特征，作为与提取的图像特征匹配的图像特征。本方案提高了查找效率。

作为上述技术方案的优选，所述方法还包括：当广告库中未存储有待检测广告时，将待检测广告存储至广告库。本方案根据判断结果自动进行存储操作。

作为上述技术方案的优选，所述方法还包括：当广告库中未存储有待检测广告，而待检测广告中包含广告库中的广告时，将广告库中包含于待检测广告的广告删除。本方案避免了将包含广告库中的广告的待检测广告存储至广告库后出现重复广告的情况。

本发明实施例还提出一种广告库重复性检测装置，包括：

分镜头处理模块，用于对待检测广告进行分镜头处理；

提取图像特征模块，用于分别对分镜头处理后的每个镜头的关键帧提取图像特征；

判断模块，用于根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

作为上述技术方案的优选，所述判断模块包括：

查找单元，用于在预设的特征库中查找与提取的图像特征匹配的图像特征；

第一判断单元，用于判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征；

第二判断单元，用于当对于待检测视频的每个图像特征均查找到对应的匹配的图像特征时，判断匹配的图像特征是否属于同一广告以及匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序是否一致；

确认单元，用于当匹配的图像特征属于同一广告并且匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序一致时，确认广告库中已存储有待检测广告。

作为上述技术方案的优选，所述查找单元用于：

将提取的图像特征编码生成索引值；

在特征库中查找具有所述索引值的图像特征；

计算查找到的图像特征与提取的图像特征之间的相似度；

将查找到的与提取的图像特征之间的相似度大于预设阈值的图像特征，作为与提取的图像特征匹配的图像特征。

作为上述技术方案的优选，所述装置还包括：

存储模块，用于当广告库中未存储有待检测广告时，将待检测广告存储至广告库。

作为上述技术方案的优选，所述装置还包括：

删除模块，用于当广告库中未存储有待检测广告，而待检测广告中包含广告库中的广告时，将广告库中包含于待检测广告的广告删除。

本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例中的广告库重复性检测的主要方法流程图；

图2是本发明实施例中的广告库重复性检测的具体方法流程图；

图3是本发明实施例中的另一种广告库重复性检测的具体方法流程图；

图4是本发明实施例中的广告库重复性检测装置的主要结构示意图

图5是本发明实施例中的广告库重复性检测装置的具体结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明实施例，并不用于限定本发明实施例。

如图1所示为本发明优选实施例中的广告库重复性检测的主要方法流程，包括：

步骤S101：对待检测广告进行分镜头处理。

步骤S102：分别对分镜头处理后的每个镜头的关键帧提取图像特征。

步骤S103：根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

其中，广告库中存储有待检测广告是指广告库中存在这样的广告：与待检测广告完全相同，或者包含与待检测广告完全相同的片段。

本发明实施例中以镜头为单元提取广告视频的图像特征，以镜头为一个单元，可以保留镜头的运动特性和整体颜色分布特征，而一般的关键帧只有图像的空间特征，因此能够检测到镜头及镜头顺序都相同的广告，尤其可以避免将镜头相同但镜头顺序不同的广告判断为相同的广告。

下面通过两个典型实施例对本发明实施例中的广告库重复性检测方法进行详细说明。

如图2所示为本发明实施例中广告库重复性检测方法的详细实施例，具体地，包括以下步骤：

步骤S201：预先建立特征库。

特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

首先将广告库中的广告进行分镜头处理，然后提取每个镜头的关键帧，对关键帧提取图像特征作为该镜头的图像特征。常用的关键帧提取方法有对视频隔帧采样、基于帧间差提取关键帧。提取的特征可以是图像的颜色、边缘、纹理、特征点、指纹等。

在本实施例中，优选的，以镜头单元的短时信息表达图像(TemporallyInformative Representative Image，TIRI)作为每个镜头的关键帧，并提取关键帧的指纹，将此指纹作为关键帧的图像特征，以此来建立特征库。

优选的，由于广告数据较大，因此还可以对特征库建立索引表。索引是指能够从整体内容中直接查找到某个部分的目录。在建立索引时，考虑到图像特征多为高维向量，首先对图像特征向量进行量化，产生低维的数据(通常为一个整数)，量化的方法有哈希算法以及数字指纹的方法等；量化后的数值即为索引值。将图像特征按照索引值排列(即具有相同索引值的图像特征排为一行或一列)，这样就形成了索引表。此外，存储图像特征时将其与对应的镜头ID以及广告ID关联保存，因此，可以从特征库中获知：存储的图像特征是哪个广告的第几个镜头的图像特征。例如，存储图像特征时采用以下结构：

$\mathrm{seg}=\left\{\begin{array}{c}\mathrm{video}\_\mathrm{id}\\ \mathrm{shot}\_\mathrm{id}\\ \mathrm{fingerpr\; int}\end{array}\right\},$

其中video_id为广告编号，shot_id为镜头编号(镜头在广告中的顺序编号)，fingerprint为图像特征。

步骤S202：对待检测广告进行分镜头处理。

对待检测广告进行镜头检测，作分镜头处理。镜头是一组帧序列，同一个镜头中的图像帧比较接近，特征基本不变。若相邻帧之间发生较剧烈的特征变化，就认为发生了镜头切换。目前镜头检测方法主要有基于直方图、模板匹配、基于统计的方法等。待检测广告由一个或多个镜头组成，将待检测广告分为以镜头为单元的视频片段，并且根据它们在待检测广告中的顺序为它们加上标号，例如依次为1，2，3...n。因此，待检测广告用镜头序列[S1，S2，...Sn]来表示。以镜头为单元，可以保留镜头的运动特性和整体颜色分布特征，具有空间特征和时间特征，而一般的关键帧只有图像的空间特征。

步骤S203：确定每个镜头的关键帧。

在本实施例中，分别将每个镜头的TIRI作为每个镜头的关键帧。TIRI的优点是包含了视频的时间和空间特点，通过计算镜头内的图像的加权平均值，得到一幅融合的图像，它不仅能反映了镜头的颜色分布信息，还反映了镜头的运动特性。

令l_m，n，k为第k帧图像在(m，n)位置的像素灰度值，TIRI图像的像素值可以由以下公式表达：

$l_{m,n}^{\′}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{w}_k{l}_{m,n,k}$

其中，N为一个镜头包括的图像帧数，ω_k为加权函数。可以采用不同的加权方法来获得TIRI图像，如常数加权、线性加权和指数加权等。在本实施例中选择指数加权函数ω_k＝γ^k，γ＝1.1。

步骤S204：分别对每个镜头的关键帧提取图像特征。

在本实施例中，对镜头的TIRI图像提取图像指纹作为镜头的图像特征。

首先，将TIRI图像分成M*N块，每一块的大小为2w*2w(w为设置的窗口大小)，计算每一块的水平方向和垂直方向的DCT系数。

水平方向DCT系数为：β_i，j＝l^TB_i，jv；

垂直方向DCT系数为：a_i，j＝v^TB_i，jl；

其中l为单元向量，B_i，j为图像块，v为余弦向量：

v＝[cos(0.5π/2w)，cos(1.5π/2w)，...cos(π-0.5π/2w)]^T

其次，将以上得到的M*N*2个系数按顺序组成一个向量f，对f进行量化。量化方法有很多种，例如可以是取向量的平均值或中值。本实施例中取向量的平均值a，将f的每一维与a比较，得到一个由0，1组成的二值向量f′，即为图像的指纹特征：

$h_k=\left\{\begin{array}{cc}0& f_k<a\\ 1& f_k>=a\end{array}\right..$

步骤S205：在预设的特征库中分别查找提取的每个图像特征所匹配的图像特征。

可以通过计算相似度的方法在特征库中查找匹配的图像特征。

如步骤201中所述，优选的，特征库中的图像特征以索引表的形式存储。因此，相应的，在本步骤中，首先将待检测广告的图像特征编码为一个整数作为索引值(应保证与特征库的索引表采用同样的编码方法)，然后在索引表中查找该索引值对应的图像特征，与每个查找到的具有相同索引值的图像特征进行相似计算，并将最相似的索引项作为匹配结果。

由于指纹特征是由一系列0和1组成，因此可采用汉明距离来计算相似度。假设指纹特征的向量的长度为N，两个向量相同位置上的值相同的个数M，则两个向量的相似度比值

。当s大于预设阈值T时，认为两个指纹特征匹配，本实施例中T取0.9。

步骤S206：判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征，若是，执行步骤S207，若否，执行步骤S210。

步骤S207：判断匹配的图像特征是否属于同一广告，若是，执行步骤S208，若否，执行步骤S210。

从特征库中查找到的图像特征为：

$\mathrm{seg}=\left\{\begin{array}{c}\mathrm{video}\_\mathrm{id}\\ \mathrm{shot}\_\mathrm{id}\\ \mathrm{fingerpr\; int}\end{array}\right\}$

通过读取其中的video_id获取该图像特征所属的广告编号，同一广告的图像特征具有相同的广告编号。

步骤S208：判断匹配的图像特征对应的镜头的顺序是否与待检测广告的镜头顺序一致，若是，执行步骤S209，若否，执行步骤S210。

根据图像特征 $\mathrm{seg}=\left\{\begin{array}{c}\mathrm{video}\_\mathrm{id}\\ \mathrm{shot}\_\mathrm{id}\\ \mathrm{fingerpr\; int}\end{array}\right\}$ 中的shot_id可以确定每个图像特征所对应的镜头编号。可以将匹配的图像特征按照其匹配的待检测广告的图像特征的顺序排列，若排列后的图像特征的镜头编号为连续递增时，则表示连续匹配的图像特征所对应的镜头顺序与待检测广告的镜头顺序一致。

例如，当待检测广告分为3个镜头时，若排列后的图像特征对应的镜头编号为shot_3、shot_4、shot_5，则与待检测广告的镜头顺序一致，即待检测广告与该广告中的shot_3、shot_4、shot_5组成的片段完全一致；若排列后的图像特征对应的镜头编号为shot_3、shot_4、shot_6，则与待检测广告的镜头顺序不一致(比待检测广告的后两个镜头之间多出一个镜头)；若排列后的图像特征对应的镜头编号为shot_3、shot_5、shot_4，则与待检测广告的镜头顺序不一致(后两个镜头的先后顺序不一样)。

步骤S209：确认广告库中已存储有待检测广告。

步骤S210：确认广告库中未存储有待检测广告。

通过本发明实施例，可以检测出广告库中是否存在与待检测广告完全相同的广告，或者是否存在包含与待检测广告完全相同的片段的广告。

优选的，还可以根据上述确认结果执行以下步骤：

当确认广告库中未存储有待检测广告时，将待检测广告存储至广告库中。

在本发明的另一个实施例中，还考虑到以下情况：当广告库中未存储有待检测广告，但待检测广告中包含广告库中的广告。如图3所示，该实施例包括以下步骤：

步骤S301：预先建立特征库。

步骤S302：对待检测广告进行分镜头处理。

步骤S303：确定每个镜头的关键帧。

步骤S304：分别对每个镜头的关键帧提取图像特征。

步骤S305：在预设的特征库中分别查找提取的每个图像特征所匹配的图像特征。

步骤S306：判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征，若是，执行步骤S307，若否，执行步骤S309。

步骤S307：判断匹配的图像特征是否属于同一广告，若是，执行步骤S308，若否，执行步骤S309。

步骤S308：判断匹配的图像特征对应的镜头的顺序是否与待检测广告的镜头顺序一致，若是，执行步骤S313，若否，执行步骤S314。

匹配的图像特征的排列顺序是与待检测广告的镜头顺序一致的(按照匹配关系对应)。获取匹配的图像特征对应的镜头的顺序，判断匹配的图像特征对应的镜头的顺序是否与待检测广告的镜头顺序一致。

步骤S309：将匹配的图像特征按所属广告划分。

步骤S310：判断划分后的图像特征是否是其所属广告的全部图像特征，若是，执行步骤S311，若否，执行步骤S314。

步骤S311：判断划分后的图像特征所对应的镜头的顺序是否连续递增，若是，执行步骤S312，若否，执行步骤S314。

步骤S312：将待检测广告存储至广告库，并将广告库中的广告A删除。

步骤S313：不将待检测广告存储至广告库。

步骤S314：将待检测广告存储至广告库。

本实施例能够将待检测广告存储至广告库的同时，将广告库中包含于待检测广告的广告删除，避免广告库中存在重复的广告。

如图4示为本发明实施例中的广告库重复性检测装置，包括：

分镜头处理模块401，用于对待检测广告进行分镜头处理；

提取图像特征模块402，用于分别对分镜头处理后的每个镜头的关键帧提取图像特征；

判断模块403，用于根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

优选的，判断模块403包括：

查找单元，用于在预设的特征库中查找与提取的图像特征匹配的图像特征；

第一判断单元，用于判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征；

第二判断单元，用于当对于待检测视频的每个图像特征均查找到对应的匹配的图像特征时，判断匹配的图像特征是否属于同一广告以及匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序是否一致；

确认单元，用于当匹配的图像特征属于同一广告并且匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序一致时，确认广告库中已存储有待检测广告。

优选的，查找单元用于：

将提取的图像特征编码生成索引值；

在特征库中查找具有所述索引值的图像特征；

计算查找到的图像特征与提取的图像特征之间的相似度；

将查找到的与提取的图像特征之间的相似度大于预设阈值的图像特征，作为与提取的图像特征匹配的图像特征。

优选的，如图5所示，所述装置还包括：

存储模块404，用于当广告库中未存储有待检测广告时，将待检测广告存储至广告库。

优选的，如图5所示，所述装置还包括：

删除模块405，用于当广告库中未存储有待检测广告，而待检测广告中包含广告库中的广告时，将广告库中包含于待检测广告的广告删除。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种广告库重复性检测方法，其特征在于，包括以下步骤：

对待检测广告进行分镜头处理；

分别对分镜头处理后的每个镜头的关键帧提取图像特征；

根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

2.根据权利要求1所述的方法，其特征在于，根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告的步骤包括：

在预设的特征库中查找与提取的图像特征匹配的图像特征；

判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征；

当对于待检测视频的每个图像特征均查找到对应的匹配的图像特征时，判断匹配的图像特征是否属于同一广告，以及匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序是否一致；

当匹配的图像特征属于同一广告并且匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序一致时，确认广告库中已存储有待检测广告。

3.根据权利要求2所述的方法，其特征在于，在预设的特征库中查找与提取的图像特征匹配的图像特征的步骤包括：

将提取的图像特征编码生成索引值；

在特征库中查找具有所述索引值的图像特征；

计算查找到的图像特征与提取的图像特征之间的相似度；

将查找到的与提取的图像特征之间的相似度大于预设阈值的图像特征，作为与提取的图像特征匹配的图像特征。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当广告库中未存储有待检测广告时，将待检测广告存储至广告库。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当广告库中未存储有待检测广告，而待检测广告中包含广告库中的广告时，将广告库中包含于待检测广告的广告删除。

6.一种广告库重复性检测装置，其特征在于，包括：

分镜头处理模块，用于对待检测广告进行分镜头处理；

提取图像特征模块，用于分别对分镜头处理后的每个镜头的关键帧提取图像特征；

判断模块，用于根据提取的图像特征以及预设的特征库，判断广告库中是否已存储有待检测广告；其中，特征库中存储有广告库中每个广告的每个镜头的关键帧的图像特征。

7.根据权利要求6所述的装置，其特征在于，所述判断模块包括：

查找单元，用于在预设的特征库中查找与提取的图像特征匹配的图像特征；

第一判断单元，用于判断对于待检测视频的每个图像特征是否均查找到匹配的图像特征；

第二判断单元，用于当对于待检测视频的每个图像特征均查找到对应的匹配的图像特征时，判断匹配的图像特征是否属于同一广告以及匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序是否一致；

确认单元，用于当匹配的图像特征属于同一广告并且匹配的图像特征对应的镜头的顺序与待检测广告的镜头的顺序一致时，确认广告库中已存储有待检测广告。

8.根据权利要求7所述的装置，其特征在于，所述查找单元用于：

将提取的图像特征编码生成索引值；

在特征库中查找具有所述索引值的图像特征；

计算查找到的图像特征与提取的图像特征之间的相似度；

将查找到的与提取的图像特征之间的相似度大于预设阈值的图像特征，作为与提取的图像特征匹配的图像特征。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

存储模块，用于当广告库中未存储有待检测广告时，将待检测广告存储至广告库。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

删除模块，用于当广告库中未存储有待检测广告，而待检测广告中包含广告库中的广告时，将广告库中包含于待检测广告的广告删除。

Images