CN104967922A - 一种确定字幕添加位置的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种确定字幕添加位置的方法及装置，该方法包括：确定字幕覆盖像素的集合；在画面中选取字幕添加候选区域；依据字幕覆盖像素的集合将字幕添加候选区域划分成至少两个字幕添加区域，各个字幕添加区域之间逐像素迭代；分别计算各个字幕添加区域的像素能量值；依据像素能量值，选取字幕添加区域添加字幕。通过实施例提供了方法及装置，依据字幕覆盖像素的集合将字幕添加候选区域划分成至少两个字幕添加区域，分别计算各个字幕添加区域像素能量值；找到视频画面中视觉相对次要的区域，并在此添加字幕，有效地减少添加字幕对关键内容的遮挡。

Description

一种确定字幕添加位置的方法及装置

技术领域

本发明涉及视频技术领域，特别是涉及一种确定字幕添加位置的方法及装置。

背景技术

字幕(subtitles of motion picture)是以文字形式显示视频对话内容，也是视频后期加工的文字，如演职员表、注释。

在中国，不同地区语言的发音差别很大，不能听懂普通话的人很多。但是文字写法的差异并不大，人们大都能理解文字。所以，对应普通话(或方言)的字幕被附加在视频中。另外，在外语视频中添加字幕，可以使听不懂外语的观众也能欣赏外语原声的外语视频。

用户观看视频时，往往会被画面中最重要、最具代表性、最易引起注意的区域吸引，这部分区域通常称为图像视觉显著性区域。传统方法将字幕固定添加在画面的底部中央，但是由于视频内容的丰富多样，字幕可能会遮挡住图像视觉显著性区域。而且由于画面之间通常具有连贯性，而且这种遮挡往往会是持续性的，影响观赏体验。

因此，本领域技术人员亟待解决的技术问题是：如何防止字幕遮挡住图像视觉显著性区域。

发明内容

本发明实施例提供了一种确定字幕添加位置的方法及装置，以解决字幕会遮挡住图像视觉显著性区域的技术问题。

为了解决上述问题，本发明实施例公开了一种确定字幕添加位置的方法，包括：

确定字幕覆盖像素的集合；

在画面中选取字幕添加候选区域；

依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代；

分别计算各个所述字幕添加区域的像素能量值；

依据所述像素能量值，选取所述字幕添加区域添加所述字幕。

优选地，所述确定字幕覆盖像素的集合，包括：

光栅化所述字幕，生成所述字幕的掩码图，所述掩码图中包括：空白像素和字幕颜色填充像素；

统计所述空白像素和所述字幕颜色填充像素的集合为所述字幕覆盖像素的集合。

优选地，所述分别计算各个所述字幕添加区域的像素能量值，包括：

计算所述字幕覆盖的各帧画面的所述字幕添加区域内各个像素的能量值的集合作为所述字幕添加区域的能量值；

其中，一帧画面的所述字幕添加区域中的一个像素I(x,y)的能量值为E(I(x,y))；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

优选地，所述依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代，包括：

依据所述字幕覆盖像素的集合，按照从左到右，从上到下的顺序将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代。

优选地，所述在画面中选取字幕添加候选区域包括：

在所述画面的顶部和/或底部划分所述字幕添加候选区域，所述字幕添加候选区域与所述画面的高度比例为预设值。

本发明实施例还提供了一种确定字幕添加位置的装置，包括：

像素集合确定模块，用于确定字幕覆盖像素的集合；

候选区域选取模块，用于在画面中选取字幕添加候选区域；

区域划分模块，用于依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代；

像素能量值计算模块，用于分别计算各个所述字幕添加区域的像素能量值；

字幕添加模块，用于依据所述像素能量值，选取所述字幕添加区域添加所述字幕。

优选地，所述像素集合确定模块包括：

掩码图生成单元，用于光栅化所述字幕，生成所述字幕的掩码图，所述掩码图中包括：空白像素和字幕颜色填充像素；

像素集合统计单元，用于统计所述空白像素和所述字幕颜色填充像素的集合为所述字幕覆盖像素的集合。

优选地，所述像素能量值计算模块具体用于，计算所述字幕覆盖的各帧所述画面的所述字幕添加区域内各个像素的能量值的集合作为所述字幕添加区域的能量值；

其中，一帧画面的所述字幕添加区域中的一个像素I(x,y)的能量值为E(I(x,y))；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

优选地，所述区域划分模块具体用于，依据所述字幕覆盖像素的集合，按照从左到右，从上到下的顺序将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代。

优选地，所述候选区域选取模块具体用于，在所述画面的顶部和/或底部划分所述字幕添加候选区域，所述字幕添加候选区域与所述画面的高度比例为预设值。

与现有技术相比，本发明实施例包括以下优点：

依据字幕覆盖像素的集合将字幕添加候选区域划分成至少两个字幕添加区域，分别计算各个字幕添加区域像素能量值；依据各个字幕添加区域像素能量值，找到视频画面中视觉相对次要的区域，并在此添加字幕，有效地减少添加字幕对关键内容的遮挡。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种确定字幕添加位置的方法的流程示意图；

图2为本发明实施例提供的字幕添加候选区域示意图；

图3为本发明实施例提供的划分字幕添加区域示意图；

图4a为现有技术中的字幕效果示意图；

图4b为本发明实施例提供的字幕效果示意图；

图5为本发明实施例提供的一种确定字幕覆盖像素的集合的方法的流程示意图；

图6为本发明实施例提供的字幕的掩码图；

图7为本发明实施例提供的一种确定字幕添加位置的装置的结构示意图；

图8为本发明实施例提供的像素集合确定模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供了一种确定字幕添加位置的方法，如图1所示，可以包括以下步骤：

步骤S101，确定字幕覆盖像素的集合。

在本步骤中，字幕具有特定的颜色，与画面颜色具有一定反差度，从而用户可以看清楚字幕，一般字幕颜色为白色。由于视频的画面具有连续性，字幕可以持续显示一定时间，因此字幕具有时间轴，该时间轴内播放的各帧画面都对应同一字幕。由于字幕颜色和字符数量固定，因此一条字幕在时间轴内各帧画面中的字幕覆盖像素数量是固定值。该固定值可以称为字幕覆盖像素的集合，即一条字幕在一帧画面中字幕覆盖像素的数量。

步骤S102，在画面中选取字幕添加候选区域。

在本步骤中，画面的中心位置往往是视觉效果显著区域，为了防止字幕遮挡视觉效果显著区域，一般选取画面的边缘区域作为字幕添加候选区域。可以在画面的顶部和/或底部划分字幕添加候选区域，字幕添加候选区域与画面的高度比例为预设值。如图2所示，该画面中划分了两个字幕添加候选区域，分别位于画面的顶部和底部，两个字幕添加候选区域面积等大，画面中心区域与画面高度的比值为0.618，则每个字幕添加候选区域与画面的高度比例为0.191。

步骤S103，依据字幕覆盖像素的集合将字幕添加候选区域划分成至少两个字幕添加区域，各个字幕添加区域之间逐像素迭代。

在本步骤中，字幕添加区域可以容纳字幕覆盖像素的集合。依据字幕覆盖像素的集合，按照从左到右，从上到下的顺序将字幕添加候选区域划分成至少两个字幕添加区域，各个字幕添加区域之间逐像素迭代。图3为本发明实施例一提供的划分字幕添加区域示意图，1为划分字幕添加区域的起始位置，6为划分字幕添加区域的结束位置，6的位置不固定在右下角，可以按照1-2-3-4-5-6的顺序划分各个字幕添加区域。划分字幕添加区域的起始位置和结束位置并不限定于左上角和右下角。每次划分减去不再覆盖的像素，并加入新覆盖像素，从而实现各个字幕添加区域之间逐像素迭代。

步骤S104，分别计算各个字幕添加区域的像素能量值。

在本步骤中，由于画面具有连贯性，可以计算字幕覆盖的各帧画面的字幕添加区域内各个像素的能量值的集合作为字幕添加区域的能量值∑_RE(I(x,y))。

其中，_R为字幕覆盖像素的集合，E(I(x,y))为一帧画面的字幕添加区域中的一个像素I(x,y)的能量值；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

步骤S105，依据像素能量值，选取字幕添加区域添加字幕。

在本步骤中，像素能量值越高，视觉显著性越高，反之，像素能量值越低，视觉显著性越低，因此，像素能量值最小的字幕添加区域一般是整个画面中视觉效果最不显著的区域，在像素能量值较低的字幕添加区域内添加字幕，可以防止字幕遮挡视觉效果显著区域。图4a为现有技术中的字幕效果示意图，图4b为本发明实施例一提供的字幕效果示意图，在图4a中可以看出字幕遮挡了部分动画人物，而图4b中动画人物显示完整。

通过本发明实施例一提供的一种确定字幕添加位置的方法，可以综合考虑了视频内容的重要性和视频画面之间的连贯性，找到视频画面中视觉相对次要的区域，并在此添加字幕，有效地减少添加字幕对关键内容的遮挡。

实施例二

本发明实施例二提供了一种确定字幕覆盖像素的集合的方法，如图5所示，可以将本发明实施例一中的步骤S101，确定字幕覆盖像素的集合优化为以下步骤：

步骤S1011，光栅化字幕，生成字幕的掩码图，字幕的掩码图中包括：空白像素和字幕颜色填充像素。

在本步骤中，字幕由至少一个字符组成，字幕“中”生成的字幕的掩码图，如图6所示，在图6中，标记为0的像素为空白像素，标记为1的像素为字幕颜色填充像素。

步骤S1012，统计空白像素和字幕颜色填充像素的集合作为字幕覆盖像素的集合。

在本步骤中，字幕颜色填充像素的集合像素集合为R_mask，空白像素和字幕颜色填充像素的集合为R_sub，则_R可以为R_sub或R_mask。

通过本发明实施例二提供的确定字幕添加位置的方法，光栅化字幕，生成字幕的掩码图，从而依据字幕的掩码图准确确定字幕覆盖像素的集合。

实施例三

本发明实施例三提供了一种确定字幕添加位置的装置，可以执行本发明实施例一提供的确定字幕添加位置的方法，如图7所示，该装置包括以下模块:像素集合确定模块71、候选区域选取模块72、区域划分模块73、像素能量值计算模块74和字幕添加模块75。

像素集合确定模块71，用于确定字幕覆盖像素的集合；候选区域选取模块72，用于在画面中选取字幕添加候选区域；区域划分模块73，用于依据字幕覆盖像素的集合将字幕添加候选区域划分成至少两个字幕添加区域，各个字幕添加区域之间逐像素迭代；像素能量值计算模块74，用于分别计算各个字幕添加区域的像素能量值；字幕添加模块75，用于依据像素能量值，选取字幕添加区域添加字幕。

在像素集合确定模块71中，字幕具有特定的颜色，与画面颜色具有一定反差度，从而用户可以看清楚字幕，一般字幕颜色为白色。由于视频的画面具有连续性，字幕可以持续显示一定时间，因此字幕具有时间轴，该时间轴内播放的各帧画面都对应同一字幕。由于字幕颜色和字符数量固定，因此一条字幕在时间轴内各帧画面中的字幕覆盖像素数量是固定值。该固定值可以称为字幕覆盖像素的集合，即一条字幕在一帧画面中字幕覆盖像素的数量。

在候选区域选取模块72中，画面的中心位置往往是视觉效果显著区域，为了防止字幕遮挡视觉效果显著区域，一般选取画面的边缘区域作为字幕添加候选区域。可以在画面的顶部和/或底部划分字幕添加候选区域，字幕添加候选区域与画面的高度比例为预设值。

在区域划分模块73中，字幕添加区域可以容纳字幕覆盖像素的集合。依据字幕覆盖像素的集合，按照从左到右，从上到下的顺序将字幕添加候选区域划分成至少两个字幕添加区域，各个字幕添加区域之间逐像素迭代。

在像素能量值计算模块74中，由于画面具有连贯性，可以计算字幕覆盖的各帧画面的字幕添加区域内各个像素的能量值的集合作为字幕添加区域的能量值∑_RE(I(x,y))。

其中，_R为字幕覆盖像素的集合，E(I(x,y))为一帧画面的字幕添加区域中的一个像素I(x,y)的能量值；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

在字幕添加模块75中，像素能量值越高，视觉显著性越高，反之，像素能量值越低，视觉显著性越低，因此，像素能量值最小的字幕添加区域一般是整个画面中视觉效果最不显著的区域，在像素能量值较低的字幕添加区域内添加字幕，可以防止字幕遮挡视觉效果显著区域。

通过本发明实施例三提供的一种确定字幕添加位置的装置，可以综合考虑了视频内容的重要性和视频画面之间的连贯性，找到视频画面中视觉相对次要的区域，并在此添加字幕，有效地减少添加字幕对关键内容的遮挡。

上述像素集合确定模块71可以包括：掩码图生成单元711和像素集合统计单元712，如图8所示。

掩码图生成单元711，用于光栅化字幕，生成字幕的掩码图，字幕的掩码图中包括：空白像素和字幕颜色填充像素；像素集合统计单元712，用于统计空白像素和字幕颜色填充像素的集合作为字幕覆盖像素的集合。

在掩码图生成单元711中，字幕由至少一个字符组成，字幕“中”生成的字幕的掩码图如图6所示，在图6中，标记为0的像素为空白像素，标记为1的像素为字幕颜色填充像素。

在像素集合统计单元712中，字幕颜色填充像素的集合像素集合为R_mask，空白像素和字幕颜色填充像素的集合为R_sub，则_R可以为R_sub或R_mask。

通过本发明实施例提供的像素集合确定模块，光栅化字幕，生成字幕的掩码图，从而依据字幕的掩码图准确确定字幕覆盖像素的集合。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本发明所提供的一种确定字幕添加位置的方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种确定字幕添加位置的方法，其特征在于，包括：

确定字幕覆盖像素的集合；

在画面中选取字幕添加候选区域；

依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代；

分别计算各个所述字幕添加区域的像素能量值；

依据所述像素能量值，选取所述字幕添加区域添加所述字幕。

2.根据权利要求1所述的方法，其特征在于，所述确定字幕覆盖像素的集合，包括：

光栅化所述字幕，生成所述字幕的掩码图，所述掩码图中包括：空白像素和字幕颜色填充像素；

统计所述空白像素和所述字幕颜色填充像素的集合为所述字幕覆盖像素的集合。

3.根据权利要求1所述的方法，其特征在于，所述分别计算各个所述字幕添加区域的像素能量值，包括：

计算所述字幕覆盖的各帧画面的所述字幕添加区域内各个像素的能量值的集合作为所述字幕添加区域的能量值；

其中，一帧画面的所述字幕添加区域中的一个像素I(x,y)的能量值为E(I(x,y))；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

4.根据权利要求1所述的方法，其特征在于，所述依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代，包括：

依据所述字幕覆盖像素的集合，按照从左到右，从上到下的顺序将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代。

5.根据权利要求1所述的方法，其特征在于，所述在画面中选取字幕添加候选区域包括：

在所述画面的顶部和/或底部划分所述字幕添加候选区域，所述字幕添加候选区域与所述画面的高度比例为预设值。

6.一种确定字幕添加位置的装置，其特征在于，包括：

像素集合确定模块，用于确定字幕覆盖像素的集合；

候选区域选取模块，用于在画面中选取字幕添加候选区域；

区域划分模块，用于依据所述字幕覆盖像素的集合将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代；

像素能量值计算模块，用于分别计算各个所述字幕添加区域的像素能量值；

字幕添加模块，用于依据所述像素能量值，选取所述字幕添加区域添加所述字幕。

7.根据权利要求6所述的装置，其特征在于，所述像素集合确定模块包括：

掩码图生成单元，用于光栅化所述字幕，生成所述字幕的掩码图，所述掩码图中包括：空白像素和字幕颜色填充像素；

像素集合统计单元，用于统计所述空白像素和所述字幕颜色填充像素的集合为所述字幕覆盖像素的集合。

8.根据权利要求6所述的装置，其特征在于，所述像素能量值计算模块具体用于，计算所述字幕覆盖的各帧所述画面的所述字幕添加区域内各个像素的能量值的集合作为所述字幕添加区域的能量值；

其中，一帧画面的所述字幕添加区域中的一个像素I(x,y)的能量值为E(I(x,y))；

$E\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|$

其中，为像素I(x,y)在水平方向的差分，为像素I(x,y)在垂直方向的差分，x为像素I(x,y)水平方向的坐标分量，y为像素I(x,y)垂直方向的坐标分量。

9.根据权利要求6所述的装置，其特征在于，所述区域划分模块具体用于，依据所述字幕覆盖像素的集合，按照从左到右，从上到下的顺序将所述字幕添加候选区域划分成至少两个字幕添加区域，各个所述字幕添加区域之间逐像素迭代。

10.根据权利要求6所述的装置，其特征在于，所述候选区域选取模块具体用于，在所述画面的顶部和/或底部划分所述字幕添加候选区域，所述字幕添加候选区域与所述画面的高度比例为预设值。