CN101379828B - 自适应画面组(gop)结构选择的方法和装置 - Google Patents

自适应画面组(gop)结构选择的方法和装置 Download PDF

Info

Publication number
CN101379828B
CN101379828B CN2007800043664A CN200780004366A CN101379828B CN 101379828 B CN101379828 B CN 101379828B CN 2007800043664 A CN2007800043664 A CN 2007800043664A CN 200780004366 A CN200780004366 A CN 200780004366A CN 101379828 B CN101379828 B CN 101379828B
Authority
CN
China
Prior art keywords
picture
group
type
video sequence
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800043664A
Other languages
English (en)
Other versions
CN101379828A (zh
Inventor
尹鹏
吉尔·麦克唐纳·布瓦斯
亚力山德罗斯·迈克尔·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101379828A publication Critical patent/CN101379828A/zh
Application granted granted Critical
Publication of CN101379828B publication Critical patent/CN101379828B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

提出了一种用于自适应画面组结构选择的方法和装置。该装置包括编码器(100),用于通过针对视频序列的每一个画面组,执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组结构来对视频序列进行编码。该选择基于画面组长度。

Description

自适应画面组(GOP)结构选择的方法和装置
相关申请的交叉参考
本申请要求在2006年2月6日提交的美国临时申请No.60/765,552的利益,其全部公开一并在此作为参考。
技术领域
本发明总体上涉及视频编码,更具体地,涉及一种用于自适应画面组(GOP)结构选择的方法和装置。
背景技术
通常,在先前和当前视频编码标准和推荐标准中,画面组(GOP)结构仅涉及GOP长度(N)和画面类型(即,P画面间隔M)选择。例如,这种先前的视频编码标准和推荐标准包括:国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-1(MPEG-1)标准、ISO/IECMPEG-2标准以及国际电信联盟电信分部(ITU-T)H.263推荐标准。新的视频压缩标准/推荐标准,ISO/IEC MPEG-4Part 10AdvancedVideo Coding(AVC)标准/ITU-T H.264推荐标准(以下称为“MPEG-4AVC标准”),提出了几种新的工具来改进编码效率。
类似于先前的视频编码标准和推荐标准,该MPEG-4AVC标准使用/支持三种不同的画面(图像片段)类型(I、P和B画面(图像片段))。此外,MPEG-4AVC标准包括新的工具/特征来改进编码效率。
例如,MPEG-4AVC标准将参考画面的次序与显示次序去耦合。在现有技术的视频编码标准和推荐标准中,在出于运动补偿目的的画面的排序和出于显示目的的画面的排序之间存在着严格的相关性。在MPEG-4AVC标准中,极大程度地去除了这些限制,使编码器能够更灵活地选择参考次序和显示次序。
此外,MPEG-4AVC标准将画面表述方法与画面参考能力去耦合。在现有技术的视频编码标准和推荐标准中,B画面不能用作用于视频序列中其它画面的预测的参考。在MPEG-4AVC标准中,没有这样的限制。可以使用任意类型的画面作为参考画面或非参考画面。
此外,该MPEG-4AVC标准允许运动补偿的多参考画面。利用这些新的特征,当选择GOP结构时,不仅需要考虑GOP长度和画面类型选择,还需要考虑画面的编码次序和参考画面选择。
大多数与GOP结构相关的之前的工作关注于GOP长度和画面类型选择。通常,由应用固定GOP长度。当允许动态的GOP长度时,场景变化之后的第一画面被编码为I画面,并且下一个GOP合并在当前GOP中。
在第一现有技术方案中,公开了一种方法,其中通过考虑时域分割来适配GOP结构。也就是,根据输入视频的时域变化来调整画面类型。
在第二现有技术方案中,公开通过利用拉格朗日乘法方法求解最小化问题,可以从可能的候选中选择GOP中的最优画面类型。
在第三现有技术方案中,公开了一种系统,其中将宏块动作信息来判断画面类型。
如上所述,大多数与GOP结构相关的现有技术仅关注GOP长度和画面类型选择。然而,仅考虑GOP长度和画面类型不利地限制了MPEG-4AVC标准的灵活性。
发明内容
本发明解决了现有技术的这些和其他缺陷和缺点,其针对一种自适应画面组(GOP)结构选择的方法和装置。
根据本发明的一个方面,提出了一种装置。该装置包括编码器,用于通过针对视频序列的每一个画面组执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组结构对视频序列进行编码。该选择基于画面组长度。
根据本发明的另一方面,提出了一种视频编码方法。该方法包括:通过针对视频序列的每一个画面组执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组结构对视频序列进行编码。该选择基于画面组的长度。
结合附图阅读下面的示例性实施例的详细描述,本发明的原理的这些和其它方面、特点和优点将变得显而易见。
附图说明
根据下面示例性的附图,可以更好地理解本发明,其中:
图1示出了根据本发明实施例可以应用本发明的示例视频编码器的方框图;
图2示出了根据本发明实施例的自适应画面组(GOP)结构选择的示例方法的流程图;
图3示出了根据本发明实施例的用于执行画面组(GOP)长度判断的示例方法的流程图;
图4示出了根据本发明实施例的用于确定画面编码次序的示例方法的流程图;
图5示出了根据本发明实施例的用于选择画面类型的示例方法的流程图。
具体实施方式
本发明针对自适应画面组(GOP)结构选择的方法和装置。
本说明书描述了本发明的原理。可以理解,尽管这里没有明确描述或示出,然而本领域的技术人员能够设想出体现本发明的原理并且包括在本发明的精神和范围内的各种设置。
因此,这里所引述的所有示例和条件性语言均为了教导的目的,以帮助读者理解本发明的原理以及发明人对现有技术做出贡献的概念,应被看作不会被限制为具体引述的示例和条件。
此外,这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外,该等同物将包括当前已知的等同物以及将来开发出的等同物,即所开发出来的执行相同功能的任何组件,而与结构无关。
因此,本领域的技术人员可以理解,例如这里所表示的框图展示出体现本发明原理的示意性电路的概念图。类似地,可以理解,任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程,无论是否明确示出该计算机或处理器。
可以通过使用专用硬件和能够与适合的软件一同执行软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时,这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供,其中一些可以是共享的。此外,术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件,而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或专用的其它硬件。类似地,图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地而实现,实施者可以选择的具体技术可以从上下文中得到明确的理解。
在权利要求书中,表示为用于执行特定功能的装置的任何组件意在包括执行该功能的任何方式,例如包括:a)执行该功能的电路组件的组合,或b)任意形式的软件,包括固件、微代码等,以及用于执行该软件以执行该功能的适合的电路。由权利要求所限定的本发明在于如下事实:将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此,可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
在说明书中涉及本发明原理的“一个实施例”或“实施例”是指:结合实施例描述的特定特征、结构、特性等包括在本发明原理的至少一个实施例中。因此,贯穿说明书的不同地方出现的术语“在一个实施例中”或“在实施例中”不必均指相同的实施例。
转向图1,通常由参考数字100表示应用了本发明的示例性视频编码器。
求和结点110的非反相输入和运动估计器180的第一输入可以用作视频解码器100的输入。求和结点100的输出与变换器115的输入通过信号通信连接。变换器115的输出与量化器120的输入通过信号通信连接。量化器120的输出与可变长度编码器(VLC)140的输入通过信号通信连接。VLC 140的输出可以用作编码器100的输出。
量化器120的输出还通过信号通信与逆量化器150的输入连接。逆量化器150的输出通过信号通信与逆变换器的输入连接。在信号通信中,逆变换器的输出与参考画面存储器170的输入连接。参考画面存储器170的第一输出通过信号通信与运动估计器180的第二输入连接。运动估计器180的输出通过信号通信与运动补偿器190的第一输入连接。参考画面存储器170的第二输出通过信号通信与运动补偿器190的第二输入连接。运动补偿器190的输出通过信号通信与求和结点110的反相输入连接。
有利地,提供了一种用于画面组(GOP)结构选择的方法和装置,在实施例中,用于GOP结构选择的方法和装置可以包括在判断过程中分析GOP长度、画面编码次序、画面类型选择和画面参考判断。即,该方法和装置可以联合地考虑GOP结构选择的GOP长度、画面编码次序、画面类型选择和参考画面选择。
尽管描述了联合考虑GOP长度、画面编码次序、画面类型选择和参考画面判断的、具有自适应GOP结构的MPEG-4AVC标准编码方案,可以设想,本发明并不局限于前述考虑,也不局限于MPEG-4AVC标准。即,根据这里提供的本发明的示教,在保持本发明的范围的同时,本领域的普通技术人员能够设想可以应用本发明的这些或各种其他考虑以及视频编码标准/推荐标准。
在一个实施例中,首先执行镜头检测(shot detection)。然后,基于时域分割来判断GOP长度。然后,在每一个GOP中,判断结合了画面类型和参考画面选择的画面编码次序。
转向图2,通常,通过参考数字200表示自适应画面组(GOP)结构判断的示例性方法。
方法200包括传递控制到功能块210的初始化块205。功能块210执行镜头检测,并传递控制到功能块215。该功能块215判断GOP长度N,并传递控制到功能块220。该功能块220确定画面编码次序,执行画面类型选择,并传递控制到功能块225。功能块225执行参考画面选择(例如,基于画面次序计数(POC)和/或相关性),并传递控制到功能块230。该功能块230编码GOP中的画面,并传递控制到判断块235。判断块235确定序列是否结束。如果是,则传递控制到结束块240。否则,返回控制到功能块210。
例如,现在,根据本发明的实施例来进一步描述由图2中方法200的功能块215执行的GOP长度的选择。
基于镜头检测来动态地选择GOP长度。不同于仅检测场景剪辑(scene cut)的现有方法,还检测诸如淡入和消失之类的慢过渡。通常,GOP长度N被固定为预定值。如果检测到场景剪辑,则长度为N的新GOP从场景剪辑后的第一画面重新开始,如果检测到慢过渡,则新GOP从过渡的起始点重新开始,并以过渡的结束点结束。
转向图3,通常,由参考数字300指示执行画面组(GOP)判断的示例性方法。方法300涉及图2中方法200的功能块215。
方法300包括传递控制到功能块310的初始化块305。功能块310执行镜头检测,并传递控制到功能块315。该功能块315确定是否检测到场景剪辑。如果是,则传递控制到功能块335。否则,传递控制到判断块320。
功能块335重新开始具有预定长度N的GOP,并传递控制到结束块330。
判断块320确定是否已经检测到慢过渡。如果是,则传递控制到功能块325。否则,传递控制到功能块340。
功能块325从过渡的起始点重新开始新GOP,并在过渡的结束点结束,并传递控制到结束块330。
功能块340将GOP长度设置为N,并传递控制到结束块330。
例如,现在,根据本发明的实施例来进一步描述由图2中方法200的功能块220执行的画面编码次序的确定。
基于内容的特征来判断每一个GOP中的画面编码次序。对于某些特定特征,像交叉变淡,淡入序列的反转编码(reverse coding)具有较高的编码效率。在两种情况下考虑从该点可以发生反转编码的切换点的检测。
在第一情况下,如果该序列是纯淡入,则将切换点设置成在满足延迟约束、解码的画面的缓存器(DPB)的大小以及淡入序列的结束画面的同时可以被反转的最大画面个数的最小值。由于将淡入编码为单个GOP,可以对GOP的开始处和GOP的结束处的画面反转地编码。
在第二情况下,如果序列是消失,则切换点的检测基于画面的简单绝对差。当然,可以设想还可以使用其他失真度量来检测切换点,同时保持本发明的范围。如下当前画面与开始画面和结束画面的失真:
distortion/start=∑|YFcur[x,y]-YFstart[x,y]|
distortion/end=∑|YFcur[x,y]-YFend[x,y]|
其中,Y表示画面的亮度值,x指定了图像的列索引,y指定了图像的行索引,YFcur表示当前帧的亮度值,YFstart表示起始帧的亮度值,以及YFend表示结束帧的亮度值。只要distortion/start>distortion/end就标记切换点。
大多开放情形中,应用延迟约束将反转编码限制在MPEG-4AVC标准所规定的解码器画面缓存器约束中。
转向图4,通常,由参考数字400指示用于确定画面编码次序的示例性方法。方法400涉及图2中方法200的功能块220。
方法400包括传送控制到功能块410的初始化块405。功能块410执行镜头检测,并传送控制到判断块415。判断块415确定是否已经检测到淡入和消失。如果是,则传送控制到功能块420。否则,传送控制到功能块425。
功能块420找到切换点,并传送控制到功能块425。
功能块425判断画面编码次序,并传送控制到结束块430。
例如,现在,根据本发明的实施例,进一步描述由图2中功能块220执行的画面类型选择的执行。
例如,按照表1所示确定的编码次序M=1,2,3,4选择画面类型。可以设想,本发明也可以应用到其它画面类型,包括但不局限于:等级B结构,同时保持本发明的范围。表1演示了画面类型和编码次序,其中“BS”表示存储的B画面,“B”表示可任意使用的B画面。将GOP中两个连续P画面之间的归一化距离用于判断M。将M选择为具有最小距离的值。可以使用多个距离度量,诸如图像的绝对差、直方图的差、差的直方图、差的块直方图、块的方差、运动补偿误差等等。即,本发明并不局限于使用任意特定距离度量,因此,根据本发明的示教,本领域和相关技术领域的普通技术人员可以很容易的设想任意距离度量,同时保持本发明的范围。在一个实施例中,使用差的直方图,即,由hod(i)表示的Yn-Ym的直方图,其中,i∈[-q+1,-q-1]。如下定义该距离度量:
D ( Y n , Y m ) = Σ i ∉ | - a , a | hod ( i ) Σ i = q + 1 i = q - 1 hod ( i )
其中,a是用于确定位置到零的贴近度(closeness)的阈值。
  M=1   I0 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 I12
  M=2   I0 P2 B1 P4 B3 P6 B5 P8 B7 P10 B9 I12 B11
  M=3   I0 P3 B1 B2 P6 B4 B5 P9 B7 B8 I12 B10 B11
  M=4   I0 P4 BS2 B1 B3 P8 BS6 B5 B7 I12 BS10 B9 B11
表1
转向图5,通常,由参考数字500指示选择画面类型的示例性方法。方法500涉及图2的方法200的功能块220。
方法500包括将变量min_dist初始化为0×FFFF的初始化块505,并传递控制到有限循环块510。有限循环块510开始一个循环(i=1∶4),对于画面组(GOP)中M个差值中的每一个进行循环,并传递控制到功能块515。功能块515计算归一化距离norm_dist,并传递控制到判断块520。判断块520确定是否norm_dist<min_dist。如果是,则传递控制到功能块525。否则,传递控制到结束循环的有限循环块530。
例如,现在,根据本发明的实施例,进一步描述由图2的功能块225执行的参考画面的执行。
参考画面选择可以在两个步骤执行。第一步骤包括判断是否存储当前编码的画面作为可能的参考画面,并判断从参考缓冲器中可以移除哪个之前存储的画面。第二步骤包括从参考列表中选择L参考画面(L是由编码器预定的值),以及判断可以用于每一个P/B画面编码的参考画面的次序。
为了示例性的目的,这里提供两个示例性算法。第一算法基于画面次序计数(POC),下文中将其称为“POC算法”。第二算法基于相关性度量,下文中将其称为“CORRELATION算法”。
在POC算法中,参考画面的移除基于POC的次序:首先移除具有最小POC数的画面。对于参考画面选择,首先重新排序参考列表,然后选择第一L画面作为参考画面。对于B画面,参考列表与初始化列表相同。对于P画面,按照与B画面的初始化列表0相同的方式,根据POC次序重新排序参考列表。
在CORRELATION算法中,步骤1与POC算法相同。在步骤2中,采用相关性度量用于参考画面选择和重新排序。使用与当前画面具有最高相关性的L参考画面。
在下文中,提供了一种使用直方图的差的算法。然而,可以设想本发明并不局限于在提供自适应画面组(GOP)结构选择中仅使用直方图的差,因此,其它度量包括但不局限于:也可以使用像素的绝对差,同时保持本发明的范围。
首先,如下计算参考画面j和当前画面i的亮度直方图差:
YHistoDiff ref ( j ) = Σ i = 0 nb _ bins - 1 α ( j ) | YHisto cur ( i ) - YHisto ref ( j ) |
其中,YHistoDiff是亮度直方图的差,nb_bins表示bins的个数,及α(j)表示参考画面j的权重,参考画面j与当前画面i的距离为d(j)=|POC(i)-POC(j)|,向越接近当前画面的参考画面分配越小的权重。YHisto表示亮度的直方图,ref表示参考画面,以及cur表示当前画面。
可以采用如下线性权重:
a(j)=(1-(max_ref_distance-d(j))*0.1)
其中,max_ref_distance表示参考画面缓存器中的参考画面到当前画面的最大距离。如之前定义的,d(j)是参考画面j到当前画面I的距离。
给出本发明的多个附属优点/特征的一些的描述,其中一些已经在上文中描述过。例如,一个优点/特征是包括编码器的装置,所述编码器用于通过针对视频序列的每一个画面组执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组结构对视频序列进行编码。该选择基于画面组长度。
另一优点/特征是一种具有上述编码器的装置,其中编码器执行镜头检测来确定视频序列的时域分割,基于该时域分割判断画面组长度,并在视频序列的每一个画面组内,执行画面编码次序选择、画面类型选择和参考画面选择。另一个优点/特征是具有上述编码器的装置,其中编码器基于时域分割和视频序列中缺乏任意场景剪辑或慢过渡,将画面组长度设置为预定值,当检测到场景剪辑时,从场景剪辑后的第一画面中,重新开始具有画面组长度的视频序列的新画面组,当检测到慢过渡时,从慢过渡的起始点重新开始新画面组并在慢过渡的结束点处结束。
此外,另一个优点/特征是具有上述编码器的装置,其中视频序列包括淡入序列,编码器在淡入序列中针对淡入和消失使用反转编码。进一步,另一个优点/特征是具有上述使用反转编码的编码器的装置,其中编码器根据过渡类型判断用于反转编码的切换点。此外,另一个优点/特征是具有上述判断反转编码的切换点的编码器的装置,其中,当画面类型是纯淡入时,编码器将切换点设置为在满足延迟约束、解码的画面缓存器的约束以及淡入序列的结束画面的同时可以反转的最大画面数量的最小值。另外,另一个优点/特征是具有上述判断反转编码的切换点的编码器的装置,其中,当过渡类型是消失时,编码器基于画面的绝对差来检测切换点。
此外,另一个优点/特征是具有上述编码器的装置,其中,编码器基于归一化的距离,从画面类型的预定义类别中选择画面类型。此外,另一个优点/特征是具有上述从画面类型的预定类别中选择画面类型的编码器的装置,其中,用于从画面类型的预定类别中选择画面类型的选择标准包括:图像的绝对差、直方图的差、差的直方图、差的块直方图、块的方差或运动补偿误差中的至少一个。
同样,另一个优点/特征是具有上述的编码器的装置,其中编码器基于画面次序计数和相关性中的至少一个执行参考画面选择。
基于这里的示教,相关技术领域的一个普通技术人员可以真正的探知本发明的这些和其他特征和优势。应该理解,本发明的示教可以实施在各种不同类型的硬件,软件,固件,特殊目的处理器,或其组合中。
基于这里的教导,相关技术领域中的技术人员可以容易地获知本发明的这些和其他特征及优点。可以理解的是,本发明的教导可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。
最为优选地,本发明的教导以硬件和软件的组合来实现。此外,软件优选地以有形地体现在程序存储单元上的应用程序来实现。该应用程序可以上载到包括任意适合架构的机器,并由该机器执行。优选地,该机器在具有例如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口的硬件的计算机平台上实现。该计算机平台还包括操作系统和微指令代码。这里描述的各个过程和功能可以是微指令代码的一部分,或是应用程序的一部分,或是其任何组合,其可以由CPU来执行。另外,可以把各种其他外围单元与计算机平台相连,例如附加的数据存储单元和打印单元。
还可以理解的是,由于附图中描述的某些构成系统的组件和方法优选地以软件来实现,所以系统组件或过程功能块之间的实际连接可能取决于本发明的实践方式而有所不同。在这里给出的教导的前提下,相关技术领域中的技术人员将能够设想本发明的这些和类似的实现或配置。
尽管已经参考附图描述了示意性实施例,然而可以理解,本发明不限于这些特定的实施例,在不背离本发明的范围或精神的前提下,相关技术领域中的技术人员可以实现各种改变和修改。所有这些改变和修改都将被看作落入所附权利要求限定的本发明的范围内。

Claims (16)

1.一种视频编码装置,包括:
编码器(100),用于通过针对视频序列的画面组执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组结构来对视频序列进行编码,
其中,所述画面编码次序选择基于画面组的内容特征,基于归一化的距离从画面类型的预定义类别执行画面类型选择,以及基于画面次序计数值和相关性中的至少一个执行参考画面选择。
2.根据权利要求1的装置,其中,所述编码器(100)执行镜头检测来确定视频序列的时域分割,基于时域分割来判断画面组长度,并在针对视频序列的每一个画面组内,执行画面编码次序选择、画面类型选择以及参考画面选择。
3.根据权利要求2的装置,其中,所述编码器(100)基于视频序列中的时域分割和不存在场景剪辑以及慢过渡,将画面组长度设置为预定值,当检测到场景剪辑时,从场景剪辑后的第一画面重新开始具有画面组长度的视频序列的新画面组,并当检测到慢过渡时,从慢过渡的起始点重新开始新画面组,并在慢过渡的结束点处结束。
4.根据权利要求1的装置,其中,所述视频序列包括淡入序列,所述编码器对淡入序列中的淡入和消失进行反转编码。
5.根据权利要求4的装置,其中,所述编码器(100)基于过渡类型来确定用于反转编码的切换点。
6.根据权利要求5的装置,其中,当过渡类型是纯淡入时,所述编码器(100)将切换点设置为在满足延迟约束、解码的画面缓存器约束以及淡入序列的结束画面的同时能够被反转的最大画面个数的最小值。
7.根据权利要求5的装置,其中,当过渡类型是消失时,所述编码器(100)基于画面的绝对差来检测切换点。
8.根据权利要求1的装置,其中,用于从画面类型的预定类别中选择画面类型的选择标准包括:图像的绝对差、直方图的差、差的直方图、差的块直方图、块方差和运动补偿误差中的至少一个。
9.一种视频编码方法,包括:
通过针对视频序列的画面组执行画面编码次序选择、画面类型选择以及参考画面选择,使用画面组来编码视频序列(200),
其中,所述画面编码次序选择基于画面组的内容特征,基于归一化的距离从画面类型的预定义类别执行画面类型选择,以及基于画面次序计数值和相关性中的至少一个执行参考画面选择。
10.根据权利要求9的方法,其中,所述编码步骤包括:
执行(210)镜头检测来确定视频序列的时域分割;
基于时域分割来判断(215)画面组长度;以及
在视频序列的每一个画面组内,执行(220,225)画面编码次序选择、画面类型选择以及参考画面选择。
11.根据权利要求10的方法,其中,所述编码步骤还包括:
基于视频序列中的时域分割和不存在场景剪辑及慢过渡,将画面组长度设置为预定值;
当检测到场景剪辑时,从场景剪辑后的第一画面重新开始(335)具有画面组长度的新画面组;
当检测到慢过渡时,从慢过渡的起始点重新开始(325)新画面组,并在慢过渡的结束点处结束。
12.根据权利要求9的方法,其中,所述视频序列包括淡入序列,以及所述编码步骤对淡入序列(400)中的淡入和消失使用反转编码。
13.根据权利要求12的方法,其中,所述编码步骤包括:基于过渡类型,判断(420)用于反转编码的切换点。
14.根据权利要求13的方法,其中,当过渡类型是纯淡入(420)时,所述编码步骤将所述切换点设置为在满足延迟约束、解码的画面缓存器约束以及淡入序列中的结束画面的同时能够被反转的最大画面个数的最小值。
15.根据权利要求13的方法,其中,当过渡类型是消失(420)时,所述编码步骤基于画面的绝对差来检测切换点。
16.根据权利要求9的方法,其中,从画面类型的预定类别中选择画面类型的选择标准包括:画面的绝对差、直方图的差、差的直方图、差的块直方图、块的方差和运动补偿误差中的至少一个。
CN2007800043664A 2006-02-06 2007-01-30 自适应画面组(gop)结构选择的方法和装置 Expired - Fee Related CN101379828B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US76555206P 2006-02-06 2006-02-06
US60/765,552 2006-02-06
PCT/US2007/002387 WO2007092193A2 (en) 2006-02-06 2007-01-30 Method and apparatus for adaptive group of pictures (gop) structure selection

Publications (2)

Publication Number Publication Date
CN101379828A CN101379828A (zh) 2009-03-04
CN101379828B true CN101379828B (zh) 2011-07-06

Family

ID=38283710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800043664A Expired - Fee Related CN101379828B (zh) 2006-02-06 2007-01-30 自适应画面组(gop)结构选择的方法和装置

Country Status (6)

Country Link
US (1) US9602840B2 (zh)
EP (1) EP1982528A2 (zh)
JP (1) JP5415084B2 (zh)
CN (1) CN101379828B (zh)
BR (1) BRPI0707419A2 (zh)
WO (1) WO2007092193A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5579730B2 (ja) * 2008-11-12 2014-08-27 トムソン ライセンシング 明るさ変化コーディング
CN102217309B (zh) 2008-11-13 2014-04-09 汤姆逊许可证公司 使用hrd信息共享和比特分配等待的多线程视频编码
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
FR2966679A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome, signal et programme d'ordinateur correspondants
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN102223535A (zh) * 2011-06-07 2011-10-19 东莞电子科技大学电子信息工程研究院 一种基于svc的自适应图像组结构选择方法
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US10158867B2 (en) * 2014-06-20 2018-12-18 Qualcomm Incorporated Picture order count reset for multi-layer codecs
CN104506870B (zh) * 2014-11-28 2018-02-09 北京奇艺世纪科技有限公司 一种适用于多码流的视频编码处理方法和装置
US10542283B2 (en) * 2016-02-24 2020-01-21 Wipro Limited Distributed video encoding/decoding apparatus and method to achieve improved rate distortion performance
KR20180076591A (ko) * 2016-12-28 2018-07-06 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
CN1294820A (zh) * 1999-02-09 2001-05-09 索尼公司 编码系统和方法、编码及解码、记录及再现的设备和方法
US6771825B1 (en) * 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3221785B2 (ja) * 1993-10-07 2001-10-22 株式会社日立製作所 撮像装置
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
JP3384910B2 (ja) * 1995-05-30 2003-03-10 株式会社日立製作所 撮像装置および画像再生装置
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
JPH1175189A (ja) * 1997-08-27 1999-03-16 Mitsubishi Electric Corp 画像符号化方法
US6307886B1 (en) * 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
JP2002010270A (ja) 2000-06-27 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法
JP2002084544A (ja) 2000-09-06 2002-03-22 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法
JP3815665B2 (ja) 2000-12-27 2006-08-30 Kddi株式会社 可変ビットレート動画像符号化装置および記録媒体
JP3907996B2 (ja) * 2001-10-15 2007-04-18 日本電信電話株式会社 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP3888533B2 (ja) 2002-05-20 2007-03-07 Kddi株式会社 画像特徴に応じた画像符号化装置
US20040146108A1 (en) 2003-01-23 2004-07-29 Shih-Chang Hsia MPEG-II video encoder chip design
KR100597402B1 (ko) 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
BRPI0417162A (pt) 2003-12-01 2007-03-06 Samsung Electronics Co Ltd para codificação de vìdeo, codidicador de vìdeo, método para decodificar vìdeo, decodificador de vìdeo, e meio de armazenamento
KR100596706B1 (ko) 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
MXPA06006107A (es) 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
CN1294820A (zh) * 1999-02-09 2001-05-09 索尼公司 编码系统和方法、编码及解码、记录及再现的设备和方法
US6771825B1 (en) * 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adriana Dumitras,et al.I/P/B frame type decision by collinearity of displacements.《2004 International Conference on Image Processing》.2004,全文. *

Also Published As

Publication number Publication date
BRPI0707419A2 (pt) 2011-05-03
JP5415084B2 (ja) 2014-02-12
US9602840B2 (en) 2017-03-21
CN101379828A (zh) 2009-03-04
EP1982528A2 (en) 2008-10-22
JP2009526435A (ja) 2009-07-16
US20090122860A1 (en) 2009-05-14
WO2007092193A3 (en) 2007-10-04
WO2007092193A2 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
CN101379828B (zh) 自适应画面组(gop)结构选择的方法和装置
US9538197B2 (en) Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
JP5580453B2 (ja) 直接モード符号化及び復号化装置
RU2289216C2 (ru) Способ кодирования движущегося изображения
US8295350B2 (en) Image coding apparatus with segment classification and segmentation-type motion prediction circuit
US20010012403A1 (en) An image coding process and notion detecting process using bidirectional prediction
US20130287111A1 (en) Low memory access motion vector derivation
CN101513071A (zh) 用于确定解码视频块中的期望失真的方法及设备
KR19990087266A (ko) 블록 바탕 비디오 코딩 시스템에서 장면 커팅을 검출하기 위한방법 및 장치
CN102037730A (zh) 内容自适应视频编码器和编码方法
CN101605256A (zh) 一种视频编解码的方法及装置
US7899117B2 (en) Apparatus and method for encoding motion vector, and program and medium therefor
CN101288315A (zh) 隐藏丢失视频帧的方法和装置
CN1922889B (zh) 使用加权预测的误差隐蔽技术
CN101326833A (zh) 利用参考帧选择规则进行视频错误隐藏的方法与装置
CN101010963B (zh) 多参考画面的快速运动估计
US20110038416A1 (en) Video coder providing improved visual quality during use of heterogeneous coding modes
JP2002112273A (ja) 動画像符号化方法
US10015508B2 (en) Video encoding device and video encoding method
KR100561394B1 (ko) 영상 부호화 시 부호화 모드 결정 및 관리 장치와 그 방법
JP2006020217A (ja) 画像符号化装置
CN101494718B (zh) 图像编码方法和装置
US6788741B1 (en) Device and method of retrieving high-speed motion
KR102075207B1 (ko) 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치
US11889055B2 (en) Methods and systems for combined lossless and lossy coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110706

Termination date: 20200130

CF01 Termination of patent right due to non-payment of annual fee