CN1237067A - 图象编码和解码装置、方法及数据存储媒体 - Google Patents
图象编码和解码装置、方法及数据存储媒体 Download PDFInfo
- Publication number
- CN1237067A CN1237067A CN99106207A CN99106207A CN1237067A CN 1237067 A CN1237067 A CN 1237067A CN 99106207 A CN99106207 A CN 99106207A CN 99106207 A CN99106207 A CN 99106207A CN 1237067 A CN1237067 A CN 1237067A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- unit
- macro block
- shape
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Abstract
本发明提供了一种可以适当切换以帧为单位的处理和以场为单位的处理,对与物体相对应的交错图象信号实施运动补偿编码处理的图象编码装置。这种装置具有可参照色彩运动矢量生成形状运动矢量预测值用的MV预测器,这种MV预测器在要参照的色彩运动矢量与以场为单位的运动补偿编码相对应时,参照将该以场为单位的色彩运动矢量变换为以帧为单位的运动矢量用的帧MV变换器110b的输出。
Description
本发明涉及图象编码装置和图象解码装置、图象编码方法和图象解码方法以及数据存储媒体,特别涉及可以对与表示构成一个画面图象的物体形状的形状信号相关的运动矢量高效率地实施编码的装置和方法,对该形状运动矢量实施编码所获得的编码信号实施解码用的装置和方法,以及存储通过软件进行所述形状运动矢量编码处理或形状运动矢量解码处理用的图象处理程序的数据存储媒体。
近年来,社会已经进入了统一处理声音、图象和其它数据的多媒体时代,现有的信息媒体,即诸如报纸、杂志、电视、收音机、电话等等的、向人类传递信息用的手段正在由多媒体所取代。一般说来,多媒体不仅可以表现文字,而且还可以同时将图形、声音、特别是图象等等相关地表示,所以所述现有的信息媒体在构成为多媒体对象时,一个必要的条件就是这些信息必须是以数字形式表示的。
然而,如果把所述各种信息媒体所处理的信息量作为数字信息量估算,对于文字类每一个文字的信息量大约为一至两个字节,对于声音类每一秒的信息量大约为64Kbits(电话质量),而对于动画类每一秒的信息量必须为100Mbits以上(当前的电视播放质量),所以上述各类信息媒体由于其巨大的信息量,按原样实现数字化是不现实的。例如,电视电话虽然已经使用传送速度为64Kbps~1.5Mbps的综合业务数字网络(ISDN:Integrated ServicesDigital Network)而实用化,但是电视摄象机的图象信息却是不可能用这种ISDN实施传送的。
因此,有必要采用信息压缩技术。比如说对于电视电话,ITU-T(国际电信联盟电气通信标准化部门)就采用国际标准化的H.261和H.263规格的动画压缩技术。当采用MPEG1标准的信息压缩技术时,便可以将图象信息和声音信息一起输入至常规的音乐CD(密致盘)中。
此处,MPEG(Moving Picture Experts Group)为一种与动画数据(活动图像的图象信号)压缩技术相关的国际标准,MPEG1为将动画数据压缩至1.5Mbps,即将电视信号信息压缩至大约一百分之一的标准。由于作为MPEG1标准的对象的传送速度通常限制为1.5Mbps,所以还可以采用能够满足更高图象质量要求的、标准化的MPEG2技术,可将动画数据压缩至2~15Mbps。
在目前,通过推行MPEG1、MPEG2和标准化的作业组(IOS/IECJTC1/SC29/WG11),已经能以物体单位实施编码处理和信号操作,可实现多媒体时代所需要的新功能的动画数据压缩技术作为MPEG4正在标准化。这种MPEG4开始的目的是使低位速率的编码方法标准化,但是目前标准化对象已经扩展到与交错图象相对应的高比特率的通用编码处理中。
图8为说明以物体为单位进行编码处理的模拟图。
图8(a)表示与构成一幅图象的物体相对应的、通过由辉度信号和色差信号构成的色彩信号获得的图象空间Ts,图8(b)表示由表示该物体形状用的形状信号获得的图象空间Ss。在如图8(b)所示的图象空间Ss中,涂黑了的部分表示的是物体So的内部区域,利用与包含在物体内部的象素(物体内象素)相对应的色彩信号,便可以将所述图象空间Ts中的鱼形图象(物体)To表示出来。
使用MPEG4技术便可以将与物体相对应的、包含有形状信号和色彩信号的图象信号,以所谓的宏块的由预定数目象素构成的区域为单位而实施编码。将所述色彩信号以由预定数目象素构成的宏块为单位而实施编码的技术,可以是用MPEG1、MPEG2引入,也可以使用MPEG4,对色彩信号和形状信号一起以宏块为单位实施编码处理的技术。
图8(c)为表示对色彩信号按与分割所述图象空间Ts用的宏块Tmb相对应那样地分割的模块化处理的示意性说明图,图8(d)为表示对形状信号按与分割所述图象空间Ss用的宏块Smb相对应那样地分割的模块化处理的示意性说明图。
利用MPEG4可以对图面(图象空间)的一部分中包含有物体的场合实施高效率的编码,它不仅能对与整个图面相对应的图象信号实施编码,而且还可以仅对与包含有图面内物体的矩形区域内部相对应的图象信号实施编码。此处将包围着所述物体的矩形区域称为界定框。
具体的讲就是,对于色彩信号可以如图8(e)所示,将与界定框Tb相对应的部分进行与宏块相对应那样地分割的模块化处理。而且对于形状信号也可以如图8(f)所示,将与界定框Sb相对应的部分进行与宏块相对应那样地分割的模块化处理。
对于与所述的各宏块相对应的、包含有色彩信号和形状信号的图象信号,则可以宏块单位,实施与MPEG1、MPEG2同样的运动补偿编码处理。
在这种运动补偿编码处理中,帧之间的物体运动在色彩信号和形状信号之间应该是保持一致的,但是在实际上当物体真实移动时,即使为效率良好的各信号编码处理也不能与物体的运动保持一致。
换句话说就是,运动补偿编码处理是一种对色彩信号和形状信号的运动补偿误差实施编码的方法。因此通过运动补偿编码处理,如果可以获得和表示物体的真实移动用的动态信息(运动矢量)相比运动补偿误差比较小的运动矢量,便可以与根据表示物体真实移动用的动态信息(运动矢量)实施运动补偿相比根据使所述运动补偿误差比较小的动态信息(运动矢量)实施运动补偿,进而提高编码效率。特别需要指出的是,色彩信号为多值信号,由于形状信号为区别物体内象素和物体外象素用的二进制信号,所以这两种信号的性质有所不同,使运动补偿误差比较小的运动矢量,在两种信号之间也有一定的不同。
所述的运动补偿误差为当前图面(要实施编码处理的图面)中的与被处理的宏块(作为实施编码处理对象用的宏块)相对应的色彩信号或形状信号,与前一图面(已经实施编码处理后的参考图面)中的与所述被处理的宏块为同一尺寸的预定区域(预测用宏块)相对应的色彩信号或形状信号之间的差分值。与各宏块相对应的运动矢量为表示所述图面上的、与被处理的宏块相对应的预测宏块位置关系用的位置信息。
而且在MPEG4技术中,对色彩信号进行的运动补偿编码处理是根据由该色彩信号获得的运动矢量(下面简称为色彩运动矢量)进行的,而对形状信号进行的运动补偿编码处理是根据由该形状信号获得的运动矢量(下面简称为形状运动矢量)进行的。
所述的色彩运动矢量和与其相对应的形状运动矢量的方向和大小不一定相互一致,但它们的运动矢量之间紧密相关。因此MPEG4标准化技术,采用这样的方法,即根据当前图面中的与已经进行过编码处理的宏块相对应的形状运动矢量以及与其相对应的色彩运动矢量,生成与应当编码的被处理宏块相对应的形状运动矢量的预测值,并且取这一预测值和与被处理的运动矢量相对应的形状运动矢量之间的差分值,作为与被处理的宏块相对应的形状运动矢量的信息进而实施编码。
下面对采用MPEG4标准的现有的图象编码装置和图象解码装置进行说明。
图9为说明采用MPEG4标准的现有的图象编码装置用的方框图。
这种图象编码装置1000具有对于色彩信号进行包括运动补偿编码处理的编码处理用的色彩编码装置1100,以及对于形状信号进行包括运动补偿编码处理的编码处理用的形状编码装置1200。
形状编码装置1200具有对由输入端子1201输入的、与各物体相对应的形状信号Ss实施与宏块相对应的模块化处理并输出模块化形状信号Bs的模块化器1210,以及将与进行过编码处理的图面(前一图面)相对应的形状信号(局部解码形状数据)Lds作为基准形状信号MLds进行存储用的存储器1260。
所述的形状编码装置1200还具有可根据存储在所述存储器1260中的基准形状信号MLds和由所述模块化器1210输出的模块化形状信号Bs,检测出与被处理的宏块相对应的运动矢量MVs并输出与获得该检测结果时的形状信号相关的动态误差补偿信号DFs用的形状动态检测器1240,和根据所述基准形状信号MLds和形状运动矢量MVs对模块化形状信号Bs实施运动补偿处理并输出与该被处理的宏块相对应的预测形状信号(预测宏块的形状信号)Ps用的形状运动补偿器1250,以及根据所述模块化器1210的输出信号Bs和由形状动态检测器1240输出的动态误差补偿信号DFs,进行形状信号的编码模式的判定并输出形状编码模式信号Mos的模式判定器1280。
这种形状编码模式信号Mos表示与形状信号相对应的被处理的宏块,为物体外宏块,还是实施了利用图面内象素值相关的图面内编码进行处理后的内部宏块,还是实施了利用图面间象素值相关性的图面间编码进行处理后的交错宏块用的信号。而且物体外宏块为它的象素全部位于物体外的宏块,内部宏块和交错宏块为它的至少一部分象素位于物体之内的宏块。
所述的形状编码装置1200还具有对于所述模块化形状信号Bs,根据所述形状编码模式信号Mos,实施参照所述预测形状信号Ps的算术编码处理(图面间编码处理)或不参照所述预测形状信号Ps的算术编码处理(图面内编码处理)并输出形状编码数据Cs,同时还输出这一形状编码数据Cs的解码数据(局部解码形状数据)Lds用的形状编码器1220;对于所述形状编码数据Cs和形状编码模式信号Mos实施可变长度编码处理并输出处理后的形状编码信号Es用的可变长度编码器1230;以及根据所述的形状编码模式信号Mos,和由色彩编码装置1100给出的运动矢量相关的信息Mmvt、Mmot,对所述形状运动矢量MVs实施编码处理并输出形状运动矢量编码信号Emvs用的运动矢量编码装置1270。
这种形状编码装置1200可以将由所述形状编码器1220给出的局部解码形状数据Lds作为基准形状信号MLds存储在所述存储器1260中。存储在这种存储器1260中的基准形状信号MLds可输出至所述形状动态检测器1240和形状运动补偿器1250中,以供对形状信号实施动态检测处理和运动补偿处理时使用。所述的局部解码形状数据Lds可输出至所述色彩编码装置1100,以供对色彩信号实施动态检测处理和运动补偿处理时使用。
在另一方面,所述的色彩编码装置1100具有对输入至输入端子1101的、与各物体相对应的色彩信号St实施与宏块相对应的模块化处理并输出这一模块化处理后的模块化色彩信号Bt用的模块化器1110,以及将与进行过编码处理的图面(前一图面)相对应的色彩信号(局部解码色彩数据)Ldt作为基准色彩信号MLdt进行存储用的存储器1160。
而且所述的色彩编码装置1100还具有根据存储在所述存储器1160中的基准色彩信号MLdt、由所述形状编码装置1200输出的局部解码形状数据Lds和由所述模块化器1110输出的信号Bt检测出与被处理的宏块相对应的色彩运动矢量MVt、并且输出与色彩信号相关的运动补偿误差信号DFt用的色彩动态检测器1140。
所述的色彩编码装置1100还具有可根据由所述模块化器1110输出的信号Bt、由色彩动态检测器1140输出的运动补偿误差信号DFt和由形状编码装置1200输出的模块化形状信号Bs对色彩信号的编码模式实施判定并输出色彩编码模式信号Mot用的模式判定器1180,和根据所述的基准色彩信号MLdt、所述色彩运动矢量MVt和由所述形状编码装置1200输出的局部解码形状数据Lds对模块化色彩信号Bt实施运动补偿处理、并且相对于被处理的宏块输出预测色彩信号(预测宏块的色彩信号)Pt用的色彩运动补偿器1150。
这种色彩编码模式信号Mot表示,与色彩信号相对应的被处理的宏块为物体外宏块,还是实施利用了图面内的象素值相关性的图面内编码处理后的内部宏块,还是实施利用了图面之间的象素值相关性的图面间编码处理的交错宏块。
所述的色彩编码装置1100还具有色彩编码装置1120,对所述模块化色彩信号Bt输出实施参考所述预测色彩信号Pt的波形编码处理(图面间预测编码处理)或不参考所述预测色彩信号Pt的波形编码处理(图面内编码处理)的色彩编码数据Ct、并且输出这一色彩编码数据Ct的解码数据(局部解码色彩数据)Ldt。
而且所述的色彩编码装置1100还具有对所述色彩编码数据Ct和色彩编码模式信号Mot实施可变长度编码处理并输出处理后的色彩编码数据Et的可变长度编码器1130,以及根据所述色彩编码模式信号Mot对所述色彩运动矢量MVt实施编码处理并输出处理后的色彩运动矢量编码信号Emvt、并且将与色彩运动矢量相关的信息Mmvt、Mmot输出至所述形状编码装置1200中的运动矢量编码装置1270处用的运动矢量编码装置1170。
而且这种色彩编码装置1100可以将由所述色彩编码器1120给出的局部解码色彩数据Ldt作为基准色彩信号MLdt存储在所述存储器1160中,存储在这一存储器1160中的基准色彩信号MLdt可输出至所述色彩动态检测器1140和色彩运动补偿器1150,以供动态检测处理和运动补偿处理时使用。
MPEG4的图象信号具有包含表示当与物体相对应的色彩信号和其它色彩信号合成时的合成比率的透过度信号的数据结构,所以图象编码装置不仅要包括有如上所述的形状编码装置1200和色彩编码装置1100,还要包括有对所述的透过度信号实施编码处理用的透过度编码装置,但此处省略了对它的说明。这种透过度编码装置与所述色彩编码装置1100的结构大体相同,即除了对透过度信号的运动补偿是根据所述色彩运动矢量MVt进行的之外,均与色彩编码装置1100相同。因此这种透过度编码装置并不具有动态检测器。
下面对如上所述的图象编码装置1000的动作方式进行说明。
当构成与预定物体相对应的图象信号用的形状信号Ss由形状编码装置1200的输入端子1201处输入后,该形状信号Ss在模块化器1210中,与分割所述矩形区域(界定框)的各宏块相对应地进行分割并生成模块化形状信号Bs。这一模块化形状信号Bs输出至形状编码装置1200中的形状动态检测器1240、形状编码器1220和模式判定器1280,并且输出至色彩编码装置1100中的模式判定器1180。
形状动态检测器1240可根据所述的模块化形状信号Bs和存储在存储器1260中的前一图面的基准形状信号MLds,检测出与被处理的宏块相对应的形状运动矢量MVs。这种形状运动矢量MVs输出至形状运动补偿器1250和运动矢量编码装置1270中。
这时,由所述形状动态检测器1240将在实施动态检测处理时生成的、与形状信号相关的动态误差补偿信号DFs输出至模式判定器1280。这样一来在模式判定器1280根据所述模块化器1210输出的信号Bs和动态误差补偿信号DFs,对被处理的宏块进行编码模式判定,并输出形状编码模式信号Mos。
在所述的形状运动补偿器1250中根据所述形状运动矢量MVs和所述基准形状信号MLds对模块化形状信号Bs实施运动补偿处理,并生成与被处理的宏块相对应的预测形状信号Ps。在所述运动矢量编码装置1270根据所述形状编码模式信号Mos和与由色彩编码装置1100中的运动矢量编码装置1170输出的与运动矢量相关的信息Mmvt、Mmot,对所述形状运动矢量MVs实施编码处理,并且由输出端子1203处输出形状运动矢量编码信号Emvs。
在所述的形状编码器1220中参照所述预测形状信号Ps的算术编码处理或不参照所述预测形状信号Ps的算术编码处理,是根据所述形状编码模式信号Mos相对模块化形状信号Bs实施的,在生成形状编码数据Cs的同时,还通过对该形状编码数据Cs实施算术解码处理的方式生成局部解码形状数据Lds。这一局部解码形状数据Lds被作为基准形状信号MLds存储在存储器1260中。
在可变长度编码器1230中对所述形状编码数据Cs和形状编码模式信号Mos实施变换为可变长度符号的处理,并且由输出端子1202输出通过这一可变长度符号处理生成的、与被处理宏块相对应的形状编码信号Es。
在另一方面,当在色彩编码装置1100的输入端子1101处输入有构成与预定物体相对应的图象信号的色彩信号St时,该色彩信号St在模块化器1110中与分割所述矩形区域(界定框)的各宏块相对应地进行分割并生成模块化色彩信号Bt。这一模块化色彩信号Bt输出至色彩动态检测器1140、色彩编码器1120和模式判定器1180处。
在色彩动态检测器1140中根据所述模块化色彩信号Bt、存储在存储器1160中的基准色彩信号MLdt和由形状编码装置1200给出的局部解码形状数据Lds,检测出与被处理的宏块相对应的色彩运动矢量MVt。这一色彩运动矢量MVt将输出至色彩运动补偿器1150和运动矢量编码装置1170处。
这时,由所述的色彩动态检测器1140将在实施动态检测处理时生成的、与色彩信号相关的动态误差补偿信号DFt输出至模式判定器1180。这样一来该模式判定器1180根据所述模块化器1110输出的信号Bt、运动补偿误差信号DFt和模块化形状信号Bs,对被处理的宏块进行编码模式判定,并输出色彩编码模式信号Mot。
在所述的色彩运动补偿器1150中根据所述色彩运动矢量MVt、所述基准色彩信号MLdt和所述局部解码形状数据Lds,对模块化色彩信号Bt实施运动补偿处理,并生成与被处理的宏块相对应的预测色彩信号Pt。所述色彩运动矢量编码装置1170可根据所述色彩编码模式信号Mot对所述色彩运动矢量MVt实施编码处理。这样,在色彩运动矢量编码信号Emvt由输出端子1103处输出同时,与所述色彩运动矢量MVt相关的信息Mmvt、Mmot将由所述色彩运动矢量编码装置1170输出至形状编码装置1200的运动矢量编码装置1270处。
所述的色彩编码器1120根据所述色彩编码模式信号Mot和局部解码形状数据Lds,对模块化色彩信号Bt实施参照所述预测色彩信号Pt的波形编码处理或不参照预测色彩信号Pt的波形编码处理,并且在生成色彩编码数据Ct的同时,还通过对该色彩编码数据Ct实施波形解码处理而生成局部解码色彩数据Ldt。这种局部解码色彩数据Ldt作为基准色彩信号MLdt存储在所述的存储器1160中。
可变长度编码器1130对所述色彩编码数据Ct和色彩编码模式信号Mot实施将其变换为可变长度符号的处理,并且由输出端子1102处输出与被处理的宏块相对应的色彩编码信号Et。
图10为说明以MPEG4标准的图象解码装置用的示意性方框图。
这种图象解码装置2000是一种对由图9所示的图象编码装置1000输出的图象编码信号实施解码处理的装置,它具有对由色彩编码装置1100输出的色彩编码信号Et实施包括运动补偿解码处理在内的解码处理的色彩解码装置2100,以及对由所述的形状编码装置1200输出的形状编码信号Es实施包括运动补偿解码处理在内的解码处理的形状解码装置2200。
所述的形状解码装置2200具有对由输入端子2201输入的、与各物体相对应的形状编码信号Es实施可变长度解码处理并输出形状解码数据As和形状编码模式信号Mos的可变长度解码器2210,和根据所述的形状编码模式信号Mos对与被处理的宏块相对应的形状解码数据As实施参照被处理的宏块的预测形状信号Ps算术解码处理或不参照预测形状信号Ps的算术解码处理,并输出形状解码信号Ds用的形状解码器2220。
所述的形状解码装置2200还具有,将所述形状解码信号Ds作为与解码处理后的图面(前一图面)相对应的基准形状信号MDs而存储的存储器2260,以及将所述形状解码信号Ds与由预定宏块构成的矩形区域(界定框)对应地结合并由输出端子2203输出形状再生信号Rs的逆模块化器2230。
而且所述的形状解码装置2200还具有对由输入端子2202处输入的、由所述图象编码装置1000给出的形状运动矢量编码信号Emvs,根据所述形状编码模式信号Mos和由色彩解码装置2100输出的色彩运动矢量的信息Mmvs、Mmot实施解码处理并生成形状运动矢量解码信号Dmvs的形状运动矢量解码装置2240,以及根据该形状运动矢量解码信号Dmvs和基准形状信号MDs生成与被处理的宏块相对应的预测形状信号Ps的形状运动补偿器2250。
在另一方面,所述的色彩解码装置2100具有对由输入端子2101输入的、与各物体相对应的色彩编码数据Et实施可变长度解码处理并输出色彩解码数据At和色彩编码模式信号Mot的可变长度解码器2110,和根据所述的色彩编码模式信号Mot和由形状解码装置2200给出的形状解码信号Ds对与被处理的宏块相对应的色彩解码数据At实施参照被处理的宏块的预测色彩信号Pt的波形解码处理或不参照该预测色彩信号Pt的波形解码处理,并输出色彩解码信号Dt的色彩解码器2120。
所述的色彩解码装置2100还具有将所述色彩解码信号Dt作为与实施解码处理后的图面(前一图面)相对应的基准形状信号MDt而存储的存储器2160,以及将所述色彩解码信号Dt与由预定宏块构成的矩形区域(界定框)对应地结合并由输出端子2103输出色彩再生信号Rt的逆模块化器2130。
而且所述的色彩解码装置2200还具有对由输入端子2102输入的、由所述图象编码装置1000给出的色彩运动矢量编码信号Emvt,根据所述色彩编码模式信号Mot实施解码处理并生成色彩运动矢量解码信号Dmvt,并且同时输出色彩运动矢量的信息Mmvt、Mmot的色彩运动矢量解码装置2140,以及根据该色彩运动矢量解码信号Dmvt、基准色彩信号MDt和由形状解码装置2200给出的形状解码信号Ds,生成与被处理的宏块相对应的预测色彩信号Pt的色彩运动补偿器2150。
下面对如上所述的图象解码装置2000的动作方式进行说明。
当在所述的形状解码装置2200的输入端子2201处输入有与各物体相对应的形状编码信号Es时,可变长度解码器2210将对该形状编码信号Es按每一宏块实施可变长度解码处理,并生成与各宏块相对应的形状解码数据As和形状编码模式信号Mos。
由所述的形状解码装置2200的输入端子2202处输入的形状运动矢量编码信号Emvs将在运动矢量解码装置2240,根据所述形状编码模式信号Mos和由色彩解码装置2100输出的运动矢量的信息Mmvs、Mmot实施解码处理,并生成形状运动矢量解码信号Dmvs。形状运动补偿器2250将根据这一形状运动矢量解码信号Dmvs和存储在存储器2260中的基准形状信号MDs生成与被处理的宏块相对应的预测形状信号Ps。
而且,形状解码器2220可根据所述形状编码模式信号Mos,对与所述被处理的宏块相对应的形状解码数据As实施参照被处理的宏块的预测形状信号Ps的算术解码处理,或是不参照该预测形状信号Ps的算术解码处理,进而生成形状解码信号Ds。这一形状解码信号Ds将作为基准形状信号MDs存储在存储器2260中,并输出至逆模块化器2230处。逆模块化器2230将所述形状解码信号Ds与由预定宏块构成的矩形区域(界定框)对应地结合,并将其作为形状再生信号Rs由输出端子2203处输出。
在另一方面,当在所述的色彩解码装置2100的输入端子2101输入有与各物体相对应的色彩编码信号Et时,可变长度解码器2210将对该色彩编码数据Et按每一宏块实施可变长度解码处理,并生成与各宏块相对应的色彩解码数据At和色彩编码模式信号Mot。
而且在所述装置2100的输入端子2202输入的色彩运动矢量编码信号Emvt在运动矢量解码装置2140根据所述色彩编码模式信号Mot被解码处理。这种运动矢量解码装置2140在输出色彩运动矢量解码信号Dmvt的同时,还输出与色彩运动矢量相关的信息Mmvt、Mmot。这时,色彩运动补偿器2150可根据这一色彩运动矢量解码信号Dmvt、存储在存储器2160中的基准色彩信号MDt和由形状解码器2220给出的形状解码信号Ds,生成与被处理的宏块相对应的预测色彩信号Pt。
色彩解码器2120根据所述的色彩编码模式信号Mot和由解码装置2000给出的形状解码信号Ds,对与所述的被处理宏块相对应的色彩解码数据At实施参照被处理的宏块的预测色彩信号Pt的波形解码处理,或是不对照该预测色彩信号Pt的波形解码处理,进而生成色彩解码信号Dt。这一色彩解码信号Dt将作为参考色彩信号MDt存储在存储器2160中,并输出至逆模块化器2130处。逆模块化器2130将所述色彩解码信号Dt与由预定宏块构成的矩形区域(界定框)对应地结合,并作为色彩再生信号Rt由输出端子2103处输出。
下面对上所述的图象编码装置1000中的色彩运动矢量和形状运动矢量的编码处理进行详细说明。
首先对使用运动矢量的运动补偿处理进行说明。
利用MPEG4对形成一个宏块(由16×16象素构成的图象空间)的色彩信号(交错的或非交错的)实施的、以帧为单位的运动补偿处理,其基本方式如图11(a)所示,即可以利用四个运动矢量MV1~MV4生成与被处理的宏块MB相对应的预测色彩信号。此处,四个运动矢量MV1~MV4如图11(a)所示,为与构成一个宏块MB的四个单元(由8×8象素构成的图象空间)B1~B4相对应运动矢量。在这些运动矢量MV1~MV4全部相等的场合,对所述宏块MB进行的以帧为单位的运动补偿处理是与利用如图11(d)所示的一个运动矢量MV(MV=MV1=MV2=MV3=MV4)进行的运动补偿处理相等价的。
对于形成一个宏块的色彩信号(交错信号)进行以场为单位的运动补偿处理可如图11(b)所示,即利用第一运动矢量MVf1和第二运动矢量MVf2生成与这一帧中的被处理宏块MB相对应的预测色彩信号。此处,第一运动矢量MVf1为与由构成该帧的奇数场扫描线上的象素构成的第一半宏块(请参见图11(c))MBf1相对应的运动矢量。第二半宏块MBf2为与由构成该帧的偶数场扫描线上的象素构成的第二半宏块(请参见图11(c))MBf2相对应的运动矢量。所述的两个半宏块均为由16×8象素构成的图象空间,但是在图11(b)中为了说明方便,均以正方形形式表示。对于如上所述的第一、第二运动矢量MVf1和MVf2均相等的场合,对所述宏块MB实施以场为单位的运动补偿处理,是与利用如图11(d)所示的一个运动矢量MV(MV=MVf1=MVf2)进行以帧为单位的运动补偿处理相等价的。
在另一方面,对形状信号以帧为单位的运动补偿处理与对色彩信号的以帧为单位的运动补偿处理彼此不同,正如图11(d)所示,它是利用通常一个的运动矢量MV生成与被处理的宏块MB相对应的预测形状信号。
下面对运动矢量的编码处理进行说明。
在对与被处理的宏块(16×16象素)相对应的色彩信号的运动矢量(色彩运动矢量)实施的编码处理中,将根据位于被处理的宏块相邻接位置处已经处理过的基准宏块的运动矢量预测出的预测运动矢量和被处理的宏块的运动矢量之间的差分值,作为被处理宏块的运动矢量信息而实施编码。
下面对色彩运动矢量的预测处理进行详细说明。
(1)对于以帧为单位的运动补偿处理中的运动矢量预测处理
(1a)对于被处理的宏块MBx具有四个运动矢量的场合如图12(a)所示,即被处理的宏块MBx中的单元B0a的运动矢量MVt0a的预测值,将与该单元B0a相邻接的单元RB1a、RB2a、RB2b作为基准单元,并根据这些单元的运动矢量MVt1a、MVt2a、MVt2b而生成。
而且,被处理的宏块MBx中的单元B0b的运动矢量MVt0b的预测值,与所述运动矢量MVt0a的预测值相类似,以与该单元B0b相邻接的单元RB0a、RB2b、RB3作为基准单元,并且根据这些单元的运动矢量MVt0a、MVt2b、MVt3而再生出来的。被处理的宏块MBx中的单元B0c的运动矢量MVt0c的预测值,也与所述运动矢量MVt0a的预测值相类似,以与该单元B0c相邻接的单元RB1b、B0a、B0b作为基准单元,并根据这些单元的运动矢量MVt1b、MVt0a、MVt0b生成的。
而且,被处理的宏块MBx中的单元B0d的运动矢量MVt0d的预测值,是以与该单元B0d相邻接的单元B0c、B0a、B0b作为基准单元,并根据这些基准单元的运动矢量MVt0c、MVt0a、MVt0b生成的。
(1b)对于被处理的宏块MB0具有一个运动矢量MVt0的场合,即对于所述的被处理宏块MBx中的各单元B0a~B0d的运动矢量MVt0a~MVt0d均相等的场合,则如图12(b)所示,被处理的宏块MB0的运动矢量MVt0的预测值,是将与该被处理的宏块MB0相邻接的单元RB1、RB2、RB3作为基准单元,并根据这些基准单元的运动矢量MVt1、MVt2、MVt3生成的。
在上述以帧为单位的运动补偿处理中的运动矢量的预测处理的说明中,示出了与被处理的宏块相邻接的基准宏块是具有四个运动矢量并实施以帧为单位运动补偿处理的宏块的情况,但是对于基准宏块仅具有一个运动矢量的情况,由于构成该基准宏块的四个单元具有完全相等的运动矢量,所以可生成被处理宏块中的各单元的运动矢量的预测值。对于基准宏块为具有两个运动矢量、并实施以场为单位运动补偿处理的宏块的场合,可根据两个运动矢量的平均值,生成被处理宏块中的各单元的运动矢量的预测值。
(2)对于以场为单位运动补偿处理中的运动矢量预测处理
这种以场为单位的运动补偿处理如图12(c)所示,被处理的宏块MBy是与按具有第一、第二运动矢量MVt01和MVt02的场合对应处理。如上所述的第一运动矢量MVt01为与由构成该帧的奇数场扫描线上的象素构成的第一半宏块(16×8象素)MBf1相对应的运动矢量。所述的第二运动矢量MVt02为与由构成该帧的偶数场扫描线上的象素构成的第二半宏块MBf2(16×8象素)相对应的运动矢量。这种场合如图12(c)所示,被处理的宏块MBy的第一、第二运动矢量MVf1和MVf2的预测值,是将与该被处理的宏块MBy相邻接的单元RB1、RB2、RB3作为基准单元,并根据这些单元的运动矢量MVt1、MVt2、MVt3生成的。
在上述以场为单位的运动补偿处理中的运动矢量的预测处理的说明中,示出与被处理的宏块相邻接的基准宏块是具有四个运动矢量并实施以帧为单位态补偿处理的宏块的场合,但是对于基准宏块仅具有一个运动矢量的场合,由于构成该基准宏块的四个单元具有完全相等的运动矢量,所以可生成构成被处理宏块MBy的两个半宏块MBf1、MBf2的运动矢量MVt01和MVt02的预测值。
对于基准宏块为具有与奇数场和偶数场相对应的两个运动矢量的实施以场为单位的运动补偿处理的宏块的场合,构成被处理的宏块MBy用的、与奇数场相对应的半宏块MBf1的运动矢量MVt01的预测值,可以根据构成基准宏块用的奇数场的半宏块中的运动矢量生成。而且对于这种场合,构成被处理的宏块MBy用的、与偶数场相对应的半宏块MBf2的运动矢量MVt02的预测值,可以根据构成基准宏块用的偶数场的半宏块的运动矢量生成。
下面对形状信号的运动补偿处理中的形状运动矢量预测处理进行详细说明。此处,与形状信号相对应的被处理宏块通常具有如上所述的一个运动矢量。
在与被处理的宏块(16×16象素)相对应的形状信号的运动矢量(形状运动矢量)的编码处理中,将根据与位于被处理宏块相邻接位置的、已经处理过的基准宏块中的运动矢量预测出的预测运动矢量与被处理的宏块的形状运动矢量之间的差分值,作为被处理宏块的运动矢量的信息而实施编码。
而且如上所述,形状信号的运动矢量与色彩信号的运动矢量之间由于具有强的相关性,所以对于被处理宏块的形状运动矢量的预测值(预测形状运动矢量),根据已经处理过的基准宏块中的色彩运动矢量和已经处理过的基准宏块中的形状运动矢量两者生成。
换句话说就是,与被处理的宏块MBs0相对应的形状运动矢量MVs0预测值的生成,不仅更参考如图12(d)所示、位于与形状信号相对应的被处理宏块MBs0的周围位置处的宏块RMBs1、RMBs2、RMBs3的运动矢量MVs1、MVs2、MVs3,还要参考如图12(b)所示、位于与色彩信号相对应的被处理宏块MB0的周围位置处的宏块RB1、RB2、RB3的色彩运动矢量MVt1、MVt2、Mvt3。
在如上所述的色彩运动矢量和形状运动矢量的预测处理过程中,在与被处理的宏块相邻接的邻接宏块为内部宏块(实施图面内编码处理的宏块)的场合和为物体外宏块(全部象素位于物体外位置处的宏块)的场合,对于内部宏块和物体外宏块由于不存在运动矢量,所以仅将存在有运动矢量的邻接宏块作为基准宏块,对被处理的宏块进行运动矢量预测值的生成处理。
图13为说明构成所述图象编码装置1000的现有运动矢量编码装置的示意性方框图。而且在该图中还示出了构成色彩编码装置1100的运动矢量编码装置(下面称为色彩运动矢量编码装置)1170和构成形状编码装置1200的运动矢量编码装置(下面称为形状运动矢量编码装置)1270。在这种动态编码装置的说明中,运动矢量的预测处理是以被处理的宏块MB0仅具有一个色彩运动矢量、并将被处理的宏块周围的单元RB1~RB3作为基准宏块的场合为例进行说明的(请参见图12(b))。
所述的色彩运动矢量编码装置1170是一种对与非交错色彩信号相对应的运动矢量实施编码的装置,这种装置1170具有存储由输入端子1输入的被处理宏块的运动矢量MVt的MV存储器102,存储由输入端子2输入的色彩编码模式信号Mot的MV存储器103。此处,色彩编码模式信号Mot为表示由色彩信号获得的图象空间中的被处理宏块是内部宏块和物体外宏块之一还是交错宏块的色彩运动矢量有效信号。因比利用这种色彩运动矢量有效信号,便可以在所述图象空间中对位于与被处理宏块相邻接位置处的基准宏块是内部宏块、物体外宏块中的一个,还是交错宏块实施判定。
所述的色彩运动矢量编码装置1170还具有可根据所述MV有效存储器103给出的色彩编码模式信号Mot、由存储在所述MV有效存储器102中的、与已经编码处理过的宏块中的基准单元RB1、RB2、RB3相对应的色彩运动矢量MVt1、MVt2、MVt3生成MV预测值(被处理宏块的色彩运动矢量的预测值)Pmvt用的MV预测器104,以及以由该MV预测器104给出的MV预测值Pmvt为参考值对被处理的宏块MB0的色彩运动矢量MVt0实施编码处理、并输出色彩运动矢量编码信号Emvt用的MV编码器105。
而且所述的色彩运动矢量编码装置1170还具有设置在输入端子1与MV编码器105之间的前段开关100,和设置在输出端子10与MV编码器105之间的后段开关101,这两个开关100、101通过色彩编码模式信号Mot实施开闭控制。
在另一方面,所述的形状运动矢量编码装置1270是一种对与非交错形状信号相对应的运动矢量实施编码的装置,这种装置1270具有存储由输入端子4输入的被处理的宏块的形状运动矢量MVs用的MV存储器202,以及存储由输入端子5输入的形状编码模式信号Mos用的MV有效存储器203。此处,形状编码模式信号Mos为表示由形状信号获得的图象空间中的被处理宏块是内部宏块、物体外宏块中的一个,还是为交错宏块的形状运动矢量有效信号。因比利用这种形状运动矢量有效信号,便可以在由形状信号得到的图象空间中对与被处理宏块相邻接位置处的基准宏决是为内部宏块、物体外宏块中的一个,还是为交错宏块实施判定。
所述的形状运动矢量编码装置1270还具有根据所述的色彩编码模式信号Mot和所述形状编码模式信号Mos、由存储在所述的MV存储器202中的、与已经编码处理过的宏块相对应的形状运动矢量MVs1、MVs2、MVs3中生成MV预测值(被处理宏块的形状运动矢量预测值)Pmvs的MV预测器204,以及参照由该MV预测器204给出的MV预测值Pmvs并对被处理宏块MBs0的形状运动矢量MVs0实施编码处理、并输出形状运动矢量编码信号Emvs的MV编码器205。此处,所述的MV预测器204将由所述色彩运动矢量编码装置1170的MV有效存储器102中供给的半象素精度的色彩运动矢量变换为1象素精度的色彩运动矢量,并且利用这种变换所获得的1象素精度的色彩运动矢量实施预测处理。这是因为在色彩编码装置可利用半象素精度的运动矢量实施运动补偿处理,在形状编码装置则利用1象素精度的运动矢量实施运动补偿处理。
而且所述的运动矢量编码装置1270还具有设置在输入端子4与MV编码器205之间的前段开关200,和设置在输出端子11与MV编码器205之间的后段开关201,这两个开关200、201通过所述的形状编码模式信号Mos实施开闭控制。
下面对它们的动作方式进行说明。
在所述的色彩运动矢量编码装置1170对由色彩信号获得的运动矢量MVt实施编码处理并输出该编码信号Emvt,在形状运动矢量编码装置1270对由形状信号获得的运动矢量MVs实施编码处理并输出该编码信号Emvs。
换句话说就是,当色彩编码模式信号Mot作为运动矢量有效信号由输入端子2输入时,可利用该运动矢量模式信号Mot对MV编码器105的前段开关100和后段开关101实施开闭控制。具体的讲就是,在需要对与所输入的被处理宏块MB0相对应的色彩运动矢量MVt0实施编码处理的场合,所述的两个开关100、101处于导通状态,而在不需要对与被处理宏块MB0相对应的色彩运动矢量MVt0实施编码处理的场合,所述的两个开关100、101处于非导通状态。
换句话说就是,在被处理宏块为实施图面内编码处理的内部宏块的场合,以及被处理宏块为全部象素均位于物体外的物体外宏块而不需要对该运动矢量实施编码处理的场合,所述的两个开关100、101处于非导通状态。在所述的被处理宏块为实施运动补偿编码处理(图面间编码处理)的交错宏块的场合,所述的两个开关100、101处于导通状态。
与各宏块相对应的色彩运动矢量MVt暂时存储在MV存储器102中。具体的讲就是,与构成各宏块的单元相对应的色彩运动矢量(请参见图11(a))被存储在MV存储器102中。由这一MV存储器102给出的、如图12(b)所示的、与被处理宏块MB0周围的基准宏块MB1~MB3相对应的运动矢量MVt1~MVt3被传送至MV预测器104。这时的色彩运动矢量有效信号Mot被暂时存储在MV有效存储器103中。
由MV有效存储器103来的与所述被处理宏块相对应的色彩运动矢量有效信号Mmot(Mot)被供给至所述MV预测器104。这时,MV预测器104将根据所述的有效信号Mot,判定位于与被处理的宏块相邻接位置处的基准宏块MB1~MB3的运动矢量MVt1~MVt3是否应该编码,即判定所述各基准宏块MB1~MB3是否为内部宏块、物体外宏块中的一个,或是为交错宏块。根据这一判定结果可生成与被处理宏块MB0相对应的运动矢量预测值(MV预测值)Pmvt。
如果举例来说就是,对于基准单元MB1~MB3完全属于交错宏块的场合,MV预测器104可以由与已经进行过编码处理的基准宏块MB1~MB3相对应的运动矢量MVt1~MVt3,生成与被处理宏块MB0相对应的运动矢量预测值(MV预测值)Pmvt。这一MV预测值Pmvt被输出至MV编码器105。属于内部宏块或物体外宏块的基准单元的运动矢量,不用于预测值的生成。
所述的MV编码器105参照所述MV预测值Pmvt,将被处理的宏块的运动矢量MVt(MVt0)与它的预测值Pmvt之间的差分值(色彩差分运动矢量),作为与被处理宏块的色彩运动矢量相当的值实施编码处理,以生成色彩运动矢量编码信号Emvt。这种色彩运动矢量编码信号Emvt可通过后段开关101输出。
类似的,当形状编码模式信号Mos、即表示被处理宏块的形状运动矢量是否为有效的形状运动矢量有效信号Mos由输入端子5处输入时,可利用该形状运动矢量有效信号Mos对MV编码器205的前段开关200和后段开关201实施开闭控制。具体的讲就是,在需要对与所输入被处理的宏块MB0相对应的运动矢量MVs0实施编码处理的场合,所述两个开关200、201处于导通状态,而在不需要对与所输入被处理的宏块MB0相对应的运动矢量MVs0实施编码处理的场合,所述的两个开关200、201处于非导通状态。
换句话说就是,在被处理宏块为实施图面内编码处理的内部宏块的场合,以及被处理宏块为全部象素均位于物体外的物体外宏块而不需要对该运动矢量实施编码处理的场合,所述的两个开关200、201均处于非导通状态。在所述的被处理宏块为实施形状信号运动补偿编码处理(图面间编码处理)的交错宏块的场合,所述的两个开关200、201均处于导通状态。
与各宏块相对应的形状运动矢量MVs被暂时存储在MV存储器202中。由这一MV存储器202将如图12(d)所示的、与位于被处理的宏块MB0周围的基准宏块RMBs1~RMBs3相对应的运动矢量MVs1~MVs3传送至MV预测器204。这时,如图12(c)所示的、与位于被处理宏块MB0相连接位置处的宏块MBt1~MBt3相对应的运动矢量MVt1~MVt3,将由所述的MV存储器102供给至MV预测器204。这时形状运动矢量有效信号Mos被暂时存储在MV有效存储器203中。
由MV有效存储器203将与所述的被处理宏块相对应的形状运动矢量有效信号Mmos(Mos),以及由MV有效存储器103的将与所述的被处理宏块相对应的色彩运动矢量有效信号Mmot(Mot),均供给至所述MV预测器204。这时,MV预测器204将根据所述的有效信号Mos,判定位于与被处理的宏块相邻接位置的基准宏块RMBs1~RMBs3的运动矢量MVs1~MVs3是否应该编码,即判定所述各基准宏块是否为内部宏块、物体外宏块中的一个,还是为交错宏块。而且还根据所述的运动矢量有效信号Mmot,判定位于与被处理的宏块相邻接位置的基准宏块Rb1~RB3的运动矢量MVt1~MVt3是否应该编码,即判定所述的各基准宏块Rb1~RB3是否为内部宏块、物体外宏块中的一个,还是为交错宏块。根据这些判定结果可生成与被处理的宏决MBs0相对应的运动矢量预测值(MV预测值)Pmvs。
举例来说就是,在基准宏块RMB1~RMB3和基准单元RB1~RB3完全属于交错宏块的场合,所述的MV预测器204可以由与已经进行过编码处理的基准宏块RMB1~RMB3相对应的运动矢量MVs1~MVs3,以及与已经进行过编码处理的基准宏块MB1~MB3相对应的运动矢量MVt1~MVt3,生成与被处理的宏块MB0相对应的运动矢量预测值(MV预测值)Pmvs。这一MV预测值Pmvs被输出至MV编码器205。作为内部宏块或物体外宏块的基准宏块的运动矢量,以及属于内部宏块或物体外宏块的基准单元的运动矢量,不用于预测值的生成。
所述的MV编码器205以所述MV预测值Pmvs为参考值,将被处理宏块的运动矢量MVs与它的预测值Pmvs之间的差分值(形状差分运动矢量),作为与被处理的宏块的形状运动矢量相当的值被编码,以生成形状运动矢量编码信号Emvs。这种形状运动矢量编码信号Emvs通过后段开关201被输出。
图14为说明构成所述图象解码装置2000的现有运动矢量解码装置的示意性方框图。而且在该图中还示出了构成色彩解码装置2100的运动矢量解码装置(下面称为色彩运动矢量解码装置)2140和构成形状解码装置2200的运动矢量解码装置(下面称为形状运动矢量解码装置)2240。在这种运动矢量解码装置的说明中也和所述运动矢量解码装置的说明相类似,运动矢量的预测处理是以被处理的宏块MB0仅具有一个色彩运动矢量、并且将位于被处理宏块周围的单元RB1-RB3为基准宏块的场合为例进行说明的(请参见图12(b))。
所述的色彩运动矢量解码装置2140是一种对由如图13所示的色彩运动矢量编码装置1170输出的色彩运动矢量编码信号Emvt实施解码处理用的装置。
这种色彩运动矢量解码装置2140具有对由输入端子13输入的、与被处理的宏块相对应的色彩运动矢量编码信号Emvt实施解码处理并生成色彩运动矢量解码信号Dmvt的MV解码器303,以及暂时存储该色彩运动矢量解码信号Dmvt的MV存储器304。当与被处理的宏块MB0相对应的运动矢量解码处理时,由该MV存储器304输出与被处理宏块相邻接的基准宏块Rb1~RB3(请参见图12(c))的运动矢量MVt1~MVt3。
所述的色彩运动矢量解码装置2140还具有暂时存储与由输入端子6输入的各宏块相对应的色彩编码模式信号Mot的MV有效存储器302,以及根据与由该MV有效存储器302给出的被处理的各基准宏块相对应的编码模式信号Mmot,由已经编码处理过的宏块中的基准单元RB1~RB3的运动矢量MVt1~MVt3生成被处理宏块的运动矢量的MV预测值Pmvt的MV预测器305。
而且所述的色彩运动矢量解码装置2140还具有设置在输入端子13与MV解码器303之间的前段开关300,和设置在输出端子20与MV解码器303之间的后段开关301,这两个开关300、301通过所述的编码模式信号Mot实施开闭控制。
所述的形状运动矢量解码装置2240是一种对由如图13所示的运动矢量编码装置1270输出的形状运动矢量编码信号Emvs实施解码处理用的装置。
这种形状运动矢量解码装置2240具有对于由输入端子14输入的、与被处理的宏块相对应的形状运动矢量编码信号Emvs实施解码处理并生成形状运动矢量解码信号Dmvs的MV解码器403,以及暂时存储该形状运动矢量解码信号Dmvs的MV存储器404,并且由该MV存储器404输出位于与被处理宏块相邻接的基准单元RMB1~RMB3(请参见图12(d))的运动矢量MVs1~MVs3。
所述的形状运动矢量解码装置2240还具有存储由输入端子7输入的、与各宏块相对应的编码模式信号Mos的MV有效存储器402,以及根据与由该MV有效存储器402来的被处理宏块相对应的编码模式信号Mmos和与由所述的MV有效存储器302来的被处理宏块相对应的编码模式信号Mmot,由已经编码处理过的基准宏块RMB1~RMB3的运动矢量MVs1~MVs3和已经编码处理过的基准单元RB1~RB3的运动矢量MVt1~MVt3生成被处理宏块MBs0的运动矢量MVs0的MV预测值Pmvt的MV预测器405。这种MV预测器405将由所述的色彩运动矢量解码装置2140的MV存储器304供给的半象素精度的色彩运动矢量变换为具有1象素精度的色彩运动矢量,并且利用这种变换所获得的1象素精度的色彩运动矢量实施预测处理。是因为色彩解码装置可利用半象素精度的运动矢量实施运动补偿处理,而形状解码装置则可利用1象素精度的运动矢量实施运动补偿处理。
而且所述的形状运动矢量解码装置2240还具有设置在输入端子14与MV解码器403之间的前段开关400,和设置在输出端子21与MV解码器403之间的后段开关401,这两个开关400、401通过所述的编码模式信号Mos实施开闭控制。
下面对它们的动作方式进行说明。
所述的色彩运动矢量解码装置2140对由如图13所示的色彩运动矢量编码装置1170输出的色彩运动矢量的编码信号Emvt实施解码处理,并生成解码信号Dmvt。所述的形状运动矢量解码装置2240对由如图13所示的形状运动矢量编码装置1270输出的形状运动矢量编码信号Emvs实施解码处理,并生成解码信号Dmvs。
换句话说就是,当由色彩解码装置2100中的可变长度解码器2110经过解码处理的编码模式信号Mot,被作为表示被处理宏块的运动矢量是否有效的运动矢量有效信号由输入端子6处输入时,可利用该解码模式信号Mot对所述MV解码器303的前段开关300和后段开关301实施开闭控制。具体的讲就是,在与所输入的被处理的宏块相对应的色彩运动矢量的编码信号为需要实施解码的场合,所述的两个开关300、301均处于导通状态,而在色彩运动矢量的编码信号为不需要实施解码处理的场合,所述的两个开关300、301均处于非导通状态。
换句话说就是,在被处理的宏块为实施图面内编码处理的单元的场合,以及在被处理的宏块为位于物体外的单元而不需要对该运动矢量实施编码处理的场合,所述的两个开关均处于非导通状态。在所述被处理宏块为实施运动补偿编码处理(图面间编码处理)的场合,所述的两个开关均处于导通状态。
由输入端子13输入的色彩运动矢量编码信号Emvt可由MV解码器303参照与被处理的宏块色彩运动矢量相对应的预测值Pmvt实施解码处理,并生成色彩运动矢量解码信号Dmvt。这种解码信号Dmvt被暂时存储在MV存储器304中。
对所述的被处理宏块MB0的色彩运动矢量MVt0实施的解码处理如图12(c)所示,与基准单元RB1~RB3相对应的运动矢量MVt1、MVt2、MVt3相当的解码信号Dmvt被输入至MV预测器305。表示与所述各宏块相对应的运动矢量是否有效的编码模式信号Mot暂时被存储在MV有效存储器302中。MV预测器305根据由所述MV有效存储器302给出的编码模式信号Mot,判定位于与被处理的宏块相邻接位置的基准宏块的运动矢量MVt1~MVt3是否已经编码,即判定所述各基准宏块是否为内部宏块、物体外宏块中的一个,还是为交错宏块。根据这一判定结果可生成与被处理的宏块MB0相对应的运动矢量MVt0的预测值(MV预测值)Pmvt。这种生成预测值的具体处理方式与色彩运动矢量编码装置中的处理方式完全相同。所述的MV预测值Pmvt被输出至所述的MV解码器303。
在另一方面,当由形状解码装置2200中的可变长度解码器2210实施过解码处理的编码模式信号Mos被由输入端子7处输入时,可利用该运动矢量模式信号Mos对所述MV解码器403的前段开关400和后段开关401实施开闭控制。具体的讲就是,在与所输入的被处理的宏块相对应的形状运动矢量的编码信号为需要解码的场合,所述的两个开关400、401均处于导通状态,而该形状运动矢量的编码信号为不需要解码的场合,所述的两个开关400、401均处于非导通状态。
换句话说就是,在被处理的宏块为实施图面内编码处理的单元的场合,以及在被处理的宏块为位于物体外的宏块而不需要对该运动矢量实施编码处理的场合,所述的两个开关400、401均处于非导通状态。在所述被处理的宏块为实施运动补偿编码处理(图面间编码处理)的交错宏块的场合,所述的两个开关400、401均处于导通状态。
由输入端子14输入的形状运动矢量编码信号Emvs可由MV解码器403根据与被处理的宏块形状运动矢量相对应的预测值Pmvs实施解码处理,并生成形状运动矢量解码信号Dmvs。这种解码信号Dmvs被暂时存储在MV存储器404中。
对于所述被处理宏块MBs0的形状运动矢量MVs0实施的编码处理,是将如图12(d)所示的、与基准宏块RMB1、RMB2、RMB3相对应的运动矢量MVs1、MVs2、MVs3相当的解码信号Dmvs,以及如图12(c)所示的、与基准单元RB1、RB2、RB3相对应的运动矢量MVt1、MVt2、MVt3相当的解码信号Dmvt,均输入至MV预测器405。判定与所述各宏块相对应的形状运动矢量是否有效的编码模式信号Mos暂时存储在MV有效存储器402中。由所述MV有效存储器402输出的、与所述被处理的宏块相对应的形状运动矢量有限信号Mos和由所述MV有效存储器302输出的、与所述被处理的宏块相对应的色彩运动矢量有效信号Mmot均供给至MV预测器405。
这时,所述的MV预测器405可根据所述的有效信号Mmos判定位于与被处理的宏块相邻接位置的基准宏块的形状运动矢量MVs1~MVs3是否已经编码,即判定所述各基准宏块是否为内部宏块、物体外宏块中的一个,还是为交错宏块。而且根据由所述MV有效存储器302给出的有效信号Mmot,判定位于与被处理的宏块相邻接位置的基准单元的运动矢量MVt1~MVt3是否已经编码,即判定所述各基准单元是否为内部宏块、物体外宏块中的一个,还是为交错宏块。根据这一判定结果生成与被处理的宏块MBs0相对应的运动矢量预测值Pmvs。这种生成预测值的具体处理与运动矢量编码装置中的处理完全相同。所述MV预测值Pmvs被输出至所述MV解码器403。
与MPEG4相对应的图象编码处理,是一种与MPEG2相类似的、能将作为处理对象的图象信号扩展至交错图象信号的处理,这种图象编码处理也可以对色彩信号实施以场为单位的运动补偿处理。
MPEG4中的以场为单位的运动补偿处理与MPEG2中的处理相类似。这种运动补偿处理可如图12(c)所示,在一个图面(一帧)中的各宏块中分割出与构成该宏块的第一、第二半宏块MBf1、MBf2相对应的运动矢量MVt01和MVt02。即对各宏块存在两个运动矢量。
然而,MPEG4的运动补偿处理是将被处理的宏块运动矢量与由附近宏块的运动矢量预测出的运动矢量预测值之间的差分运动矢量,作为被处理宏块的运动矢量信息实施编码,从而引入了比MPEG2技术中的运动矢量编码处理效率更好的运动矢量编码处理方法。
图15为说明现有的、与交错色彩信号相对应的运动矢量编码装置的示意性方框图。
这种运动矢量编码装置1170a具有存储以帧为单位的运动矢量的帧MV存储器102a,存储以场为单位的运动矢量的场MV存储器102b,将以帧为单位的运动矢量变换为以场为单位的运动矢量的场MV变换器110a,以及将以场为单位的运动矢量变换为以帧为单位的运动矢量的帧MV变换器110b。
所述的运动矢量编码装置1170a还具有存储表示被处理的宏块运动矢量是否有效的编码模式信号Mot的有效MV存储器103,根据该存储的编码模式信号Mmot,由以帧为单位的与已经进行过编码处理的基准宏块对应的运动矢量预测生成以帧为单位的运动矢量预测值用的帧MV预测器104a,以及根据该存储的编码模式信号Mmot,由以场为单位的、已经进行过编码处理的基准宏决的运动矢量预测生成以帧为单位的运动矢量预测值的场MV预测器104b。
此处,所述的帧MV预测器104a是这样构成的,即在已经进行过编码处理的基准宏块的运动矢量是以帧为单位时,参照存储在帧MV存储器102a中的运动矢量,如果已经进行过编码处理的基准宏块的运动矢量是以场为单位时,则参照用帧MV变换器110b变换存储在场MV存储器102b中的以场为单位的运动矢量而获得的以帧为单位的运动矢量。所述场MV预测器104b是这样构成的,即在已经进行过编码处理的基准宏块的运动矢量是以场为单位时,参照存储在场MV存储器102b中的运动矢量,如果已经进行过编码处理的基准宏块的运动矢量是以帧为单位时,则参照用场MV存储器110a变换存储在帧MV存储器102a中的以帧为单位运动矢量而获得的以场为单位的运动矢量。
而且,所述的运动矢量编码装置1170还具有参照由帧MV预测器104a输出的MV预测值并实施以帧为单位的运动矢量编码处理的帧MV编码器105a,以及参照由场MV预测器104b输出的MV预测值并实施以场为单位的运动矢量编码处理的场MV编码器105b。
所述的运动矢量编码装置1170a还具有一个前段开关100,这一前段开关100具有与输入端子1相连接的输入节点S1i,与所述帧MV存储器102a和帧MV编码器105a的输入端相连接的第一输出节点S1a,与所述场MV存储器102b和场MV编码器105b的输入端相连接的第二输出节点S1b,以及呈开放状的第三输出节点S1c,并且可根据所述的色彩编码模式信号Mot将所述输入节点S1i与所述第一~第三输出节点中的某一个相连接。所述的运动矢量编码装置1170a还具有一个后段开关101,该后段开关101具有与输出端子10相连接的输出节点S2o,与所述帧MV编码器105a的输出端相连接的第一输入节点S2a,与所述场MV编码器105b的输出端相连接的第二输入节点S2b,以及呈开放状的第三输入节点S2c,并且可根据所述的色彩编码模式信号Mot将所述输出节点S2o与所述第一~第三输入节点中的某一个相连接。
下面对它们的动作方式进行说明。
被处理宏块的色彩运动矢量Mvt被输入至输入端子1处,被处理宏块的色彩编码模式信号Mot被输入至输入端子2处。这时,可根据所述的色彩编码模式信号Mot对所述前段开关100和后段开关101实施切换控制。
即对于色彩运动矢量MVt为不需要实施编码处理的场合,所述前段开关100的输入节点S1i与开放着的输出节点S1c相连接,后段开关101的输出节点S2o与开放着的输入节点S2c相连接。
对于色彩运动矢量MVt为需要实施编码处理的帧为单位运动矢量的场合,所述前段开关100的输入节点S1i与第一输出节点S1a相连接,后段开关101的输出节点S2o与第一输入节点S2a相连接。
这时,由所述输入端子1输入的被处理宏块运动矢量MVt将暂时存储在帧MV存储器102a中。并且通过场MV变换器110a将存储在所述帧MV存储器102a中的以帧为单位运动矢量变换为以场为单位运动矢量。
首先,对于色彩运动矢量MVt为需要实施编码处理的以场为单位运动矢量的场合,所述前段开关100的输入节点S1i与第二输出节点S1b相连接,后段开关101的输出节点S2o与第二输入节点S2b相连接。
这时,由所述输入端子1输入的被处理宏块运动矢量MVt暂时存储在场MV存储器102b中。并且通过帧MV变换器110b将存储在所述场MV存储器102b中的以场为单位运动矢量变换为以帧为单位运动矢量。
对于被处理的宏块运动矢量MVt为以帧为单位运动矢量的场合,在帧MV预测器104a生成以帧为单位运动矢量的预测值,在帧MV编码器105a对被处理的宏块运动矢量MVt参照所述预测值实施编码处理,并生成以帧为单位运动矢量的编码信号Emvt1。这种编码信号Emvt1可通过后段开关101作为运动矢量编码信号Emvt而输出。
这时,在帧MV预测器104a,如果基准宏块是实施帧运动补偿处理,则参照存储在帧MV存储器102a中的运动矢量,如果所述基准宏块是实施场运动补偿处理,则参照通过帧MV变换器110b变换存储在场MV存储器102b中的以场为单位运动矢量而获得的以帧为单位运动矢量。
在另一方面,对于被处理的宏块运动矢量MVt为以场为单位运动矢量的场合,可以用场MV预测器104b生成以帧为单位运动矢量的预测值,并用场MV编码器105b参照所述预测值对被处理的宏块的运动矢量MVt实施编码处理,生成以场为单位运动矢量的编码信号Emvt2。这种编码信号Emvt2可通过后段开关101作为运动矢量编码信号Emvt而输出。
这时,在场MV预测器104b,如对基准宏块实施场运动补偿处理,则参照存储在场MV存储器102b中的运动矢量,而如对所述基准宏块实施帧运动补偿处理,则参照通过场MV变换器110a变换存储在帧MV存储器102a中的以帧为单位运动矢量所获得的以场为单位运动矢量。
图16为说明与现有的交错色彩信号相对应的运动矢量解码装置用的示意性方框图。
这种运动矢量解码装置2140a对由如图15所示的运动矢量编码装置1170a输出的运动矢量的编码信号Emvt实施解码处理,并输出运动矢量的解码信号Dmvt。
这种运动矢量解码装置2140a具有参照已经进行过解码处理的基准宏块的运动矢量获得的预测运动矢量对被处理的宏块的以帧为单位运动矢量的编码信号,实施解码处理并输出帧运动矢量解码信号Dmvt1的帧MV解码器303a,以及参照已经进行过解码处理的基准宏块的运动矢量获得的预测运动矢量对于被处理的宏块以场为单位的运动矢量的编码信号实施解码处理并输出场运动矢量解码信号Dmvt2的场MV解码器303b。
所述的形状运动矢量解码装置2140a还具有存储帧运动矢量解码信号Dmvt1的帧MV存储器304a,存储场运动矢量解码信号Dmvt2的帧MV存储器304b,以及将以帧为单位运动矢量解码信号变换为以场为单位运动矢量解码信号的场MV变换器310a,将以场为单位运动矢量解码信号变换为以帧为单位运动矢量解码信号的帧MV变换器310b。
所述的运动矢量解码装置2140a还具有存储表示被处理的宏块的运动矢量是否有效的编码模式信号Mot的MV有效存储器302,根据该存储的编码模式信号Mot由以帧为单位的已经进行过解码处理的运动矢量预测生成以帧为单位运动矢量预测值Pmvt1的帧MV预测器305a,以及根据该存储的编码模式信号Mot由以场为单位的已经进行过解码处理的运动矢量预测生成以场为单位运动矢量预测值Pmvt2的场MV预测器305b。
此处,所述的帧MV预测器305a在已经进行过解码处理的基准宏块的运动矢量是以帧为单位时,可以参照存储在帧MV存储器304a中的运动矢量,如果已经进行过解码处理的基准宏块的运动矢量是以场为单位时,则对存储在场MV存储器304b中的以场为单位运动矢量通过帧MV变换器310b实施变换,并参照所获得的以帧为单位的运动矢量。所述的场MV预测器305b在已经进行过解码处理的基准宏块的运动矢量是以场为单位时,参照存储在场MV存储器305b中的运动矢量,如果已经进行过解码处理的基准宏块的运动矢量是以帧为单位时,则将存储在帧MV存储器304a中的以帧为单位运动矢量通过帧MV存储器310a实施变换,并参照所获得的以场为单位的运动矢量。
而且,所述的运动矢量解码装置2140a还具有一个前段开关300,该前段开关300具有与输入端子13相连接的输入节点S3i,与所述帧MV解码器303a的输入端相连接的第一输出节点S3a,与所述场MV解码器303b的输入端相连接的第二输出节点S3b,以及呈开放状的第三输出节点S3c,并且可根据所述编码模式信号Mot将所述输入节点S3i与所述第一~第三输出节点中的某一个相连接。所述的运动矢量解码装置2140a还具有一个后段开关301,该后段开关301具有与输出端子20相连接的输出节点S4o,与所述帧MV解码器303a的输出端相连接的第一输入节点S4a,与所述场MV解码器303b的输出端相连接的第二输入节点S4b,以及呈开放状的第三输入节点S4c,并且可根据所述编码模式信号Mot将所述输出节点S4o与所述第一~第三输入节点中的某一个相连接。
下面对它们的动作方式进行说明。
将被处理的宏块运动矢量编码信号Emvt输入至输入端子13处,将被处理宏块的运动矢量有效信号Mot输入至输入端子6处。这时,可根据所述的运动矢量有效信号Mot对所述前段开关300和后段开关301实施切换控制。
当所述的运动矢量有效信号Mot存储在MV有效存储器302中时,可根据存储在MV有效存储器302中的有效信号Mmot,利用帧MV预测器305a和场MV预测器305b判定由MV预测器305a、305b参照的宏块运动矢量MVt1、MVt2、MVt3是否进行过编码处理,以及是以帧为单位运动矢量还是以场为单位运动矢量。
首先,在所述的运动矢量编码信号Emvt为不需要实施解码处理的场合,所述前段开关300的输入节点S3i与呈开放状的输出节点S3c相连接,后段开关301的输出节点S4o与呈开放状的输入节点S4c相连接。
在被处理宏块的运动矢量编码信号Emvt为需要实施解码处理的以帧为单位运动矢量的场合,所述前段开关300的输入节点S3i与第一输出节点S3a相连接,后段开关301的输出节点S4o与第一输入节点S4a相连接。
这时,帧MV解码器303a参照被处理的宏块的预测运动矢量pmvt1对由所述输入端子13输入的被处理宏块的运动矢量编码信号Emvt实施解码处理,并生成运动矢量解码信号Dmvt1。这种解码信号Dmvt1暂时存储在帧MV存储器304a中。并且通过场MV变换器310a将存储在帧MV存储器304a中的以帧为单位运动矢量变换为以场为单位运动矢量。
而且帧MV预测器305a根据被处理的宏块的运动矢量有效信号,参照与被处理的宏块相邻接的已经进行过解码处理的基准宏块的运动矢量,实施生成被处理宏块的运动矢量的预测运动矢量的帧运动补偿处理。这时,如果基准宏块为实施帧运动补偿处理,则参照存储在帧MV存储器304a中的运动矢量,如果所述基准宏块为实施场运动补偿处理,则利用帧MV变换器310b对存储在场MV存储器304b中的以场为单位运动矢量实施变换,并且参照变换后所得的以帧为单位运动矢量。
对于被处理宏块的运动矢量编码信号Emvt为需要实施编码处理的以场为单位运动矢量的场合所述前段开关300处的输入节点S3i与第二输出节点S3b相连接,后段开关301处的输出节点S4o与第二输入节点S4b相连接。
这时,由所述的输入端子13处输入的被处理宏块的运动矢量编码信号Emvt,由场MV解码器303b参照被处理宏块的预测运动矢量pmvt2实施解码处理,并生成运动矢量解码信号Dmvt2。这种解码信号Dmvt2暂时存储在帧MV存储器304b中。并且通过场MV变换器310b将存储在所述MV存储器304b中的以帧为单位运动矢量变换为以场为单位运动矢量。
而且场MV预测器305b根据被处理的宏块的运动矢量有效信号,参照与被处理的宏块相邻接的已经进行过解码处理的基准宏块的运动矢量,实施生成被处理宏块的运动矢量的预测运动矢量用的场运动补偿处理。这时,如果基准宏块为实施场运动补偿处理的决,则参照存储在场MV存储器304b中的运动矢量,如果所述的基准宏块为实施帧运动补偿处理的块,则利用帧MV变换器310b对存储在帧MV存储器304a中的以场为单位运动矢量实施变换,并且变换后的以帧为单位运动矢量作为参考值。
然而,一般认为在常规TV放送时使用的交错色彩信号,以及利用在因特网络和数据库中的非交错型色彩信号和形状信号的应用分类领域比较广泛,而交错形状信号的应用分类领域并不太大。
近些年来人们一般认为下世纪的电视采用非交错方式播放的可能性非常高,然而从实用的角度看,对应用领域并不太大的交错形状信号的实施编码处理用的编码装置和解码装置的结构构成还相当复杂。
为了能解决编码装置和解码装置的结构构成复杂的问题,使交错形状信号的编码处理和解码处理成为可能,可考虑采用将交错色彩信号的编码处理和解码处理用的回路结构与非交错形状信号的编码处理和解码处理用的回路结构相组合的方式。
然而在对交错形状信号实施非交错编码处理时,对交错形状信号的运动补偿处理也要以与非交错信号相对应的以帧为单位进行。对于这种场合,如果色彩信号为交错信号,则与色彩信号相关的运动矢量是以场为单位和以帧为单位的两种类型,因而如果采用现有的简单运动矢量编码处理方式,将存在有难以进行参照色彩运动矢量的形状运动矢量编码处理的问题。
本发明的目的就是要解决现有的问题,提供一种可以使回路的结构增加为最小,并且按与交错色彩信号相关的运动矢量的编码处理和解码处理相组合的方式良好地进行与非交错形状信号相关的运动矢量的编码处理和解码处理用的图象编码装置和图象解码装置、图象编码方法和图象解码方法,并且提供一种存储通过计算机用该图象编码方法和图象解码方法进行与交错形状信号相关的运动矢量的编码处理或解码处理用的图象处理程序的数据存储媒体。
本发明(第一方面)的图象处理装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含色彩显示该物体用的色彩信号和表示该物体形状的形状信号的交错图象信号,并在每个由分割所述图象空间用的预定数目象素构成的宏块对该图象信号实施包含以帧为单位和以场为单位的运动补偿编码处理的适当地,编码处理的图象编码装置,它具有对于对交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置;和对于对交错形状信号实施以帧为单位运动补偿编码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据由与已处理过的宏块相对应的色彩运动矢量和形状运动矢量获得的预测值实施编码处理的形状运动矢量编码装置;而且所述的色彩运动矢量编码装置还具有将与已经经过处理的宏块相对应的以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的运动矢量变换装置;所述的形状运动矢量编码装置还具有当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,根据与已经经过处理的宏块相对应的以帧为单位形状运动矢量和由所述运动矢量变换装置输出的以帧为单位色彩运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值的形状运动矢量预测器。
本发明(第二方面)的图象编码装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含色彩显示该物体用的色彩信号和表示该物体形状的形状信号的交错图象信号并在每个由分割所述图象空间用的预定数目的象素构成的宏块对该图象信号实施包含以帧为单位和以场为单位的运动补偿编码处理的适当地编码处理的图象处理装置,它具有对于对交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置;和对于对交错形状信号实施以帧为单位的运动补偿编码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据该预测值实施编码处理的形状运动矢量编码装置;而且所述的形状运动矢量编码装置还具有当所述已经经过处理的宏块的色彩运动矢量为以帧为单位运动矢量时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,并且当所述已经经过处理的宏块的色彩运动矢量为以场为单位的运动矢量时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值用的形状运动矢量预测器。
本发明的(第三方面)图象处理装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含色彩显示该物体用的色彩信号和表示该物体形状的形状信号的交错图象信号或非交错图象信号的、并在每个由分割所述图象空间用的预定数目的象素构成的宏块对该图象信号实施包含帧为单位的和以场为单位的运动补偿编码处理的适当地编码处理的图象编码装置,它具有对于对色彩信号实施以帧为单位或以场为单位的运动补偿编码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置;和对于对非交错形状信号实施以帧为单位运动补偿编码处理用的、以帧为单位的与被处理宏块相对应的形状运动矢量,根据该预测值实施编码处理的形状运动矢量编码装置;而且所述的形状运动矢量编码装置还具有形状运动矢量预测器,当接收到作为所述图象信号的非交错图象信号时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,并且当接收到作为所述图象信号的交错图象信号时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值。
本发明的(第四方面)图象解码装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含色彩显示该物体用的色彩信号和表示该物体形状的形状信号的交错图象信号相对应的图象编码信号并在每个由分割所述图象空间的预定数目的象素构成的宏块对该图面编码信号实施包含有以帧为单位和以场为单位的运动补偿解码处理的适当地解码处理的图象解码装置,它具有对于对与交错色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理的色彩运动矢量解码装置;和对于对与交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据由与被处理宏块相对应的色彩运动矢量和形状运动矢量获得的预测值实施解码处理的形状运动矢量解码装置;而且所述的色彩运动矢量解码装置还具有将与已经经过处理的宏块相对应的以场为单位色彩运动矢量变换为以帧为单位色彩运动矢量的运动矢量变换装置;所述形状运动矢量解码装置还具有形状运动矢量预测器,当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,根据与已经经过处理的宏块相对应的以帧为单位形状运动矢量和由所述运动矢量变换装置输出的以帧为单位色彩运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值。
本发明的(第五方面)的图象处理装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号相对应的图象编码信号并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图面编码信号实施包含有以帧为单位和以场为单位的运动补偿解码处理的适当地解码处理的图解码装置,它具有对于对与交错色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理的色彩运动矢量解码装置;和对于对与交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位的的被处理宏块相对应的形状运动矢量,根据其预测值实施解码处理的形状运动矢量解码装置;而且所述的形状运动矢量解码装置还具有形状运动矢量预测器,当所述已经经过处理的宏块的色彩运动矢量为以帧为单位的运动矢量时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,并且当所述已经经过处理的宏块的色彩运动矢量为以场为单位的运动矢量时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值。
本发明的(第六方面)的图象处理装置是一种接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号或非交错图象信号相对应的图象编码信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图面编码信号实施包含有以帧为单位和以场为单位的运动补偿解码处理的适当地解码处理的图象处理装置,它具有对于对与色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理的色彩运动矢量解码装置;和对于对与非交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据其预测值实施解码处理的形状运动矢量解码装置;而且所述的形状运动矢量解码装置还具有形状运动矢量预测器,当接收到作为所述图象编码信号与非交错图象信号相对应的图象编码信号时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,并且当接收到作为所述图象编码信号与交错图象信号相对应的图象编码信号时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值。
本发明的(第七方面)的图象处理方法是一种采用包含以帧为单位和以场为单位的运动补偿编码处理的适当的编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号实施编码处理的图象编码方法,它包括对于对表示包含在所述图象信号中的物体形状的交错形状信号实施以帧为单位的运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块实施编码处理的形状运动矢量编码处理步骤;和将为对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以场为单位的运动补偿编码处理用的以场为单位的色彩运动矢量,变换为帧为单位的色彩运动矢量的色彩运动矢量变换处理步骤;而且所述的形状运动矢量编码处理步骤在参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值时,在与所述被处理宏块相对应的色彩运动矢量为以场为单位运动矢量的场合,则参照由所述色彩运动矢量变换处理变换该已经经过处理的宏块的色彩运动矢量所获得的以帧为单位的色彩运动矢量。
本发明的(第八方面)的图象处理方法是一种采用包含以帧为单位和以场为单位的运动补偿编码处理的适当编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号实施编码处理的图象编码方法,它包括对于对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施编码处理的色彩运动矢量编码处理步骤;和对于对表示包含在所述图象信号中的物体形状的交错形状信号实施以帧为单位运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块实施编码处理的形状运动矢量编码处理步骤;而且所述的形状运动矢量编码处理步骤在与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值,并且当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值。
本发明的(第九方面)的图象编码方法是一种采用包含以帧为单位和以场为单位的运动补偿编码处理的适当编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号或非交错图象信号实施编码处理的图象编码方法,它包括对于对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施编码处理的色彩运动矢量编码处理步骤;和对于对表示包含在所述图象信号中的物体形状的非交错形状信号实施以帧为单位的运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块为单位实施编码处理的形状运动矢量编码处理步骤;而且所述的形状运动矢量编码处理步骤在所述的图象信号为非交错图象信号时,参照与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,而当所述的图象信号为交错图象信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
本发明的(第十方面)的图象解码方法是一种采用包含帧为单位和以场为单位的运动补偿解码处理的适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号相对应的图象编码信号实施解码处理的图象处理方法,它包括对于对与表示包含在所述图象信号中的物体形状的交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤;和将为对与色彩表示包含在所述图象信号中的物体用的交错色彩信号相对应的编码信号实施帧为单位的运动补偿解码处理用的以场为单位的色彩运动矢量,变换为以帧为单位的色彩运动矢量的色彩运动矢量变换处理步骤;而且所述的形状运动矢量解码处理步骤在与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值时,如果与所述被处理宏块相对应的色彩运动矢量为以场为单位的运动矢量,则对与该已经经过处理的宏块相对应的色彩运动矢量实施所述色彩运动矢量变换处理,并且参照变换所获得的以帧为单位的色彩运动矢量。
本发明(第十一方面)的图象解码方法是一种采用包含以帧为单位和以场为单位的运动补偿解码处理的适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号相对应的图象编码信号实施解码处理的图象解码方法,它包括对于对与色彩表示包含在所述图象信号中的物体用的交错色彩信号相对应的编码信号实施以帧为单位或以帧为单位的运动补偿解码处理用的以帧为单位的或以场为单位的色彩运动矢量,根据其预测值在各宏块实施解码处理的色彩运动矢量解码处理步骤;对和为对与表示包含在所述图象信号中的物体形状的交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤;而且所述的形状运动矢量解码处理步骤在与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,而当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
本发明的(第十二方面)的图象解码方法是一种采用包含以帧为单位和以场为单位的运动补偿解码处理的适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号或非交错图象信号相对应的图象编码信号实施解码处理的图象解码方法,它包括对于对与色彩表示包含在所述图象信号中的物体用的色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施解码处理的色彩运动矢量解码处理步骤;和对于对与表示包含在所述图象信号中的物体形状的非交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤;而且所述的形状运动矢量解码处理步骤当所述的图象编码信号为与非交错图象信号相对应的图象编码信号时,参照与已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,而当所述的图象编码信号为与交错图象信号相对应的图象编码信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
本发明(第十三方面)的数据存储媒体是一种存储图象处理程序用数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求7所述的图象编码方法的编码处理用的编码程序。
本发明(第十四方面)的数据存储媒体是一种存储图象处理程序用的数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求8所述的图象编码方法的编码处理用的编码程序。
本发明(第十五方面)的数据存储媒体是一种存储图象处理程序用的数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求9所述的图象编码方法的编码处理用的编码程序。
本发明(第十六方面)的数据存储媒体是一种存储图象处理程序用的数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求10所述的图象解码方法的解码处理用的解码程序。
本发明(第十七方面)的数据存储媒体是一种存储图象处理程序用的数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求11所述的图象解码方法的解码处理用的解码程序。
本发明(第十八方面)的数据存储媒体是一种存储图象处理程序用的数据存储媒体,作为一种所述图象处理程序是在计算机中进行如权利要求12所述的图象解码方法实施的处理用的解码程序。
图1为说明本发明第一实施例的图象编码装置用的示意性方框图,它示出了构成该图象编码装置用的运动矢量编码装置。
图2为说明本发明第二实施例的图象解码装置用的示意性方框图,它示出了构成该图象解码装置用的运动矢量解码装置。
图3为说明本发明第三实施例的图象编码装置用的示意性方框图,它示出了构成该图象编码装置用的运动矢量编码装置。
图4为说明本发明第四实施例的图象解码装置用的示意性方框图,它示出了构成该图象解码装置用的运动矢量解码装置。
图5为说明本发明第五实施例的图象编码装置用的示意性方框图,它示出了构成该图象编码装置用的运动矢量编码装置。
图6为说明本发明第六实施例的图象解码装置用的示意性方框图,它示出了构成该图象解码装置用的运动矢量解码装置。
图7为说明存储利用计算机系统进行上述各实施例的运动矢量编码处理和运动矢量解码处理用的程序的数据存储媒体(图(a)、(b)),以及所述计算机系统(图(c))用的示意图。
图8为说明MPEG4标准的物体单位实施编码处理用的模拟图,在图中分别示出了由色彩信号获得的图象空间(图(a))、由形状信号获得的图象空间(图(b))、色彩信号的模块化处理(图(c)、(e))、对形状信号的模块化处理(图(d)、(f))。
图9为说明MPEG4标准的现有图象编码装置用的示意性方框图。
图10为说明MPEG4标准的现有图象解码装置用的示意性方框图。
图11为说明宏块与运动矢量之间的对应关系用的示意图,在图中分别示出了具有四个运动矢量的宏块(图(a))、具有两个运动矢量的宏块(图(b))、与宏块的各场相对应的半宏块(图(c))、具有一个运动矢量的宏观块(图(d))。
图12为说明现有的运动矢量预测处理用的示意图,在图中分别示意性地示出了在相对于色彩信号的被处理宏块具有四个运动矢量时的场合(图(a))、在相对于色彩信号的被处理的宏块具有一个运动矢量时的场合(图(b))、在相对于色彩信号的被处理的宏块中具有两个运动矢量时的场合(图(c))、相对于形状信号的运动矢量预测处理(图(d))。
图13为说明现有的运动矢量编码装置用的示意性方框图。
图14为说明现有的运动矢量解码装置用的示意性方框图。
图15为说明现有的、与交错图象信号相对应的运动矢量编码装置用的示意性方框图。
图16为说明现有的、与交错图象信号相对应的运动矢量解码装置用的示意性方框图。
下面参考附图说明本发明的最佳实施例。(实施例1)
图1为说明构成本发明实施例1的图象编码装置的运动矢量编码装置用的示意性方框图。
该实施例1的图象编码装置是一种对MPEG4标准的交错图象信号实施编码处理用的图象编码装置,它配置有对如上所述交错图象信号进行处理用的运动矢量编码装置1071,而未采用如图9所示的、现有图象编码装置1000中使用的色彩信号运动矢量编码装置1170和形状信号运动矢量编码装置1270。
所述MPEG4技术的交错图象信号可以由包含着下述信号的数据构成,这些信号包括色彩显示构成一图象画面用的物体的交错色彩图象信号,显示该物体形状用的交错形状信号,以及表示所述物体与其它图象合成用的合成比率的交错透过度信号。因此,如上所述的图象编码装置包括对如上所述的交错色彩图象信号实施编码处理用的色彩编码装置,对如上所述的交错形状信号实施编码处理用的形状编码装置,以及对如上所述的交错透过度信号实施编码处理用的透过度编码装置。所述透过度编码装置由于与如上所述的色彩编码装置的结构相同,而且与本发明没有直接关系,所以省略了对它的说明。
本实施例1的运动矢量编码装置1701具有构成所述色彩编码装置用的色彩运动矢量编码装置1171,以及构成所述形状编码装置用的形状运动矢量编码装置1271。
在实施例1中,所述的色彩编码装置与如图9所示的色彩编码装置1100的结构大体相同,即当对交错色彩信号实施运动补偿编码处理时,它可以在以帧为单位实施运动补偿处理和在以场为单位实施运动补偿处理之间进行适当的切换。而且这种色彩编码装置中的色彩运动矢量编码装置1171,与如图15所示的现有色彩运动矢量编码装置1170a的结构完全相同。
在前面的说明中,并没有给出用场MV变换器110a和帧MV变换器110b进行具体处理的相关说明,但如果具体的讲,所述色彩运动矢量编码装置1171的场MV变换器110a是由帧MV存储器102a接收与实施以帧为单位运动补偿处理的宏块相对应的、以帧为单位的色彩运动矢量(下面简称为帧CMV),将其作为与构成该帧的各场相对应的色彩运动矢量(下面简称为场CMV),并输出与所述帧CMV相同的两个运动矢量。而且如果具体的讲,所述色彩运动矢量编码装置1171的帧MV变换器110b是由场MV存储器102b接收与实施以场为单位运动补偿处理的宏块相对应的以场为单位的两个色彩运动矢量(下面简称为场CMV1、场CMV2),将其作为与构成场的帧相对应的色彩运动矢量(下面简称为帧CMV),并输出对所述场CMV1、场CMV2实施平均化处理而得到的一个运动矢量。
作为如上所述的这种帧MV变换器110b的具体的处理,并不限于将两个场的平均值作为以帧为单位的运动矢量,在与一个场相对应的半个宏块位于物体之外位置处的场合,也可以将与另一个场相对应的半个宏块(即位于物体内的半个宏块)的运动矢量作为与该帧相对应的宏块的运动矢量。这时,不再需要对与各场相对应的运动矢量进行平均化处理,而且被参照的运动矢量,还可以消除位于物体外半宏块的、具有无意义值的运动矢量的影响。特别是当帧MV变换器110b的输出同时供色彩运动矢量编码装置1171中的帧MV预测器104a和形状运动矢量编码装置1271中的MV预测器204a使用时,还具有可以减少用于运动矢量平均化的信号处理,并可以提高预测精度的效果。
在如上所述的实施例1中,所述的形状编码装置仅仅在所述的形状运动矢量编码装置1271的结构上,与如图9所示的现有形状编码装置1200中的构成有所不同。实施例1的形状编码装置可以将包含在所述交错图象信号中的交错形状信号变换成顺序形状信号,并且对这种顺序形状信号实施编码处理。换句话说就是,这种形状编码装置可以在进行图象间编码处理时,实施通常以帧为单位的补偿编码处理。
而且,上所述的形状运动矢量编码装置1271没有采用如图13所示的现有运动矢量编码装置1270中的MV预测器204,而是采用了MV预测器204a,后者可以参考存储在所述色彩运动矢量编码装置1171的帧MV存储器102a中的以帧为单位的色彩运动矢量,以及由该装置1171中的帧MV变换器110b输出的以帧为单位的色彩运动矢量,生成与需要处理的宏块的形状运动矢量相对应的预测值。而且这种MV预测器204a可以将由所述色彩运动矢量编码装置1171中的帧MV存储器102a供给的半象素精度的色彩运动矢量变换为1象素精度的色彩运动矢量,并且可以通过这种变换所获得的1单位象素精度的色彩运动矢量实施预测处理。这是因为色彩编码装置是使用半象素精度的运动矢量实施运动补偿处理的,而形状编码装置是使用1象素精度的运动矢量实施运动补偿处理的。
具体的讲就是,当利用所述MV预测器204a对于如图12(d)所示的需要处理的宏块MBs0的形状运动矢量MVs0生成预测值时,在由形状信号获得的图象空间,(形状图象空间)作为基准宏块,需要选择位于与被处理的宏块MBs0相邻接位置处的宏块RMBs1~RMBs3。因此,这些宏块RMBs1~RMBs3的运动矢量MVs1~MVs3被用作为基准形状运动矢量。在另一方面,对于由色彩信号获得的图象空间(色彩图象空间),与所述的被处理宏块MBs0相对应的宏块MB0相邻接位置的基准宏块,并不一定是实施以帧为单位补偿处理的宏块。因此对于基准宏块是实施以帧为单位的补偿处理的场合,在参照存储在所述帧MV存储器102a中的运动矢量并所述基准宏块为实施以场为单位运动补偿处理的场合,使存储在所述场MV存储器102b中的以场为单位的运动矢量通过帧MV变换器110b实施变换,然后参照变换所获得的以帧为单位的运动矢量。
对色彩图象空间中的各基准单元的运动矢量MVt1、MVt2、MVt3是否实施编码的判断,换句话说,即对包含基准单元的基准宏块是否为实施图象间编码处理的交错宏块的判断,可以在所述的MV预测器204a,根据作为MV有效存储器103输出的运动矢量有效信号Mmot来实施。
对于在所述形状图象空间中位于与被处理的宏块MBs0相邻接位置处的邻接宏块RMBs1~RMBs3中的、与内部宏块或物体外的宏块相当的运动矢量,在所述的运动矢量预测值生成处理时可以不参考。类似的,对于在所述色彩图象空间中位地与被处理的宏块MB0相邻接位置处的邻接宏块RB1~RB3中的、与内部宏块或位于物体之外的宏块相当的运动矢量,在所述的运动矢量预测值生成处理时也可以不参考。
下面对这种实施方式的作用和效果进行说明。
在实施例1中,由图象编码装置的动作,仅仅是运动矢量编码装置1071的动作与现有的图象编码装置1000的有所不同,而由运动矢量编码装置1071的动作又仅仅是形状运动矢量编码装置1271的动作和现有的运动矢量编码装置有所不同。因此,构成作为本实施例1的运动矢量编码装置1071的色彩运动矢量编码装置1171的结构构成是与现有的色彩运动矢量编码装置1170相同的。
如图13所示的现有形状运动矢量编码装置1270中的MV预测器204,在生成被处理宏块的形状运动矢量预测值时,参照作为色彩运动矢量存储在色彩运动矢量编码装置1170的MV存储器102中的运动矢量MVt1、MVt2、MVt3。
然而,在与交错色彩信号相对应的图象编码装置作为图象间的编码处理,由于可以适当切换以帧为单位的运动矢量补偿编码处理和以场为单位的运动矢量补偿编码处理来进行,作为与各宏块相对应的运动矢量就等于生成以帧为单位的运动矢量和以场为单位的运动矢量这两种运动矢量。
对于这种场合,现有的形状运动矢量编码装置1270中的MV预测器204参照的形状运动矢量为以帧为单位的运动矢量,所以对于该MV预测器204,不可以单纯地参照以场为单位的色彩运动矢量。
与此相对应的是,对于实施例1的形状运动矢量编码装置1271中的MV预测器204a,在生成形状图象空间中的被处理宏块的形状运动矢量的预测值时,在色彩图象空间中的基准宏块为实施以帧为单位的运动补偿处理的场合,可以参照存储在所述色彩运动矢量编码装置1171的帧MV存储器102a中的相应运动矢量。在另一方面,在色彩图象空间中的基准宏块为实施以场为单位的运动补偿处理的场合,在MV预测器204a用帧MV变换器110b对存储在所述色彩运动矢量编码装置1171的场MV存储器102b中的相应运动矢量实施变换,并且参照变换后所得的以帧为单位的运动矢量。
因此,在形状运动矢量编码装置1271中的MV预测器204a即使对基准宏块实施以场为单位和/或以帧为单位的运动补偿处理,被参照的色彩运动矢量通常也是以帧为单位的运动矢量。
这样,在对交错图象信号进行运动补偿编码处理用的图象编码装置中的运动矢量编码装置1171,与现有的对非交错图象信号实施运动补偿编码处理用的图象编码装置中的运动矢量编码装置相类似,可以参照色彩图象空间中的宏块相对应的色彩运动矢量,生成与形状图象空间中的被处理的宏块相对应的形状运动矢量的预测值。
在实施例1中,在适当切换以帧为单位的运动矢量补偿编码处理和以场为单位的运动矢量补偿编码处理对包含有与物体相对应的色彩信号和形状信号的交错图象信号进行运动补偿编码处理的图象编码装置中,配置有参照色彩运动矢量生成形状运动矢量的预测值的MV预测器204a,由于这种MV预测器204a可以在应参考的色彩运动矢量与以场为单位的运动矢量补偿编码处理相对应时,参照将以场为单位的色彩运动矢量变换为以帧为单位的运动矢量的帧MV变换器110b的输出信号,所以即使通常在实施以帧为单位运动矢量补偿编码处理的形状编码装置中进行形状运动矢量的预测处理,也可以参照与交错色彩信号相对应的色彩运动矢量。
因此,形状运动矢量编码装置的结构可以与色彩运动矢量编码装置的构成相同,即不再配置有与以帧为单位的运动矢量和以场为单位的运动矢量分别相对应的运动矢量编码部,通过对现有的形状运动矢量编码装置中的MV预测器的结构进行少许变更,即作为对与物体相对应的交错图象信号实施运动矢量补偿编码处理的图象编码装置,能在运动矢量编码时使参考色彩运动矢量而生成形状运动矢量预测值的形状运动矢量编码装置的回路构成简单。
而且在所述的实施例1中,在生成形状运动矢量预测值时参考用的色彩图象空间中的基准宏块具有一个运动矢量的场合,与对于各单元具有四个运动矢量的场合并没有什么不同,这是因为在上所述哪个场合,作为被参考的运动矢量可以使用相同的。
换句话说就是,在所述的基准宏块具有一个运动矢量的场合,就认为是与构成该基准宏块的四个单元相对应的运动矢量完全相等的场合,因此被参考的运动矢量在上述的任何一种场合中,对形状图象空间中被处理的宏块MBs0(参见图12(d)),采用位于色彩图象空间中被处理的宏块MBs0(参见图12(c))的周围位置的单元RB1~RB3的运动矢量MVt1~MVt3。(实施例2)
图2为说明构成本发明实施例2的图象解码装置的运动矢量解码装置的示意性方框图。
该实施例2的图象解码装置是一种对MPEG4标准的交错图象信号进行编码处理所获得的编码信号实施解码处理的图象解码装置,它配置有对如上所述交错图象信号进行处理用的运动矢量解码装置2041,而未采用如图10所示的现有图象解码装置2000中使用的色彩信号运动矢量解码装置2140和形状信号运动矢量解码装置2240。而且,如上所述的图象解码装置包括实施与如上所述的交错色彩图象信号相对应的解码处理的色彩解码装置,实施与如上所述的交错形状信号相对应的解码处理的形状解码装置,以及实施与如上所述的交错透过度信号相对应的解码处理用的透过度解码装置,所述透过度解码装置由于与如上所述的色彩解码装置的结构相同,而且与本发明没有直接关系,所以省略了对它的说明。
本实施例2的运动矢量解码装置2041具有构成所述色彩解码装置的色彩运动矢量解码装置2141,以及构成所述的形状解码装置的形状运动矢量解码装置2241。
在该实施例2中,所述的色彩解码装置有与如图10所示的色彩解码装置2100大体相同的结构,即当对由交错色彩信号实施编码所获得的编码信号实施运动补偿解码处理时,它可以在以帧为单位实施运动补偿处理和在以场为单位实施运动补偿处理之间进行适当的切换。而且这种色彩解码装置中的色彩运动矢量解码装置2141,与如图16所示的现有色彩运动矢量解码装置2140a的结构完全相同。
在前面的说明中,并没有给出用场MV变换器310a和帧MV变换器310b进行的具体处理的相关说明,但如果具体的讲,上述色彩运动矢量解码装置2141的场MV变换器310a是由帧MV存储器304a接收与实施以帧为单位运动补偿处理的宏块相对应的以帧为单位的色彩运动矢量(帧CMV),作为与构成该帧的各场相对应的色彩运动矢量(场CMV),并输出与所述帧CMV相同的两个运动矢量。而且如果具体的讲,所述色彩运动矢量解码装置2141的帧MV变换器310b是由场MV存储器304b接收实施以场为单位运动补偿处理的宏块相对应的以场为单位的两个色彩运动矢量(场CMV1、场CMV2),作为与由这两个场构成的帧相对应的色彩运动矢量(帧CMV),并输出对所述场CMV1、场CMV2实施平均化处理而构成的一个运动矢量。
作为上所述的这种帧MV变换器310b的一个具体的构成实例,并不仅限于将两个场的平均值作为帧为单位的运动矢量,在与一个场相对应的半个宏块位于物体之外处的场合,也可以将与另一个场相对应的半个宏块(即位于物体内的半个宏块)的运动矢量作为与该帧相对应的宏块的运动矢量。对于这种场合,不再需要对与各场相对应的运动矢量进行平均化处理,而且被参照的运动矢量,还有助于消除物体外半宏块中的、具有无意义值的运动矢量的影响。特别是当帧MV变换器310b的输出由色彩运动矢量解码装置2141中的帧MV预测器305a和形状运动矢量解码装置2241中的MV预测器405a共同使用时,它还具有可以减少对运动矢量实施平均化处理所需的信号处理,并可以提高预测精度的效果。
在所述的实施例2中,所述的形状解码装置仅仅在所述的形状运动矢量解码装置2241的结构上,与如图10所示的形状解码装置2200有所不同的。该实施例2的形状解码装置可以对利用所述实施例2的形状图象编码装置对顺序形状信号实施编码所获得的形状编码信号实施解码处理。换句话说就是,这种形状解码装置可以在图象间的解码处理时,通常进行以帧为单位的运动补偿解码处理。通过这种解码处理所获得的顺序形状信号可变换为交错形状信号,并供图象显示时使用。
而且,如上所述的色彩运动矢量解码装置2141中没有采用如图14所示的构成现有运动矢量解码装置的形状运动矢量解码装置2240中的MV预测器405,而是采用了MV预测器405a,后者可以适当地选择出对存储在所述的色彩运动矢量解码装置2141的帧MV存储器304a中的以帧为单位的色彩运动矢量,以及由该装置2141中的帧MV变换器310b输出的以帧为单位的色彩运动矢量中的一个,并参照所选择出的色彩运动矢量,生成与被处理的宏块的形状运动矢量相对应的预测值。
如果具体的讲就是,所述MV预测器405a在对如图12(d)所示的被处理的宏块MBs0的形状运动矢量MVs0生成预测值时,在由形状信号获得的图象空间(形状图象空间),选择位于与被处理的宏块MBs0相邻接位置处的宏块RMBs1~RMBs3作为基准宏块。因此,这些宏块RMBs1~RMBs3的运动矢量MVs1~MVs3被用作为基准形状运动矢量。在另一方面,对于由色彩信号获得图象空间(色彩图象空间),位于与所述的被处理宏块MBs0相对应的宏块MB相邻接的位置处的基准宏块,并不仅限于对以帧为单位实施补偿处理用的宏块。因此在基准宏块是实施以帧为单位的补偿处理的场合,参照存储在所述帧MV存储器304a中的运动矢量,而在所述的基准宏块为以场为单位实施运动补偿处理的场合,存储在所述场MV存储器304b中的以场为单位的运动矢量将通过帧MV变换器310b实施变换,并参照变换后所获得的以帧为单位的运动矢量。
而且色彩图象空间中的各基准单元的运动矢量MVt1、MVt2、MVt3是否实施编码的判断,即属于基准块的基准宏块是否为交错宏块的判断,可以根据所述MV有效存储器402输出的运动矢量有效信号Mmot进行。
对于在所述形状图象空间位于与被处理的宏块MBs0相邻接位置处的邻接宏块RMBs1~RMBs3中的、与内部宏块或物体外宏块相当的运动矢量,在所述的运动矢量预测值生成处理时可以不参考。类似的,对于在所述色彩图象空间位于与被处理的宏块MB0相邻接位置处的邻接宏块RB1~RB3中的、与于内部宏块或物体外的宏块相当的运动矢量,在所述的运动矢量预测值生成处理时也可以不参考。
下面对作用效果进行说明。
在实施例2中,图象解码装置的动作仅仅是运动矢量解码装置2041的动作与现有的图象解码装置2000有所不同,而运动矢量解码装置2041的动作又仅仅是形状运动矢量解码装置2241的动作和现有的运动矢量解码装置有所不同。因此,构成实施例2的运动矢量解码装置2041的色彩运动矢量解码装置2141与现有的色彩运动矢量解码装置2140相同。
如图14所示的现有形状运动矢量解码装置2240中的MV预测器405,在生成被处理的宏块的形状运动矢量预测值时,作为色彩运动矢量参照存储在色彩运动矢量解码装置2140的帧MV存储器304中的运动矢量MVt1、MVt2、MVt3。
然而,在与交错色彩信号相对应的图象解码装置中,作为图象间的解码处理,由于能适当地切换以帧为单位的运动矢量补偿解码处理和以场为单位运动矢量补偿解码处理来进行,作为与各宏块相对应运动矢量,可以生成以帧为单位的运动矢量和半帧为单位的运动矢量这两种运动矢量。
在这种场合,现有的形状运动矢量解码装置2240中的MV预测器405使用的基准值形状运动矢量为以帧为单位的运动矢量,所以对于该MV预测器405,不单纯地参照以场为单位的色彩运动矢量。
与此相对应的是,在实施例2的形状运动矢量解码装置2241中的MV预测器405a,在生成形状图象空间中的被处理的宏块的形状运动矢量的预测值时,对于色彩图象空间中的基准宏块为实施以帧为单位的运动补偿处理的场合,可以参照存储在所述色彩运动矢量解码装置2141的帧MV存储器304a中的相应运动矢量。在另一方面,在色彩图象空间中的基准宏块实施以场为单位的运动补偿处理的场合,MV预测器405a可以用帧MV变换器310b对在所述色彩运动矢量解码装置2141的场MV存储器304b中的相应的以场为单位的运动矢量实施变换,并参照变换所得的以帧为单位的运动矢量。
因此,在形状运动矢量解码装置2241的MV预测器405a,即使基准宏块实施以场为单位和以帧为单位的运动补偿处理的任一个,基准色彩运动矢量通常也是帧为单位的运动矢量。
这样,对交错图象信号进行运动补偿解码处理用的图象解码装置中的运动矢量解码装置2141,与对现有的非交错图象信号实施运动补偿解码处理用的图象解码装置中的运动矢量解码装置相类似,可以参照与色彩图象空间中的宏块相对应的色彩运动矢量,生成与形状图象空间中的被处理的宏块相对应的形状运动矢量的预测值。
因此在实施例2中,在适当地切换以帧为单位的运动矢量补偿解码处理和以场为单位运动矢量补偿解码处理,对包含有与物体相对应的色彩信号和形状信号的交错图象信号的编码信号进行运动补偿解码处理的的图象解码装置中,配置有参照色彩运动矢量生成形状运动矢量的预测值的MV预测器405a,在这种MV预测器405a当应参照色彩运动矢量是与以场为单位的运动矢量补偿解码处理相对应时,由于参照将以场为单位的色彩运动矢量变换为以帧为单位的运动矢量的帧MV变换器310b的输出信号,所以即使在通常进行以帧为单位运动矢量补偿解码处理的形状解码装置的形状运动矢量的预测处理,也可以参照与交错色彩信号相对应的色彩运动矢量。
因此,形状运动矢量解码装置的结构可以与色彩运动矢量解码装置的构成相同,即不再配置有与以帧为单位的运动矢量和以帧为单位的运动矢量分别相对应的运动矢量解码部,通过对现有的形状运动矢量解码装置中的MV预测器的结构进行少许变更,作为对与物体相对应的交错图象信号实施运动矢量补偿解码处理的图象解码装置,从而可以实现在运动矢量的编码信号解码时参照色彩运动矢量生成形状运动矢量的预测值的形状运动矢量解码装置的回路结构简单。
而且在所述的实施例2中,在生成形状运动矢量的预测值时参考用的色彩图象空间中的基准宏块具有一个运动矢量的场合和具有与各块对应的四个运动矢量的场合并没有什么不同,因为上述任一场合,也采用相同矢量作为参考值的运动矢量。
换句话说就是,对于所述基准宏块具有一个运动矢量的场合,认为是与构成该基准宏块的四个单元相对应的运动矢量完全相等的场合,因此被参照的运动矢量在上述的任何一种场合中,对形状图象空间中被处理的宏块MBs0(参见图12(d)),都采用位于色彩图象空间中被处理的宏块MBs0(参见图12(c))的周围位置处的单元RB1~RB3的运动矢量MVt1~MVt3。(实施例3)
图3为说明构成本发明实施例3的图象编码装置中的运动矢量编码装置用的示意性方框图。
该实施例3的运动矢量编码装置1072与实施例1中的运动矢量编码装置1071相类似,配置有构成所述色彩编码装置用的色彩运动矢量编码装置1172和构成所述形状编码装置用的形状运动矢量编码装置1272。
此处,所述的色彩运动矢量编码装置1172与如上所述的实施例1的色彩运动矢量编码装置1171的结构完全相同。所述的形状运动矢量编码装置1272没有配置如上所述的实施例1的形状运动矢量编码装置1271中的MV预测器204a,而是配置有仅参照色彩运动矢量编码装置1172的帧MV存储器102a的输出(即以帧为单位的运动矢量)而生成被处理的宏块形状运动矢量的预测值用的MV预测器204b。因此,本实施例3的形状运动矢量编码装置1272的结构,除了所述MV预测器204b之外均与如上所述的实施例1中的形状运动矢量编码装置1271相同。
如果具体的讲就是,所述MV预测器204b在对如图12(d)所示的、被处理的宏块MBs0的形状运动矢量MVs0生成预测值时,作为由形状信号获得的图象空间(形状图象空间)中的基准宏块,需要选择位于位于与被处理的宏块MBs0邻接的宏块RMBs1~RMBs3。因此,这些宏块RMBs1-RMBs3的运动矢量MVs1~MVs3要被用作为基准形状运动矢量。在另一方面,对于由色彩信号获得的图象空间(色彩图象空间),与所述被处理的宏块MBs0相对应的宏块MB0相邻接位置处的基准宏块,并不限于实施以帧为单位补偿处理的宏块。因此在基准宏块是实施以帧为单位的补偿处理的场合,参照存储在所述帧MV存储器102a中的运动矢量,在所述基准宏块为实施以场为单位运动补偿处理的场合,不参照色彩运动矢量作为参考值。而且所述MV预测器204b的其它结构均与实施例1的MV预测器204a相同。
下面对作用效果进行说明。
本实施例3的运动矢量编码装置1072与实施例1中的运动矢量编码装置1071的不同点在于,色彩运动矢量编码装置1172中的帧MV变换器110b的输出(即以帧为单位的运动矢量)并不发送至形状运动矢量编码装置1272。
所述的形状运动矢量编码装置1272在生成形状图象空间的被处理宏块的形状运动矢量的预测值时,对于色彩图象空间中的基准宏块实施以帧为单位的运动补偿处理的场合,用MV预测器204b参照存储在所述的色彩运动矢量编码装置1171的帧MV存储器102a中的相对应的运动矢量。在另一方面,对于色彩图象空间中的基准宏块是实施以场为单位的运动补偿处理的场合,MV预测器204b与实施例1中的MV预测器204a不同,它不参照所述的色彩运动矢量编码装置1171中的帧MV变换器110b的输出(以帧为单位的运动矢量)。
因此,实施例3中的运动矢量编码装置1072由于并不参照以场为单位的色彩运动矢量,所以和实施例1的运动矢量编码装置1071(参见图1)相比,被处理宏块的形状运动矢量的预测值的预测精度有可能恶化。
对于被处理宏块是实施以帧为单位的运动补偿处理且基准宏块是实施以场为单位的运动补偿处理的场合,由于可用色彩运动矢量编码装置1172中的帧MV预测器104a参照色彩运动矢量编码装置1172中的帧MV变换器110b的输出,可以认为它也适用于实施例1的运动矢量编码装置的结构。
换句话说就是,在上述的场合,色彩运动矢量编码装置1172中的帧MV预测器104a必须要参照以场为单位的运动矢量,所以用帧MV变换器110b实施将以场为单位的运动矢量变换为以帧为单位的运动矢量的变换处理。因此将帧MV变换器110b的输出(以帧为单位的运动矢量)供给色彩运动矢量编码装置1172中的帧MV预测器104a和形状运动矢量编码装置1272中的MV预测器204b,在这些输出中供给其中的一方的帧MV预测器104a的输出,与帧MV变换器110b的处理量相同。因此对如上所述的场合,如果从形状运动矢量的预测值的预测精度的角度上看,认为适宜实施例1的运动矢量编码装置的结构。
因此如果举例来说,在色彩图象空间的被处理宏块以及基准宏块都实施以场为单位的运动补偿处理的场合,色彩运动矢量编码装置1172参照场MV存储器304b的输出。因此对于在形状运动矢量的预测处理时参照已进行过以场为单位的运动补偿处理的基准宏块的色彩运动矢量的实施例1的运动矢量编码装置1071的结构,由于形状运动矢量的预测处理,必须在帧MV变换器110b进行将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的处理。
与此相对应的是,在实施例3的运动矢量编码装置1172中仅将形状运动矢量编码装置1172中的帧MV存储器102a的输出供给至形状运动矢量编码装置1272中的MV预测器204b。
采用如上所述的结构,例如在色彩图象空间的被处理的宏块以及基准宏块都实施以场为单位的运动补偿处理的场合下,对于形状运动矢量编码装置1172,在形状运动矢量预测处理时,就不参照基准宏块的色彩运动矢量,结果可以省略使用色彩运动矢量编码装置1172中的帧MV变换器110b将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的处理。(实施例4)
图4为说明构成本发明的实施例4的图象解码装置的运动矢量解码装置的示意性方框图。
该实施例4的运动矢量解码装置2042与如图3所示的、作为实施例3的运动矢量编码装置1072相对应。这种运动矢量解码装置2042配置有对由所述的运动矢量编码装置1072的色彩运动矢量编码装置1172输出的色彩运动矢量的编码信号Emvt实施解码并输出该解码信号Dmvt的色彩运动矢量解码装置2142,以及对由所述的运动矢量编码装置1072中的形状运动矢量编码装置1272输出的形状运动矢量编码信号Emvs实施解码并输出该解码信号Dmvs的形状运动矢量解码装置2242。
此处,所述的色彩运动矢量解码装置2142与如上所述的实施例2中的色彩运动矢量解码装置2141的结构完全相同。所述的形状运动矢量解码装置2242没有配置在作为如上所述的实施例2的形状运动矢量解码装置2241中使用的MV预测器405a,而是配置有仅参照色彩运动矢量解码装置2142中的帧MV存储器304a的输出(即以帧为单位的运动矢量)而生成被处理的宏块形状运动矢量的预测值的MV预测器405b。因此,本实施例4的形状运动矢量解码装置2242,除了所述的MV预测器405b之外均与如上所述的实施例2中的形状运动矢量解码装置2241相同。
如果具体的讲就是,所述的MV预测器405b在对如图12(d)所示的被处理的宏块MBs0的形状运动矢量MVs0生成预测值时,在由形状信号获得的图象空间(形状图象空间),作为基准宏块,需要选择位于与被处理的宏块MBs0的相邻位置处的宏块RMBs1~RMBs3。因此,这些宏块RMBs1~RMBs3的运动矢量MVs1~MVs3要被用作为基准形状运动矢量。在另一方面,对于由色彩信号获得图象空间(色彩图象空间),与所述被处理的宏块MBs0相对应的宏块MB0相邻接位置处的基准宏块,并不限于是对以帧为单位实施补偿处理用的宏块。因此对于基准宏块是实施以帧为单位的补偿处理的场合,参照存储在所述帧MV存储器304a中的运动矢量作为参考值,在所述基准宏块为实施以场为单位运动补偿处理的场合,不参照色彩运动矢量。而且所述MV预测器405b的其它结构均与实施例2中的MV预测器405a相同。
下面对作用和效果进行说明。
本实施例4的运动矢量解码装置2042与实施例2的运动矢量解码装置2041的不同点在于,色彩运动矢量解码装置2142中的帧MV变换器310b的输出(即以帧为单位的运动矢量)并未发送至形状运动矢量解码装置2242。
所述的形状运动矢量解码装置2242在生成形状图象空间的被处理宏块的形状运动矢量的预测值时,对色彩图象空间中的基准宏块是实施以帧为单位的运动补偿处理的场合,由MV预测405b参照存储在所述的色彩运动矢量解码装置2141的帧MV存储器304a中的相对应的运动矢量。在另一方面,对于色彩图象空间中的基准宏块是实施以场为单位的运动补偿处理的场合,MV预测器405b不参照所述的色彩运动矢量解码装置2142中的帧MV变换器310b的输出(以帧为单位的运动矢量)。
因此,本实施例4的运动矢量解码装置2042由于不参照以场为单位的色彩运动矢量,所以和实施例2中的运动矢量解码装置2041(请参见图3)相比,对被处理的形状运动矢量的预测值的预测精度有可能恶化。
在被处理的宏块是实施以帧为单位的运动补偿处理且基准宏块是实施以场为单位的运动补偿处理的场合,可由色彩运动矢量解码装置2142中的帧MV预测器305a参照色彩运动矢量解码装置2142中的帧MV变换器310b的输出,从这一点上看它也适用于实施例2中的运动矢量编码装置的结构。
换句话说就是,在上述的场合,由于色彩运动矢量解码装置2142中的帧MV预测器305a必须参照以场为单位的运动矢量,所以在帧MV变换器310b实施将以场为单位的运动矢量变换为以帧为单位的运动矢量的变换处理。因此将帧MV变换器310b的输出(以帧为单位的运动矢量)供给在色彩运动矢量解码装置2142中的帧MV预测器305a和形状运动矢量解码装置2242中的MV预测器405b,输出给其中的一方的帧MV预测器305a的输出,与帧MV变换器310b的处理量相同。因此对如上所述的场合,如果从形状运动矢量预测值的预测精度的角度看,认为适宜实施例2的运动矢量编码装置的结构。
因此如果举例来说,对于对色彩图象空间中的被处理的宏块以及基准宏块都实施以场为单位的运动补偿处理的场合,色彩运动矢量解码装置2142将参照场MV存储器304b的输出。因此在形状运动矢量的预测处理时,参照已进行过以场为单位的运动补偿处理的基准宏块的色彩运动矢量的实施例2的运动矢量解码装置2041的结构,由于形状运动矢量的预测处理时,必须在帧MV变换器310b进行将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的处理。
与此相对应的是,在实施例4的色彩运动矢量解码装置2142中仅将形状运动矢量解码装置2242中的帧MV存储器304a的输出供给至形状运动矢量解码装置2242中的MV预测器405b。
采用如上所述的结构,例如在色彩图象空间的被处理的宏块以及基准宏块都实施以场为单位的运动补偿处理的场合下,对于形状运动矢量解码装置2242,在形状运动矢量实施预测处理时,就不参照基准宏块的色彩运动矢量,结果可以省略使用色彩运动矢量解码装置2142中的帧MV变换器310b将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的处理。(实施例5)
图5为说明构成本发明实施例5的图象编码装置的运动矢量编码装置用的示意性方框图。
该实施例5的运动矢量编码装置1073与实施例3的运动矢量编码装置1072相类似,配置有构成所述色彩编码装置的色彩运动矢量编码装置1173和构成所述形状编码装置用的形状运动矢量编码装置1273。
此处,所述的色彩运动矢量编码装置1173与如上所述的实施例3的色彩运动矢量编码装置1172的结构完全相同。所述的形状运动矢量编码装置1273是在实施例3的形状运动矢量编码装置1272的基础上,增加了设置在所述色彩运动矢量编码装置1172中的帧MV存储器102a与MV预测器204b之间的、根据由图象编码装置外部供给的非交错判定信号Nit对由该帧MV存储器102a输出的信号(即以帧为单位的运动矢量)向MV预测器204b的供给实施控制用的开关220。因此,本实施例5的形状运动矢量编码装置1273的结构,除了所述的开关220之外均与如上所述的实施例3中的形状运动矢量编码装置1272相同。而且,此处的非交错判定信号Nit表示输入至图象编码装置中的图象编码信号为交错信号还是为非交错信号。
下面对作用效果进行说明。
在输入至图象编码装置的图象信号为非交错信号的场合,通过由输入端子9a输入的所述非交错判定信号Nit,可以使所述开关220处于ON状态(即导通状态)。这样存储在色彩运动矢量编码装置1173的帧MV存储器102a中的以帧为单位的运动矢量,便可能由形状运动矢量编码装置1272中的MV预测器204b参照。
因此,在图象编码装置输入有非交错判定信号的场合,本实施例5的运动矢量编码装置1073的动作与如图13所示的现有运动矢量编码装置完全相同,并可以按相同的效率实现编码。
在另一方面,在输入至图象编码装置的图象信号为交错图象信号的场合,所述的非交错判定信号Nit将使所述开关220处于OFF状态(即非导通状态),从而使形状运动矢量编码装置1273中的MV预测器204b在实施预测处理时,不可能参照色彩运动矢量。
因此,本实施例5在进行与交错图象信号相对应的运动矢量的编码处理时,形状运动矢量的编码效率会有些恶化,但是另一方面,在MV预测器204b,不必要象第三实施形式中所述的那样,判定基准宏块中的运动矢量是以场为单位的运动矢量还是以帧为单位的运动矢量,从而可以削减用于判定的信号处理。(实施例6)
图6为说明构成本发明实施例6的图象解码装置中的运动矢量解码装置用的示意性方框图。
该实施例6的运动矢量解码装置2043与如图5所示的实施例5的运动矢量编码装置1073相对应。这种运动矢量解码装置2043配置有对由所述的运动矢量编码装置1073的色彩运动矢量编码装置1173输出的色彩运动矢量的编码信号Emvt实施解码并输出该解码信号Dmvt的色彩运动矢量解码装置2143,以及对由所述的运动矢量编码装置1073的形状运动矢量编码装置1273输出的形状运动矢量编码信号Emvs实施解码并输出该解码信号Dmvs的形状运动矢量解码装置2243。
此处,所述的色彩运动矢量解码装置2143与如上所述的实施例4的色彩运动矢量解码装置2142的结构完全相同。所述的形状运动矢量解码装置2243是在上述实施例4的形状运动矢量解码装置2242的基础上,增加了设置在所述色彩运动矢量解码装置2142中的帧MV存储器304a与MV预测器405b之间的、根据由图象编码装置外部供给的非交错判定信号Nit对由该帧MV存储器304a输出的信号(即以帧为单位的运动矢量)向MV预测器405b的供给实施控制用的开关400。因此,本实施例6的形状运动矢量解码装置2243的结构,除了所述的开关400之外均与如上所述实施例4的形状运动矢量解码装置2242相同。而且,此处的非交错判定信号Nit是一种表示输入至图象解码装置中的图象编码信号是否为非交错图象信号的编码信号。
下面对作用效果进行说明。
对于向图象解码装置输入有非交错图象信号的编码信号的场合,通过由输入端子9b输入的所述非交错判定信号Nit,可以使所述开关400处于ON状态(即导通状态)。这样存储在色彩运动矢量解码装置2143的帧MV存储器304a中的以帧为单位的运动矢量,便可在形状运动矢量解码装置2243中的MV预测器405b参照。
因此,在图象解码装置输入有非交错判定信号的场合,本实施例6的运动矢量解码装置2043的动作与如图14所示的现有运动矢量解码装置完全相同,并可以按相同的效率实现解码。
在另一方面,在图象解码装置输入有交错图象信号的编码信号的场合,所述的非交错判定信号Nit将使所述开关400处于OFF状态(即非导通状态),从而使形状运动矢量解码装置2243中的MV预测器405b在实施预测处理时,不可能参照色彩运动矢量。
因此,该实施例6在与交错图象信号相对应的运动矢量的解码处理时,形状运动矢量的解码效率会略有恶化,但是另一方面,在MV预测器405b,不必象第四实施形式中所述的那样,判定对基准宏块中的运动矢量是以场为单位的运动矢量还是以帧为单位的运动矢量,从而可以削减用于判定的信号处理。
通过将实现如上所述的各实施例所示的运动矢量编码装置或运动矢量解码装置的结构用的编码处理和解码处理程序存储在诸如软盘等等的记录媒体上,便能在独立的计算机系统中简单地实施如上所述各实施例所示的处理。
图7为表示利用存储有所述编码处理和解码处理程序的软盘,通过计算机系统实施如上所述实施例1、3、5的运动矢量编码装置或实施例2、4、6的运动矢量解码装置的示意性说明图。
图7(a)表示由软盘正面观察时的外观、剖面结构以及软盘主体的示意图,图7(b)示出了该软盘主体的物理格式的一个实例。
如上所述的软盘FD构成将所述的软盘主体D收装在软盘壳体FC内的结构,在这一软盘主体D的表面处还形成有呈同心圆形式的由外侧周部向内侧周部的若干个磁道Tr,并且将各磁道Tr按角度方向分割成16个扇区Se。因此,在存储有所述程序的软盘FD中,所述软盘主体D是将所述程序的数据记录在所述软盘主体D上分割的区域(扇区)Se处的。
图7(c)表示通过使用相对于软盘FD的上述程序的记录以及存储在软盘FD处的程序软件,实施图象处理用的结构。
对于所述程序记录在软盘FD中的场合,由计算机系统Cs将作为所述程序的数据通过软盘驱动器FDD而写入至软盘FD。对于使用记录在软盘FD上的程序,而将所述图象编码装置或图象解码装置构造在计算机系统Cs之中的场合,还可以通过软盘驱动器FDD由软盘FD中读取出程序,并加载在计算机系统Cs中。
而且在如上所述的说明中,是以软盘作为数据记录媒体进行说明的,但即使使用光盘也与所述软盘的场合相类似,可以利用软件实施编码处理和解码处理。而且数据记录媒体并不限于所述的光盘和软盘,还可以采用诸如IC卡、ROM插卡等等记录程序的媒体,而且在使用这些数据记录媒体的场合,也与使用所述软盘的场合相类似,可以利用软件实施编码处理和解码处理。
如上所述如果采用本发明(第1、7、13方面),在包含有将对色彩显示该物体用的交错色彩信号实施以场为单位的运动补偿编码处理用的以场为单位的色彩运动矢量变换成以帧为单位的色彩运动矢量的色彩态矢量变换处理、并与对表示该物体形状用的形状信号实施以帧为单位的运动补偿编码处理用的形状运动矢量对应的编码处理中,在参照与所述的已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理的宏块相对应的形状运动矢量时,如果与已处理过的宏块相对应的色彩运动矢量为以场为单位的运动矢量,由于参照由所述的色彩运动矢量变换处理而变换该已经经过处理的宏块的色彩运动矢量后所获得的以帧为单位的色彩运动矢量,所以可以使回路结构构成的增大为最小,使与非交错形状信号相关的运动矢量实施的编码处理和与交错色彩信号相关的运动矢量实施的编码处理进行良好地相组合。
如果采用本发明(第2、8、14方面)时,在对形状运动矢量实施的编码处理中,当与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理的宏块相对应的形状运动矢量的预测值,并且当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,所以可以在形状运动矢量的预测处理时,不参照与所述已经经过处理的宏块相对应的以场为单位的色彩运动矢量,结果是在与被处理的宏块和已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量的场合,色彩运动矢量的编码处理可以省略掉将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的变换处理。
如果采用本发明(第3、9、15方面),在对形状运动矢量实施的编码处理中,当输入的图象信号为非交错图象信号时,参照与已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,而在当所述的输入图象信号为交错图象信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,所以在输入的图象信号为交错图象信号的场合,对形状运动矢量的编码处理不再需要判定与被参照的已经经过处理的宏块相对应的色彩运动矢量是以场为单位的运动矢量还是以帧为单位的运动矢量,进而可以削减用于该判定的信号处理量。
如果采用本发明(第4、10、16方面),在包含有将对色彩显示该物体用的交错色彩信号相对应的编码信号实施以场为单位的运动补偿解码处理用的以场为单位的色彩运动矢量变换成以帧为单位的色彩运动矢量的色彩态矢量变换处理、并与形状运动矢量对应的解码处理中,在参照与所述的已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量,生成与被处理的宏块相对应的形状运动矢量时,如果与已被处理过的宏块相对应的色彩运动矢量为以场为单位的运动矢量,由于参照用所述的色彩运动矢量变换处理变换该已经经过处理的宏块的色彩运动矢量后所获得的以帧为单位的色彩运动矢量,所以可以按使回路结构构成的增大为最小的方式,使与非交错形状信号相关的运动矢量实施的解码处理和与交错色彩信号相关的运动矢量实施的解码处理进行良好地相组合。
如果采用本发明(第5、11、17方面),在对形状运动矢量实施的解码处理中,当与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理的宏块相对应的形状运动矢量的预测值,而在当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,所以可以在形状运动矢量预测处理时,不参照与所述已经经过处理的宏块相对应的以场为单位的色彩运动矢量,结果是在与被处理的宏块和已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量的场合,色彩运动矢量的解码处理可以省略掉将以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的变换处理。
如果采用作为本发明(第6、12、18方面),在对形状运动矢量所实施的解码处理中,当输入的图象信号为与非交错图象信号相对应的图象编码信号时,参照与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,而在所述的输入图象信号为与交错图象信号相对应的图象编码信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理的宏块相对应的形状运动矢量的预测值,所以在输入的图象信号为与交错图象信号相对应的图象编码信号的场合,对形状运动矢量的解码处理不再需要判定与被参照的已经经过处理的宏块相对应的色彩运动矢量是以场为单位的运动矢量还是以帧为单位的运动矢量,进而可以削减用于该判定的信号处理量。
Claims (18)
1.一种图象编码装置,能接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图象信号实施包含有以帧为单位和以场为单位的运动补偿编码处理的适当编码处理,其特征在于具有:
对于对交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置,
和对于对交错形状信号实施以帧为单位运动补偿编码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据由与已处理过的宏块相对应的色彩运动矢量和形状运动矢量获得的预测值实施编码处理的形状运动矢量编码装置,
而且所述的色彩运动矢量编码装置还具有将与已经经过处理的宏块相对应的以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的运动矢量变换装置,
所述的形状运动矢量编码装置还具有形状运动矢量预测器,当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量和由所述运动矢量变换装置输出的以帧为单位的色彩运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
2.一种图象编码装置,能接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图象信号实施包含有以帧为单位和以场为单位的运动补偿编码处理的适当的编码处理,其特征在于具有:
对于对交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置,
和对于与对交错形状信号实施以帧为单位的运动补偿编码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据其预测值实施编码处理用的形状运动矢量编码装置,
而且所述的形状运动矢量编码装置还具有形状运动矢量预测器,当所述已经经过处理的宏块的色彩运动矢量为以帧为单位的运动矢量时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,并且当所述已经经过处理的宏块的色彩运动矢量为以场为单位的运动矢量时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
3.一种图象编码装置,能接收与包含在预定图象空间中的各个物体相对应、并包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号或非交错图象信号,以由分割所述图象空间用的预定数目的象素构成的宏块,对该图象信号实施包含有以帧为单位的和以场为单位的运动补偿编码处理的适当的编码处理,其特征在于具有:
对于对色彩信号实施以帧为单位或以场为单位的运动补偿编码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施编码处理的色彩运动矢量编码装置,
和对于对非交错形状信号实施以帧为单位运动补偿编码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据该预测值实施编码处理用的形状运动矢量编码装置,
而且所述的形状运动矢量编码装置还具有形状运动矢量预测器,当接收到作为所述图象信号的非交错图象信号时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,并且当接收到作为所述图象信号的交错图象信号时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
4.一种图象解码装置,能接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状的形状信号的交错图象信号相对应的图象编码信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图面编码信号实施包含有以帧为单位和以场为单位的运动补偿解码处理的适当的解码处理,其特征在于具有:
对于对与交错色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理用的色彩运动矢量解码装置,
和对于对与交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据由与被处理宏块相对应的色彩运动矢量和形状运动矢量获得的预测值实施解码处理用的形状运动矢量解码装置,
而且所述的色彩运动矢量解码装置还具有将与已经经过处理的宏决相对应的以场为单位的色彩运动矢量变换为以帧为单位的色彩运动矢量的运动矢量变换装置,
所述的形状运动矢量解码装置还具有形状运动矢量预测器,当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量和由所述运动矢量变换装置输出的以帧为单位的色彩运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
5.一种图象解码装置,能接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号相对应的图象编码信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图面编码信号实施包含有以帧为单位的和以场为单位的运动补偿解码处理的适当的解码处理,其特征在于具有:
对于对与交错色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理的色彩运动矢量解码装置,
和对于对与交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位的与被处理宏块相对应的形状运动矢量,根据其预测值实施解码处理的形状运动矢量解码装置,
而且所述的形状运动矢量解码装置还具有形状运动矢量预测器,当所述已经经过处理的宏块的色彩运动矢量为以帧为单位的运动矢量时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,并且当所述已经经过处理的宏块的色彩运动矢量为以场为单位的运动矢量时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
6.一种图象解码装置,能接收与包含在预定图象空间中的各个物体相对应的、包含有色彩显示该物体用的色彩信号和表示该物体形状用的形状信号的交错图象信号或非交错图象信号相对应的图象编码信号,并在每个由分割所述图象空间的预定数目的象素构成的宏块,对该图面编码信号实施包含有以帧为单位和以场为单位的运动补偿解码处理的适当的解码处理,其特征在于具存
对于对与色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理的以帧为单位或以场为单位的与被处理宏块相对应的色彩运动矢量,根据其预测值实施解码处理的色彩运动矢量解码装置,
和对于对与非交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的以帧为单位并且与被处理宏块相对应的形状运动矢量,根据其预测值实施解码处理的形状运动矢量解码装置,
而且所述的形状运动矢量解码装置还具有形状运动矢量预测器,当接收到作为所述图象编码信号与非交错图象信号相对应的图象编码信号时,根据与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,并且当接收到作为所述图象编码信号与交错图象信号相对应的图象编码信号时,仅根据与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
7.一种图象编码方法,采用包含以帧为单位和以场为单位的运动补偿编码处理的适当的编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号实施编码处理,其特征在于包括:
对于对表示包含在所述图象信号中的物体形状用的交错形状信号实施以帧为单位的运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块实施编码处理的形状运动矢量编码处理步骤,
和对于对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以场为单位的运动补偿编码处理用的以场为单位的色彩运动矢量,变换为以帧为单位的色彩运动矢量的色彩运动矢量变换处理步骤,
而且所述的形状运动矢量编码处理步骤在参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值时,在与所述被处理宏块相对应的色彩运动矢量为以场为单位的运动矢量的场合,则对与该已经经过处理的宏块相对应的色彩运动矢量实施所述色彩运动矢量变换处理,并且参照所获得的以帧为单位的色彩运动矢量。
8.一种图象编码方法,采用包含以帧为单位和以场为单位的运动补偿编码处理的适当的编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号实施编码处理,其特征在于包括:
对于对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施编码处理的色彩运动矢量编码处理步骤,
和对于对表示包含在所述图象信号中的物体形状的交错形状信号实施以帧为单位运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块实施编码处理的形状运动矢量编码处理步骤,
而且所述的形状运动矢量编码处理步骤在与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值,并且当与所述已经经过处理的宏块相对应的色彩运动矢量为场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
9.一种图象编码方法,采用包含以帧为单位和以场为单位的运动补偿编码处理的适当的编码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号或非交错图象信号实施编码处理,其特征在于包括:
对于对色彩表示包含在所述图象信号中的物体用的交错色彩信号实施以帧为单位或以场为单位的运动补偿编码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施编码处理的色彩运动矢量编码处理步骤,
和对于对表示包含在所述图象信号中的物体形状用的非交错形状信号实施以帧为单位的运动补偿编码处理用的形状运动矢量,根据其预测值在各宏块为单位实施编码处理的形状运动矢量编码处理步骤,
而且所述的形状运动矢量编码处理步骤在所述的图象信号为非交错图象信号时,参照与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,
当所述的图象信号为交错图象信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
10.一种图象解码方法,采用包含以帧为单位和以场为单位的运动补偿解码处理的适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号相对应的图象编码信号实施解码处理,其特征在于包括:
对于对与表示包含在所述图象信号中的物体形状的交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤,
和将为对与色彩表示包含在所述图象信号中的物体用的交错色彩信号相对应的编码信号实施以场为单位的运动补偿解码处理用的以场为单位的色彩运动矢量,变换为以帧为单位的色彩运动矢量的色彩运动矢量变换处理步骤,
而且所述的形状运动矢量解码处理步骤在参照与所述已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量生成与被处理宏块相对应的形状运动矢量的预测值时,在与所述被处理宏块相对应的色彩运动矢量为以场为单位的运动矢量的场合,则对与该已经经过处理的宏块相对应的色彩运动矢量实施所述色彩运动矢量变换处理,并且参照变换所获得的以帧为单位的色彩运动矢量。
11.一种图象解码方法,采用包含以帧为单位和以场为单位的运动补偿解码处理的,适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号相对应的图象编码信号实施解码处理,其特征在于包括:
对于对与色彩表示包含在所述图象信号中的物体用的交错色彩信号相对应的编码信号实施以帧为单位或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施解码处理的色彩运动矢量解码处理步骤,
和对于对与表示包含在所述图象信号中的物体形状的交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤,
而且所述的形状运动矢量解码处理步骤在与所述已经经过处理的宏块相对应的色彩运动矢量为以帧为单位的运动矢量时,参照与已经经过处理的宏块相对应的色彩运动矢量和形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,
当与所述已经经过处理的宏块相对应的色彩运动矢量为以场为单位的运动矢量时,仅参照与已经经过处理的宏块相对应的以帧为单位的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
12.一种图象解码方法,采用包含以帧为单位和以场为单位的运动补偿解码处理的适当解码处理方式,在每个由分割所述图象空间的预定数目的象素构成的宏块,对与包含在预定图象空间中的各个物体相对应的交错图象信号或非交错图象信号相对应的图象编码信号实施解码处理,其特征在于包括:
对于对与色彩表示包含在所述图象信号中的物体用的色彩信号相对应的编码信号实施以帧为单位的或以场为单位的运动补偿解码处理用的以帧为单位或以场为单位的色彩运动矢量,根据其预测值在各宏块实施解码处理的色彩运动矢量解码处理步骤,
和对于对与表示包含在所述图象信号中的物体形状的非交错形状信号相对应的编码信号实施以帧为单位的运动补偿解码处理用的形状运动矢量,根据其预测值在各宏块实施解码处理的形状运动矢量解码处理步骤,
而且所述的形状运动矢量解码处理步骤当所述的图象编码信号为与非交错图象信号相对应的图象编码信号时,参照与已经经过处理的宏块相对应的形状运动矢量和色彩运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值,
当所述的图象编码信号为与交错图象信号相对应的图象编码信号时,仅参照与已经经过处理的宏块相对应的形状运动矢量,生成与被处理宏块相对应的形状运动矢量的预测值。
13.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求7所述的图象编码方法实施编码处理用的编码程序。
14.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求8所述的图象编码方法实施编码处理用的编码程序。
15.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求9所述的图象编码方法实施编码处理用的编码程序。
16.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求10所述的图象解码方法实施解码处理用的解码程序。
17.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求11所述的图象解码方法实施解码处理用的解码程序。
18.一种存储图象处理程序用的数据存储媒体,其特征在于所述的图象处理程序是一种在计算机中使用如权利要求12所述的图象解码方法实施解码处理用的解码程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP053205/98 | 1998-03-05 | ||
JP5320598 | 1998-03-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1237067A true CN1237067A (zh) | 1999-12-01 |
Family
ID=12936375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN99106207A Pending CN1237067A (zh) | 1998-03-05 | 1999-03-05 | 图象编码和解码装置、方法及数据存储媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6272179B1 (zh) |
EP (1) | EP0940774A3 (zh) |
KR (1) | KR100328417B1 (zh) |
CN (1) | CN1237067A (zh) |
ID (1) | ID22106A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100542305C (zh) * | 2003-07-18 | 2009-09-16 | 索尼株式会社 | 图像信息编码装置和方法,以及图像信息解码装置和方法 |
CN101185338B (zh) * | 2005-05-25 | 2010-11-24 | Nxp股份有限公司 | 用于以渐进和交错方式编码的宏块的多实例视频解码器 |
CN101800898B (zh) * | 2002-04-26 | 2012-11-28 | 索尼株式会社 | 编码设备和编码方法 |
CN107071404A (zh) * | 2001-11-21 | 2017-08-18 | 谷歌技术控股有限责任公司 | 对具有多个图像的图像序列进行编码的方法及设备 |
Families Citing this family (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1882090A (zh) * | 1996-11-07 | 2006-12-20 | 松下电器产业株式会社 | 图像编码装置和图像解码装置 |
US7046734B2 (en) * | 1998-04-02 | 2006-05-16 | Intel Corporation | Method and apparatus for performing real-time data encoding |
US6904174B1 (en) * | 1998-12-11 | 2005-06-07 | Intel Corporation | Simplified predictive video encoder |
US6408029B1 (en) | 1998-04-02 | 2002-06-18 | Intel Corporation | Method and apparatus for simplifying real-time data encoding |
CN100366094C (zh) * | 2001-06-11 | 2008-01-30 | 汤姆森许可公司 | 细粒度可伸缩视频数据设备及操作方法,接收数据的方法 |
JP4114859B2 (ja) | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US20040001546A1 (en) * | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7362374B2 (en) * | 2002-08-30 | 2008-04-22 | Altera Corporation | Video interlacing using object motion estimation |
CN1232126C (zh) | 2002-09-30 | 2005-12-14 | 三星电子株式会社 | 图像编码方法和装置以及图像解码方法和装置 |
KR100376060B1 (en) * | 2002-10-25 | 2003-03-17 | Humax Co Ltd | Method and system for re-setting image size using inverse discrete cosine transform |
BRPI0307119B1 (pt) | 2002-11-25 | 2018-02-14 | Godo Kaisha Ip Bridge 1 | Método e aparelho de decodificação de imagem móvel |
KR100522595B1 (ko) * | 2002-11-29 | 2005-10-19 | 삼성전자주식회사 | 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기 |
US7039247B2 (en) * | 2003-01-31 | 2006-05-02 | Sony Corporation | Graphic codec for network transmission |
US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
KR100987764B1 (ko) * | 2003-09-04 | 2010-10-13 | 경희대학교 산학협력단 | 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치 |
US7620106B2 (en) * | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7616692B2 (en) * | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
US7353964B2 (en) * | 2004-06-10 | 2008-04-08 | Illinois Tool Works Inc. | Fluid supply assembly |
US7953152B1 (en) | 2004-06-28 | 2011-05-31 | Google Inc. | Video compression and encoding method |
US20060262860A1 (en) * | 2005-02-23 | 2006-11-23 | Chou Jim C | Macroblock adaptive frame/field coding architecture for scalable coding |
KR101246915B1 (ko) | 2005-04-18 | 2013-03-25 | 삼성전자주식회사 | 동영상 부호화 또는 복호화 방법 및 장치 |
US8218949B2 (en) | 2005-04-22 | 2012-07-10 | Panasonic Corporation | Video information recording device, video information recording method, and recording medium containing the video information recording program |
GB2443581B (en) * | 2005-11-07 | 2010-06-09 | Sony Corp | Recording apparatus, method, and program |
JP4529874B2 (ja) | 2005-11-07 | 2010-08-25 | ソニー株式会社 | 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム |
KR100728011B1 (ko) * | 2005-11-09 | 2007-06-14 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체 |
US8315466B2 (en) * | 2006-12-22 | 2012-11-20 | Qualcomm Incorporated | Decoder-side region of interest video processing |
US8385404B2 (en) | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
EP2230849A1 (en) | 2009-03-20 | 2010-09-22 | Mitsubishi Electric R&D Centre Europe B.V. | Encoding and decoding video data using motion vectors |
US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
US8611415B1 (en) | 2010-11-15 | 2013-12-17 | Google Inc. | System and method for coding using improved motion estimation |
US8891626B1 (en) | 2011-04-05 | 2014-11-18 | Google Inc. | Center of motion for encoding motion fields |
US8693547B2 (en) | 2011-04-06 | 2014-04-08 | Google Inc. | Apparatus and method for coding using motion vector segmentation |
US8780996B2 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US8638854B1 (en) | 2011-04-07 | 2014-01-28 | Google Inc. | Apparatus and method for creating an alternate reference frame for video compression using maximal differences |
US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
US8781004B1 (en) | 2011-04-07 | 2014-07-15 | Google Inc. | System and method for encoding video using variable loop filter |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8804819B1 (en) | 2011-04-19 | 2014-08-12 | Google Inc. | Method and apparatus for encoding video using data frequency |
US8705620B1 (en) | 2011-04-28 | 2014-04-22 | Google Inc. | Method and apparatus for encoding anchor frame by encoding features using layers |
US9749638B1 (en) | 2011-04-28 | 2017-08-29 | Google Inc. | Method and apparatus for encoding video with dynamic quality improvement |
US8989256B2 (en) | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
US9094689B2 (en) | 2011-07-01 | 2015-07-28 | Google Technology Holdings LLC | Motion vector prediction design simplification |
EP2754131B1 (en) | 2011-09-08 | 2022-10-26 | Nautilus, Inc. | System and method for visualizing synthetic objects withinreal-world video clip |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9185428B2 (en) | 2011-11-04 | 2015-11-10 | Google Technology Holdings LLC | Motion vector scaling for non-uniform motion vector grid |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US9014265B1 (en) | 2011-12-29 | 2015-04-21 | Google Inc. | Video coding using edge detection and block partitioning for intra prediction |
US8908767B1 (en) | 2012-02-09 | 2014-12-09 | Google Inc. | Temporal motion vector prediction |
US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
EP2842337B1 (en) | 2012-04-23 | 2019-03-13 | Google LLC | Managing multi-reference picture buffers for video data coding |
US9609341B1 (en) | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
US9014266B1 (en) | 2012-06-05 | 2015-04-21 | Google Inc. | Decimated sliding windows for multi-reference prediction in video coding |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
US9288484B1 (en) | 2012-08-30 | 2016-03-15 | Google Inc. | Sparse coding dictionary priming |
US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
US9756346B2 (en) | 2012-10-08 | 2017-09-05 | Google Inc. | Edge-selective intra coding |
US9210432B2 (en) | 2012-10-08 | 2015-12-08 | Google Inc. | Lossless inter-frame video coding |
US9369732B2 (en) | 2012-10-08 | 2016-06-14 | Google Inc. | Lossless intra-prediction video coding |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
US9407915B2 (en) | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
US9210424B1 (en) | 2013-02-28 | 2015-12-08 | Google Inc. | Adaptive prediction block size in video coding |
US9300906B2 (en) | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
US9756331B1 (en) | 2013-06-17 | 2017-09-05 | Google Inc. | Advance coded reference prediction |
US9313493B1 (en) | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
CA2949478A1 (en) | 2014-05-30 | 2015-12-03 | Paofit Technology Pte Ltd | Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation |
US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
US9286653B2 (en) | 2014-08-06 | 2016-03-15 | Google Inc. | System and method for increasing the bit depth of images |
US9153017B1 (en) | 2014-08-15 | 2015-10-06 | Google Inc. | System and method for optimized chroma subsampling |
US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
US9807416B2 (en) | 2015-09-21 | 2017-10-31 | Google Inc. | Low-latency two-pass video coding |
US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2830881B2 (ja) | 1991-03-18 | 1998-12-02 | 日本ビクター株式会社 | インタレース画像信号の予測符号化方法 |
JPH06284415A (ja) | 1993-03-30 | 1994-10-07 | Toshiba Corp | 動き補償予測符号化および復号化装置 |
US5448297A (en) * | 1993-06-16 | 1995-09-05 | Intel Corporation | Method and system for encoding images using skip blocks |
US6052414A (en) * | 1994-03-30 | 2000-04-18 | Samsung Electronics, Co. Ltd. | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation |
US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
KR0151210B1 (ko) * | 1994-09-23 | 1998-10-15 | 구자홍 | 엠펙2를 수용하는 반화소 움직임 보상조절장치 |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
US5978034A (en) * | 1997-02-20 | 1999-11-02 | Sony Corporation | Moving picture encoding method and apparatus, moving picture decoding method and apparatus and recording medium |
JPH1169356A (ja) * | 1997-08-25 | 1999-03-09 | Mitsubishi Electric Corp | 動画像符号化方式及び動画像復号方式 |
KR100535632B1 (ko) * | 1997-10-17 | 2006-04-12 | 주식회사 팬택앤큐리텔 | 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법 |
KR100258111B1 (ko) * | 1997-10-31 | 2000-06-01 | 전주범 | 이진형상신호적응적부호화장치 |
-
1999
- 1999-03-04 KR KR1019990007130A patent/KR100328417B1/ko not_active IP Right Cessation
- 1999-03-04 EP EP99104373A patent/EP0940774A3/en not_active Withdrawn
- 1999-03-05 US US09/263,202 patent/US6272179B1/en not_active Expired - Fee Related
- 1999-03-05 CN CN99106207A patent/CN1237067A/zh active Pending
- 1999-05-03 ID IDP990186D patent/ID22106A/id unknown
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107071404A (zh) * | 2001-11-21 | 2017-08-18 | 谷歌技术控股有限责任公司 | 对具有多个图像的图像序列进行编码的方法及设备 |
CN107071404B (zh) * | 2001-11-21 | 2020-01-24 | 谷歌技术控股有限责任公司 | 对具有多个图像的图像序列进行编码的方法及设备 |
CN101800898B (zh) * | 2002-04-26 | 2012-11-28 | 索尼株式会社 | 编码设备和编码方法 |
CN100542305C (zh) * | 2003-07-18 | 2009-09-16 | 索尼株式会社 | 图像信息编码装置和方法,以及图像信息解码装置和方法 |
CN101646085B (zh) * | 2003-07-18 | 2016-08-10 | 索尼株式会社 | 图像信息编码装置和方法以及图像信息解码装置和方法 |
CN101185338B (zh) * | 2005-05-25 | 2010-11-24 | Nxp股份有限公司 | 用于以渐进和交错方式编码的宏块的多实例视频解码器 |
Also Published As
Publication number | Publication date |
---|---|
EP0940774A2 (en) | 1999-09-08 |
KR100328417B1 (ko) | 2002-03-16 |
US6272179B1 (en) | 2001-08-07 |
EP0940774A3 (en) | 2000-07-05 |
KR19990077594A (ko) | 1999-10-25 |
ID22106A (id) | 1999-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1237067A (zh) | 图象编码和解码装置、方法及数据存储媒体 | |
CN1160967C (zh) | 图像编码设备和图像解码设备 | |
CN1251513C (zh) | 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置 | |
CN1297148C (zh) | 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序 | |
CN1178472C (zh) | 图像信号制式变换装置 | |
CN1133328C (zh) | 画面编码和解码装置及其方法 | |
CN1076935C (zh) | 运动图象变换系数逆变换时防止舍入误差的方法和设备 | |
CN1114887C (zh) | 图像合成方法和图像合成装置 | |
CN1275194C (zh) | 图像处理方法及其装置 | |
CN1136719C (zh) | 减少数据块失真的方法和装置及编码数据的方法和装置 | |
CN1138275A (zh) | 图形信号编码译码方法和装置及信号记录介质 | |
CN1537384A (zh) | 用于子像素值内插的方法 | |
CN1171459C (zh) | 图像编码装置及图像译码装置 | |
CN1630374A (zh) | 用于前向预测的隔行扫描视频帧的场的预测运动矢量 | |
CN1801945A (zh) | 编码视频序列变换装置和编码视频序列变换方法 | |
CN1650636A (zh) | 编码设备和编码方法、解码设备和解码方法、记录介质以及程序 | |
CN1778110A (zh) | 图像解码设备和图像解码方法 | |
CN1090115A (zh) | 图象信号编码方法和装置和图象信号解码方法和装置 | |
CN1596547A (zh) | 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介 | |
CN1703096A (zh) | 预测编码/解码器、预测编码/解码方法和记录介质 | |
CN1053780C (zh) | 用于图象信号的高效编码和解码的设备和记录媒体 | |
CN1397137A (zh) | 数据处理装置 | |
CN1216199A (zh) | 数字图象填补方法、图象处理装置及数据记录媒体 | |
CN1898965A (zh) | 运动图象编码方法和装置 | |
CN1574944A (zh) | 动态图像解码装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |