CN102316320A - 处理视频图像的方法 - Google Patents

处理视频图像的方法 Download PDF

Info

Publication number
CN102316320A
CN102316320A CN2011101596653A CN201110159665A CN102316320A CN 102316320 A CN102316320 A CN 102316320A CN 2011101596653 A CN2011101596653 A CN 2011101596653A CN 201110159665 A CN201110159665 A CN 201110159665A CN 102316320 A CN102316320 A CN 102316320A
Authority
CN
China
Prior art keywords
skipping
macro block
macro
encoder
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101596653A
Other languages
English (en)
Other versions
CN102316320B (zh
Inventor
S·斯里尼瓦杉
P·苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102316320A publication Critical patent/CN102316320A/zh
Application granted granted Critical
Publication of CN102316320B publication Critical patent/CN102316320B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

描述了各种用于对二进制信息(如跳过宏块信息)进行编码和解码(如在视频编码器/解码器中)的技术和工具。在一些实施例中,二进制信息在位平面上排列,并且该位平面在图像/帧层上编码。编码器和解码器处理二进制信息,并且在一些实施例中,切换编码模式。例如,编码器和解码器使用普通、行跳过、列跳过或差分模式,或其它和/或另外的模式。在一些实施例中,编码器和解码器将跳过宏块定义为其运动等于其因果预测的运动并且具有零剩余误差的预测宏块。在一些实施例中,编码器和解码器使用原始编码模式来允许低等待时间应用。

Description

处理视频图像的方法
本申请是2002年12月16日提交的、申请号为02825191.1、发明名称为《跳过宏块编码》的发明专利申请的分案(该分案于2008年11月20日提交的,申请号为200810176684.5、发明名称为《处理视频图像的方法》)的分案申请。
技术领域
描述了用于在视频编码/解码应用中对二进制信息进行编码/解码的技术和工具。例如,视频编码器对跳过宏块信息进行编码。
背景技术
数字视频消耗大量的存储和传输容量。典型的原始数字视频序列每秒包括15或30帧。每一帧能够包括几万或几十万个像素(也称为pel)。每一像素表示图像的一个微小元素。在原始的形式中,计算机通常用24比特来表示一个像素。由此,典型的原始数字视频序列的每秒的比特数,或比特率可以是500万比特/秒或更高。
大多数计算机和计算机网络缺乏处理原始数字视频的资源。鉴于此原因,工程师使用压缩(也称为译码或编码)来降低数字视频的比特率。在视频的质量不受损害但比特率的降低受视频的复杂性限制的情况下,压缩是无损的。或者,在视频的质量受损害但比特率的降低更显著的情况下,压缩是有损的。解压缩倒转了压缩。
一般来说,视频压缩技术包括帧内压缩和帧间压缩。帧内压缩技术压缩单个的帧,通常称为I帧或主帧。帧间压缩技术在压缩帧时参考前帧和/或后帧,通常称为预测帧、P帧或B帧。
微软公司的Windows Media Video,版本7[“WMV7”]包括视频编码器和视频解码器。WMV7编码器使用帧内和帧间压缩,WMV7解码器使用帧内和帧间解压。
A.WMV7的帧内压缩
图1说明了WMV7编码器中对主帧中像素的块(105)的基于块的帧内压缩(100)。块是一组像素,例如,像素的8×8排列。WMV7编码器将主视频帧拆分为8×8的像素块,并对各单个块,如块(105)应用8×8的离散余弦变换[“DCT”](110)。DCT是一种频率变换,将8×8的像素(空间信息)块转换为8×8的DCT系数块(115),即频率信息。DCT操作本身是无损或接近无损的。然而,与原始像素值相比较,DCT系数对编码器来说能更有效地用来压缩,因为大多数重要信息集中在低频系数(常规地位于块(115)的左上角)中,并且许多高频系数(常规地位于块(115)的右下角)的值为零或接近零。
编码器然后将DCT系数量化(120),得到一个8×8的量化DCT系数(125)块。例如,编码器对每一系数应用统一标量量化步长,类似于将每一系数除以同一值并舍入成整数。例如,如果一个DCT系数值是163并且步长为10,则量化DCT系数值为16。量化是有损的。重建的DCT系数值将是160,而非163。由于低频DCT系数往往具有较大的值,量化会导致精度损耗,但不会完全丢失系数的信息。另一方面,由于高频DCT系数的值往往为零或接近零,对高频系数的量化通常导致零值的邻接区域。此外,在某些情况下,高频DCT系数比低频DCT系数更粗糙地量化,导致高频DCT系数的精度/信息的大量损耗。
编码器然后准备8×8的量化DCT系数(125)块来进行熵编码,这是一种无损压缩的形式。确切的熵编码类型根据系数是否是DC系数(最低频率)、顶行或左列中的AC系数(其它频率)或另一AC系数而不同。
编码器将DC系数(126)编码为对相邻的8×8块的DC系数的差分,该相邻块是正在编码的块的相邻的(如,上方或左边)先前已编码的块。(图1示出了帧内相邻块(135)位于正在编码的块的左边。)编码器对该差分进行熵编码(140)。
熵编码器能够将AC系数的左列或顶行编码为对相邻的8×8的块的相应列或行的差分。图1示出将AC系数的左列(127)编码为对相邻(左边)块135的左列(137)的差分。差分编码提高了差分系数具有零值的机率。剩余的AC系数来自量化DCT系数块(125)。
编码器将8×8的预测的量化AC DCT系数块(145)扫描(150)为一维数组(155),然后使用行程编码(160)的一种变异来对扫描的AC系数进行熵编码。编码器从一个或多个游程/级/最后(run/level/last)表(165)中选择熵码并输出该熵码。
主帧对比特率比预测帧起到更大的作用。在低或者中比特率应用中,主帧经常是性能的关键瓶颈,因此主帧的有效压缩是关键的。
图2说明了如图1所示的帧内压缩的缺点。特别地,对主帧的块之间的冗余的充分利用被限制在对来自块(210)的左边邻块(220)或上方邻块(230)的频率系数的子集(例如,DC系数和AC系数的左列(或顶行))的预测上。DC系数表示块的平均值,AC系数的左列表示块的行平均值,顶行表示列平均值。事实上,如WMV7中的对DC和AC系数的预测限制了向左面(或上方)邻块的行范围(或列范围)平均信号的外插。对于左块(220)的一个特定的行(221),左块(220)的左DCT系数列中的AC系数用来预测块(210)的整个相应行(211)。
B.WMV7中的帧间压缩
WMV7编码器中的帧间压缩使用基于块的运动补偿预测编码,随后为剩余误差的变换编码。图3和4说明了WMV7编码器中对预测帧的基于块的帧间压缩。特别地,图3说明了对预测帧(310)的运动估计,图4说明了对预测帧的已估计运动的块的预测剩余的压缩。
WMV7编码器将一个预测帧拆分为8×8的像素块。一组4个8×8的块组成宏块。对每一宏块,执行运动估计进程。运动估计近似与参考帧,如先前被编码的预测帧相关的像素宏块的运动。在图3中,WMV7编码器计算预测帧(310)中的宏块(315)的运动矢量。为计算该运动矢量,编码器在参考帧(330)的搜索范围(335)中进行搜索。在搜索范围(335)内,编码器将来自预测帧(310)的宏块(315)与不同候选宏块进行比较,来找出较佳匹配的候选宏块。编码器能够在搜索范围(335)中对候选块每一像素或每1/2像素进行检查,取决于编码器的所期望的运动估计分辨率。其它视频编码器以其它增量进行检查,如每1/4像素。对于一个候选宏块,编码器检查预测帧(310)的宏块(315)和候选宏块之间的差异以及对该宏块进行运动矢量编码的成本。当编码器找到较佳匹配的宏块之后,块匹配进程结束。编码器输出匹配宏块的运动矢量(已被熵编码),使得解码器能够在解码过程中找到匹配的宏块。当对预测帧(310)进行解码时,解码器使用运动矢量,利用来自参考帧(330)的信息来计算宏块(315)的预测宏块。对宏块(315)的预测很少是理想的,因此编码器通常对预测宏块和宏块(315)其本身之间8×8的像素差异块(也称为误差或剩余块)来进行编码。
图4说明了WMV7编码器中对已进行运动估计的块进行误差块(435)的计算和编码。误差块(435)是预测块(415)和原始当前块(425)之间的差异。编码器对误差块(435)应用DCT(440),得到8×8的系数块(445)。与像素值的DCT系数的情况相比,误差块(435)的重要信息更显著得多地集中在低频系数(常规地位于块(445)的左上角)中,许多高频系数的值为零或接近零(常规地位于块(445)的右下角)。
编码器然后量化(450)DCT系数,得到8×8的量化DCT系数块(455)。量化步长是可调节的。再一次,由于低频DCT系数往往具有较大的值,量化导致精度的损耗,但未完全损耗系数的信息。另一方面,由于高频DCT系数的值往往为零或接近零,高频系数的量化导致零值的邻接区域。另外,在某些情况下,高频DCT系数比低频DCT系数更粗糙地量化,导致高频DCT系数的精度/信息的更大损耗。
编码器然后准备8×8的量化DCT系数块(455)用于熵编码。编码器将8×8的块(455)扫描(460)为具有64个元素的一维数组(465),使得系数一般从低频到高频地排列,这通常令零值位于最后。
编码器使用行程编码(470)的一个变异对扫描的系数进行熵编码。编码器从一个或多个游程/级/最后表(475)中选择熵码并输出该熵码。
当宏块的运动矢量为零(即没有运动),并且对该宏块没有发送剩余块信息,编码器对该宏块使用1比特的跳过宏块标志。对多种视频内容(如,低运动和/或低比特率视频)来说,这通过避免运动矢量和剩余块信息的发送降低了比特率。编码器将宏块的跳过宏块标志与该宏块的其它信息一起放置在输出比特流的宏块层。
图5示出了帧间编码块的解码进程(500)。由于DCT系数的量化,重建的块(575)与相应的原始块不相同。该压缩是有损的。
在图5的概述中,解码器使用可变长度解码和一个或多个游程/级/最后表(515)对已经过熵编码的表示预测剩余的信息进行解码(510,520)。解码器将储存已进行熵解码的信息的一维数组(525)逆扫描为二维块(535)。解码器对数据进行反量化和反离散余弦变换(同时进行,540),得到重建的误差块(545)。在一单独的路径中,解码器使用对参考帧的位移的运动矢量信息(555)来计算预测块(565)。解码器将预测块(565)和重建的误差块(545)组合(570)来组成重建块(575)。
当解码器接收到宏块的跳过宏块标志时,解码器跳过对该宏块的预测计算和剩余块信息解码。取而代之的是,解码器使用参考帧中宏块位置的相应像素数据。
原始和重建帧之间的变化量被称为失真,对帧进行编码所需要的比特数被称为率。失真量一般说来与率成反比。换言之,用较少的比特来对帧进行编码(较大压缩)将导致较大的失真,反之亦然。视频压缩模式的目的之一是试图改进率-失真-换言之,试图采用较少的比特来达到同样的失真(或使用相同的比特来达到较低的失真)。
尽管WMV7中使用的跳过宏块标志对多种视频内容来说通常能够降低比特率,然而在某些情况下却远非最佳。在许多情况下,未能充分利用从宏块到宏块的跳过宏块标志中的冗余,例如,当跳过宏块成群地出现在图像中时。同样,WMV7在跳过宏块时忽略了对预测帧中宏块的运动预测,在某些情况下会损伤预测帧的压缩的效率。
C.视频压缩和解压的标准
除WMV7之外,若干种国际标准与视频压缩和解压相关。这些标准包括运动图像专家组[“MPEG”]1、2和4标准以及国际电信联盟〔“ITU”〕的H.261、H.262和H.263标准。与WMV7类似,这些标准使用帧内和帧间压缩的组合,尽管这些标准通常在所使用的压缩技术细节上与WMV7不同。
一些国际标准认可将宏块的跳过编码作为一种工具在视频压缩和解压中使用。欲知这些标准中有关跳过宏块编码的另外的细节,参见该标准的说明书本身。
上述标准中的跳过宏块编码通常降低了多种视频内容的比特率,但是在某些情况下远非最佳。在许多情况下,未能充分利用从宏块到宏块的跳过宏块标志中的冗余,例如,当跳过宏块成群地出现在图像中时。同样,当跳过宏块时,它忽略了对预测宏块/图像中的宏块的运动预测,从而在某些情况下会损伤预测宏块/图像的压缩效率。
鉴于对数字视频的视频压缩和解压的关键重要性,视频压缩和解压是充分开发的领域并不令人惊讶。然而,不论先前的视频压缩和解压技术的好处如何,它们都没有以下技术和工具的优点。
发明概述
总的来说,详细描述针对用于对二进制信息进行编码和解码(如,在视频编码器/解码器中)的各类技术和工具。二进制信息可能包括指示视频编码器或解码器在视频帧中是否跳过了某一宏块的位。或者,二进制信息可能包括指示对宏块的运动矢量分辨率(如1-MV或4-MV)、隔行扫描方式(如半帧或帧)或一些其它信息的位。二进制信息可能在逐帧的基础上或者在一些其它基础上编码。
在一些实施例中,二进制信息在位平面上排列。例如,位平面在图像/帧层被编码。可选地,二进制信息以其它方法排列和/或在不同的层编码。编码器和解码器处理二进制信息。二进制信息可能包括宏块级信息。可选地,编码器和解码器处理块级、子块级或像素级信息的位平面。
在一些实施例中,编码器和解码器切换编码模式。例如,编码器和解码器使用普通、行跳过或列跳过模式。不同的模式使得编码器和解码器可以充分利用二进制信息中的冗余。可选地,编码器和解码器使用其它和/或另外的模式,如差分模式。为提高效率,编码器和解码器可能在某些模式中使用位平面倒置技术。
在一些实施例中,编码器和解码器将跳过宏块定义为运动等于其因果预测运动并具有零剩余误差的预测宏块。可选地,编码器和解码器将跳过宏块定义为具有零运动和零剩余误差的预测宏块。
在一些实施例中,编码器和解码器使用原始编码模式来允许低等待时间应用。例如,在原始编码模式中,已编码的宏块能够立即发送到解码器,而不需要等到帧/图像中的所有宏块都被编码。编码器和解码器能够在原始编码模式和其它模式之间切换。
各类技术和工具可以组合使用或单独使用。特别地,该应用连同相应的比特流语法一起描述了跳过宏块编码和解码的两种实现。不同的实施例实现了一种或多种所描述的技术和工具。
参考附图阅读以下对不同实施例的详细描述,可以更清楚其它特点和优点。
附图的简要描述
图1所示是依照现有技术的对一个8×8的像素块的基于块的帧内压缩的图。
图2所示是依照现有技术的频率系数的预测的图。
图3所示是依照现有技术的视频编码器中的运动估计的图。
图4所示是依照现有技术的视频编码器中对一个8×8的预测剩余块的基于块的帧间压缩的图。
图5所示是依照现有技术的对一个8×8的预测剩余块的基于块的帧内解压的图。
图6是适于在其中实现若干所描述的实施例的计算环境的结构图。
图7是若干所描述的实施例中使用的一般化的视频编码器系统的结构图。
图8是若干所描述的实施例中使用的一般化的视频解码器系统的结构图。
图9所示是依照第一实现的组成P图像层的比特流元素的图。
图10所示是用于在具有多个跳过宏块编码模式的视频编码器中对跳过宏块的信息进行编码的技术的流程图。
图11所示是用于对由具有多个跳过宏块编码模式的视频编码器编码的跳过宏块的信息进行解码的技术的流程图。
图12所示是跳过宏块编码帧的一个示例。
图13所示是用于在普通跳过宏块编码模式中进行编码的技术的流程图。
图14所示是用于在行预测跳过宏块编码模式中进行编码的技术的流程图。
图15所示是用于对跳过宏块的信息进行行预测解码的伪代码的代码列表。
图16所示是用于在列预测跳过宏块编码模式中进行编码的技术的流程图。
图17所示是用于对跳过宏块的信息进行列预测解码的伪代码的代码列表。
图18所示是用于确定在视频编码器中是否跳过特定宏块的编码的技术的流程图。
图19所示是用于以行跳过编码模式在位平面中对二进制信息进行编码的技术的流程图。
图20所示是用于以列跳过编码模式在位平面中对二进制信息进行编码的技术的流程图。
图21所示是用于以普通-2编码模式在位平面中对二进制信息进行编码的技术的流程图。
图22、23和24所示是以普通-6模式平铺的二进制信息的帧的示例。
图25所示是用于以普通-6模式在位平面中对二进制信息进行编码的技术的流程图。
图26所示是用于以差分编码模式对二进制信息进行编码的技术的流程图。
图27所示是用于以差分编码模式对二进制信息进行解码的技术的流程图。
图28所示是用于对低等待时间应用以原始编码模式选择性地对二进制信息进行编码的技术的流程图。
详细描述
所描述的实施例与用于对二进制信息进行编码和解码(如,在视频编码器/解码器中)的技术和工具相关。二进制信息可能包括指示视频编码器或解码器是否跳过了视频帧中的特定宏块的位。或者,二进制信息可包括指示宏块的运动矢量分辨率(如1-MV或4-MV)、隔行扫描模式(如半帧或帧)或其它信息的位。二进制信息可能在逐帧的基础上或在一些其它基础上进行编码。
在一些实施例中,二进制信息在位平面中排列。位平面在图像/帧层被编码。可选地,二进制信息以一些其它方式排列和/或在不同的层编码。
在一些实施例中,编码器和解码器切换编码模式。例如,编码器和解码器使用普通、行跳过或列跳过模式。不同的模式使得编码器和解码器可以充分利用二进制信息中的冗余。可选地,编码器和解码器使用其它和/或另外的模式。
在一些实施例中,编码器和解码器将跳过宏块定义为运动等于其因果预测的运动并具有零剩余误差的预测宏块。可选地,编码器和解码器将跳过宏块定义为具有零运动和零剩余误差的预测宏块。
在一些实施例中,作为对有效帧/图像级编码的替代,准许使用原始编码模式来允许低等待时间应用。在原始编码模式中,已编码的宏块能够立即发送到解码器,而不需要等待直到帧/图像中的所有宏块都编码完成。
在一些实施例中,编码器和解码器处理宏块级信息的位平面。可选地,编码器和解码器处理块、子块或像素级信息的位平面。
各类技术和工具可以组合使用或单独使用。具体而言,本申请连同相应的比特流语法一起描述了跳过宏块编码和解码的两种实现。不同的实施例实现一种或多种所描述的技术和工具。
在所描述的实施例中,视频编码器和解码器执行各类技术。尽管这些技术的操作通常为演示目的,以特定顺序来描述,应当理解,这一描述方式包含操作顺序中较小的重排列,除非需要特定的顺序。例如,顺序地描述的操作在某些情况下可以重新排列或并发执行。此外,为简化的目的,流程图通常不显示特定技术可以与其它技术结合使用的不同方法。
在所描述的实施例中,视频编码器和解码器在比特流中使用不同的标志和信号。尽管描述了特定的标志和信号,应当理解,这一描述方式包含了对标志和信号的不同约定(如0的约定而不是1的约定)。
I.计算环境
图6说明了适于在其中实现若干所描述的实施例的计算环境(600)的一般化示例。该计算环境(600)并不意味着对使用或功能的范围的限制,这些技术和工具可以在不同的通用或专用计算系统中实现。
参考图6,计算环境(600)包括至少一个处理单元(610)和存储器(620)。在图6中,这一最基本的配置(630)包括在虚线框中。处理单元(610)执行计算机可执行指令并可以是真实或虚拟的处理器。在多处理系统中,多处理单元执行计算机可执行指令来提高处理能力。存储器(620)可以是易失存储器(如,寄存器、高速缓存、RAM)、非易失存储器(如,ROM、EEPROM、闪存等等)或两者的某一组合。存储器(620)储存实现编码器或解码器,如视频编码器或解码器的软件(680)。
计算环境可以具有其它特性。例如,计算系统(600)包括存储(640)、一个或多个输入设备(650)、一个或多个输出设备(660)以及一个或多个通信连接(670)。互连机制(未示出)如总线、控制器或网络将计算环境(600)的组件互连。通常,操作系统软件(未示出)为其它在计算环境(600)中执行的软件提供了操作环境,并协调计算环境(600)的组件的活动。
存储(640)可以是可移动或不可移动的,包括磁盘、磁带或盒式磁带、CD-ROM、DVD或其它任一可以用来储存信息并在计算环境(600)内可访问的媒质。存储(640)储存软件(680)用来实现编码器或解码器的指令。
(多个)输入设备(650)可以是触摸输入设备,如键盘、鼠标、笔、或轨迹球、语音输入设备、扫描设备或另一提供向计算环境(600)的输入的设备。对音频或视频编码来说,(多个)输入设备(650)可以是声卡、视频卡、电视调谐卡或以模拟或数字形式接受音频或视频输入的类似设备、或将音频或视频样本读入计算环境(600)的CD-ROM或CD-RW。(多个)输出设备(660)可以是显示器、打印机、扬声器、CD记录器或从计算环境(600)提供输出的另一设备。
(多个)通信连接(670)启用通过通信媒质向另一计算实体的通信。通信媒质传送信息如计算机可执行指令、音频或视频输入或输出或其它已调制数据信号中的数据。已调制数据信号是以某一方式设定或改变其一个或多个特征来对信号中的信息进行编码的信号。作为示例而非限制,通信媒质包括用电子、光学、RF、红外、声学或其它载体实现的有线或无线技术。
本技术和工具可以在计算机可读媒质的一般语境中描述。计算机可读媒质是任一在计算环境中可访问的可用媒质。作为示例而非局限,在计算环境(600)中,计算机可读媒质包括存储器(620)、存储(640)、通信媒质以及上述任一件的组合。
本技术和工具可以在计算机可执行指令的一般语境下描述,如包括在程序模块中、在目标真实或虚拟处理器上的计算环境中执行的计算机可执行指令。通常,程序模块包括例程、程序、库、对象、类、组件、数据结构等等,执行特定的任务或实现特定的抽象数据类型。如不同实施例的期望,程序模块的功能可以在程序模块之间组合或分离。程序模块的计算机可执行指令可以在本地或分布式计算环境中执行。
为演示目的,详细描述使用术语如“确定”、“选择”、“重建”及“通知”,来描述计算环境中的计算机操作。这些术语是对计算机执行的操作的高级抽象,不应与人类执行的行动混淆。与这些术语相应的实际计算机操作可根据实现的不同而不同。
II.一般化的视频编码器和解码器
图7是一般化的视频编码器(700)的结构图,图8是一般化的视频解码器(800)的结构图。
编码器和解码器内的模块之间示出的关系指示了编码器和解码器内的信息的主流程;为简化目的,未示出其它关系。特别地,图7和8通常未示出指示用于视频序列、帧、宏块、块等等的编码器设置、模式、表等等的侧面信息。这类侧面信息在输出比特流中发送,通常在对侧面信息的熵编码之后。输出比特流的格式可以是Windows Media Video版本8的格式或另一格式。
编码器(700)和解码器(800)是基于块的,并使用4:2:0的宏块格式,每一宏块包括4个8×8的亮度块(有时也作为一个16×16的宏块来看待)以及两个8×8的色度块。可选地,编码器(700)和解码器(800)可以是基于对象的,使用不同的宏块或块格式,或在尺寸和构造不同于8×8的块和16×16的宏块的像素集的基础上执行操作。
根据所期望的实现和压缩类型,编码器或解码器的模块可以被添加、省略、拆分成多个模块、与其它模块组合和/或用相似模块代替。在替代实施例中,使用不同模块和/或其它模块构造的编码器或解码器执行所描述的技术的一个或多个。
A.视频编码器
图7是一般视频编码器系统(700)的结构图。编码器系统(700)接收包括当前帧(705)的一系列视频帧并生成压缩的视频信息(795)作为输出。视频编码器的具体实施例通常使用一般化的编码器(700)的变异或补充版本。
编码器系统(700)压缩预测帧和主帧。为了演示,图7示出了主帧通过编码系器统(700)的路径以及前向预测帧的路径。编码器系统(700)的许多组件既用来压缩主帧也用来压缩预测帧。这些组件所执行的确切操作可根据压缩的信息类型的不同而不同。
预测帧〔也称为双向预测中的p帧、b帧或帧间编码帧(inter-coded frame)〕按照从一个或多个其它帧的预测(或差异)来表示。预测剩余是所预测的和原始帧之间的差异。相反,主帧〔也称为i帧或帧内编码帧(intra-coded frame)〕不参考其它帧而压缩。
如果当前帧(705)是前向预测帧,运动估计器(710)估计当前帧的像素宏块或其它像素集对于参考帧的运动,参考帧是缓存在帧存储(720)中的重建的前一帧(725)。在替代实施例中,参考帧是后一帧,或者当前帧是双向预测的。运动估计器(710)能够根据像素、1/2像素、1/4像素或其它增量来估计运动,并在逐帧或其它基础上切换运动估计的分辨率。运动估计的分辨率可以在水平上和垂直上相同或不同。运动估计器(710)将运动信息(715),如运动矢量作为侧面信息输出。运动补偿器(730)将运动信息(715)应用到重建的前一帧(725)来组成已经过运动补偿的当前帧(735)。然而,预测很少是完美的,已经过运动补偿的当前帧(735)和原始当前帧(705)之间的差异为预测剩余(745)。可选地,运动估计器和运动补偿器应用另一类型的运动估计/补偿。
频率转换器(760)将空间域视频信息转换为频域(即,频谱的)数据。对于基于块的视频帧,频率转换器(760)对像素数据或预测剩余数据的块应用离散余弦变换[“DCT”]或DCT的变异,生成DCT系数块。可选地,频率变换器(760)应用另一常规频率变换,如傅立叶变换或使用小波或子带分析。在编码器使用空间外插(图7未示出)来对主帧的块进行编码的实施例中,频率转换器(760)可以对主帧的预测剩余的块应用重定向的频率变换,如偏斜DCT。在其它实施例中,频率变换器(760)对预测帧的预测剩余应用8×8、8×4、4×8或其它尺寸的频率变换(如DCT)。
量化器(770)然后量化空间数据系数块。量化器对空间数据应用统一的标量量化,其步长在逐帧或其它基础上变化。可选地,量化器对空间数据系数应用另一种量化,例如,非统一、矢量或非自适应量化,或直接在不使用频率变换的编码器系统内量化空间域数据。除自适应量化之外,编码器(700)可以使用帧丢弃、自适应滤波或其它技术来进行率控制。
如果预测帧中一个给定的宏块没有特定类型的信息(如,没有宏块的运动信息并且没有剩余信息),则编码器(700)将该宏块编码为跳过宏块。如果是这样,编码器在压缩的视频信息(795)的输出比特流中发信号通知该跳过宏块。
当需要重建的当前帧用于随后的运动估计/补偿时,反量化器(776)在量化的空间数据系数上执行反量化。反频率变换器(766)然后执行频率变换器(760)的反操作,生成重建的预测剩余(对预测帧)或重建的主帧。如果当前帧(705)是主帧,则重建的主帧被用作重建的当前帧(未示出)。如果当前帧(705)是预测帧,则将重建的预测剩余添加到已经过运动补偿的当前帧(735)来组成重建的当前帧。帧存储(720)缓存重建的当前帧用于预测下一帧。在一些实施例中,编码器对重建的帧应用数据分块滤波器来自适应地平滑帧的块中的不连续。
熵编码器(780)压缩量化器(770)的输出以及某些侧面信息(例如,运动信息(715)、空间外插模式、量化步长)。典型的熵编码技术包括算术编码、差分编码、哈夫曼(Huffman)编码、行程编码、LZ编码、字典编码以及上述的组合。熵编码器(780)通常对不同种类的信息(例如,DC系数、AC系数、不同种类的侧面信息)使用不同的编码技术,并能够从特定编码技术之内的多个代码表中进行选择。
熵编码器(780)将压缩的视频信息(795)放置在缓存(790)中。缓存级别指示符反馈至比特率自适应模块。
压缩的视频信息(795)从缓存(790)中以恒定或相对恒定的比特率排出,并被储存用于该比特率的随后的流中。因此,缓存(790)的级别主要是已滤波的量化视频信息的熵的函数,它影响熵编码的效率。可选地,编码器系统(700)在压缩之后立即将压缩的视频信息形成流,并且缓存(790)的级别也取决于信息从缓存(790)中排出进行发送的率。
在缓存(790)之前或之后,可以对压缩的视频信息(795)进行信道编码用于通过网络来发送。信道编码可以将误差检测和纠正数据应用到压缩视频信息(795)中。
B.视频解码器
图8是一般视频解码器系统(800)的结构图。解码器系统(800)接收视频帧的已压缩序列的信息(895),并生成包括重建帧(805)的输出。视频解码器的特定实施例通常使用一般化的解码器(800)的变异或补充版本。
解码器系统(800)对预测帧和主帧进行解压。为了演示,图8示出了主帧通过解码器系统(800)的路径以及前向预测帧的路径。解码器系统(800)的许多组件既用来对主帧进行解压也用来对预测帧进行解压。这些组件的确切操作可以根据所要解压的信息类型的不同而不同。
缓存(890)接收压缩视频序列的信息(895)并使接收的信息对熵解码器(880)可用。缓存(890)通常以随时间变化相当恒定的率接收信息,并包括抖动缓存来平滑带宽或传输中的短期变化。缓存(890)可以包括回放缓存以及其它缓存。可选地,缓存(890)以变化的率来接收信息。在缓存(890)之前或之后,可以对压缩的视频信息进行信道解码和误差检测和纠正的处理。
熵解码器(880)对熵编码的量化数据和熵编码的侧面信息(例如,运动信息(815)、空间外插模式、量化步长)进行熵解码,通常应用编码器中执行的熵编码的反操作。熵解码技术包括算术解码、差分解码、哈夫曼解码、行程解码、LZ解码、字典解码以及上述的组合。熵解码器(880)经常对不同的信息种类(如DC系数、AC系数、不同的侧面信息种类)使用不同的解码技术,并能够在特定的解码技术中从多个代码表中作出选择。
如果要重建的帧(805)是前向预测帧,则运动补偿器(830)对参考帧(825)应用运动信息(815)来组成要重建的帧(805)的预测(835)。例如,运动补偿器(830)使用宏块运动矢量来找出参考帧(825)中的宏块。帧缓存(820)储存前一重建的帧用作参考帧。运动补偿器(830)能够按照像素、1/2像素、1/4像素或其它增量来补偿运动,并能够在逐帧或者其它基础上切换运动补偿的分辨率。运动补偿的分辨率可以在水平上和垂直上相同或不同。可选地,运动补偿器应用另一类型的运动补偿。运动补偿器的预测很少是完美的,因此解码器(800)也重建预测剩余。
当解码器需要重建帧用于随后的运动补偿时,帧存储(820)缓存重建帧用于预测下一帧。在一些实施例中,编码器对重建帧应用数据分块滤波器来自适应地平滑帧的块中的不连续。
反量化器(870)反量化熵解码的数据。一般来说,反量化器对熵解码的数据应用统一标量反量化,其步长在逐帧或者其它基础上变化。可选地,反量化器对数据应用另一类型的反量化,如非统一、矢量或非自适应量化,或直接在不使用反频率变换的解码器系统中反量化空间域。
反频率转换器(860)将量化的频域数据转换为空间域视频信息。对于基于块的视频帧,反频率转换器(860)对DCT系数块应用反DCT[“IDCT”]或IDCT的变异,生成分别用于主帧或预测帧的像素数据或预测剩余数据。可选地,频率转换器(860)应用另一常规反频率变换,如傅立叶变换或使用小波或子带合成。在解码器使用空间外插(图8未示出)来对主帧的块进行解码的实施例中,反频率转换器(860)能够对主帧的预测剩余块应用重定向的反频率转换,如偏斜IDCT。在其它实施例中,反频率转换器(860)对预测帧的预测剩余应用8×8、8×4、4×8或其它尺寸的反频率转换(如IDCT)。
当在压缩的视频帧序列的信息(895)的比特流中发信号通知跳过宏块时,解码器(800)重建跳过宏块,而不使用通常包含在非跳过宏块的比特流中的信息(例如,运动信息和/或剩余信息)。
III.第一实现
在第一实现中,视频编码器和解码器分别以提高的效率对跳过宏块的信息进行编码和解码。在视频比特流中的图像层上发信号通知跳过宏块的信息,使得编码器能够充分利用跳过宏块的信息中的冗余。同样,编码器和解码器在多个编码模式之间进行选择以对跳过宏块的信息进行编码和解码。
A.跳过宏块的信息的图像层编码
在第一实现中,压缩视频序列由构造成四个分级层的数据组成。从上到下层分别为:1)序列层;2)图像层;3)宏块层;以及4)块层。在图像层,每一图像的数据包括图像头,随后是宏块层的数据。(类似地,在宏块层,每一宏块的数据包括宏块头,随后是块层的数据。)当I图像和P图像的一些比特流元素相同时,其它元素仅出现在P图像,反之亦然。
图9示出了组成P图像层(900)的比特流元素。表1简要地描述了P图像层(900)的比特流元素。
  字段   描述
  PTYPE(910)   图像类型
  PQUANT(912)   图像量化器比例
  SMBC(920)   跳过宏块代码
  SMB(930)   跳过宏块字段
  CPBTAB(940)   已编码块模式表
  MVRES(942)   运动矢量分辨率
  TTMBF(944)   宏块级转换类型标志
  TTFRM(946)   帧级转换类型
  DCTACMBF(948)   宏块级DCT AC编码置位标志
  DCTACCFRM(950)   帧级DCT AC编码置位索引
  DCTDCTAB(952)   帧内DCT DC表
  MVTAB(954)   运动矢量表
  MB LAYER(960)   宏块层
表1:第一实现中P图像层的比特流元素
特别地,P图像层(900)包括用于P图像中宏块的跳过宏块字段(“SMB”)(930)以及发信号通知跳过宏块字段(930)的编码模式的跳过宏块代码(“SMBC”)字段(920)。SMBC字段(920)仅出现在P图像头中。SMBC(920)是一个2位的值,发信号通知用于指示帧中跳过的宏块的四种模式之一。在第一实现中,用于跳过宏块编码模式的固定长度代码(“FLC”)如下:
  SMBC FLC   跳过位编码模式
  00   无跳过位编码
  01   普通跳过位编码
  10   行预测(或,“行跳过”)跳过位编码
  11   列预测(或,“列跳过”)跳过位编码
表2:第一实现中跳过宏块编码模式代码表
如果编码模式为普通、行预测或列预测,则比特流的下一字段是包含跳过宏块信息的SMB字段(930)。因此,SMB字段仅出现在P图像头中,并且仅当SMBC发信号通知普通、行预测或列预测跳过宏块编码时才出现。如果SMBC发信号通知普通编码,则SMB字段的尺寸等于帧中宏块的数量。如果SMBC发信号通知行预测或列预测,则SMB的尺寸如下所述地变化。
跳过宏块信息通知解码器帧中哪一宏块不在宏块层中。对于这些宏块,解码器在重建该宏块时将从参考帧复制相应的宏块像素数据。
B.切换跳过宏块信息的编码模式
如上所述,SMBC字段(920)发信号通知跳过宏块字段(930)的编码模式。更一般地,图10示出了一种用于在具有多个跳过宏块编码模式的视频编码器中对跳过宏块的信息进行编码的技术(1000)。图11示出了一种用于对由具有多个跳过宏块编码模式的视频编码器编码的跳过宏块的信息进行解码的相应技术(1100)。
参考图10,编码器选择一种跳过宏块编码模式来对跳过宏块的信息进行编码(1010)。例如,在第一实现中,跳过宏块编码模式包括无跳过宏块的模式、普通模式、行预测(或,“行跳过”)模式以及列预测(或,“列跳过”)模式。在选择编码模式之后,编码器对跳过宏块的信息进行编码(1020)。编码器在逐图的基础上选择编码模式。可选地,编码器在其它基础(例如,在序列级)上选择编码模式。当编码器完成对跳过宏块的信息进行编码之后(1030),编码结束。
参考图11,解码器确定编码器用来对跳过宏块的信息进行编码的跳过宏块编码模式(1110)。解码器然后对跳过宏块的信息(1120)进行解码。解码器在逐图的基础上确定编码模式。可选地,解码器在其它基础(例如,在序列级别)上确定编码模式。当解码器完成对跳过宏块的信息进行解码之后(1130),解码结束。
C.编码模式
在第一实现中,跳过宏块编码模式包括无跳过宏块的模式、普通模式、行预测(或,“行跳过”)模式以及列预测(或“列跳过”)模式。以下部分参考图12描述了每一模式中如何对跳过宏块的信息进行编码,并示出了跳过宏块编码帧的一个示例(1200)。
1.普通跳过宏块编码模式
在普通模式中,每一宏块的跳过/未跳过状态由一个位来表示。因此,以位表示的SMB字段的尺寸等于帧中宏块的数量。SMB字段中的位的位置与在帧中从左上宏块开始对宏块进行光栅扫描的顺序相应。位的值为0指示相应的宏块未跳过;位的值为1指示相应的宏块被跳过。
图13示出了一种用于以普通跳过宏块编码模式进行编码的技术(1300)。首先,编码器检查是否会跳过对一个宏块的编码(1310)。如果是这样,编码器将值为1的位添加到SMB字段来指示相应的宏块被跳过(1320)。否则,编码器将值为0的位添加到SMB字段来指示相应的宏块未跳过(1330)。当编码器完成向SMB字段添加位之后(1340),跳过宏块编码结束。
作为示例,使用普通模式编码,图12中示例帧(1200)的SMB字段被编码为:010010111111111111010010。
2.行预测跳过宏块编码模式
在行预测模式中,每一宏块行(从上到下)的状态由一个位来指示。如果该位为1,则该行所包含的全部为跳过宏块,并且跟随其后的是下一行的状态。如果该位等于0,则用一个位来发信号通知该行中每一宏块的跳过/未跳过状态。因此,跟随其后的是长度等于行中宏块数的位字段。该位字段中的位表示从左到右顺序的宏块。再一次,值为0指示相应的宏块未跳过;值为1指示相应的宏块被跳过。
图14示出了一种用于以行预测(或,“行跳过”)宏块编码模式编码的技术(1400)。首先,编码器检查一行所包含的是否全部为跳过宏块(1410)。如果是,则编码器将值为1的指示符位添加到SMB字段(1420),并且跟随其后的是下一行的状态。如果该行所包含的不全为跳过宏块,则编码器将值为0的指示符位添加到SMB字段,并且用一个位来发信号通知该行中每一宏块的跳过/未跳过状态(1430)。当编码器完成帧(1440)中所有行的处理之后(1440),行预测编码结束。
对于解码,图15所示为对跳过宏块的信息进行行预测解码的伪代码(1500)。在伪代码(1500)中,函数get_bits(n)从比特流读取n位并返回其值。
作为示例,使用行预测模式编码,图12的示例帧(1200)的SMB字段被编码为:0010010110010010。
3.列预测跳过宏块编码模式
在列预测模式中,每一宏块列(从左到右)的状态用一个位来指示。如果该位为1,则该列所包含的全部为跳过宏块,并且跟随其后的是下一列的状态。如果该位为0,则用一个位来发信号通知该列中每一宏块的跳过/未跳过状态。因此,跟随其后的是长度等于该列中宏块数的位字段。该位字段中的位表示从上到下顺序的宏块。再一次,值为0指示相应的宏块未跳过;值为1指示相应的宏块被跳过。
图16示出了一种用于以列预测(或,“列跳过”)宏块编码模式编码的技术(1600)。首先,编码器检查该列所包含的是否全部为跳过宏块(1610)。如果是,则编码器将值为1的指示符位添加到SMB字段(1620),并且跟随其后的是下一列的状态。如果该列包含的不全为跳过宏块,则编码器将值为0的指示符位添加到SMB字段,并且用一个位来发信号通知该列中每一宏块的跳过/未跳过状态。当编码器完成帧中所有列的处理之后(1640),列预测编码结束。
对于解码,图17所示为对跳过宏块的信息进行列预测解码的伪代码(1700)。
作为示例,使用行预测模式编码,图12的示例帧(1700)的SMB字段被编码为:0011010011000110100110。
IV.第二实现
在第二实现中,视频编码器和解码器以提高的效率分别对跳过宏块的信息和/或其它2-D二进制数据进行编码和解码。编码器和解码器将跳过宏块定义为具有缺省运动(不一定是零运动)的块,使得编码器和解码器可以在许多情况下跳过更多的宏块。有效的帧级位平面编码指示了跳过宏块的信息和/或其它2-D二进制数据。同样,编码器和解码器可以使用跳过宏块的原始(MB级)编码选项用于低等待时间的应用。
A.跳过位定义(跳过宏块的定义)
第二实现包括跳过宏块的概念的新定义。“跳过”指比特流中没有进一步的信息需要在该粒度级上发送的情况。跳过宏块(块)是具有缺省类型、缺省运动和缺省剩余误差的宏块(块)。(作为比较,在其它实现和标准中,跳过宏块是具有零运动和零剩余的预测宏块。)
跳过宏块的新定义是其运动等于其因果预测运动并具有零剩余误差的预测宏块。(与其它定义的不同点是缺省运动等于运动预测器,这不一定要为零。)
例如,在一些实施例中,从紧靠当前宏块上方或左边的宏块中得到当前宏块的预测运动矢量。或者,从当前宏块的左边、上方或者右上的宏块的水平和垂直分量范围内的中项生成预测器的水平和垂直分量。
具有四个运动矢量(4MV)的跳过宏块的运动矢量由其顺序地以自然扫描顺序执行的各预测给出。在一个运动矢量(1MV)的情况下,误差剩余为零。
图18示出了一种用于在视频编码器中依照跳过宏块的新定义确定是否要跳过对特定宏块的编码的技术(1800)。首先,编码器检查当前帧是否是I帧或P帧(1810)。如果当前帧是I帧,则当前帧中不跳过任何宏块(1820),对该帧的跳过宏块编码结束。
另一方面,如果当前帧是P帧,编码器检查当前帧中可以跳过的宏块。对于一个给定的宏块,编码器检查该宏块的运动矢量是否等于该宏块因果预测的运动矢量(例如,该宏块的差分运动矢量是否等于零)(1830)。如果宏块的运动不等于因果预测的运动,则编码器不跳过该宏块(1840)。否则,编码器检查该宏块是否有任何剩余需要编码(1850)。如果有需要编码的剩余,编码器不跳过该宏块(1860)。然而,如果该宏块没有剩余,编码器跳过该宏块(1870)。编码器继续编码或跳过宏块直到完成编码(1880)。
B.位平面编码
在第二实现中,某一宏块特定信息(包括发信号通知跳过宏块)可以以每宏块一位来编码。帧内所有宏块的状态可以一起编码为位平面并在帧头中发送。
在第二实现中,编码器在三种情况下使用位平面来发信号通知关于帧中宏块的信息。这三种情况为:1)发信号通知跳过宏块,2)发信号通知半帧或帧宏块模式,以及3)发信号通知每一宏块的1-MV或4-MV运动矢量。这一部分描述了对三种情况的任一种的位平面编码以及相应的解码。
帧级位平面编码用来对二维二进制数组进行编码。每一数组的尺寸是rowMB×colMB,其中,rowMB和colMB分别为宏块行和列的数目。在比特流中,每一数组被编码为一组连续的位。使用七种模式之一来对每一数组进行编码,如表3列举并在下文描述的。
  编码模式   描述
  原始   以每码元一位编码
  普通-2   两个码元共同编码
  差分-2   位平面的差分编码,随之为对两个剩余码元共同编码
  普通-6   六个码元共同编码
  差分-6   位平面的差分编码,随之为对六个剩余码元共同编码
  行跳过   一位跳跃来发信号通知没有置位的位的行
  列跳过   一位跳跃来发信号通知没有置位的位的列
表3:第二实现中的编码模式
在第二实现中,编码器使用三个语法元素:MODE、INVERT和DATABITS,以在位平面中嵌入信息。
MODE字段是对位平面的编码模式进行编码的可变长度代码(“VLC”)。例如,MODE字段中的VLC表示表3所列的七种编码模式中的任一种。为节省位,编码器可以向可能性较大的编码模式分配较短的代码,并向可能性较小的编码模式分配较长的代码。如上所述,MODE字段在帧头中发送。
编码器和解码器在逐帧的基础上在编码模式之间切换。例如,编码器和解码器分别如图10和11中第一实现的编码器和解码器在跳过宏块编码模式之间切换一样在编码模式之间切换。可选地,编码器和解码器使用其它技术和/或在其它基础上进行切换。
如果模式不是原始模式,则发送一位的INVERT字段。在可能执行条件倒置的若干个编码模式中,INVERT字段指示编码器中位平面中的位是否在编码发生之前被倒置以及解码器中的解码输出是否被倒置。当位平面中的大多数位等于1时,INVERT字段为1,当位平面中的大多数位等于0时,INVERT字段为0。当出现较多的0时,编码器采用若干种消耗更少位的编码模式(如普通-2和普通-6)。如果要编码的位平面中1比0多,则编码器可以倒置位平面来增加位平面中0的比例并增加用于节省位的潜力。其它模式(如差分-2和差分-6)使用INVERT的值来计算预测器位平面。因此,在某些编码模式中,解码器上最终的重建位平面取决于INVERT。
DATABITS字段是包含重建位平面所需要的信息的VLC码元的熵编码流,在给定MODE和INVERT字段的情况下。
C.编码模式
在第二实现中,编码器以七种不同编码模式的任一种对二进制信息(例如,跳过宏块信息)进行编码:行跳过模式、列跳过模式、普通-2模式、普通-6模式、差分-2模式、差分-6模式以及原始模式。解码器对七中编码模式的任一种执行相应的解码。每一模式在下文详细描述。
可选地,编码器和解码器使用其它和/或另外的编码模式。
1.行跳过和列跳过模式
行跳过编码模式通过当行中每一二进制码元是一个特定值时用单个位来表示位平面中的一行来节省位。例如,编码器在位平面中用0来表示跳过宏块,并使用以单个位来表示全0行的行跳过编码模式。因此,当宏块的全部行都跳过时,编码器节省了位。解码器执行相应的解码。
在第二实现中,全零行用设为0的一位来指示。当该行不是全为0时,一位指示符设为1,跟随其后的是按顺序排列的包含该位平面行的colMB位。行以自然顺序扫描。
同样地,对于列跳过模式,如果整个行为零,则发送一个0位。否则,则发送1,跟随其后的是按顺序排列包含整个列的rowMB位。列以自然顺序扫描。
对以差分-6和普通-6模式(下文描述)对剩余的行和/或列的编码,应用相同的逻辑。一个一位的标志指示行或列是否全为0。如果不是,则使用每码元一位来发送整个行或列。
当编码器对主要包含1的位平面编码时,行跳过和列跳过编码通常效率较低,因为行/列全部包含0的概率较小。然而,编码器能够在这一情况下在位平面上执行倒置来增加0的比例并潜在地提高位节省。由此,当通过INVERT位来指示条件倒置时,编码器在平铺位平面并对其进行编码之前,对位平面进行预倒置(pre-invert)。在解码器端,通过对最终输出执行倒置来实现条件倒置。(对差分-2和差分-6模式不执行该步骤)。
图19示出了一种用于以行跳过模式在位平面中对二进制信息进行编码的技术(1900)。编码器首先检查位平面的倒置是否适合,如果是,则执行倒置(1910)。编码器然后检查位平面中的一行来看行中的每一位是否等于0(1920)。如果是,则编码器将该行的指示符位设为0(1930)。如果行中任一位不为0,则编码器将该行的指示符位设为1,并用一位来对该行中每一位进行编码(1940)。当编码器完成对位平面中所有行的编码之后(1950),位平面编码结束。
对行跳过编码模式,解码器执行相应的解码。
图20示出了一种用于以列跳过模式对二进制信息进行编码的技术(2000)。编码器首先检查位平面的倒置是否适合,如果是,则执行倒置(2010)。编码器然后检查位平面中的一列来看该列中的每一位是否等于0(2020)。如果是,则编码器将该列的指示符位设为0(2030)。如果列中任一位不为0,则编码器将该列的指示符位设为1,并用一位来对该列中的每一位进行编码(1940)。当编码器完成位平面中每一列的编码之后(1950),位平面编码结束。
对列跳过编码模式,解码器执行相应的解码。
2.普通-2模式
编码器使用普通-2模式来对位平面中多个码元进行共同编码(例如,通过使用矢量哈夫曼或其它可变长度编码模式)。编码器使用可变长度代码对二进制码元对进行编码。解码器执行相应的解码。
如果rowMB×co1MB是奇数,则将第一个码元编码为单个位。随后的码元以自然扫描顺序成对地进行编码。使用VLC表来对码元对进行编码以降低总熵。
当通过INVERT位指示条件倒置时,编码器在成对地对位平面进行编码之前对其进行预倒置。在解码器端,通过对最终输出执行倒置来实现条件倒置。(当使用差分-2模式时,在这一步骤不执行条件倒置)。
图21示出了一种用于以普通-2模式对二进制信息进行编码的技术(2100)。编码器执行初始检查来确定位平面倒置是否适合以提高编码效率,如果是,执行倒置(2110)。编码器然后确定要编码的位平面是否具有奇数个二进制码元(2120)。如果是,则编码器将第一个码元用单个位来编码(2130)。编码器然后使用可变长度代码来对码元对进行编码,使用较短的代码来表示可能性较大的对,使用较长的代码来表示可能性较小的对(2140)。当完成对码元对的编码时(2150),编码结束。
对普通-2模式,解码器执行相应的解码。
3.普通-6模式
编码器也使用普通-6模式来对位平面中多个二进制码元进行共同编码(例如,使用矢量哈夫曼或其它可变长度编码模式)。编码器平铺以六个二进制码元组成的组,并用可变长度代码来表示每一组。解码器执行相应的解码。
在普通-6模式(以及差分-6模式)中,位平面以六个像素为一组进行编码。这些像素分组成2×3或3×2的平铺块。使用一组规则最大化地对位平面进行平铺,剩余的像素使用行跳过或列跳过模式的变异来进行编码。
在第二实现中,当且仅当rowMB为3的倍数且colMB不是3的倍数时使用3×2“垂直”平铺块。否则,则使用2×3“水平”平铺块。图22、23和24示出了普通-6编码模式中平铺的帧的示例。图22示出了帧(2200),具有3×2垂直平铺块以及将使用列跳过模式进行编码的一个码元宽度的剩余(以阴影部分显示)。图23示出了帧(2300),具有2×3水平平铺块以及将要使用行跳过模式进行编码的一个码元宽度的剩余。图24示出了帧(2400),具有2×3水平平铺块以及将要使用行跳过和列跳过模式进行编码的一个码元宽度的剩余。
尽管在该示例中使用3×2和2×3平铺块,在其它实施例中,可以使用不同的平铺块构造和/或不同的平铺规则。
首先对6元素平铺块进行编码,跟随其后的是用列跳过和行跳过编码的线性平铺块。如果数组尺寸是3×2或2×3的倍数,则后面的线性平铺块不存在,位平面能完美地平铺。使用VLC表来对6元素矩形平铺块进行编码。
当通过INVERT位来指示条件倒置时,编码器在对位平面进行平铺和编码之前对其进行预倒置。在解码器端,通过对最终输出执行倒置来实现条件倒置。(当使用差分-6模式时,在这一步骤不执行条件倒置。)
图25示出了一种用于以普通-6模式对二进制信息进行编码的技术(2500)。编码器执行初始检查来确定位平面的倒置是否适合以提高编码效率,如果是,则执行倒置(2510)。编码器然后检查位平面的行数是否为3的倍数(2520)。如果行数不是3的倍数,则将位平面中的码元分组为2×3的水平平铺块(2530)。
如果行数为3的倍数,则编码器检查位平面的列数是否为3的倍数(2540)。如果列数为3的倍数,则编码器将位平面中的码元分组为2×3的水平平铺块(2530)。如果列数不是3的倍数,则编码器将码元分组为3×2垂直平铺块(2550)。
在将码元分组成3×2或2×3的平铺块之后,编码器使用如六维矢量哈夫曼编码技术或其它编码技术来对以6平铺的码元组进行编码(2560)。编码器使用上述行跳过和/或列跳过编码技术来对任何剩余的未平铺码元进行编码(2570)。
对普通-6编码模式,解码器执行相应的解码。
在其它实施例中,编码器使用其它技术来对平铺和未平铺的码元进行编码。
4.差分-2和差分-6模式
差分编码模式,如差分-2或差分-6模式,通过基于要编码的位平面的预测器首先对要编码的位平面生成差分(或剩余)位的位平面来对位平面进行编码。然后使用如普通-2或普通-6模式来对剩余位平面进行编码,而不需要条件倒置。
在第二实现中,差分-2和差分-6模式使用以diff操作来表示的差分编码。如果使用了任一差分模式,首先通过检查位平面b(i,j)的预测器
Figure BSA00000518947700231
来生成差分位的位平面,预测器由以下因果操作来定义:
Figure BSA00000518947700241
换言之,给定二进制码元b(i,j)的预测器
Figure BSA00000518947700242
是紧靠b(i,j)左边的二进制码元,下列特殊情况除外:
1)如果b(i,j)在位平面的左上角,或其上方码元b(i,j-1)不等于左边二进制码元b(i-1,j),则预测器
Figure BSA00000518947700243
等于INVERT的值;或者
2)如果1)不适用并且b(i,j)位于最左列(i==0),则预测器
Figure BSA00000518947700244
为上方二进制码元b(i,j-1)。
在编码器端,diff操作根据以下来计算剩余位平面r:
r ( i , j ) = b ( i , j ) ⊕ b ^ ( i , j ) - - - ( 2 )
其中
Figure BSA00000518947700246
是异或操作。使用普通-2或普通-6模式对剩余位平面进行编码,而不需要条件倒置。
在解码器端,使用适当的普通模式来重新生成剩余位平面。随后,使用剩余位来将原始位平面作为二进制2-D差分重新生成:
b ( i , j ) = r ( i , j ) ⊕ b ^ ( i , j ) - - - ( 3 )
图26示出了一种用于以差分编码模式对二进制信息进行编码的技术(2600)。编码器对位平面计算预测器(2610),如等式(1)所示。然后编码器如通过在位平面及其预测器上执行XOR操作来计算剩余位平面(2620)。然后编码器对剩余位平面进行编码(例如,用普通-2或普通-6模式)(2630)。
图27示出了一种用于对以差分编码模式编码的二进制信息进行解码的技术(2700)。解码器根据用于对剩余位平面进行编码的模式(例如,普通-2或普通-6模式)使用适当的解码技术对剩余位平面进行解码(2710)。解码器也使用编码器中使用的同一技术对位平面计算预测器(2720)。然后解码器如通过在剩余位平面及其预测器位平面上执行XOR操作来重建原始位平面(2730)。
5.原始模式
除原始模式之外的所有模式在帧级对位平面进行编码,要求在编码过程中第二次通过该帧。然而,对低等待时间情况,第二次通过会增加不能接受的延迟(例如,由于帧头和宏块层信息的发送被延迟,直到遇到帧中的最后一个宏块为止,这是由用于对位平面进行编码的花费时间所引起的)。
原始模式使用传统的方法,在比特流的同一位置以每二进制码元一位对位平面进行编码,作为宏块级信息的剩余。尽管码元的宏块级编码其本身不是一种新概念,然而将码元的编码从帧级切换到宏块级能够替代帧级编码提供低等待时间。
图28示出了一种用于对低等待时间应用选择性地以原始编码模式对宏块的二进制信息进行编码的技术(2800)。首先,编码器检查是否使用原始模式来对二进制信息进行编码(2810)。如果是,则编码器对宏块在宏块级进行位的编码(2820),并检查该宏块是否是帧中的最后一个宏块(2830)。如果该宏块不是帧中的最后一个宏块,则编码器继续对下一宏块在宏块级进行位的编码(2820)。
如果编码器不使用原始编码模式,则编码器对帧中的各宏块在帧级进行位平面的编码(2840)。当完成对帧中的宏块的编码时(2850),编码器结束对帧的编码。
尽管该技术(2800)示出了在逐帧基础上的切换模式,编码器可选地在其它基础上进行切换。
参考各种实施例描述并说明了本发明的原理之后,可以认可,在不背离这些原理的情况下可以在方案和细节上对各种实施例进行修改。应当理解,这里描述的程序、进程或方法并非相关或局限于任一特定的计算环境类型,除非另外指明。可以依照这里描述的指导结合各种类型的通用或专用计算环境使用或执行操作。以软件形式示出的实施例的元素可以以硬件来实现,反之亦然。
考虑到可以应用本发明的原理的许多可能的实施例,对本发明要求权利,所有这类实施例都包含在所附权利要求及其等效权利要求的范围和精神之内。

Claims (15)

1.在计算机系统中,一种处理一个或多个视频图像的计算机实现的方法,其特征在于,所述方法包括:
从一组多个可用的编码模式中选择一编码模式;以及
对于一个或多个视频图像中P图像的多个预测宏块根据所选择的编码模式处理跳过信息,其中跳过信息指示P图像的多个预测宏块是被跳过还是不被跳过,并且如果满足以下条件,P图像的多个预测宏块中的一个预测宏块被跳过:
所述预测宏块使用基于P图像中一个或多个其它宏块的运动的预测运动;
以及
所述预测宏块没有剩余信息。
2.在实现一种视频解码器的计算机系统中,一种对包含多个预测宏块的视频图像进行解码的方法,其中所述多个预测宏块的每个块根据不多于一个参考视频图像来预测,其特征在于,所述方法包括:
从比特流中接收编码数据;以及
对视频图像进行解码,解码包括:
从多个可用编码模式中选择一种编码模式;
对于多个预测宏块中的一个或多个跳过的宏块,对跳过的宏块信息进行解码,所述跳过的宏块信息已根据从多个可用编码模式中所选择的编码模式进行了编码,其中所述跳过的宏块信息指示跳过/非跳过状态;以及
处理所述一个或多个跳过的宏块,其中所述一个或多个跳过的宏块中的每一个:
使用基于所述跳过的宏块周围的一个或多个其它的预测宏块的运动的预测运动;以及
缺少剩余信息。
3.如权利要求2所述的方法,其特征在于,所述处理所述一个或多个跳过的宏块包括:对于视频图像的当前宏块,使用与从所述一个或多个其它的预测宏块中获取的预测器运动矢量相等的运动矢量来重建当前宏块,并且其中所述一个或多个其它的预测宏块与所述视频图像中的当前宏块相邻。
4.如权利要求2所述的方法,其特征在于,所述比特流语法包括多个分级层,其中所述多个分级层至少包括图像层和宏块层,并且其中所述跳过的宏块信息在所述图像层传输信号。
5.在实现一种视频编码器的计算机系统中,一种对包含多个预测宏块的视频图像进行编码的方法,其中所述多个预测宏块的每个块根据不多于一个参考视频图像来预测,其特征在于,所述方法包括:
对视频图像进行编码以生成编码数据,编码包括:
从多个可用编码模式中选择一种编码模式;
处理多个预测宏块中的一个或多个跳过的宏块,其中所述一个或多个跳过的宏块中的每一个:
使用基于所述跳过的宏块周围的一个或多个其它的预测宏块的运动的预测运动;以及
缺少剩余信息;
对一个或多个跳过的宏块的跳过的宏块信息进行编码,其中所述跳过的宏块信息指示跳过/非跳过状态,并且其中所述编码包括根据从所述多个可用编码模式中选择的编码模式来对所述跳过的宏块信息进行编码;以及在比特流中输出编码数据。
6.如权利要求5所述的方法,其特征在于,所述处理所述一个或多个跳过的宏块包括:对于视频图像的当前宏块,使用与从所述一个或多个其它的预测宏块中获取的预测器运动矢量相等的运动矢量来预测当前宏块,并且其中所述一个或多个其它的预测宏块与所述视频图像中的当前宏块相邻。
7.如权利要求6所述的方法,其特征在于,所述处理所述一个或多个跳过的宏块包括:
确定所述跳过的宏块的预测的运动是否等于从与所述跳过的宏块相邻一个或多个其它的预测宏块的运动矢量中获取的预测器运动矢量;以及
确定所述跳过的宏块缺少剩余信息。
8.如权利要求5所述的方法,其特征在于,所述比特流语法包括多个分级层,其中所述多个分级层至少包括图像层和宏块层,并且其中所述跳过的宏块信息在所述图像层传输信号。
9.一种视频解码器的计算设备,所述计算设备包括:
处理单元;
存储器;
显示器;
无线通信连接;以及
一个或多个存储计算机可执行指令的存储介质,所述指令在由所述处理单元执行时使所述计算设备执行一种对包含多个预测宏块的视频图像进行解码的方法,其中所述多个预测宏块的每个块根据不多于一个参考视频图像来预测,其特征在于,所述方法包括:
从比特流中接收编码数据;以及
对视频图像进行解码,解码包括:
从多个可用编码模式中选择一种编码模式;
对于多个预测宏块中的一个或多个跳过的宏块,对跳过的宏块信息进行解码,所述跳过的宏块信息已根据从多个可用编码模式中所选择的编码模式进行了编码,其中所述跳过的宏块信息指示跳过/非跳过状态;以及
处理所述一个或多个跳过的宏块,其中所述一个或多个跳过的宏块中的每一个使用基于所述跳过的宏块周围的一个或多个其它的预测宏块的运动的预测运动,以及缺少剩余信息;以及通过显示器输出视频图像。
10.如权利要求9所述的计算设备,其特征在于,所述处理所述一个或多个跳过的宏块包括:对于视频图像的当前宏块,使用与从所述一个或多个其它的预测宏块中获取的预测器运动矢量相等的运动矢量来重建当前宏块,并且其中所述一个或多个其它的预测宏块与所述视频图像中的当前宏块相邻。
11.如权利要求9所述的计算设备,其特征在于,所述比特流语法包括多个分级层,其中所述多个分级层至少包括图像层和宏块层,并且其中所述跳过的宏块信息在所述图像层传输信号。
12.一种视频编码器的计算设备,所述计算设备包括:
处理单元;
存储器;
显示器;
无线通信连接;以及
一个或多个存储计算机可执行指令的存储介质,所述指令在由所述处理单元执行时使所述计算设备执行一种对包含多个预测宏块的视频图像进行编码的方法,其中所述多个预测宏块的每个块根据不多于一个参考视频图像来预测,其特征在于,所述方法包括:
对视频图像进行编码以生成编码数据,编码包括:
从多个可用编码模式中选择一种编码模式;
处理多个预测宏块中的一个或多个跳过的宏块,其中所述一个或多个跳过的宏块中的每一个使用基于所述跳过的宏块周围的一个或多个其它的预测宏块的运动的预测运动,以及缺少剩余信息;
对一个或多个跳过的宏块的跳过的宏块信息进行编码,其中所述跳过的宏块信息指示跳过/非跳过状态,并且其中所述编码包括根据从所述多个可用编码模式中选择的编码模式来对所述跳过的宏块信息进行编码;以及
通过所述无线通信连接在比特流中输出编码数据。
13.如权利要求12所述的计算设备,其特征在于,所述处理所述一个或多个跳过的宏块包括:对于视频图像的当前宏块,使用与从所述一个或多个其它的预测宏块中获取的预测器运动矢量相等的运动矢量来预测当前宏块,并且其中所述一个或多个其它的预测宏块与所述视频图像中的当前宏块相邻。
14.如权利要求13所述的计算设备,其特征在于,所述处理所述一个或多个跳过的宏块包括:
确定所述跳过的宏块的预测的运动是否等于从与所述跳过的宏块相邻一个或多个其它的预测宏块的运动矢量中获取的预测器运动矢量;以及
确定所述跳过的宏块缺少剩余信息。
15.如权利要求12所述的计算设备,其特征在于,所述比特流语法包括多个分级层,其中所述多个分级层至少包括图像层和宏块层,并且其中所述跳过的宏块信息在所述图像层传输信号。
CN201110159665.3A 2001-12-17 2002-12-16 处理视频图像的方法 Expired - Lifetime CN102316320B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US34167401P 2001-12-17 2001-12-17
US60/341,674 2001-12-17
US37771202P 2002-05-03 2002-05-03
US60/377,712 2002-05-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB028251911A Division CN100452883C (zh) 2001-12-17 2002-12-16 处理视频图像的方法

Publications (2)

Publication Number Publication Date
CN102316320A true CN102316320A (zh) 2012-01-11
CN102316320B CN102316320B (zh) 2014-07-09

Family

ID=26992608

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB028251911A Expired - Lifetime CN100452883C (zh) 2001-12-17 2002-12-16 处理视频图像的方法
CN201110159665.3A Expired - Lifetime CN102316320B (zh) 2001-12-17 2002-12-16 处理视频图像的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB028251911A Expired - Lifetime CN100452883C (zh) 2001-12-17 2002-12-16 处理视频图像的方法

Country Status (9)

Country Link
US (10) US7200275B2 (zh)
EP (2) EP1457056B1 (zh)
JP (3) JP4610195B2 (zh)
KR (1) KR100925968B1 (zh)
CN (2) CN100452883C (zh)
AU (1) AU2002351389A1 (zh)
ES (2) ES2664270T3 (zh)
HK (2) HK1133140A1 (zh)
WO (1) WO2003053066A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211144A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于预测残差的增强型多重变换
CN107592530A (zh) * 2011-05-20 2018-01-16 株式会社Kt 视频解码方法
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Families Citing this family (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US20050207663A1 (en) * 2001-07-31 2005-09-22 Weimin Zeng Searching method and system for best matching motion vector
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
AU2002351389A1 (en) * 2001-12-17 2003-06-30 Microsoft Corporation Skip macroblock coding
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
AU2003209566A1 (en) * 2002-03-15 2003-09-29 Nokia Corporation Method for coding motion in a video sequence
AU2003237279A1 (en) 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
CN101039428B (zh) * 2002-07-15 2013-04-10 日立民用电子株式会社 动态图像编码方法及解码方法
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
JP4007594B2 (ja) * 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7428341B2 (en) 2003-05-27 2008-09-23 Zaxel Systems, Inc. Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements
US7415162B2 (en) * 2003-05-27 2008-08-19 Zaxel Systems, Inc. Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
NO318318B1 (no) * 2003-06-27 2005-02-28 Tandberg Telecom As Fremgangsmate for forbedret koding av video
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7253374B2 (en) * 2003-09-15 2007-08-07 General Motors Corporation Sheet-to-tube welded structure and method
CN1615019A (zh) * 2003-11-05 2005-05-11 华为技术有限公司 一种视频宏块模式编码方法
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
WO2005109205A1 (ja) * 2004-04-15 2005-11-17 Matsushita Electric Industrial Co., Ltd. 矩形領域に対するバーストメモリアクセス方法
WO2005104563A1 (ja) * 2004-04-22 2005-11-03 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像復号装置
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
EP2096873A3 (en) * 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
US9509991B2 (en) * 2004-08-12 2016-11-29 Gurulogic Microsystems Oy Processing and reproduction of frames
GB0418279D0 (en) * 2004-08-16 2004-09-15 Nds Ltd System for providing access to operation information
US8861601B2 (en) 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
CN101005620B (zh) * 2004-09-03 2011-08-10 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20060140591A1 (en) * 2004-12-28 2006-06-29 Texas Instruments Incorporated Systems and methods for load balancing audio/video streams
US20100040150A1 (en) * 2004-12-29 2010-02-18 Koninklijke Philips Electronics, N.V. Method and apparatus for encoding video data stream
CA2594887C (en) 2005-01-27 2013-07-09 Thomson Licensing Video player for digital video server
CN100399828C (zh) * 2005-02-02 2008-07-02 腾讯科技(深圳)有限公司 一种视频数据的编码方法
US7788106B2 (en) * 2005-04-13 2010-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Entropy coding with compact codebooks
US20060235683A1 (en) * 2005-04-13 2006-10-19 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Lossless encoding of information with guaranteed maximum bitrate
US7991610B2 (en) * 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
TWI284855B (en) * 2005-04-29 2007-08-01 Sunplus Technology Co Ltd Image processing method and method for detecting difference between different image macro-blocks
US20060260752A1 (en) * 2005-05-23 2006-11-23 Ward/Kraft System and method for producing small production runs of products having removable coatings
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US8036274B2 (en) 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
US8654858B2 (en) * 2005-08-25 2014-02-18 Comtech Ef Data Corp. Methods and apparatus for differential encoding
KR100736096B1 (ko) * 2005-12-12 2007-07-06 삼성전자주식회사 비디오 신호를 그룹별로 인코딩 및 디코딩하는 방법 및장치
US8094721B2 (en) * 2005-12-29 2012-01-10 Cisco Technology, Inc. Methods and apparatuses for selecting a mode within a compression scheme
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8306118B1 (en) * 2006-03-01 2012-11-06 Maxim Integrated, Inc. High quality low bitrate video coding by enabling and disabling a non-residual mode
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
DE202007019458U1 (de) 2006-03-30 2012-09-13 Lg Electronics Inc. Vorrichtung zum Decodieren/Codieren eines Videosignals
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
NO325859B1 (no) 2006-05-31 2008-08-04 Tandberg Telecom As Kodek-preprosessering
EP2030450B1 (en) * 2006-06-19 2015-01-07 LG Electronics Inc. Method and apparatus for processing a video signal
KR100790150B1 (ko) * 2006-07-28 2008-01-02 삼성전자주식회사 비디오 부호화기 및 비디오 데이터 프레임 부호화 방법
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
JP2008048240A (ja) * 2006-08-18 2008-02-28 Nec Electronics Corp ビットプレーン復号装置およびビットプレーン復号方法
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN101150721B (zh) * 2006-09-21 2010-10-13 凌阳科技股份有限公司 具有适应性位元平面编码模式的编码方法
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8275039B2 (en) * 2006-11-07 2012-09-25 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
KR101366086B1 (ko) 2007-01-03 2014-02-21 삼성전자주식회사 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
US8245578B2 (en) * 2007-02-23 2012-08-21 Direct Measurements, Inc. Differential non-linear strain measurement using binary code symbol
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8189676B2 (en) * 2007-04-05 2012-05-29 Hong Kong University Of Science & Technology Advance macro-block entropy coding for advanced video standards
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP5189640B2 (ja) * 2007-08-09 2013-04-24 ジーブイビービー ホールディングス エス.エイ.アール.エル. ビデオデータの再生システム
JPWO2009022531A1 (ja) * 2007-08-13 2010-11-11 日本電気株式会社 データ圧縮伸張方法
KR101409526B1 (ko) * 2007-08-28 2014-06-20 한국전자통신연구원 영상 데이터의 비트율을 일정하게 유지시키는 장치 및 방법
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
TWI399982B (zh) * 2007-12-05 2013-06-21 Ol2 Inc 用以壓縮串流互動視訊之系統
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
CN103037220B (zh) * 2008-01-04 2016-01-13 华为技术有限公司 视频编码、解码方法及装置和视频处理系统
KR101446773B1 (ko) * 2008-02-20 2014-10-02 삼성전자주식회사 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및장치
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US7925774B2 (en) 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US8447591B2 (en) 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
WO2010050699A2 (ko) * 2008-10-27 2010-05-06 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
KR101597253B1 (ko) * 2008-10-27 2016-02-24 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
CN101771416B (zh) * 2008-12-29 2013-06-05 华为技术有限公司 位平面编码和解码方法、通信系统及相关设备
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US8379728B2 (en) * 2009-04-17 2013-02-19 Texas Instruments Incorporated Adaptive real-time video prediction mode method and computer-readable medium and processor for storage and execution thereof
US20100283790A1 (en) * 2009-05-11 2010-11-11 Yin Jingjiang Devices to process interlaced video over dsi
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
KR101631280B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
KR101631278B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 모드 정보를 부호화, 복호화하는 방법 및 장치
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
KR101377530B1 (ko) * 2009-08-21 2014-03-27 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
WO2011021914A2 (ko) 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
RU2595590C2 (ru) 2009-09-04 2016-08-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование и декодирование изображений
US8600179B2 (en) 2009-09-17 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
KR101070173B1 (ko) * 2009-11-10 2011-10-05 갤럭시아커뮤니케이션즈 주식회사 동영상 압축 효율을 높이기 위한 변환블록의 부호화 장치와 방법
JP2011166326A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
JPWO2011121894A1 (ja) * 2010-03-31 2013-07-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8982961B2 (en) 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
WO2011126283A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
MY162149A (en) * 2010-04-23 2017-05-24 M&K Holdings Inc Apparatus for encoding an image
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US8676591B1 (en) 2010-08-02 2014-03-18 Sony Computer Entertainment America Llc Audio deceleration
JP2012019447A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置および方法
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
KR102126910B1 (ko) 2010-09-13 2020-06-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
KR20170129296A (ko) 2010-09-13 2017-11-24 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하기 위한 방법 및 시스템
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
PT2636218T (pt) 2010-11-04 2021-10-06 Ge Video Compression Llc Codificação de imagens que suporta fusão de blocos e modo skip
JP6054882B2 (ja) * 2011-01-06 2016-12-27 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8891627B1 (en) * 2011-04-18 2014-11-18 Google Inc. System and method for coding video using color segmentation
EP2721826A4 (en) 2011-06-14 2015-05-06 Zhou Wang METHOD AND SYSTEM FOR OPTIMIZATION OF FLOW-DISTORTION BASED ON STRUCTURAL SIMILARITY FOR PERCEPTUAL VIDEO CODING
ES2906869T3 (es) * 2011-06-16 2022-04-20 Ge Video Compression Llc Inicialización de contexto en codificación entrópica
US10070126B2 (en) 2011-06-28 2018-09-04 Hfi Innovation Inc. Method and apparatus of intra mode coding
GB2492397A (en) 2011-06-30 2013-01-02 Canon Kk Encoding and decoding residual image data using probabilistic models
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
KR101600615B1 (ko) * 2011-07-22 2016-03-14 구글 테크놀로지 홀딩스 엘엘씨 비디오 코딩에서 직사각형 변환을 스캐닝하기 위한 장치 및 방법
WO2013063784A1 (en) * 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement
US10390046B2 (en) * 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
US9350996B2 (en) 2011-12-20 2016-05-24 Google Technology Holdings LLC Method and apparatus for last coefficient indexing for high efficiency video coding
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US20140056347A1 (en) 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
EP2951999A4 (en) * 2013-01-30 2016-07-20 Intel Corp CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
WO2014197879A1 (en) 2013-06-06 2014-12-11 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
WO2015052787A1 (ja) * 2013-10-09 2015-04-16 株式会社日立製作所 解析データ表示システムおよび解析データの転送表示方法
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US10264293B2 (en) 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
WO2018041379A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
WO2018041840A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
KR102597838B1 (ko) 2018-02-23 2023-11-02 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 위치 종속 공간 가변 변환
CN110351559B (zh) * 2018-04-04 2022-01-28 阿里健康信息技术有限公司 一种图像编码方法及装置
WO2019211519A1 (en) * 2018-05-02 2019-11-07 Nokia Technologies Oy A method and an apparatus for volumetric video encoding and decoding
WO2019228332A1 (en) 2018-05-31 2019-12-05 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
US10728555B1 (en) * 2019-02-06 2020-07-28 Sony Corporation Embedded codec (EBC) circuitry for position dependent entropy coding of residual level data
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
US11671607B2 (en) 2019-08-23 2023-06-06 Mitsubishi Electric Corporation Image transmission device, image reception device and computer readable medium
AU2020400536A1 (en) * 2019-12-11 2022-06-16 Sony Group Corporation Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
WO2021120067A1 (zh) * 2019-12-18 2021-06-24 深圳市大疆创新科技有限公司 数据编码方法、数据解码方法、数据处理方法、编码器、解码器、系统、可移动平台与计算机可读介质
IL295916A (en) * 2020-03-12 2022-10-01 Interdigital Vc Holdings France Method and device for encoding and decoding video
US11683509B1 (en) 2021-10-28 2023-06-20 Meta Platforms, Inc. Prediction unit skip detection in encoder
CN116074529A (zh) * 2022-01-07 2023-05-05 杭州海康威视数字技术股份有限公司 图像编解码方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
CN1201577C (zh) * 1999-12-01 2005-05-11 法国电信有限公司 数字电视播送方法

Family Cites Families (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US546129A (en) * 1895-09-10 Stool
JPS56128070A (en) 1980-03-13 1981-10-07 Fuji Photo Film Co Ltd Band compressing equipment of variable density picture
JPH031688Y2 (zh) 1985-02-20 1991-01-18
JPS61205086A (ja) 1985-03-08 1986-09-11 Mitsubishi Electric Corp 画像符号化復号化装置
DE3684047D1 (de) 1985-07-02 1992-04-09 Matsushita Electric Ind Co Ltd Vorrichtung zur blockkodierung.
US4760461A (en) * 1986-02-28 1988-07-26 Kabushiki Kaisha Toshiba Binary data compression and expansion processing apparatus
FR2599577B1 (fr) 1986-05-29 1988-08-05 Guichard Jacques Procede de codage par transformation pour la transmission de signaux d'image.
US4800432A (en) 1986-10-24 1989-01-24 The Grass Valley Group, Inc. Video Difference key generator
DE3704777C1 (de) 1987-02-16 1988-04-07 Ant Nachrichtentech Verfahren zum UEbertragen und zum Wiedergeben von Fernsehbildsequenzen
NL8700565A (nl) 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
DE3855114D1 (de) 1987-05-06 1996-04-25 Philips Patentverwaltung System zur Übertragung von Videobildern
DE3717057A1 (de) 1987-05-21 1988-12-01 Bayer Ag Verfahren zur herstellung von isocyanaten
US5033105A (en) * 1987-08-11 1991-07-16 Apple Computer Video compression algorithm
FR2648254B2 (fr) 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
US5379351A (en) 1992-02-19 1995-01-03 Integrated Information Technology, Inc. Video compression/decompression processing and processors
JPH07109990B2 (ja) 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2562499B2 (ja) 1989-05-29 1996-12-11 日本電信電話株式会社 高能率画像符号化装置およびその復号化装置
JPH0822064B2 (ja) 1990-02-15 1996-03-04 三菱電機株式会社 変換符号化方式
EP0424026B1 (en) 1989-10-14 1997-07-23 Sony Corporation Video signal transmitting system and method
JPH082107B2 (ja) 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
JPH03265290A (ja) 1990-03-14 1991-11-26 Toshiba Corp テレビジョン信号走査線変換器
US5091782A (en) 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
US4999705A (en) 1990-05-03 1991-03-12 At&T Bell Laboratories Three dimensional motion compensated video coding
US5155594A (en) 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
US5068724A (en) 1990-06-15 1991-11-26 General Instrument Corporation Adaptive motion compensation for digital television
JP3037383B2 (ja) 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
US5193004A (en) 1990-12-03 1993-03-09 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
US5111292A (en) 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
JPH0630280A (ja) 1991-03-19 1994-02-04 Nec Eng Ltd 2値画像データのブロック別選択型符号化前処理方式
DE4113505A1 (de) 1991-04-25 1992-10-29 Thomson Brandt Gmbh Verfahren zur bildsignalcodierung
JPH04334188A (ja) 1991-05-08 1992-11-20 Nec Corp 動画像信号の符号化方式
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP2977104B2 (ja) 1991-07-26 1999-11-10 ソニー株式会社 動画像データエンコード方法および装置、並びに動画像データデコード方法および装置
US5539466A (en) 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
JP3001688B2 (ja) 1991-08-05 2000-01-24 株式会社大一商会 パチンコ球の循環制御装置
JP2991833B2 (ja) 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法
JP2962012B2 (ja) 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5510840A (en) 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
JPH05199422A (ja) * 1992-01-20 1993-08-06 Fujitsu General Ltd 画像伝送装置
JP2524044B2 (ja) 1992-01-22 1996-08-14 松下電器産業株式会社 画像符号化方法及び画像符号化装置
US5287420A (en) 1992-04-08 1994-02-15 Supermac Technology Method for image compression on a personal computer
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US6101313A (en) 1992-06-29 2000-08-08 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
US5412435A (en) 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JP2510456B2 (ja) 1992-08-27 1996-06-26 三菱電機株式会社 画像符号化装置
US5596659A (en) * 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
JPH06153180A (ja) 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06113287A (ja) 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
JPH06225279A (ja) 1992-10-26 1994-08-12 Sony Corp 符号化方法、復号化方法、符号化装置及び復号化装置
US5982437A (en) 1992-10-26 1999-11-09 Sony Corporation Coding method and system, and decoding method and system
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
US5400075A (en) 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
US5491516A (en) 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
US5544286A (en) 1993-01-29 1996-08-06 Microsoft Corporation Digital video data compression technique
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
JP3312417B2 (ja) 1993-03-18 2002-08-05 ソニー株式会社 画像信号符号化装置及び画像信号復号化装置
JPH06276481A (ja) 1993-03-18 1994-09-30 Sony Corp 画像信号符号化及び復号化方法、並びに記録媒体
ATE204691T1 (de) * 1993-03-24 2001-09-15 Sony Corp Verfahren und vorrichtung zur kodierung/dekodierung von bewegungsvektoren, und verfahren und vorrichtung zur kodierung/dekodierung von bildsignalen
JPH06327001A (ja) * 1993-05-11 1994-11-25 Olympus Optical Co Ltd 画像処理装置
DE69416717T2 (de) 1993-05-21 1999-10-07 Nippon Telegraph & Telephone Bewegtbildkoder und -dekoder
US5448297A (en) 1993-06-16 1995-09-05 Intel Corporation Method and system for encoding images using skip blocks
US5517327A (en) 1993-06-30 1996-05-14 Minolta Camera Kabushiki Kaisha Data processor for image data using orthogonal transformation
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5453799A (en) 1993-11-05 1995-09-26 Comsat Corporation Unified motion estimation architecture
JPH07135660A (ja) 1993-11-12 1995-05-23 Matsushita Electric Ind Co Ltd 動きベクトル符号化装置
US5465118A (en) 1993-12-17 1995-11-07 International Business Machines Corporation Luminance transition coding method for software motion video compression/decompression
DE69535952D1 (de) 1994-03-30 2009-06-25 Nxp Bv Verfahren und Schaltung zur Bewegungsschätzung zwischen Bildern mit zwei Zeilensprunghalbbildern, und Vorrichtung zur digitalen Signalkodierung mit einer solchen Schaltung
US5550541A (en) 1994-04-01 1996-08-27 Dolby Laboratories Licensing Corporation Compact source coding tables for encoder/decoder system
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
EP0710033A3 (en) 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
JPH08129128A (ja) 1994-11-01 1996-05-21 Canon Inc 光電変換素子又はラインセンサを用いた蓄積制御装置、及び焦点検出装置、視線検出装置及びカメラ
JPH08140099A (ja) 1994-11-11 1996-05-31 Canon Inc 符号化装置及び方法
JP2951861B2 (ja) 1994-12-28 1999-09-20 シャープ株式会社 画像符号化装置及び画像復号装置
US5619281A (en) 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
EP0721287A1 (en) 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
JP3732867B2 (ja) 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
EP0731614B1 (en) 1995-03-10 2002-02-06 Kabushiki Kaisha Toshiba Video coding/decoding apparatus
KR0181027B1 (ko) 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
KR0171118B1 (ko) 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
KR0181063B1 (ko) 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
JP3903496B2 (ja) 1995-06-05 2007-04-11 ソニー株式会社 画像符号化方法、符号化装置、復号方法および復号装置
US5835149A (en) 1995-06-06 1998-11-10 Intel Corporation Bit allocation in a coded video sequence
US5864711A (en) 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US6208761B1 (en) 1995-07-11 2001-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
US5687097A (en) 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US5668608A (en) 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
US5764807A (en) * 1995-09-14 1998-06-09 Primacomp, Inc. Data compression using set partitioning in hierarchical trees
US5623313A (en) 1995-09-22 1997-04-22 Tektronix, Inc. Fractional pixel motion estimation of video signals
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US6307967B1 (en) 1995-09-29 2001-10-23 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus
US5970173A (en) 1995-10-05 1999-10-19 Microsoft Corporation Image compression and affine transformation for image motion compensation
KR100211917B1 (ko) 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화 방법
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
SE507410C2 (sv) 1995-11-08 1998-05-25 Ericsson Telefon Ab L M Förfarande och anordning för rörelseestimering
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5982438A (en) 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US5764814A (en) 1996-03-22 1998-06-09 Microsoft Corporation Representation and encoding of general arbitrary shapes
JP3371191B2 (ja) 1996-03-22 2003-01-27 ソニー株式会社 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
EP1835760B1 (en) * 1996-05-28 2012-01-04 Panasonic Corporation Decoding apparatus and method with intra prediction
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
DE69731517T2 (de) 1996-07-11 2005-10-20 Koninklijke Philips Electronics N.V. Übertragung und empfang codierter videobilder
JPH1042295A (ja) * 1996-07-19 1998-02-13 Sony Corp 映像信号符号化方法および映像信号符号化装置
DE19637522A1 (de) 1996-09-13 1998-03-19 Bosch Gmbh Robert Verfahren zur Reduzierung von Daten in Videosignalen
EP0831658A3 (en) 1996-09-24 1999-09-15 Hyundai Electronics Industries Co., Ltd. Encoder/decoder for coding/decoding gray scale shape data and method thereof
KR100303685B1 (ko) 1996-09-30 2001-09-24 송문섭 영상 예측부호화 장치 및 그 방법
US5748789A (en) 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
JPH10145779A (ja) 1996-11-06 1998-05-29 Sony Corp フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
JP3208101B2 (ja) * 1996-11-07 2001-09-10 松下電器産業株式会社 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体
EP0786907A3 (en) 1997-01-24 2001-06-13 Texas Instruments Incorporated Video encoder
EP1809044B1 (en) 1997-02-14 2008-10-01 Nippon Telegraph and Telephone Corporation Predictive decoding method of video data
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US5974184A (en) 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP4001969B2 (ja) 1997-03-31 2007-10-31 ソニー株式会社 符号化装置および方法、並びに復号装置および方法
US6259810B1 (en) 1997-04-15 2001-07-10 Microsoft Corporation Method and system of decoding compressed image data
US6064771A (en) 1997-06-23 2000-05-16 Real-Time Geometry Corp. System and method for asynchronous, adaptive moving picture compression, and decompression
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置
US6148033A (en) 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6111914A (en) 1997-12-01 2000-08-29 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US5973743A (en) 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
US6094225A (en) 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
JP3740813B2 (ja) 1997-12-12 2006-02-01 ソニー株式会社 画像符号化方法および画像符号化装置
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
US5946043A (en) 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
KR100281329B1 (ko) * 1998-01-31 2001-02-01 전주범 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
KR100281462B1 (ko) 1998-03-30 2001-02-01 전주범 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
US6385345B1 (en) * 1998-03-31 2002-05-07 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
JP3888597B2 (ja) 1998-06-24 2007-03-07 日本ビクター株式会社 動き補償符号化装置、及び動き補償符号化復号化方法
EP0969656B1 (en) * 1998-06-29 2007-01-24 Xerox Corporation Compression for image boundaries
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
TW444507B (en) 1998-10-22 2001-07-01 Sony Corp Detecting method and device for motion vector
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
WO2000046989A1 (fr) 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
JP3778721B2 (ja) 1999-03-18 2006-05-24 富士通株式会社 動画像符号化方法および装置
JP2000278692A (ja) * 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
CN1107381C (zh) 1999-06-03 2003-04-30 鸿友科技股份有限公司 扫描图像实时压缩/解压缩方法
JP2001036908A (ja) * 1999-07-15 2001-02-09 Oki Electric Ind Co Ltd 動画像圧縮装置
EP1142343A1 (en) 1999-10-29 2001-10-10 Koninklijke Philips Electronics N.V. Video encoding method
US6483876B1 (en) 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
CN1223196C (zh) * 2000-04-14 2005-10-12 索尼公司 解码器、解码方法
US6819714B2 (en) * 2000-04-20 2004-11-16 Matsushita Electric Industrial Co., Ltd. Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP3669281B2 (ja) 2000-04-27 2005-07-06 三菱電機株式会社 符号化装置および符号化方法
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US6501397B1 (en) 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
US6614442B1 (en) * 2000-06-26 2003-09-02 S3 Graphics Co., Ltd. Macroblock tiling format for motion compensation
KR100341063B1 (ko) * 2000-06-28 2002-06-20 송문섭 실시간 영상 통신을 위한 율제어 장치 및 그 방법
KR100353851B1 (ko) 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
WO2002062074A1 (en) 2001-01-22 2002-08-08 Webcast Technologies, Inc. Video encoding and decoding techniques and apparatus
US6940903B2 (en) 2001-03-05 2005-09-06 Intervideo, Inc. Systems and methods for performing bit rate allocation for a video data stream
US6677868B2 (en) * 2001-03-16 2004-01-13 Sharp Laboratories Of America, Inc. Entropy coding with adaptive syntax to replace high probability symbols with lower probabilities symbols
US20030012286A1 (en) 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
US6975680B2 (en) 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
CN1513268B (zh) 2001-09-14 2010-12-22 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图象处理系统
CN1285216C (zh) 2001-11-16 2006-11-15 株式会社Ntt都科摩 图像编码方法和装置、图像译码方法和装置
CA2468087C (en) 2001-11-21 2013-06-25 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
AU2002351389A1 (en) 2001-12-17 2003-06-30 Microsoft Corporation Skip macroblock coding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US6870578B2 (en) 2001-12-19 2005-03-22 Thomson Licensing Sa. Apparatus and method for sharing signal control lines
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US6798364B2 (en) * 2002-02-05 2004-09-28 Intel Corporation Method and apparatus for variable length coding
KR100846769B1 (ko) 2002-02-19 2008-07-16 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
EP1347649A1 (en) * 2002-03-18 2003-09-24 Lg Electronics Inc. B picture mode determining method and apparatus in video coding system
US7099387B2 (en) 2002-03-22 2006-08-29 Realnetorks, Inc. Context-adaptive VLC video transform coefficients encoding/decoding methods and apparatuses
JP4151374B2 (ja) 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
US20050117642A1 (en) * 2002-06-28 2005-06-02 Kiyofumi Abe Moving picture coding method, decoding method, data stream, data recording medium and program
CN101039428B (zh) * 2002-07-15 2013-04-10 日立民用电子株式会社 动态图像编码方法及解码方法
WO2004012459A1 (ja) 2002-07-26 2004-02-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法および記録媒体
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US20040136457A1 (en) 2002-10-23 2004-07-15 John Funnell Method and system for supercompression of compressed digital video
JP4093405B2 (ja) 2002-10-25 2008-06-04 株式会社リコー 画像処理装置、プログラム及び記憶媒体
US20060257000A1 (en) 2003-06-25 2006-11-16 Boyce Jill M Decoding method an apparatus for detection of watermarks in a compressed video bitsream
JP4968726B2 (ja) 2003-06-25 2012-07-04 トムソン ライセンシング インターフレームのための高速モード決定符号化
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7853980B2 (en) * 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
KR20050061762A (ko) 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
CN1293868C (zh) 2004-12-29 2007-01-10 朱旭祥 α-环丙氨酸在制备治疗心脑血管疾病药物中的应用
US7957610B2 (en) 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
CN1201577C (zh) * 1999-12-01 2005-05-11 法国电信有限公司 数字电视播送方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592530A (zh) * 2011-05-20 2018-01-16 株式会社Kt 视频解码方法
CN107613295A (zh) * 2011-05-20 2018-01-19 株式会社Kt 视频解码方法
CN107592530B (zh) * 2011-05-20 2020-03-06 株式会社Kt 视频解码方法
CN107613295B (zh) * 2011-05-20 2020-05-12 株式会社Kt 视频解码方法
CN107211144A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于预测残差的增强型多重变换
CN107211144B (zh) * 2015-01-26 2020-01-03 高通股份有限公司 用于预测残差的增强型多重变换
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Also Published As

Publication number Publication date
JP5442568B2 (ja) 2014-03-12
US8428374B2 (en) 2013-04-23
CN1605213A (zh) 2005-04-06
US20170078658A1 (en) 2017-03-16
EP2262269A3 (en) 2011-06-22
CN100452883C (zh) 2009-01-14
EP1457056B1 (en) 2016-08-10
CN102316320B (zh) 2014-07-09
US9774852B2 (en) 2017-09-26
EP1457056A1 (en) 2004-09-15
US10368065B2 (en) 2019-07-30
JP5819347B2 (ja) 2015-11-24
KR100925968B1 (ko) 2009-11-09
JP2010283893A (ja) 2010-12-16
US9538189B2 (en) 2017-01-03
US20030113026A1 (en) 2003-06-19
JP2005513883A (ja) 2005-05-12
JP2013192255A (ja) 2013-09-26
HK1133140A1 (en) 2010-03-12
US7555167B2 (en) 2009-06-30
JP4610195B2 (ja) 2011-01-12
US20130235932A1 (en) 2013-09-12
US20090262835A1 (en) 2009-10-22
US8781240B2 (en) 2014-07-15
US7379607B2 (en) 2008-05-27
EP2262269A2 (en) 2010-12-15
AU2002351389A1 (en) 2003-06-30
US20190327464A1 (en) 2019-10-24
US20140286420A1 (en) 2014-09-25
US20170374362A1 (en) 2017-12-28
ES2664270T3 (es) 2018-04-18
HK1164594A1 (zh) 2012-09-21
US20060262979A1 (en) 2006-11-23
US20150288962A1 (en) 2015-10-08
ES2610430T3 (es) 2017-04-27
KR20040068257A (ko) 2004-07-30
EP2262269B1 (en) 2018-01-24
WO2003053066A1 (en) 2003-06-26
US20070110326A1 (en) 2007-05-17
US9088785B2 (en) 2015-07-21
US10567753B2 (en) 2020-02-18
US7200275B2 (en) 2007-04-03

Similar Documents

Publication Publication Date Title
CN100452883C (zh) 处理视频图像的方法
CN101448162B (zh) 处理视频图像的方法
CN100586183C (zh) 位平面编码和解码方法
CN102045560B (zh) 一种视频编解码方法及设备
CN101505429B (zh) 对视频数据进行内编码的方法和设备
KR20050032113A (ko) 역방향 적응을 사용하는 비디오 코딩을 위한 속도-왜곡최적화된 데이터 분할 시스템 및 방법
CN102144391A (zh) 用于层间残余视频编码和解码的跳过模式
MXPA06002496A (es) Codificacion y descodificacion de plano de bit para estado de prediccion ac e informacion de tipo de codificacion de campo/marco de macrobloque.
CN1998152A (zh) 条件交叠变换
CN101790096A (zh) 基于二重预测的编解码方法及装置
JP2023520314A (ja) ビデオ復号方法、ビデオ符号化方法、装置、媒体、及び電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1164594

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1164594

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150505

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150505

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

CX01 Expiry of patent term

Granted publication date: 20140709

CX01 Expiry of patent term