WO2003090473A1 - Procede de calcul de vecteurs de mouvement - Google Patents

Procede de calcul de vecteurs de mouvement Download PDF

Info

Publication number
WO2003090473A1
WO2003090473A1 PCT/JP2003/004805 JP0304805W WO03090473A1 WO 2003090473 A1 WO2003090473 A1 WO 2003090473A1 JP 0304805 W JP0304805 W JP 0304805W WO 03090473 A1 WO03090473 A1 WO 03090473A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
picture
block
motion
pictures
Prior art date
Application number
PCT/JP2003/004805
Other languages
English (en)
French (fr)
Inventor
Satoshi Kondo
Shinya Kadono
Makoto Hagai
Kiyofumi Abe
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP19160699.5A priority Critical patent/EP3525467B1/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP19160688.8A priority patent/EP3525465B1/en
Priority to CA2451568A priority patent/CA2451568C/en
Priority to EP16157926.3A priority patent/EP3054680B1/en
Priority to EP03725587.4A priority patent/EP1411729B1/en
Priority to ES03725587.4T priority patent/ES2576629T3/es
Priority to KR1020097013226A priority patent/KR100931746B1/ko
Priority to EP19160689.6A priority patent/EP3525466B1/en
Priority to US10/480,928 priority patent/US7940845B2/en
Priority to AU2003231356A priority patent/AU2003231356B2/en
Priority to KR1020087006472A priority patent/KR100931750B1/ko
Priority to EP17204573.4A priority patent/EP3324626B1/en
Priority to EP17204555.1A priority patent/EP3324623B1/en
Priority to EP17204569.2A priority patent/EP3324625B1/en
Priority to EP19160686.2A priority patent/EP3525464B1/en
Priority to EP17204565.0A priority patent/EP3324624B1/en
Priority to MXPA03011333A priority patent/MXPA03011333A/es
Priority to KR1020037015504A priority patent/KR101031423B1/ko
Priority to BRPI0304534A priority patent/BRPI0304534B1/pt
Publication of WO2003090473A1 publication Critical patent/WO2003090473A1/ja
Priority to US11/976,750 priority patent/US7733960B2/en
Priority to US12/766,254 priority patent/US8290049B2/en
Priority to US13/606,612 priority patent/US8605789B2/en
Priority to US14/015,281 priority patent/US8971411B2/en
Priority to US14/015,406 priority patent/US8958480B2/en
Priority to US14/015,263 priority patent/US8929453B2/en
Priority to US14/015,296 priority patent/US8964848B2/en
Priority to US14/602,665 priority patent/US9083980B2/en
Priority to US14/602,696 priority patent/US9264730B2/en
Priority to US14/969,715 priority patent/US9516338B2/en
Priority to US14/969,627 priority patent/US9485519B2/en
Priority to US15/338,740 priority patent/US9723323B2/en
Priority to US15/338,830 priority patent/US9723325B2/en
Priority to US15/338,807 priority patent/US9723324B2/en
Priority to US15/338,754 priority patent/US9693074B2/en
Priority to US15/338,880 priority patent/US9729896B2/en
Priority to US15/640,824 priority patent/US9948947B2/en
Priority to US15/640,829 priority patent/US10097855B2/en
Priority to US15/640,800 priority patent/US9955181B2/en
Priority to US15/640,840 priority patent/US9948948B2/en
Priority to US16/119,280 priority patent/US10397602B2/en
Priority to US16/119,337 priority patent/US10440386B2/en
Priority to US16/119,446 priority patent/US10404995B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Description

明 細 書 動きべク トル計算方法 技術分野
本発明は、動画像の符号化方法および復号化方法に関するものであり、 特に既に符号化済みの表示時間順で前方にある複数のピクチャもしくは 表示時間順で後方にある複数のピクチャもしくは表示時間順で前方およ び後方の両方にある複数のピクチャを参照して予測符号化を行う方法に 関するものである。 背景技術
一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減 することによって情報量の圧縮を行う。 そこで時間的な冗長性の削減を 目的とするピクチャ間予測符号化では、 前方または後方のピクチャを参 照してプロック単位で動きの検出および動き補償を行い、 得られた予測 画像と現在のピクチャとの差分値に対して符号化を行う。
現在標準化中の動画像符号化方法である H . 2 6 Lでは、 ピクチャ内 予測符号化をのみを行うピクチャ ( I ピクチャ)、および 1 枚のピクチャ を参照してピクチャ間予測符号化を行うピクチャ (以下、 Pピクチャ)、 さらに表示時間順で前方にある 2枚のピクチャもしくは表示時間順で後 方にある 2枚のピクチャもしくは表示時間順で前方および後方にあるそ れぞれ 1 枚ずつのピクチャを参照してピクチャ間予測符号化を行うピク チヤ (以下、 Bピクチャ) が提案されている。
図 1 は上記の動画像符号化方法における各ピクチャと、 それによつて 参照されるピクチャとの参照関係の例を示す図である。 ピクチャ I 1 は参照ピクチャを持たずピクチャ内予測符号化を行い、 ピクチャ P 1 0は表示時間順で前方にある P 7を参照しピクチャ間予測 符号化を行っている。 また、 ピクチャ B 6は表示時間順で前方にある 2 つのピクチャを参照し、 ピクチャ B 1 2は表示時間順で後方にある 2つ のピクチャを参照し、 ピクチャ B 1 8は表示時間順で前方および後方に あるそれぞれ 1 枚ずつのピクチャを参照しピクチャ間予測符号化を行つ ている。
表示時間順で前方および後方にあるそれぞれ 1枚ずつのピクチャを参 照しピクチャ間予測符号化を行う 2方向予測の 1 つの予測モードとして 直接モードがある。 直接モードでは符号化対象のブロックに直接には動 きべク トルを持たせず、 表示時間順で近傍にある符号化済みピクチャ内 の同じ位置にあるブロックの動きべク トルを参照することによって、 実 際に動き補償を行うための 2つの動きベク トルを算出し予測画像を作成 する。
図 2は直接モードにおいて動きべク トルを决定するために参照した符 号化済みのピクチャが、 表示時間順で前方にある 1 枚のピクチャのみを 參照する動きべク トルを持っていた場合の例を示したものである。 同図 において、垂直方向の線分で示す「 P Jはピクチャタイプとは関係なく、 単なるピクチャを示している。 同図では、 例えば、 ピクチャ P 8 3が現 在符号化の対象とされているピクチャであり ピクチャ P 8 2およびピク チヤ P 8 4を参照ピクチャとして 2方向予測を行う。 このピクチャ P 8 3において符号化を行うブロックをブロック M B 8 1 とすると、 ブロッ ク M B 8 1 の動きべク トルは、 符号化済みの後方参照ピクチャであるピ クチャ P 8 4の同じ位置にあるブロック M B 8 2の持つ動きべク トルを 用いて決定される。 このブロック M B 8 2は動きベク トルとして動きべ ク トル M V 8 1 の 1 つだけを有するため、 求める 2つの動きべク トル M V 8 2および動きベク トル MV 8 3は式 1 ( a ) および ( b ) に基づい て直接、 動きべク トル M V 8 1 および時間間隔 T R 8 1 に対してスケー リングを適用することによって算出される。
M V 8 2 =MV 8 1 /T R 8 1 X T R 8 2 ■■ ·.式 1 ( a )
MV 8 3 =— MV 8 1 ZT R 8 1 X T R 8 3 …-式 1
( b )
なお、 このとき時間間隔 T R 8 1 はピクチャ P 8 4からピクチャ P 8 2まで、 つまり、 ピクチャ P 84から、 動きべク 卜ル MV 8 1 が指し示 す参照ピクチャまでの時間の間隔を示している。 さらに、 時間間隔 T R 8 2は、 ピクチャ Ρ 8 3から、 動きベク トル MV 8 2が指し示す参照ピ クチャまでの時間の間隔を示している。 さらに、 時間間隔 T R 8 3は、 ピクチャ Ρ 8 3から、 動きべク トル MV 8 3が指し示す参照ピクチャま での時間の間隔を示している。
また、 直接モードには、 すでに説明した時間的予測と、 空間的予測と の 2つの方法があるが、 以下では、 空間的予測について説明する。 直接 モー ドの空間的予測では、 例えば、 1 6画素 X 1 6画素で構成されるマ クロブロックを単位として符号化を行い、 符号化対象マクロブロックの 周辺 3マクロブロックの動きべク トルのうち、 符号化対象ピクチヤから 表示時間順で最も近い距離にあるピクチャを参照して求められた動きべ ク トルの 1 つを選択し、 選択された動きべク トルを符号化対象マクロブ ロックの動きべク トルとする。 3つの動きべク トルがすべて同じピクチ ャを参照している場合はそれらの中央値を選択する。 3つのうち 2つが 符号化対象ピクチャから表示時間順で最も近い距離にあるピクチャを参 照している場合には残りの 1 つを 「 0 J べク トルとみなして、 それらの 中央値を選択する。 また、 1 つだけが符号化対象ピクチヤから表示時間 順で最も近い距離にあるピクチャを参照している場合にはその動きべク トルを選択する。 このように直接モードでは、 符号化対象のマクロプロ ックに対して動きべク トルを符号化せず、 他のマクロブロックが有する 動きべク トルを用いて動き予測を行う。
図 3 ( a ) は、 従来の直接モードの空間的予測方法を用い、 Bピクチ ャにおいて表示時間順で前方のピクチャを参照する場合の動きベク トル 予測方法の一例を示す図である。 同図において、 Pは Pピクチヤ、 Bは Bピクチャを示し、 右側 4ピクチャのピクチャタイプに付されている数 字は各ピクチャが符号化された順番を示している。 ここでは、 ピクチャ B 4において斜線を付したマクロブロックが符号化対象となっているも のとする。 符号化対象マクロブロックの動きべク トルを、 直接モードの 空間的予測方法を用いて計算する場合、 まず、 符号化対象マクロブロッ クの周辺から、 3つの符号化済みのマクロブロック (破線部) を選択す る。 ここでは、 周辺 3マクロブロックの選択方法は説明を省略する。 符 号化済みの 3マクロブロックの動きべク トルはすでに計算され保持され ている。 この動きべク トルは同一ピクチャ中のマクロブロックであって も、 マクロブロックごとに異なるピクチャを参照して求められている場 合がある。 この周辺 3マクロブロックが、 それぞれどのピクチャを参照 したかは、 各マクロブロックを符号化する際に用いた参照ピクチャの参 照インデックスによって知ることができる。 参照インデックスについて の詳細は後述する。
さて、 例えば、 図 3 ( a ) に示した符号化対象マクロブロックに対し て、 周辺 3マクロブロックが選択され、 各符号化済みマクロブロックの 動きべク トルがそれぞれ動きべク トル a、 動きベク トル bおよび動きべ ク トル cであったとする。 これにおいて、 動きべク トル a と動きべク ト ル b とはピクチャ番号 1 1 が Γ 1 1 Jの Pピクチャを参照して求められ、 動きベク トル cはピクチャ番号 1 1 が 「 8」 の Pピクチヤを参照して求 められていたとする。 この場合、 これらの動きベク トル a 、 bおよび c のうち、 符号化対象ピクチャから表示時間順で最も近い距離にあるピク チヤを参照した動きべク トルである動きべク トル a、 bの 2つが符号化 対象マクロブロックの動きベク トルの候補となる。 この場合、 動きべク トル cを 「 0 J とみなし、 動きベク トル a、 動きベク トル bおよび動き べク トル cの 3つのうちの中央値を選択し、 符号化対象マクロブロック の動きべク トルとする。
ただし、 M P E G - 4などの符号化方式では、 ピクチャ内の各マクロ ブロックを、インタ レースを行うフィールド構造で符号化してもよいし、 インタ レースを行わないフレーム構造で符号化を行ってもよい。従って、 M P E G - 4などでは、 参照フレーム 1 フレーム中には、 フィールド構 造で符号化されたマクロブロックと、 フレーム構造で符号化されたマク ロブロックとが混在する場合が生じる。 このような場合でも、 符号化対 象マクロブロックの周辺 3マクロブロックがいずれも符号化対象マクロ ブロックと同じ構造で符号化されていれば、 前述の直接モードの空間的 予測方法を用いて問題なく符号化対象マクロブロックの動きベク トルを 1 つ導出することができる。 すなわち、 フレーム構造で符号化される符 号化対象マクロブロックに対して、 周辺 3マクロブロックもまたフレー ム構造で符号化されている場合、 または、 フィールド構造で符号化され る符号化対象マクロブロックに対して、 周辺 3マクロブロックもまたフ ィ一ルド構造で符号化されている場合である。 前者の場合は、 すでに説 明した通りである。 また、 後者の場合は、 符号化対象マクロブロックの トップフィールドに対応しては、 周辺 3マクロブロックの トップフィー ルドに対応した 3つの動きベク トルを用いることにより、 また、 符号化 対象マクロブロックのボトムフィールドに対応しては、 周辺 3マクロブ ロックのボトムフィールドに対応した 3つの動きベク トルを用いること により、 トップフィールドとボトムフィールドとのそれぞれについて、 前述の方法で、 符号化対象マクロブロックの動きべク トルを導出するこ とができる。
しかしながら、 直接モードの時間的予測の場合、 ピクチャ間予測符号 化を行うブロックが直接モードによって動き補償を行う際に、 動きべク トルを参照されるブロックが図 1 の B 6のような Bピクチヤに属してい たとき、 前記ブロックは複数の動きべク トルを有するため式 1 に基づい たスケーリングによる動きベク トルの算出を直接適用することができな いという問題が発生する。 また、 動きベク トルの算出後に除算演算を行 うことから、 動きベク トル値の精度 (例えば 1 Z 2画素や 1 4画素精 度) が、 予め定められた精度に一致しない場合が生じる。
また、 空間的予測の場合、 符号化対象マクロブロックと周辺マクロブ 口ックのいずれかが異なる構造で符号化されている場合、 符号化対象マ クロブロックをフィールド構造およびフ レーム構造のいずれの構造で符 号化するかは規定されておらず、 また、 フィール ド構造で符号化された ものとフレーム構造で符号化されたものとが混在するような周辺マク口 ブロックの動きべク トルのうちから、 符号化対象マクロブロックの動き べク トルを選択する方法も規定されていない。
本発明の第 1 の目的は、 動きべク トルを参照されるプロックが Bピク チヤに属するブロックである場合でも、 直接モードにおける精度の良い 時間方向の動きベク トル予測方法を提供することである。
また、 本発明の第 2の目的は、 動きべク トルを参照されるブロックが B ピクチャに属するブロックである場合でも、 直接モードにおける精度の 良い空間方向の動きべク トル予測方法を提供することである。 発明の開示
上記目的を達成するために本発明の動きべク トル計算方法は、 複数の ピクチャを参照してピクチャ間予測を行う際の動きべク トルの計算方法 であって、 表示時間順で前方にある複数のピクチャもしくは表示時間順 で後方にある複数のピクチャもしくは表示時間順で前方および後方の両 方にある複数のピクチャを参照することができる参照ステップと、 ピク チヤ間予測を行うブロックが属するピクチャとは別のピクチャの前記ブ ロックと同じ位置にあるブロックの動きべク トルを参照して、 前記ピク チヤ間予測を行うブロックの動き補償を行う場合に、 前記動きべク トル を参照されるブロックに対してすでに求められている動きべク トルのう ち、 所定の条件を満足する少なく とも 1 つの動きべク トルを用いて前記 ピクチャ間予測を行うブロックの動きベク トルを計算する動き補償ステ ップとを含む。 従って、 本発明の動きベク トル計算方法によると、 ピク チヤ間予測符号化を行うプロックが符号化済みの別のピクチャの同じ位 置にあるブロックの動きベク トルを参照して動き補償を行う際に、 動き べク トルを参照されるブロックが複数の動きべク トルを有していた場合 前記複数の動きべク トルからスケーリングに用いるための 1 つの動きべ ク トルを生成することによって、 前記動き補償を矛盾無く実現すること を可能とする。
また、 本発明の前記動きベク トル計算方法において、 前記参照ステツ プでは、 表示時間順で前方にあるピクチャを優先して識別番号を昇順で 付与された第 1 のピクチャの並びと、 表示時間順で後方にあるピクチャ を優先して識別番号を昇順で付与された第 2のピクチャの並びとから、 それぞれ 1 つのピクチャを参照することができ、 前記動き補償ステツプ では、 前記動きべク トルを参照されるブロックにおいて前記第 1 の並び にあるピクチャを参照する動きべク トルを用いるとしてもよい。 これに おいて、 動きベク トルを参照されるプロックが前記 Bピクチャに属する ブロックである場合でも、 前記ピクチャ間予測を行うブロックの動き補 償を行う場合に用いるべき 1 つを、 前記第 1 の並びにあるピクチャを参 照する動きべク トルと定め、 スケーリングによる動きべク トルの算出を 適用することができる。
さらに、 本発明の他の動きベク トル計算方法は、 記憶部に格納されて いる複数の符号化済ピクチャから符号化対象ピクチャ上のブロックを動 き補償により求めるときに参照する第 1 の参照ピクチャと第 2の参照ピ クチャのうち少なく とも一方の参照ピクチャを選択するときに用いる第 1 参照ィンデックスまたは第 2参照ィンデックスを前記符号化済ピクチ ャに対して付与する付与ステップと、 前記符号化対象ピクチャ上のプロ ックを動き補償するときに、 前記符号化対象ピクチャ上のブロックの周 囲にある周辺ブロックの動きベク トルのうち第 1参照インデックスを有 する動きべク トルが複数あるとき、 それらの中央値を示す動きべク トル を選択する第 1 選択ステップと、 前記第 1選択ステップで選択された動 きべク トルを用いて前記符号化対象ピクチャより表示時間順で、 前方に あるピクチャまたは後方にあるピクチャまたは前方と後方にあるピクチ ャを参照する動きべク トルを導出する導出ステップとを含む。 従って、 前記符号化対象ピクチャ上のブロックを動き補償するときに、 前記符号 化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべク トル のうち第 1参照インデックスを有する動きべク トルが複数あるとき、 そ れらの中央値を示す動きべク トルを用いて、 前記符号化対象ピクチャ上 のブロックの動きべク トルを導出することができる。
また、 本発明の前記動きベク トル計算方法において、 前記第 1選択ス テツプでは、 第 1 参照インデックスを有する動きベク トルのうち、 さら に、 第 1参照ィンデックスの値が最小のものの中央値を示す動きべク 卜 ルを選択すると してもよい。
なお、 この明細書は、 前の日本国特許出願 Γ特願 2 00 2 - 1 1 8 5 9 8 J、「特願 2 0 0 2 - 1 2 1 0 5 3 J、「待願 2 0 0 2 - 1 5 6 2 6 6」、 Γ特願 2 0 0 2 - 1 7 7 8 8 9」、 Γ特願 20 0 2 - 1 9 3 0 27」、 Γ特 願 2 00 2 - 2 0 47 1 3 J、 Γ特願 2 0 02 - 2 6 2 1 5 "I J、 I "特願 2 0 0 2 - 2 9 0 5 4 2」、!"特願 2 00 2— 3 2 3 0 9 6 J、米国仮出願「 6 0/ 3 7 8 6 4 3 J および 「 6 0ノ 3 7 8 9 54 J の内容を取り込む。 図面の簡単な説明
図 1 は、従来例のピクチャの参照関係を説明するための模式図である。 図 2は、 従来例の直接モードの動作を説明するための模式図である。 図 3 ( a ) は、 従来の直接モードの空間的予測方法を用い、 Bピクチ ャにおいて時間的前方ピクチャを参照する場合の動きベク トル予測方法 の一例を示す図である。
図 3 ( b ) は、 各符号化対象ピクチャに作成される参照リス トの一例 を示す図である。
図 4は、 ピクチャ番号と参照インデックスの説明図である。
図 5は、 従来の画像符号化装置による画像符号化信号フォーマツ トの 概念を示す図である。
図 6は、 本発明の実施の形態 1 および実施の形態 2による符号化の動 作を説明するためのブロック図である。
図 7は、 直接モードにおいて動きべク トルを参照されるブロックが表 示時間順で前方を参照する 2つの動きベク トルを持っていた場合の動作 を説明するための模式図である。
図 8は、 表示の順番および符号化の順番におけるピクチャの参照関係 を比較するための模式図である。 図 9は、 直接モードにおいて動きべク トルを参照されるブロックが表 示時間順で後方を参照する 2つの動きべク トルを持っていた場合の動作 を説明するための模式図である。
図 1 0は、 表示の順番および符号化の順番におけるピクチャの参照関 係を比較するための模式図である。
図 1 1 は、 本発明の実施の形態 5および実施の形態 6による復号化の 動作を説明するためのブロック図である。
図 1 2は、 直接モードにおいて動きべク 卜ルを参照されるブロックが 表示時間順で前方を参照する 2つの動きべク。トルを持っていた場合の動 作を説明するための模式図である。
図 1 3は、 直接モードにおいて動きベク トルを参照されるブロックが 表示時間順で後方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 1 4は、 直接モードにおいて動きベク トルを参照されるブロックが 表示時間順で後方を参照する 2つの動きべク トルを持っていた場合の動 作を説明するための模式図である。
図 1 5は、 直接モードにおいて動きベク トルを参照されるブロックが 表示時間順で前方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 1 6は、 直接モードにおいて動きべク トルを参照されるブロックが 表示時間順で前方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 1 7は、 直接モードにおいて動きベク トルを参照されるブロックが 表示時間順で前方を参照する 2つの動きべク 卜ルを持っていた場合の動 作を説明するための模式図である。
図 1 8は、 直接モー ドにおいて動きベク トルを参照されるブロックが 表示時間順で前方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 1 9は、 直接モー ドにおいて動きベク トルを参照されるブロックが 表示時間順で後方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 2 0は、 直接モー ドにおいて動きべク トルを参照されるブロックが 表示時間順で後方を参照する 2つの動きベク トルを持っていた場合の動 作を説明するための模式図である。
図 2 1 は、 直接モードにおいて動きべク トルを参照されるブロックが 表示時間順で後方を参照する 2つの動きべク トルを持っていた場合の動 作を説明するための模式図である。
図 2 2は、 直接モードにおいて動きべク トルを参照されるブロックが 表示時間順で後方を参照する 1 つの動きべク トルを持っていた場合の動 作を説明するための模式図である。
図 2 3は、 直接モードにおいて周辺ブロックの動きべク トルを参照す る場合の動作を説明するための模式図である。
図 2 4は、 符号化列を示す図である。
図 2 5は、 符号化対象ブロックと符号化対象ブロックの周囲のブロッ クとの関係を示す図である。
図 2 6は、 符号化対象ブロックの周囲のブロックが有する動きべク 卜 ルを示す図である。
図 2 7は、 符号化対象ブロックの周囲のブロックが有する動きべク 卜 ルを示す図である。
図 2 8は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 2 9は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 3 0は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 3 1 は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 3 2は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 3 3は、 符号化対象ブロックの周囲のブロックが有する動きべク ト ルを示す図である。
図 3 4は、 直接モードにおいて使用する動きベク トルを決定する手順 を示す図である。
図 3 5は、 符号化対象ブロックと符号化対象ブロックの周囲のブロッ クとの関係を示す図である。
図 3 6は、 参照インデックスの値によって符号化対象ブロックの動き べク トルを決定する手順を示す図である。
図 3 7は、 長時間メモリ に保存されているピクチャを參照する動きべ ク トルカ《 1 つだけの場合の直接モードにおける 2方向予測を示す図であ る。
図 3 8は、 長時間メモリ に保存されているピクチャを参照する動きべ ク トルが 2つある場合の直接モードにおける 2方向予測を示す図である, 図 3 9は、 動きべク トル計算方法の処理の流れを示す図である。
図 4 0は、 本発明の実施形態 1 1 に係る動画像符号化装置 1 0 0の構 成を示すブロック図である。
図 4 1 ( a ) は、 動画像符号化装置 1 0 0に時間順にピクチャ単位で 入力されるフ レームの順序を示す図である。
図 4 1 ( b ) は、 図 4 1 ( a ) に示したフ レームの並びを符号化の順 に並び替えた場合の順序を示す図である。
図 4 2は、 第 1 の実施の形態を説明するための、 参照ピクチャリス ト の構造を示す図である。
図 4 3は、 ( a ) は、 フィールド構造で符号化されるマクロブロックべ ァとフ レーム構造で符号化されるマクロブロックペアとが混在する場合 の直接モード空間的予測方法を用いた動きべク トル計算手順の一例を示 すフローチヤ一トである。
図 4 3 ( b ) は、 符号化対象マクロブロックペアがフ レーム構造で符 号化される場合において本発明が適用される周辺マクロブロックペアの 配置の一例を示す図である。
図 4 3 ( c ) は、 符号化対象マクロブロックペアがフィール ド構造で 符号化される場合において本発明が適用される周辺マクロブロックペア の配置の一例を示す図である。
図 4 4は、 フ レーム構造で符号化する場合のマクロブロックペアのデ —タ構成とフィール ド構造で符号化する場合のマクロブロックペアのデ ータ構成とを示す図である。
図 4 5は、 図 4 3に示したステップ S 3 0 2における、 より詳細な処 理手順を示すフローチヤ一トである。
図 4 6は、 参照フィールドインデックスと参照フレームインデックス との関係を示す関係表示図である。
図 4 7は、 図 4 3に示したステップ S 3 0 3における、 より詳細な処 理手順を示すフローチヤ一卜である。
図 4 8は、 第 1 の実施の形態を説明するための、 符号化対象マクロブ ロックペアと周辺マクロブロックペアの位置関係を示す図である。
図 4 9は、 第 1 の実施の形態を説明するための、 符号化対象マクロブ ロックペアと周辺マクロブロックペアの位置関係を示す図である。 図 5 0は、 符号列生成部 1 0 4によって生成される符号列 7 0 0のデ ータ構成の一例を示す図である。
図 5 1 は、 図 5 0に示した符号列 7 0 0を復号化する動画像復号化装 置 8 0 0の構成を示すブロック図である。
図 5 2 ( a ) は、 記録媒体本体であるフレキシブルディスクの物理フ ォーマツ 卜の例を示す図である。
図 5 2 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示す図である。
図 5 2 ( c ) は、 フレキシブルディスク F Dに上記プログラムの記録 再生を行うための構成を示す図である。
図 5 3は、 コンテンツ配信サービスを実現するコンテンツ供給システ 厶の全体構成を示すプロック図である。
図 5 4は、 携帯電話の外観の一例を示す図である。
図 5 5は、 携帯電話の構成を示すブロック図である。
図 5 6は、 上記実施の形態で示した符号化処理または復号化処理を行 う機器、 およびこの機器を用いたシステムを説明する図である。 発明を実施するための最良の形態
本発明は従来の技術の問題点を解決するものであり、 直接モードにお いて、 動きベク トルを参照するブロックが Bピクチャに属する場合でも 矛盾無く動き補償に用いる動きベク トルを決定することを可能とする動 画像の符号化方法および復号化方法を提案することを目的とする。 ここ で、 まず参照インデックスについて説明する。
図 3 ( b ) は、 各符号化対象ピクチャに作成される参照ピクチャ リス ト 1 0の一例を示す図である。 図 3 ( b ) に示す参照ピクチャリス 卜 1 0には、 1 つの Bピクチャを中心として、時間的にその前後に表示され、 その Bピクチャが参照可能な周辺ピクチャと、それらのピクチャタイプ、 ピクチャ番号 1 1 、 第 1参照インデックス 1 2および第 2参照インデッ クス 1 3が示されている。 ピクチャ番号 1 1 は、 例えば、 各ピクチャが 符号化された順序を示す番号である。 第 1参照インデックス 1 2は、 符 号化対象ピクチャに対する周辺ピクチャの相対的位置関係を示す第 1 の ィンデックスであって、 例えば主に符号化対象ピクチャが表示時間順で 前方のピクチャを参照する場合のインデックスと して用いられる。 この 第 1 参照イ ンデックス 1 2のリス トは、 Γ参照イ ンデックスリス ト 0 ( I i stO)」 または Γ第 1 参照インデックスリス ト」 と呼ばれる。 また、 参照インデックスは相対インデックスとも呼ばれる。 図 3 ( b ) の参照 ピクチャリス 卜 1 0では、 第 1参照インデックス 1 2の値には、 まず、 符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、 符号 化対象ピクチャに表示時間順で近い順より 「 0」 から 「 1 」 ずつ繰り上 がる整数値が割り当てられる。 符号化対象ピクチャよリ前の表示時刻を 持つ参照ピクチャすベてに対して 「0」 から 「 1 」 ずつ繰り上がる値が 割リ当てられたら、 次に符号化対象ピクチャよリ後の表示時刻を持つ参 照ピクチャに対し、 符号化対象ピクチャに表示時間順で近い順から続き の値が割リ当てられる。
第 2参照インデックス 1 3は、 符号化対象ピクチャに対する周辺ピク チヤの相対的位置関係を示す第 2のインデックスであって、 例えば主に 符号化対象ピクチャが表示時間順で後方のピクチャを参照する場合のィ ンデックスと して用いられる。 この第 2参照インデックス 1 3のリス 卜 は、 「参照インデックスリス ト 1 ( I i st 1 )」 または Γ第 2参照インデック スリス ト」 と呼ばれる。 第 2参照インデックス 1 3の値には、 まず、 符 号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、 符号化 対象ピクチャに表示時間順で近い順よリ、 Γ 0」 から Γ 1 j ずつ繰り上が 03
る整数値が割リ当てられる。 符号化対象よリ後の表示時刻を持つ参照ピ クチャすべてに対し 「 0 J から 「 1 」 ずつ繰り上がる値が割り当てられ たら、 次に符号化対象ピクチャよリ前の表示時刻を持つ参照ピクチャに 対し、 符号化対象ピクチャに表示時間順で近い順から続きの値が割リ当 てられる。 従って、 この参照ピクチャリス ト 1 0をみれば、 第 1 参照ィ ンデックス 1 2、 第 2参照インデックス 1 3は、 参照インデックスの値 が小さい参照ピクチャほど符号化対象ピクチャに表示時間順で近接して いることがわかる。 以上では、 参照インデックスの初期状態での番号の 割リ当て方について説明したが、 参照ィンデックスの番号の割リ当て方 はピクチャ単位やスライス単位で変更することが可能である。 参照イン デックスの番号の割り当て方は、 例えば、 表示時間順で離れたピクチャ に対して小さい番号を割リ当てることもできるが、 そのような参照ィン デックスは、 例えば、 表示時間順で離れたピクチャを参照する方が、 符 号化効率が向上するような場合に用いられる。 すなわち、 ブロック中の 参照インデックスは可変長符号語により表現され、 値が小さいほど短い 符号長のコ一ドが割リ当てられているので、 参照することにより符号化 効率が向上するピクチャに対して、 より小さな参照インデックスを割り 当てることにより、 参照インデックスの符号量を減らし、 さらに符号化 効率の向上を行うものである。
図 4はピクチャ番号と参照インデックスの説明図である。 図 4は参照 ピクチャリス トの例を示しており、 中央の Bピクチャ (破線のもの) を 符号化する際に用いる参照ピクチャおよびそのピクチャ番号と参照イン デックスを示したものである。 図 4 ( A ) は、 図 3を用いて説明した、 初期状態での参照インデックスの割り当て方により、 参照インデックス を割り当てた場合を示している。
図 5は従来の画像符号化装置による画像符号化信号フォーマツ トの概 念図である。 Pictureは 1 ピクチャ分の符号化信号、 Headerはピクチャ 先頭に含まれるへッダ符号化信号、 Blockl は直接モードによるブロック の符号化信号、 B I ock2は直接モード以外の補間予測によるブロックの符 号化信号、 RidxO, Ridxl はそれぞれ第 1参照インデックスと第 2参照ィ ンデックス、 MV0, MV1 はそれぞれ第 1 動きべク トルと第 2動きべク トル を示す。 符号化プロック Block2では、補間に使用する 2つの参照ピクチ ャを示すため 2つの参照インデックス RidxO, Ridxl を符号化信号中にこ の順で有する。 また、 符号化ブロック B I ock2の第 1動きべク トル MV0 と、第 2動きべク トル MV1 とは符号化ブロック Block2の符号化信号内に この順で符号化される。 参照インデックス RidxO, Ridxl のいずれを使用 するかは Pr edTypeにより判断することができる。 また、第 1動きべク 卜 ル MV0が参照するピクチャ (第 1参照ピクチャ) を第 1 参照インデック ス RidxOで示し、 第 2動きべク トル MV1 が参照するピクチャ (第 2参照 ピクチャ) を第 2参照インデックス Ridxl で示す。 例えば、 動きべク ト ル醫 と MV1 の 2方向でピクチャを参照することが示される場佘は
RidxOと Ridxl が用いられ、 動きべク トル MV0または MV1 のいずれか 1 方向でピクチャを参照することが示される場合は、 その動きべク トルに 応じた参照インデックスである R i dxOまたは R ί dx1 が用いられ、 直接モ ードが示されている場合は RidxO、 Ridxl ともに用いられない。第 1 参照 ピクチャは、 第 1参照インデックスにより指定され、 一般的には符号化 対象ピクチャより前の表示時刻を持つピクチャであり、 第 2参照ピクチ ャは、 第 2参照インデックスにより指定され、 一般的には符号化対象ピ クチャより後の表示時刻を持つピクチャである。 ただし、 図 4の参照ィ ンデックスの付与方法例からわかるように、 第 1参照ピクチャが符号化 対象ピクチャより後の表示時刻を持つピクチャであり、 第 2参照ピクチ ャが符号化対象ピクチャより前の表示時刻を持つピクチャである場合も ある。第 1参照インデックス R i dxOは、 ブロック B l ock2の第 1 動きべク トル MV0が参照した第 1参照ピクチャを示す参照インデックスであり、 第 2参照インデックス R i dx 1 は、 ブロック B I ock2の第 2動きべク トル V1 が参照した第 2参照ピクチャを示す参照ィンデックスである。
一方、 符号化信号中のバッファ制御信号 (図 5 Heade r内の RPSL) を 用いて明示的に指示することにより、 参照ィンデックスに対する参照ピ クチャの割り当てを任意に変更することができる。 この割り当ての変更 により、 第 2参照インデック が 「 0」 の参照ピクチャを任意の参照ピ クチャにすることも可能で、例えば、図 4 (B)に示すようにピクチャ番号 に対する参照インデックスの割り当てを変更することができる。
このように、 参照インデックスに対する参照ピクチャの割り当てを任 意に変更することができるため、 また、 この参照インデックスに対する 参照ピクチャの割り当ての変更は、 通常、 参照ピクチャとして選択する ことにより符号化効率が高くなるピクチャに対してより小さい参照ィン デックスを割り当てるため、 動きベク トルが参照する参照ピクチャの参 照インデックスの値が一番小さくなる動きベク トルを直接モードにおい て使用する動きベク トルとすると符号化効率を高めることができる。 (実施の形態 1 )
本発明の実施の形態 1 の動画像符号化方法を図 6に示したブロック図 を用いて説明する。
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ 1 0 1 に入力され、 さらに符号化が行われる順に並び替えられる。 各々の ピクチャはプロックと呼ばれる、 例えば水平 1 6 X垂直 1 6画素のグル ープに分割され、 ブロック単位で以降の処理が行われる。
フ レームメモリ 1 0 1から読み出されたブロックは動きべク トル検出 部 1 0 6に入力される。 ここではフ レームメモリ 1 0 5に蓄積されてい る符号化済みのピクチャを復号化した画像を参照ピクチャとして用いて 符号化対象と しているブロックの動きべク トル検出を行う。 このときモ —ド選択部 1 0 7では、 動きベク トル検出部 1 0 6で得られた動きべク トルや、 動きべク トル記憶部 1 0 8に記憶されている符号化済みのピク チヤで用いた動きべク トルを参照しつつ、最適な予測モー ドを決定する。 モード選択部 1 0 7で得られた予測モードとその予測モードで用いる動 きべク トルによって決定された予測画像が差分演算部 1 0 9に入力され. 符号化対象のブロックとの差分をとることにより予測残差画像が生成さ れ、 予測残差符号化部 1 0 2において符号化が行われる。 また、 モー ド 選択部 1 0 7で得られた予測モードで用いる動きベク トルは、 後のプロ ックゃピクチャの符号化で利用するために、 動きべク 卜ル記憶部 1 0 8 に記憶される。 以上の処理の流れは、 ピクチャ間予測符号化が選択され た場合の動作であつたが、 スィッチ 1 1 1 によってピクチャ内予測符号 化との切り替えがなされる。 最後に、 符号列生成部 1 0 3によって、 動 きべク トル等の制御情報および予測残差符号化部 1 0 2から出力される 画像情報等に対し、 可変長符号化を施し最終的に出力される符号列が生 成される。
以上符号化の流れの概要を示したが、 動きべク トル検出部 1 0 6およ びモード選択部 1 0 7における処理の詳細について以下で説明する。 動きベク トルの検出は、 ブロックごともしくはブロックを分割した領 域ごとに行われる。 符号化の対象としている画像に対して表示時間順で 前方および後方に位置する符号化済みのピクチャを参照ピクチャとし、 そのピクチャ内の探索領域において最適と予測される位置を示す動きべ ク トルおよび予測モードを決定することにより予測画像を作成する。 表示時間順で前方および後方にある 2枚のピクチャを参照し、 ピクチ ャ間予測符号化を行う 2方向予測の 1 つとして、 直接モードがある。 直 W
接モードでは符号化対象のブロックに、 直接には動きべク トルを持たせ ず、 表示時間順で近傍にある符号化済みピクチャ内の同じ位置にあるブ ロックの動きべク トルを参照することによって、 実際に動き補償を行う ための 2つの動きべク トルを算出し、 予測画像を作成する。
図 7は、 直接モードにおいて動きベク トルを決定するために参照した 符号化済みのブロックが、 表示時間順で前方にある 2枚のピクチャを参 照する 2つの動きベク トルを持っていた場合の動作を示したものである, ピクチャ P 2 3が現在符号化の対象としているピクチャであり、 ピクチ ャ P 2 2およぴピクチャ P 24を参照ピクチャとして 2方向予測を行う ものである。 符号化を行うブロックをブロック M B 2 1 とすると、 この とき必要とされる 2つの動きべク トルは符号化済みの後方参照ピクチャ (第 2参照インデックスで指定される第 2参照ピクチャ) であるピクチ P 24の同じ位置にあるブロック M B 2 2の持つ動きべク トルを用い て決定される。 このブロック M B 2 2は動きべク トルと して動きべク ト ル MV 2 1 および動きべク トル MV 2 2の 2つを有するため、 求める 2 つの動きべク トル MV 2 3および動きべク トル MV 24を式 1 と同様に 直接スケーリングを適用することによって算出することはできない。 そ こで式 2のように、 スケーリングを適用する動きべク トルと して動きべ ク トル MV—R E Fをブロック M B 2 2の持つ 2つの動きべク トルの平 均値から算出し、 その時の時間間隔 T R— R E Fを同様に平均値から算 出する。 そして、 式 3に基づいて動きベク トル MV— R E Fおよび時間 間隔 T R— R E Fに対してスケーリングを適用することによって動きべ ク トル MV 2 3および動きべク トル MV 24を算出する。 このとき時間 間隔 T R 2 1 はピクチャ P 24からピクチャ P 2 1 まで、 つまり動きべ ク トル M V 2 1 が参照するピクチャまでの時間の間隔を示し、 時間間隔 T R 2 2は動きべク トル M V 2 2が参照するピクチャまでの時間の間隔 を示している。 また、 時間間隔 T R 2 3は動きベク トル M V 2 3が参照 するピクチヤまでの時間の間隔を示し、 時間間隔 T R 2 4は動きべク 卜 ル M V 2 4が参照するピクチャまでの時間の間隔を示している。 これら のピクチャ間の時間間隔は、 例えば各ピクチャに付される表示時間や表 示順序を示す情報、 またはその情報の差に基づいて決定することができ る。 なお、 図 7の例では符号化の対象とするピクチャは隣のピクチャを 参照しているが、 隣でないピクチャを参照した場合でも同様に扱うこと が可能である。
M V_R E F = ( V 2 1 + M V 2 2 ) / 2 …'式 2 ( a )
T R_ R E F = ( T R 2 1 + T R 2 2 ) / 2 式 2
( b )
M V 2 3 = M V— R E F T R— R E F X T R 2 3 式 3
( a )
M V 2 4 = - M V_ R E F / T R_R E F X T R 2 4 式 3
( )
以上のように上記実施の形態では、 直接モードにおいて動きべク トル を参照されるブロックが表示時間順で前方にあるピクチャを参照する複 数の動きべク トルを有する場合に、 前記複数の動きべク トルを用いて 1 つの動きベク トルを生成し、 スケーリングを適用して実際に動き補償に 使用するための 2つの動きべク トルを決定することにより、 直接モード において動きベク トルを參照されるブロックが Bピクチャに属する場合 においても矛盾無く直接モードを用いたピクチャ間予測符号化を可能と する符号化方法を示した。
なお、 図 7における 2つの動きベク トル M V 2 3および動きベク トル M V 2 4を求める際に、 スケーリ ングを施す対象となる動きべク トル M V— R E Fおよび時間間隔 T R— R E Fを算出するために、 動きべク ト ル MV 2 1 と動きべク トル MV 2 2との平均値および時間間隔 T R 2 1 と時間間隔 T R 2 2との平均値をとる方法として、 式 2の替わりに式 4 を用いることも可能である。 まず、 式 4 ( a ) のように動きベク トル M V 2 1 に対して時間間隔が動きべク トル M V 2 2と同じになるようにス ケーリングを施し動きべク 卜ル MV 2 1 'を算出する。そして動きべク ト ル MV 2 1 ' と動きべク 卜 レ MV 2 2との平均をとることにより動きべ ク トル MV— R E Fが決定される。 このとき時間間隔 T R— R E Fは時 間間隔 T R 2 2をそのまま用いることになる。 なお、 動きベク トル M V 2 1 に対してスケーリングを施して動きべク トル M V 2 1 'とする替わ りに動きべク トル MV 2 2に対してスケーリングを施して動きべク 卜ル M V 2 2'とする場合も同様に扱うことが可能である。
MV 2 1 ' =M V 2 1 / T R 2 1 X T R 2 2 ■■■■式 4
( a )
M V_R E F = (MV 2 1 ' +M V 2 2 ) / 2 …'式 4
( b )
T R一 R E F = T R 2 2 …'式 4
( c )
なお、 図 7における 2つの動きべク トル MV 2 3および動きべク トル MV 24を算出する際に、 スケーリングを施す対象となる動きベク トル MV— R E Fおよび時間間隔 T R— R E Fと して、 式 2のように 2つの 動きべク トルの平均値を用いる替わりに、 式 5のように動きべク 卜ルを 参照するピクチャ P 2 4に対する時間間隔の短い方のピクチャ P 2 2を 参照する動きべク トル M V 2 2および時間間隔 T R 2 2を直接用いるこ とも可能である。 同様に、 式 6のように時間間隔の長い方のピクチャ P 2 1 を参照する動きべク トル M V 2 1 および時間間隔 T R 2 1 を動きべ ク トル MV— R E Fおよび時間間隔 T R— R E Fとして直接用いること も可能である。 この方法 より、 動きベク トルを参照されるピクチャ P 2 4に属するそれぞれのブロックは、 2つの動きべク トルのうちの片方 のみを記憶しておく ことで動き補償を実現することができるため、 符号 化装置における動きべク 卜ル記憶部の容量を小さく抑えることが可能と なる。
V_R E F = MV 2 2 …'式 5
( a )
T R— R E F = T R 2 2 …'式 5
( b )
MV_R E F =MV 2 1 …'式 6
( a )
T R一 R E F = T R 2 1 .■ ·■式 6
( b )
なお、 図 7における 2つの動きべク トル MV 2 3および動きべク トル MV 24を算出する際に、 スケーリ ングを施す対象となる動きべク トル MV_R E Fおよび時間間隔 T R— R E Fと して、 式 2のように 2つの 動きべク トルの平均値を用いる替わりに、 符号化される順番が先である ピクチャを参照する動きべク トルを直接用いることも可能である。 図 8 ( a ) は図 7 と同じように動画像と して表示される順番でのピクチャの 並び方における参照関係を示したものであり、 図 8 ( b ) では図 6のフ レームメモリ 1 0 1 において符号化される順番に並び替えられた一例を 示している。 なお、 ピクチャ P 2 3が直接モードによって符号化を行う ピクチャ、 ピクチャ P 24がそのときに動きべク トルを参照されるピク チヤを示している。 図 8 ( b ) のように並び替えたとき、 符号化される 順番が先であるピクチャを参照する動きベク トルを直接用いることから. 式 5のように動きベク トル MV— R E Fおよび時間間隔 T R— R E Fと して動きべク トル M V 2 2および時間間隔 T R 2 2が直接適用される。 同様に、 符号化される順番が後であるピクチャを参照する動きべク トル を直接用いることも可能である。 この場合は、 式 6のように動きべク ト ル MV— R E Fおよび時間間隔 T R— R E Fと して動きべク トル MV 2 1^3よび時間間隔 T R 2 1 が直接適用される。 この方法により、 動きべ ク トルを参照されるピクチャ P 24に属するそれぞれのブロックは、 2 つの動きベク トルのうちの片方のみを記憶しておく ことで動き補償を実 現することができるため、 符号化装置における動きべク トル記憶器の容 量を小さく抑えることが可能となる。
なお、 本実施の形態においては、 参照する動きべク トルに対してピク チヤ間の時間的距離を用いてスケ一リングすることにより、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きべク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能と しても良い。
なお、 式 2 ( a ) または式 4 ( b ) において、 動きベク トル MV_R E Fを計算する際には、 式 2 ( a ) または式 4 ( b ) の右辺を計算した 後、 所定の動きベク トルの精度 (例えば、 1 Z 2画素精度の動きべク ト ルであれば、 0. 5画素単位の値) に丸めても良い。 動きベク トルの精 度としては、 1 Z 2画素精度に限るものではない。 またこの動きべク ト ルの精度は、 例えば、 ブロック単位、 ピクチャ単位、 シーケンス単位で 決定することができる。 また、 式 3 ( a )、 式 3 ( b )、 式 4 ( a ) にお いて、 動きべク トル MV 2 3、 動きべク トル MV 2 4、 動きべク トル M V 2 1 'を計算する際には、 式 3 ( a )、 式 3 ( b )、 式 4 ( a ) のお辺を 計算した後、 所定の動きべク トルの精度に丸めても良い。 (実施の形態 2 )
図 6に基づいた符号化処理の概要は実施の形態 1 と全く同等である。 こ こでは直接モードにおける 2方向予測の動作について図 9を用いてそ の詳細を説明する。
図 9は直接モードにおいて動きべク トルを決定するために参照したブ ロックが、 表示時間順で後方にある 2枚のピクチャを参照する 2つの動 きべク トルを持っていた場合の動作を示したものである。 ピクチャ P 4 3が現在符号化の対象としているピクチャであり ピクチャ P 4 2および ピクチャ P 4 4を参照ピクチャとして 2方向予測を行うものである。 符 号化を行うブロックをブロック M B 4 1 とすると、 このとき必要とされ る 2つの動きべク トルは符号化済みの後方参照ピクチャ (第 2参照イン デックスで指定される第 2参照ピクチャ) であるピクチャ P 4 4の同じ 位置にあるブロック M B 4 2の持つ動きべク トルを用いて決定される。 このブロック M B 4 2は動きべク トルと して動きべク トル M V 4 5およ び動きべク トル M V 4 6の 2つを有するため、 求める 2つの動きべク 卜 ル M V 4 3および動きべク トル M V 4 4を式 1 と同様に直接スケーリン グを適用することによって算出することはできない。 そこで式 7のよう に、 スケーリングを適用する動きべク トルとして動きべク トル M V— R E Fをブロック M B 4 2の持つ 2つの動きべク トルの平均値から決定し. その時の時間間隔 T R— R E Fを同様に平均値から決定する。 そして、 式 8に基づいて動きべク トル M V— R E Fおよび時間間隔 T R— R E F に対してスケーリングを適用することによって動きべク トル M V 4 3お よび動きべク トル M V 4 4を算出する。 このとき時間間隔 T R 4 5はピ クチャ P 4 4からピクチャ P 4 5まで、 つまり動きべク トル M V 4 5が 参照するピクチャまでの時間の間隔を示し、 時間間隔 T R 4 6は動きべ ク トゾレ MV 4 6が参照するピクチャまでの時間の間隔を示している。 ま た、 時間間隔 T R 4 3は動きベク トル M V 4 3が参照するピクチャまで の時間の間隔を示し、 時間間隔 T R 4 4は時間間隔 M V 4 4が参照する ピクチャまでの時間の間隔を示すものである。 これらのピクチャ間の時 間間隔は、 実施の形態 1 で説明したのと同様に、 例えば各ピクチャに付 される表示時間や表示順序を示す情報、 またはその情報の差に基づいて 決定することができる。 なお、 図 9の例では符号化の対象とするピクチ ャは隣のピクチャを参照しているが、 隣でないピクチャを参照した場合 でも同様に扱うことが可能である。
M V_R E F = (M V 4 5 +M V 4 6 ) / 2 …'式 7 ( a )
T R_R E F = ( T R 4 5 + T R 4 6 ) / 2. …'式 7
( b )
M V 4 3 = - M V_R E F / T R_R E F X T R 4 3 .. ·■式 8
( a )
M V 4 4 = M V_R E F/ T R_R E F X T R 4 4 …-式 8
( b )
以上のように上記実施の形態では、 直接モードにおいて動きべク トル を参照されるブロックが表示時間順で後方にあるピクチャを参照する複 数の動きべク トルを有する場合に、 前記複数の動きべク トルを用いて 1 つの動きベク トルを生成し、 スケーリングを適用して実際に動き補償に 使用するための 2つの動きべク トルを決定することにより、 直接モード において動きべク 卜ルを参照されるブロックが Bピクチャに属する場合 においても矛盾無く直接モードを用いたピクチャ間予測符号化を可能と する符号化方法を示した。
なお、 図 9における 2つの動きべク トル M V 4 3および動きべク トル M V 4 4を求める際に、 スケーリングを施す対象となる動きべク トル M V— R E Fおよび時間間隔 T R_R E Fを算出するために、 動きべク ト ル M V 4 5と動きベク トル M V 4 6との平均値および時間間隔 T R 4 5 と時間間隔 T R 4 6との平均値をとる方法と して、 式 7の替わりに式 9 を用いることも可能である。 まず、 式 9 ( a ) のように動きベク トル M V 4 6に対して時間間隔が動きべク トル M V 4 5と同じになるようにス ケ一リングを施し動きべク トル M V 4 6 'を算出する。そして動きべク ト ル M V 4 6 'と動きベク トル M V 4 5 との平均をとることにより動きべ ク トル M V— R E Fが決定される。 このとき時間間隔 T R— R E Fは時 間間隔 T R 4 1 をそのまま用いることになる。 なお、 動きベク トル M V 4 6に対してスケーリングを施して動きべク トル M V 4 6 ' とする替わ りに動きべク トル M V 4 5に対してスケーリングを施して動きべク トル M V 4 5 ' とする場合も同様に扱うことが可能である。
V 4 6 ' = M V 4 6 / T R 4 6 X T R 4 5 ■■■■式 9
( a )
M V__R E F = (M V 4 6 ' +M V 4 5 ) / 2. ·■ '.式 9
( b )
T R_R E F = T R 4 5 …'式 9
( c )
なお、 図 9における 2つの動きべク トル M V 4 3および動きべク トル MV 4 4を算出する際に、 スケーリングを施す対象となる動きベク トル MV— R E Fおよび時間間隔 T R— R E Fと して、 式 7のように 2つの 動きべク トルの平均値を用いる替わりに、 式 1 0のように動きべク トル を参照するピクチャ P 4 4に対して時間間隔の短い方のピクチャ P 4 5 を参照する動きべク トル M V 4 5および時間間隔 T R 4 5を直接用いる ことも可能である。 同様に、 式 1 1 のように時間間隔の長い方のピクチ ャ P 4 6を参照する動きベク トル M V 4 6および時間間隔 T R 4 6を動 きべク トル M V— R E Fおよび時間間隔 T R— R E Fと して直接用いる ことも可能である。 この方法により、 動きベク トルを参照されるピクチ ャ P 4 4に属するそれぞれのブロックは、 2つの動きべク トルのうちの 片方のみを記憶しておく ことで動き補償を実現することができるため、 符号化装置における動きべク トル記憶器の容量を小さく抑えることが可 能となる。
M V_R E F =M V 4 5 式 1 0
( a )
T R_R E F = T R 4 5 '…式 1 0 ( b )
M V_R E F =M V 4 6 ——式 1 1
( a )
T R_R E F = T R 4 6 ——式 1 1
( b )
なお、 図 9における 2つの動きベク トル M V 4 3および動きベク トル M V 4 4を算出する際に、 スケーリ ングを施す対象となる動きべク トル M V— R E Fおよび時間間隔 T R— R E Fとして、 式 7のように 2つの 動きべク トルの平均値を用いる替わりに、 符号化される順番が先である ピクチャを参照する動きべク トルを直接用いることも可能である。 図 1 0 ( a ) は図 9 と同じように動画像として表示される順番でのピクチャ の並び方における参照関係を示したものであり、 図 1 0 ( b ) では図 6 のフ レームメモリ 1 0 1 において符号化される順番に並び替えられた一 例を示している。 なお、 ピクチャ P 4 3が直接モー ドによって符号化を 行うピクチャ、 ピクチャ P 4 4がそのときに動きべク トルを参照される ピクチャを示している。 図 1 0 ( b ) のように並び替えたとき、 符号化 される順番が先であるピクチャを参照する動きベク トルを直接用いるこ とから、 式 1 1 のように動きベク トル MV_R E Fおよび時間間隔 T R — R E Fとして動きべク トル MV 4 6および時間間隔 T R 4 6が直接適 用される。 同様に、 符号化される順番が後であるピクチャを參照する動 きべク トルを直接用いることも可能である。 この場合は、 式 1 0のよう に動きべク トル MV— R E Fおよび時間間隔 T R— R E Fと して動きべ ク トル MV 4 5および時間間隔 T R 4 5が直接適用される。 この方法に より、 動きべク トルを参照されるピクチャ P 44に属するそれぞれのブ ロックは、 2つの動きべク トルのうちの片方のみを記憶しておく ことで 動き補償を実現することができるため、 符号化装置における動きべク ト ル記憶器の容量を小さく抑えることが可能となる。
なお、 直接モードにおいて動きべク トルを決定するために参照したピ クチャが表示時間順で後方にある 2枚のピクチヤを参照する 2つの動き べク トルを持っていた場合、 求める 2つの動きべク トル MV 4 3および 動きべク トル MV 4 4を「 0」と して動き補償を行うことも可能である。 この方法により、 動きベク トルを参照されるピクチャ P 44に属するそ れぞれのプロックは、 動きべク トルを記憶しておく必要が無いため符号 化装置における動きべク トル記憶器の容量を小さく抑えることが可能と なり、 さらに動きべク トル算出のための処理を省略することが可能とな る。
なお、 直接モードにおいて動きベク トルを決定するために参照したピ クチャが表示時間順で後方にある 2枚のピクチャを参照する 2つの動き ベク トルを持っていた場合、 動きベク トルの参照を禁止し、 直接モード 以外の予測符号化のみを適用させることも可能である。 図 9のピクチャ P 4 4のように表示時間順で後方にある 2枚のピクチャを参照する場合 は、 表示時間順で前方にあるピクチャとの相関が低い可能性が考えられ るため、 直接モードを禁止し別の予測方法を選択することにより、 より 正確な予測画像を生成することが可能となる。
なお、 本実施の形態においては、 参照する動きべク トルに対してピク チヤ間の時間的距離を用いてスケーリングすることにより、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きべク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能としても良い。
なお、 式 7 ( a )、 式 9 ( b ) において、 動きべク トル MV一 R E Fを 計算する際には、 式 7 ( a )、 式 9 ( b ) の右辺を計算した後、 所定の動 きベク トルの精度に丸めても良い。 動きベク トルの精度としては、 1 Z 2画素、 1 / 3画素、 1 4画素精度等がある。 またこの動きベク トル の精度は、 例えば、 ブロック単位、 ピクチャ単位、 シーケンス単位で決 定することができる。 また、 式 8 ( a )、 式 8 ( b )、 式 9 ( a ) におい て、 動きべク トル MV 4 3、 動きべク トル MV 44、 動きべク トル MV 4 6 'を計算する際には、 式 8 ( a )、 式 8 ( b )、 式 9 ( a ) の右辺を計 算した後、 所定の動きべク トルの精度に丸めても良い。
(実施の形態 3 )
本発明の実施の形態 3の動画像復号化方法を図 1 1 に示したプロック 図を用いて説明する。 ただし、 実施の形態 1 の動画像符号化方法で生成 された符号列が入力されるものとする。
まず入力された符号列から符号列解析器 60 1 によって予測モード、 動きべク トル情報および予測残差符号化データ等の各種の情報が抽出さ れる。
予測モードや動きべク トル情報は予測モード 動きべク トル復号化部 6 0 8に対して出力され、 予測残差符号化データは予測残差復号化部 6 0 2に出力される。 予測モード/動きベク トル復号化部 6 0 8では、 予 測モー ドの復号化と、 その予測モー ドで用いる動きべク トルの復号化と を行う。 動きべク トルの復号化の際には、 動きベク トル記憶部 6 0 5に 記憶されている復号化済みの動きべク トルを利用する。 復号化された予 測モードおよび動きべク トルは、 動き補償復号部 6 0 4に対して出力さ れる。 また、 復号化された動きべク トルは、 後のブロックの動きべク 卜 ルの復号化で利用するために、動きべク トル記憶部 6 0 5に記憶される。 動き補償復号部 6 0 4ではフ レームメモリ 6 0 3に蓄積されている復号 化済みのピクチャの復号化画像を参照ピクチャとし、 入力された予測モ ードゃ動きべク トル情報に基づいて予測画像を生成する。 このようにし て生成された予測画像は加算演算部 6 0 6に入力され、 予測残差復号化 部 6 0 2において生成された予測残差画像との加算を行うことによリ復 号化画像が生成される。 以上の実施の形態はピクチャ間予測符号化がな されている符号列に対する動作であつたが、 スィッチ 6 0 7によってピ クチャ内予測符号化がなされている符号列に対する復号化処理との切り 替えがなされる。
以上復号化の流れの概要を示したが、 動き補償復号部 6 0 4における 処理の詳細について以下で説明する。
動きべク トル情報はブロックごともしくはブロックを分割した領域ご とに付加されている。 復号化の対象としているピクチャに対して表示時 間順で前方および後方に位置する復号化済みのピクチャを参照ピクチャ とし、 復号化された動きべク トルによってそのピクチャ内から動き補償 を行うための予測画像を作成する。
表示時間順で前方および後方にあるそれぞれ 1枚ずつのピクチャを参 照しピクチャ間予測符号化を行う 2方向予測の 1 つとして直接モードが ある。 直接モー ドでは復号化対象のブロックが動きべク トルを直接持た ない符号列を入力とするため、 表示時間順で近傍にある復号化済みピク チヤ内の同じ位置にあるブロックの動きベク トルを参照することによつ て、 実際に動き補償を行うための 2つの動きベク トルを算出し予測画像 を作成する。
図 7は直接モードにおいて動きベク トルを決定するために参照した復 号化済みのピクチャが、 表示時間順で前方にある 2枚のピクチャを参照 する 2つの動きベク トルを持っていた場合の動作を示したものである。 ピクチャ P 2 3が現在復号化の対象と しているピクチャであり、 ピクチ ャ P 2 2およびピクチャ P 24を参照ピクチャとして 2方向予測を行う ものである。 復号化を行うブロックをブロック M B 2 1 とすると、 この とき必要とされる 2つの動きべク 卜ルは復号化済みの後方参照ピクチャ (第 2参照インデックスで指定される第 2参照ピクチャ) であるピクチ ャ P 24の同じ位置にあるブロック M B 2 2の持つ動きベク トルを用い て決定される。 このブロック MB 2 2は動きべク トルとして動きべク 卜 ル MV 2 1 および動きべク トル MV 2 2の 2つを有するため、 求める 2 つの動きべク トル M V 2 3および動きべク トル MV 24を式 1 と同様に 直接スケーリングを適用することによって算出することはできない。 そ こで式 2のように、 スケーリングを適用する動きべク 卜ルとして動きべ ク トル M V_R E Fをブロック M B 2 2の持つ 2つの動きべク トルの平 均値から算出し、 その時の時間間隔 T R— R E Fを同様に平均値から算 出する。 そして、 式 3に基づいて動きベク トル MV— R E Fおよび時間 間隔 T R— R E Fに対してスケーリングを適用することによって動きべ ク トル MV 2 3および動きべク トル MV 24を算出する。 このとき時間 間隔 T R 2 1 はピクチャ P 24からピクチャ P 2 1 まで、 つまり動きべ ク トル M V 2 1 が参照するピクチャまでの時間の間隔を示し、 時間間隔 T R 2 2は動きべク トル M V 2 2が参照するピクチャまでの時間の間隔 を示している。 また、 時間間隔 T R 2 3は動きベク トル M V 23が参照 するピクチャまでの時間の間隔を示し、 時間間隔 T R 2 4は動きべク 卜 ル M V 24が参照するピクチャまでの時間の間隔を示している。 これら のピクチャ間の時間間隔は、 例えば各ピクチャに付される表示時間や表 示順序を示す情報、 またはその情報の差に基づいて決定することができ る。 なお、 図 7の例では復号化の対象とするピクチャは隣のピクチャを 参照しているが、 隣でないピクチャを参照した場合でも同様に扱うこと が可能である。
以上のように上記実施の形態では、 直接モードにおいて動きべク トル を参照されるブロックが表示時間順で前方にあるピクチャを参照する複 数の動きべク トルを有する場合に、 前記複数の動きべク トルを用いて 1 つの動きべク トルを生成し、 スケーリングを適用して実際に動き補償に 使用するための 2つの動きべク トルを決定することにより、 直接モード において動きベク トルを参照されるブロックが Bピクチャに属する場合 においても矛盾無く直接モードを用いたピクチャ間予測復号化を可能と する復号化方法を示した。
なお、 図 7における 2つの動きべク トル MV 2 3および動きべク トル MV 2 4を求める際に、 スケーリングを施す対象となる動きべク トル M
V— R E Fおよび時間間隔 T R— R E Fを算出するために、 動きべク ト ル MV 2 1 と動きべク トル MV 2 2との平均値および時間間隔 T R 2 1 と時間間隔 T R 2 2との平均値をとる方法として、 式 2の替わりに式 4 を用いることも可能である。 まず、 式 4 ( a ) のように動きベク トル M
V 2 1 に対して時間間隔が動きべク トル M V 2 2と同じになるようにス ケーリングを施し動きべク トル MV 2 1 'を算出する。そして動きべク 卜 ル M V 2 1 ' と動きべク トル MV 2 2 との平均をとることにより動きべ ク トル MV— R E Fが決定される。 このとき時間間隔 T R— R E Fは時 間間隔 T R 2 2をそのまま用いることになる。 なお、 動きベク トル MV 2 1 に対してスケーリ ングを施して動きべク トル MV 2 1 ' とする替わ りに動きべク 卜ル MV 2 2に対してスケーリ ングを施して動きべク 卜ル MV 2 2 'とする場合も同様に扱うことが可能である。
なお、 図 7における 2つの動きべク トル MV 2 3および動きべク トル MV 24を算出する際に、 スケーリングを施す対象となる動きベク トル MV— R E Fおよび時間間隔 T R— R E Fとして、 式 2のように 2つの 動きべク トルの平均値を用いる替わりに、 式 5のように動きべク トルを 参照するピクチャ P 2 4に対して時間間隔の短い方のピクチャ P 2 2を 参照する動きべク トル MV 2 2および T R 2 2を直接用いることも可能 である。 同様に、 式 6のように時間間隔の長い方のピクチャ P 2 1 を参 照する動きべク トル M V 2 1 および時間間隔 T R 2 1 を動きべク トル M V— R E Fおよび時間間隔 T R— R E Fとして直接用いることも可能で ある。 この方法により、 動きベク トルを参照されるピクチャ P 2 4に属 するそれぞれのブロックは、 2つの動きべク トルのうちの片方のみを記 憶しておく ことで動き補償を実現することができるため、 復号化装置に おける動きべク トル記憶部の容量を小さく抑えることが可能となる。 なお、 図 7における 2つの動きべク 卜ル MV 2 3および動きべク 卜ル MV 24を算出する際に、 スケーリングを施す対象となる動きべク トル MV— R E Fおよび時間間隔 T R— R E Fとして、 式 2のように 2つの 動きベク トルの平均値を用いる替わりに、 復号化される順番が先である ピクチャを参照する動きべク トルを直接用いることも可能である。 図 8 ( a ) は図 7 と同じように動画像として表示される順番でのピクチャの 並び方における参照関係を示したものであり、 図 8 ( b ) では入力され た符号列の順番、 つまリ復号化される順番の一例を示している。 なお、 ピクチャ P 2 3が直接モードによって復号化を行うピクチャ、 ピクチャ P 2 4がそのときに動きべク 卜ルを参照されるピクチャを示している。 図 8 ( b ) のような並び順を考えたとき、 復号化される順番が先である ピクチャを参照する動きべク トルを直接用いることから、 式 5のように 動きベク トル M V— R E Fおよび時間間隔 T R— R E Fとして動きべク トル M V 2 2および時間間隔 T R 2 2が直接適用される。 同様に、 復号 化される順番が後であるピクチャを参照する動きべク トルを直接用いる ことも可能である。 この場合は、 式 6のように動きべク トル M V— R E Fおよび時間間隔 T R— R E 「と して動きべク トル M V 2 1 および時間 間隔 T R 2 1 が直接適用される。 この方法によリ、 動きべク トルを参照 されるピクチャ P 2 4に属するそれぞれのブロックは、 2つの動きべク トルのうちの片方のみを記憶しておく ことで動き補償を実現することが できるため、 復号化装置における動きべク トル記憶部の容量を小さく抑 えることが可能となる。
なお、 本実施の形態においては、 参照する動きベク トルに対してピク チヤ間の時間的距離を用いてスケーリングすることにより、 直接モード において用いる動きベク トルを計算する場合について説明したが、 これ は参照する動きベク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能としても良い。
(実施の形態 4 )
図 1 1 に基づいた復号化処理の概要は実施の形態 3と全く同等である, ここでは直接モードにおける 2方向予測の動作について図 9を用いてそ の詳細を説明する。 ただし、 実施の形態 2の動画像符号化方法で生成さ れた符号列が入力されるものとする。
図 9は直接モードにおいて動きベク トルを決定するために参照したピ クチャが、 表示時間順で後方にある 2枚のピクチャを参照する 2つの動 きべク トルを持っていた場合の動作を示したものである。 ピクチャ P 4 3が現在復号化の対象としているピクチャであり、 ピクチャ P 4 2およ ぴピクチャ P 4 4を参照ピクチャと して 2方向予測を行うものである。 復号化を行うブロックをブロック M B 4 1 とすると、 このとき必要とさ れる 2つの動きべク 卜ルは復号化済みの後方参照ピクチャ (第 2参照ィ ンデックスで指定される第 2参照ピクチャ) であるピクチャ P 4 4の同 じ位置にあるブロック M B 4 2の持つ動きベク トルを用いて決定される, このブロック M B 4 2は動きべク トルと して動きべク トル M V 4 5およ び動きべク トル M V 4 6の 2つを有するため、 求める 2つの動きべク 卜 ル M V 4 3および動きべク トル M V 4 4を式 1 と同様に直接スケーリン グを適用することによって算出することはできない。 そこで式 7のよう に、 スケーリングを適用する動きべク トルと して動きべク トル M V— R E Fを動きべク トル M B 4 2の持つ 2つの動きべク トルの平均値から決 定し、 その時の時間間隔 T R—R E Fを同様に平均値から決定する。 そ して、 式 8に基づいて動きべク トル M V— R E Fおよび時間間隔 T R— R E Fに対してスケーリングを適用することによって動きべク トル M V 4 3および動きべク トル M V 4 4を算出する。 このとき時間間隔 T R 4 5はピクチャ P 4 4からピクチャ P 4 5まで、 つまり動きべク トル M V 4 5が参照するピクチャまでの時間の間隔を、 時間間隔 T R 4 6は動き べク トル M V 4 6が参照するピクチャまでの時間の間隔を、 時間間隔 T R 4 3は動きべク トル M V 4 3が参照するピクチャまでの時間の間隔を 時間間隔 T R 4 4は動きべク トル M V 4 4が参照するピクチャまでの時 間の間隔を示すものである。 なお、 図 9の例では復号化の対象とするピ クチャは隣のピクチャを参照しているが、 隣でないピクチャを参照した 場合でも同様に扱うことが可能である。
以上のように上記実施の形態では、 直接モードにおいて動きベク トル を参照されるプロックが表示時間順で後方にあるピクチャを参照する複 数の動きべク トルを有する場合に、 前記複数の動きべク トルを用いて 1 つの動きべク トルを生成し、 スケーリングを適用して実際に動き補償に 使用するための 2つの動きべク ルを決定することにより、 直接モード において動きベク トルを参照されるブロックが Bピクチャに属する場合 においても矛盾無く直接モードを用いたピクチャ間予測復号化を可能と する復号化方法を示した。
なお、 図 9における 2つの動きべク トル MV 4 3および動きべク トル MV 4 4を求める際に、 スケーリングを施す対象となる動きべク トル M
V— R E Fおよび時間間隔 T R_R E Fを算出するために、 動きべク 卜 ル MV 4 5と動きべク トル MV 4 6との平均値および時間間隔 T R 45 と時間間隔 T R 4 6との平均値をとる方法と して、 式 7の替わりに式 9 を用いることも可能である。 まず、 式 9 ( a ) のように動きベク トル M
V 4 6に対して時間間隔が動きべク トル M V 4 5と同じになるようにス ケ一リ ングを施し動きべク トル MV 4 6 'を算出する。そして動きべク ト ル M V 4 6 ' と動きべク トル MV 4 5 との平均をとることにより動きべ ク トル MV— R E Fが決定される。 このとき時間間隔 T R— R E Fは時 間間隔 T R 4 5をそのまま用いることになる。 なお、 動きベク トル M V 4 6に対してスケ一リ ングを施して動きべク トル M V 4 6 'とする替わ りに動きべク トル MV 45に対してスケーリングを施して動きべク トル MV 4 5 'とする場合も同様に扱うことが可能である。
なお、 図 9における 2つの動きべク 卜ル MV 4 3および動きべク トル MV 4 4を算出する際に、 スケーリングを施す対象となる動きべク トル MV— R E Fおよび時間間隔 T R— R E Fとして、 式 7のように 2つの 動きべク トルの平均値を用いる替わりに、 式 1 0のように動きべク トル を参照するピクチャ P 44に対して時間間隔の短い方のピクチャ P 4 5 を参照する動きベク トル M V 45および時間間隔 T R 4 5を直接用いる ことも可能である。 同様に、 式 1 1 のように時間間隔の長い方のピクチ ャ P 4 6を参照する動きベク トル M V 4 6および時間間隔 T R 4 6を動 きベク トル M V— R E Fおよび時間間隔 T R— R E Fと して直接用いる ことも可能である。 この方法により、 動きベク トルを参照されるピクチ ャ P 4 4に属するそれぞれのブロックは、 2つの動きベク トルのうちの 片方のみを記憶しておく ことで動き補償を実現することができるため、 復号化装置における動きべク トル記憶部の容量を小さく抑えることが可 能となる。
なお、 図 9における 2つの動きべク トル M V 4 3および動きべク トル M V 4 4を算出する際に、 スケーリングを施す対象となる動きベク トル M V— R E Fおよび時間間隔 T R— R E Fと して、 式 7のように 2つの 動きべク トルの平均値を用いる替わりに、 復号化される順番が先である ピクチャを参照する動きべク トルを直接用いることも可能である。 図 1 0 ( a ) は図 9と同じように動画像として表示される順番でのピクチャ の並び方における参照関係を示したものであり、 図 1 0 ( b ) では入力 された符号列の順番、 つまリ復号化される順番の一例を示している。 な お、 ピクチャ P 4 3が直接モードによって符号化を行う ピクチャ、 ピク チヤ p 4 4がそのときに動きべク トルを参照されるピクチャを示してい る。 図 1 0 ( b ) のような並び順を考えたとき、 復号化される順番が先 であるピクチャを参照する動きべク トルを直接用いることから、 式 1 1 のように動きべク トル M V— R E Fおよび時間間隔 T R— R E 「と して 動きべク トル M V 4 6および時間間隔 T R 4 6が直接適用される。 同様 に、 復号化される順番が後であるピクチャを参照する動きべク トルを直 接用いることも可能である。 この場合は、 式 1 0のように動きべク トル M V— R E Fおよび時間間隔 T R— R E Fと して動きべク トル M V 4 5 および時間間隔 T R 4 5が直接適用される。 この方法により、 動きべク トルを参照されるピクチャ P 4 4に属するそれぞれのブロックは、 2つ の動きべク トルのうちの片方のみを記憶しておく ことで動き補償を実現 することができるため、 復号化装置における動きべク トル記憶部の容量 を小さく抑えることが可能となる。
なお、 直接モードにおいて動きベク トルを決定するために参照したブ 口ックが表示時間順で後方にある 2枚のピクチャを参照する 2つの動き べク トルを持っていた場合、 求める 2つの動きべク トル M V 4 3および 動きベク トル M V 4 4を「 0」として動き補償を行うことも可能である。 この方法により、 動きべク トルを参照されるピクチャ P 4 4に属するそ れぞれのプロックは、 動きべク トルを記憶しておく必要が無いため復号 化装置における動きべク トル記憶部の容量を小さく抑えることが可能と なり、 さらに動きべク トル算出のための処理を省略することが可能とな る。
なお、 本実施の形態においては、 参照する動きベク トルに対してピク チヤ間の時間的距離を用いてスケーリングすることにより、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きベク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能と しても良い。
(実施の形態 5 )
上記実施の形態 1 から実施の形態 4までに示した符号化方法または復 号化方法に限らず、 以下に示す動きべク トル計算方法を用いて符号化方 法または復号化方法を実現することができる。
図 1 2は直接モードにおいて動きべク トルを計算するために参照する 符号化済みのブロックまたは復号化済みのブロックが、 表示時間順で前 方にある 2枚のピクチャを参照する 2つの動きベク トルを持っていた場 合の動作を示したものである。 ピクチャ P 2 3が現在符号化または復号 化の対象としているピクチャである。 符号化または復号化を行うブロッ クをブロック M B 1 とすると、 このとき必要とされる 2つの動きべク ト ルは符号化済みのまたは復号化済みの後方参照ピクチャ (第 2参照ィン デックスで指定される第 2参照ピクチャ) P 2 4の同じ位置にあるプロ ック M B 2の持つ動きベク トルを用いて決定される。 なお、 図 1 2にお いて、 ブロック M B 1 が処理対象ブロックであり、 ブロック M B 1 とブ ロック M B 2とはピクチャ上で互いに同位置にあるブロックであり、 動 きべク トル M V 2 1 と動きべク 卜ル M V 2 2とはブロック M B 2を符号 化または復号化するときに用いた動きベク トルであり、 それぞれピクチ ャ P 2 1 、 ピクチャ P 2 2を参照している。 また、 ピクチャ P 2 1 、 ピ クチャ P 2 2、 ピクチャ P 2 4は符号化済みピクチャまたは復号化済み ピクチャである。 また、 時間間隔 T R 2 1 はピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、 時間間隔 T R 2 2はピクチャ P 2 2とピクチ ャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピク チヤ P 2 3との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 3とピ クチャ P 2 4との間の時間間隔を示す。
動きべク トル計算方法としては、 図 1 2に示すように参照ピクチャ P 2 4におけるブロック M B 2の動きべク トルのうち先に符号化または復 号化された前方向動きべク トル (第 1 動きべク トル) M V 2 1 のみを用 い、 ブロック M B 1 の動きベク トル M V 2 1 '、 動きベク トル M V 2 4 ' は以下の式により計算される。
M V 2 1 ' = M V 2 1 X T R 2 1 ' / T R 2 1
M V 2 4 ' = - M V 2 1 X T R 2 4 ' T R 2 1
そして動きべク トル M V 2 1 '、 動きべク トル M V 2 4 'を用いてピク チヤ P 2 1 、 ピクチャ P 2 4から 2方向予測を行う。 なお、 動きべク ト ル M V 2 1 のみを用いてブロック M B 1 の動きべク トル M V 2 1 ' と動 きべク 卜ル M V 2 4 'とを計算する代わりに、参照ピクチャ P 2 4におけ るブロック M B 2の動きベク トルのうち後に符号化または復号化された 動きベク トル (第 2動きベク トル) M V 2 2のみを用いてブロック M B 1 の動きべク トルを計算してもよい。 また、 実施の形態 1 から実施の形 態 4で示したように、 動きべク トル M V 2 1 と動きべク トル M V 2 2と の両者を用いて、 ブロック M B 1 の動きベク トルを決定しても良い。 い ずれも動きべク トル M V 2 1 と動きべク トル M V 2 2とのいずれか一方 を選択する場合に、 いずれを選択するかは、 時間的に先に符号化または 復号化されたブロックの動きべク トルを選択するようにしてもよいし、 符号化装置、 復号化装置でいずれを選択するかあらかじめ任意に設定し ておいてもよい。 また、 ピクチャ P 2 1 が短時間メモリ (Short Term Buffer) にあっても長時間メモリ (Long Term Buffer) にあっても、 ど ちらでも動き補償することは可能である。 短時間メモリ、 長時間メモリ については、 後述する。
図 1 3は直接モー ドにおいて動きべク トルを計算するために参照する 符号化済みのプロックまたは復号化済みのプロックが、 表示時間順で後 方にある 2枚のピクチャを参照する 2つの動きベク トルを持っていた場 合の動作を示したものである。 ピクチャ P 2 2が現在符号化または復号 化の対象と しているピクチャである。 符号化または復号化を行うブロッ クをブロック M B 1 とすると、 このとき必要とされる 2つの動きべク ト ルは符号化済みのまたは復号化済みの後方参照ピクチャ (第 2参照ピク チヤ) P 2 3の同じ位置にあるブロック M B 2の持つ動きべク トルを用 いて決定される。 なお、 図 1 3において、 ブロック M B 1 が処理対象ブ ロックであり、 ブロック M B 1 とブロック M B 2とはピクチャ上で互い に同位置にあるブロックであり、 動きべク トル M V 2 4と動きべク トル M V 2 5はブロック M B 2を符号化または復号化するときに用いた動き ベク トルであり、 それぞれピクチャ P 2 4、 ピクチャ P 2 5を参照して いる。 また、 ピクチャ P 2 1 、 ピクチャ P 2 3、 ピクチャ P 2 4、 ピク チヤ P 2 5は符号化済みピクチャまたは復号化済みピクチャである。 ま た、 時間間隔 T R 2 4はピクチャ P 2 3 とピクチャ P 2 4との間の時間 間隔、 時間間隔 T R 2 5はピクチャ P 2 3とピクチャ P 2 5との間の時 間間隔、時間間隔 T R 2 4 'はピクチャ P 2 2とピクチャ P 2 4との間の 時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 2との間 の時間間隔を示す。
動きべク トル計算方法と しては、 図 1 3に示すように参照ピクチャ P 2 3におけるブロック M B 2のピクチャ P 2 4への動きベク トル M V 2 4のみを用い、 ブロック M B 1 の動きべク トル M V 2 1 '、動きべク トル M V 2 4 'は以下の式により計算される。
M V 2 1 ' = - M V 2 4 X T R 2 1 ' / T R 2 4
M V 2 4 ' = M V 2 4 x T R 2 4 ' / T R 2 4
そして動きべク 卜ル M V 2 1 '、 動きべク トル M V 2 4 'を用いてピク チヤ P 2 1 、 ピクチャ P 2 4から 2方向予測を行う。
なお、 図 1 4に示すように参照ピクチャ P 2 3におけるブロック M B 2のピクチャ P 2 5への動きべク トル M V 2 5のみを用いた場合、 プロ ック M B 1 の動きベク トル M V 2 1 '、 動きべク トル M V 2 5 'は以下の 式により計算される。 なお、 時間間隔 T R 2 4はピクチャ P 2 3 とピク チヤ P 2 4との間の時間間隔、 時間間隔 T R 2 5はピクチャ P 2 3とピ クチャ P 2 5との間の時間間隔、時間間隔 T R 2 5 'はピクチャ P 2 2と ピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 2との間の時間間隔を示す。
M V 2 1 ' = - M V 2 5 X T R 2 1 ' / T R 2 5 M V 2 5 ' = M V 2 5 x T R 2 5 ' / T R 2 5
そして動きべク トル M V 2 1 '、 動きべク 卜ル M V 2 5 'を用いてピク チヤ P 2 1 、 ピクチャ P 2 4から 2方向予測を行う。
図 1 5は直接モ一ドにおいて動きべク トルを計算するために参照する 符号化済みのブロックまたは復号化済みのブロックが、 表示時間順で前 方にある 1 枚のピクチャを参照する 2つの動きべク トルを持っていた場 合の動作を示したものである。 ピクチャ P 2 3は、 現在符号化または復 号化の対象と しているピクチャである。 符号化または復号化を行うプロ ックをブロック M B 1 とすると、 このとき必要とされる 2つの動きべク トルは符号化済みのまたは復号化済みの後方参照ピクチャ (第 2参照ィ ンデックスで指定される第 2参照ピクチャ) P 2 4の同じ位置にあるブ ロック M B 2の持つ動きべク トルを用いて決定される。 なお、 図 1 5に おいて、 ブロック M B 1 が処理対象ブロックであり、 ブロック M B 1 と ブロック M B 2とはピクチャ上で互いに同位置にあるブロックである。 動きべク トル M V 2 1 Aと動きべク トル M V 2 1 Bとはブロック M B 2 を符号化または復号化するときに用いた前方向動きべク トルであり、 共 にピクチャ P 2 1 を参照している。 また、 ピクチャ P 2 1 、 ピクチャ P 2 2、 ピクチャ P 2 4は符号化済みピクチャまたは復号化済みピクチャ である。 また、 時間間隔 T R 2 1 A、 時間間隔 T R 2 1 Bはピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 3との間の時間間隔、時間間隔 T R 2 4 'はピクチ ャ P 2 3 とピクチャ P 2 4との間の時間間隔を示す。
動きベク トル計算方法としては、 図 1 5に示すように参照ピクチャ P 2 4におけるブロック M B 2のピクチャ P 2'1 への前方向動きベク トル M V 2 1 Aのみを用い、 ブロック M B 1 の動きべク トル M V 2 1 A'、 M V 2 4 'は以下の式により計算される。 M V 2 1 A ' = M V 2 1 A x T R 2 1 ' / T R 2 1 A
M V 2 4 ' = - V 2 1 A x T R 2 4 ' / T R 2 1 A
そして動きべク トル M V 2 1 A'、 動きべク トル M V 2 4 'を用いてピ クチャ P 2 1 、 ピクチャ P 2 4から 2方向予測を行う。
なお、 参照ピクチャ P 2 4におけるブロック M B 2のピクチャ P 2 1 への前方向動きべク トル M V 2 1 Bのみを用い、 ブロック M B 1 の動き べク トルを計算してもよい。 また、 実施の形態 1 から実施の形態 4で示 したように、 前方向動きべク 卜ル M V 2 1 Aと前方向動きべク トル M V 2 1 Bとの両者を用いて、 ブロック M B 1 に対する動きべク トルを決定 しても良い。 いずれも前方向動きベク トル M V 2 1 Aと前方向動きべク トル M V 2 1 Bとのいずれか一方を選択する場合に、 いずれを選択する かは、 時間的に先に符号化または復号化されている (符号列中に先に記 述されている) 動きべク トルを選択するようにしてもよいし、 符号化装 置、 復号化装置で任意に設定してもよい。 ここで、 時間的に先に符号化 または復号化されている動きべク トルとは、 第 1動きベク トルのことを 意味する。 また、 ピクチャ P 2 1 が短時間メモリ (Short Term Buffer) にあっても長時間メモリ (Long Term Buffer) にあっても、 どちらでも 動き補償することは可能である。 短時間メモリ、 長時間メモリについて は、 後述する。
なお、 本実施の形態においては、 参照する動きベク トルに対してピク チヤ間の時間的距離を用いてスケーリングすることにより、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きベク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能としても良い。
なお、 上記の動きベク トル M V 2 1 '、 動きベク トル M V 2 4 '、 動き べク トル M V 2 5 'および動きべク トル M V 2 1 A'の計算式においては. 各式のお辺を計算した後、 所定の動きべク トルの精度に丸めても良い。 動きベク トルの精度としては、 1 2画素、 1 3画素、 1 4画素精 度等がある。 またこの動きベク トルの精度は、 例えば、 ブロック単位、 ピクチャ単位、 シーケンス単位で決定することができる。
(実施の形態 6 )
本実施の形態 6においては、 直接モードにおいて対象動きべク トルを 決定するために用いた参照ピクチャが表示時間順で前方にある 2枚のピ クチャを参照する 2つの前方向動きべク トルを持っている場合に、 2つ の前方向動きべク トルのうち一方のみをスケーリングして対象動きべク トルを計算することができる方法について図 1 6から図 1 8を用いて説 明する。 なお、 ブロック M B 1 が処理対象ブロックであり、 ブロック M B 1 とブロック M B 2とはヒ°クチャ上で互いに同位置にあるブロックで あり、 動きべク トル M V 2 1 と動きべク トル M V 2 2とはブロック M B 2を符号化または復号化するときに用いた前方向動きべク トルであり、 それぞれピクチャ P 2 1 、 ピクチャ P 2 2を参照している。 また、 ピク チヤ P 2 1 、 ピクチャ P 2 2、 ピクチャ P 2 4は符号化済みピクチャま たは復号化済みピクチャである。 また、 時間間隔 T R 2 1 はピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、 時間間隔 T R 2 2はピクチャ P 2 2とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチ ャ P 2 1 とピクチャ P 2 3 との間の時間間隔、時間間隔 T R 2 2 'はピク チヤ P 2 2とピクチャ P 2 3との間の時間間隔を示す。
第 1 の方法としては、 図 1 6に示すように参照ピクチャ P 2 4におけ るブロック M B 2が、 ピクチャ P 2 1 への前方向動きべク トル M V 2 1 と、 ピクチャ P 2 2への前方向動きベク トル M V 2 2との 2つの前方向 動きべク トルを有するとき、 対象ピクチャ P 2 3に表示時間順で近いピ クチャ P 2 2への動きべク トル MV 2 2のみを用い、 ブロック MB 1 の 動きべク トル MV 2 2'は以下の式により計算される。
M V 2 2 ' = M V 2 2 x T R 2 2 'ノ T R 2 2
そして動きべク トル MV 2 2 'を用いてピクチャ P 2 2から動き補償 を行う。
第 2の方法と しては、 図 1 7に示すように参照ピクチャ P 24におけ るブロック M B 2がピクチャ P 2 1 への前方向動きべク トル MV 2 1 と ピクチャ P 2 2への前方向動きベク トル MV 2 2 との 2つの前方向動き べク トルを有するとき、 対象ピクチャ P 23に表示時間順で遠いピクチ ャ P 2 1 への動きベク トル MV 2 1 のみを用い、 ブロック M B 1 の動き べク トル MV 2 1 'は以下の式により計算される。
M V 2 1 ' = M V 2 1 X T R 2 1 ' / T R 2 1
そして動きべク トル MV 2 1 'を用いてピクチャ P 2 1 から動き補償 を行う。
これら第 1 、 第 2の方法により、 動きべク トルを参照される参照ピク チヤ P 2 4に属するブロック M B 2は、 2つの動きべク トルのうちの片 方のみを記憶しておく ことで動き補償を実現することができるため、 動 きべク トル記憶部の容量を小さく抑えることが可能となる。
なお、 前方向動きべク トル M V 2 1 を用いながら、 実施の形態 1 と同 様に表示時間順で近傍のピクチャであるピクチャ P 2 2から動き補償を 行うこともできる。 その時に用いる動きべク トル MV N (図示せず) は 以下の式によリ計算される。
M V N = M V 2 1 X T R 2 2 '/T R 2 1
なお、 第 3の方法として、 図 1 8に示すように上記で求めた動きべク トル MV 2 1 'と動きべク トル MV 2 2'とを用いてそれぞれピクチャ P 2 1 とピクチャ P 2 2とから動き補償ブロックを取得し、 その平均画像 を動き補償における補間画像とする。
この第 3の方法により、 計算量は増加するが、 動き補償の精度は向上 する。
さらに、上記動きべク トル M V Nと動きべク トル M V 2 2 'とを用いて ピクチャ P 2 2から動き補償ブロックを取得し、 その平均画像を動き補 償における補間画像とすることもできる。
なお、 本実施の形態においては、 参照する動きべク トルに対してピク チヤ間の時間的距離を用いてスケ一リングすることにより、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きベク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能と しても良い。
なお、 上記の動きベク トル M V 2 1 '、 動きベク トル M V 2 2 '、 動き べク トル M V Nの計算式においては、 各式の右辺を計算した後、 所定の 動きベク トルの精度に丸めても良い。 動きベク トルの精度としては、 1 2画素、 1 Z 3画素、 1 4画素精度等がある。 またこの動きべク ト ルの精度は、 例えば、 ブロック単位、 ピクチャ単位、 シーケンス単位で 決定することができる。
(実施の形態 7 )
上記実施の形態 6では直接モードにおいて符号化または復号化対象ブ ロックの動きべク トルを決定するために用いた参照ピクチャが、 表示時 間順で前方にある 2枚のピクチャを参照する 2つの前方向動きベク トル を持っている場合について述べたが、 表示時間順で後方にある 2枚のピ クチャを参照する 2つの後方向動きべク トル (第 2参照インデックスで 参照ピクチャが指定される第 2動きベク トル) を持っている場合につい ても同様に、 2つの後方向動きべク トルのうち一方のみをスケーリング して対象動きベク トルを計算することができる。 以下、 図 1 9から図 2 2を用いて説明する。なお、ブロック M B 1 が処理対象ブロックであり、 ブロック M B 1 とブロック M B 2とはピクチャ上で互いに同位置にある ブロックであり、 動きべク トル MV 24と動きべク トル MV 2 5とは、 動きべク トル M B 2を符号化または復号化するときに用いた後方向動き べク トル (第 2参照インデックスで参照ピクチヤが指定される第 2動き ベク トル) である。 また、 ピクチャ P 2 1 、 ピクチャ P 2 3、 ピクチャ P 2 4およぴピクチャ P 2 5は符号化済みピクチャまたは復号化済みピ クチャである。 また、 時間間隔 T R 24はピクチャ P 2 3とピクチャ P 24との間の時間間隔、 時間間隔 T R 2 5はピクチャ P 2 3とピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 2とピクチ P 2 4との間の時間間隔、時間間隔 T R 25 'はピクチャ P 2 2とピク チヤ P 2 5との間の時間間隔を示す。
第 1 の方法と しては、 図 1 9に示すように参照ピクチャ P 23におけ るブロック M B 2がピクチャ P 24への後方向動きべク トル MV 24と ピクチャ P 2 5への後方向動きべク トル MV 2 5との 2つの後方向動き べク トルを有するとき、 対象ピクチャ P 2 2に表示時間順で近いピクチ ャ P 24への後方向動きべク トル MV 24のみを用い、 ブロック MB 1 の動きベク トル MV 2 4 'は以下の式により計算される。
M V 24 ' = M V 2 4 x T R 2 4'ノ T R 2 4
そして動きべク トル M V 2 4 'を用いてピクチャ P 2 4から動き補償 を行う。
なお、 後方向動きベク トル M V 2 4を用いながら、 実施の形態 1 と同 様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を 行うこともできる。 その時に用いる動きベク トル MV N 1 (図示せず) は以下の式により計算される。 M V N 1 = M V 2 4 x T R N 1 /T R 24
第 2の方法と しては、 図 20に示すように参照ピクチャ P 2 3におけ るブロック M B 2がピクチャ P 2 4への後方向動きべク トル MV 2 4と ピクチャ P 2 5への後方向動きべク 卜ル MV 2 5との 2つの後方向動き ベク トルを有するとき、 対象ピクチャ P 2 3に表示時間順で遠いピクチ ャ P 2 5への後方向動きべク トル MV 2 5のみを用い、 ブロック M B 1 の動きべク トル MV 2 5 'は以下の式により計算される。
M V 2 5 ' = M V 2 5 x T R 2 5 'ZT R 2 5
そして動きべク トル MV 2 5 'を用いてピクチャ P 2 5から動き補償 を行う。
これら第 1 、 第 2の方法により、 動きベク トルを参照される参照ピク チヤ P 2 3に属するブロック M B 2は、 2つの動きべク トルのうちの片 方のみを記憶しておく ことで動き補償を実現することができるため、 動 きべク トル記憶部の容量を小さく抑えることが可能となる。
なお、 後方向動きべク トル M V 2 5を用いながら、 実施の形態 1 と同 様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を 行うこともできる。 その時に用いる動きベク トル MV N 2 (図示せず) は以下の式によリ計算される。
M V N 2 = M V 2 5 X T R N 1 /T R 2 5
さらに、 第 3の方法として、 図 2 1 に示すように上記で求めた動きべ ク トル M V 2 4 'と動きべク トル MV 2 5 ' を用いてそれぞれピクチャ P 24とピクチャ P 2 5とから動き補償ブロックを取得し、 その平均画 像を動き補償における補間画像とする。
この第 3の方法によリ、 計算量は増加するが、 対象ピクチャ P 2 2の 精度は向上する。
なお、 上記動きべク トル MV N 1 と動きべク トル MV N 2とを用いて ピクチャ P 2 4から動き補償ブロックを取得し、 その平均画像を動き補 償における補間画像とすることもできる。
また、 図 2 2に示すように直接モードにおいて対象動きべク 卜ルを決 定するために用いた参照ピクチャが表示時間順で後方にある 1枚のピク チヤを参照する 1 つの後方向動きべク トルを持っている場合は、 例えば 以下の式により動きべク トル MV 2 4 'は計算される。
M V 2 4 ' = M V 2 4 x T R 2 4 ' / T R 2 4
そして動きベク トル M V 2 4 'を用いてピクチャ P 2 4から動き補償 を行う。
なお、 後方向動きべク トル M V 2 5を用いながら、 実施の形態 1 と同 様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を 行うこともできる。 その時に用いる動きべク トル M V N 3 (図示せず) は以下の式によリ計算される。
M V N 3 = M V 2 4 X T R N 1 /T R 2 4
なお、 本実施の形態においては、 図 1 9から図 2 2を用いて、 表示時 間順で後方にある 2枚のピクチャを参照する 2つの後方向動きベク トル を持っている場合、 および表示時間順で後方にある 1 枚のピクチャを参 照する 1 つの後方向動きべク トルを持っている場合に、 その後方向動き べク トルをスケーリングして対象動きべク トルを計算する場合について 説明したが、 これは後方動きベク トルを用いず、 同一ピクチャ内の周辺 ブロックの動きべク トルを参照して対象動きべク トルを計算しても良い し、 ピクチャ内符号化が行われている場合に同一ピクチャ内の周辺プロ ックの動きべク トルを参照して対象動きべク トルを計算しても良い。 ま ず、 第 1 の計算方法について述べる。 図 2 3は、 その際に参照する動 きべク トルと対象ブロックとの位置関係を示したものである。 ブロック M B 1 が対象ブロックであり、 A、 B、 Cの位置関係にある 3つの画素 を含むブロックの動きべク トルを参照する。 ただし、 画素 Cの位置が画 面外であったリ、 符号化ノ復号化が済んでいない状態であったり して参 照不可となる場合には、 画素 Cを含むブロックの代わりに画素 Dを含む ブロックの動きべク トルを用いるものとする。 参照の対象となった A、 B、 Cの画素を含む 3つのブロックが持つ動きベク トルの中央値を取る ことによって、実際に直接モードにおいて使用する動きベク トルとする。
3つのブロックが持つ動きべク トルの中央値を取ることにより、 3つの 動きべク トルのうちどの動きべク トルを選択したかという付加情報を符 号列中に記述する必要がなく、 かつブロック M B 1 の実際の動きに近い 動きを表現する動きべク トルを得ることができる。 この場合、 決定した 動きベク トルを用いて、 前方参照 (第 1 参照ピクチャへの参照) のみで 動き補償しても良いし、 その決定した動きべク トルと平行な動きべク 卜 ルを用いて、 2方向参照 (第 1参照ピクチャおよび第 2参照ピクチャへ の参照) で動き補償しても良い。
次に、 第 2の計算方法について述べる。
第 2の計算方法では第 1 の計算方法のように中央値を取らずに、 参照 の対象となった A、 B、 Cの画素を含む 3つのブロックが持つ動きべク トルの中から、 符号化効率が一番高くなる動きべク トルを取ることによ つて実際に直接モードにおいて使用する動きベク トルとする。この場合、 決定した動きべク トルを用いて、前方参照(第 1参照ピクチャへの参照) のみで動き補償しても良いし、 その決定した動きべク トルと平行な動き ベク トルを用いて、 2方向参照 (第 1参照ピクチャと第 2参照ピクチャ とを用いた参照) で動き補償しても良い。 符号化効率の一番高い動きべ ク トルを示す情報は、 例えば図 2 4 ( a ) に示すように、 モード選択部 1 0 7から出力される直接モードを示す情報とともに、 符号列生成部 1 0 3によって生成される符号列におけるプロックのヘッダ領域に付加さ れる。 なお、 図 2 4 ( b ) に示すように符号化効率の一番高いベク トル を示す情報はマクロブロックのヘッダ領域に付加してもよい。 また、 符 号化効率の一番高い動きべク トルを示す情報とは、 例えば、 参照の対象 となった画素を含むブロックを識別する番号であって、 ブロック毎に与 えられる識別番号である。また、識別番号でプロックが識別されるとき、 ブロック毎に与えた識別番号を 1 つだけ用いて、 その 1 つの識別番号に 対応するブロックを符号化したときに用いた動きベク トルのうち一方の みを用いて符号化効率が一番高くなる動きベク トルを示すようにしても. 動きべク トルが複数あるときに複数の動きべク トルを用いて符号化効率 が一番高くなる動きベク トルを示すようにしてもよい。 または、 2方向 参照 (第 1 参照ピクチャおよび第 2参照ピクチャへの参照) のそれぞれ の動きべク トル毎にブロック毎に与えられた識別番号を用いて、 符号化 効率が一番高くなる動きべク トルを示すようにしてもよい。 このような 動きべク トルの選択方法を用いることにより、 必ず符号化効率が一番高 くなる動きべク トルを取ることができる。 ただし、 どの動きべク トルを 選択したかを示す付加情報を符号列中に記述しなければならないため、 そのための符号量は余分に必要となる。 さらに、 第 3の計算方法につい て述べる。
第 3の計算方法では、 動きべク トルが参照する参照ピクチャの参照ィ ンデックスの値が一番小さくなる動きべク トルを直接モードにおいて使 用する動きべク トルとする。 参照インデックスが最小であるということ は、 一般的には表示時間順で近いピクチャを参照している、 または符号 化効率が最も高くなる動きベク トルである。 よって、 このような動きべ ク トルの選択方法を用いることにより、 表示時間順で最も近い、 または 符号化効率が最も高くなるピクチャを参照する動きべク トルを用いて、 直接モードで用いる動きべク トルを生成することになリ、 符号化効率の 向上を図ることができる。
なお、 3本の動きべク トルのうち 3本とも同一の参照ピクチャを参照 している場合は、 3本の動きべク トルの中央値をとるようにすればよい また、 3本の動きべク トルのうち参照インデックスの値が一番小さい参 照ピクチャを参照する動きベク トルが 2本ある場合は、 例えば、 2本の 動きべク トルのうち、 どちらか一方を固定的に選択するようにすればよ い。 図 2 3を用いて例を示すとすれば、 画素 Α、 画素 Βおよび画素 Cを 含む 3つのブロックが持つ動きべク トルのうち、 画素 Αおよび画素 Βを 含む 2つのブロックが参照インデックスの値が一番小さく、 かつ同一の 参照ピクチャを参照する場合、 画素 Aを含むブロックが持つ動きべク ト ルをとるようにするとよい。 ただし、 それぞれ画素 A、 画素 B、 画素 C を含む 3つのブロックが持つ動きベク トルのうち、 画素 A、 画素 Cを含 む 2つのプロックが参照ィンデックスの値が一番小さく、 かつ同一の参 照ピクチャを参照する場合、 ブロック B L 1 に位置関係で近い画素 Aを 含むブロックが持つ動きべク トルをとるようにするとよい。
なお、 上記中央値は、 各動きべク トルの水平方向成分と垂直方向成分 それぞれに対して中央値をとるようにしてもよいし、 各動きべク トルの 大きさ (絶対値) に対して中央値をとるようにしてもよい。
また、 動きべク トルの中央値は図 2 5に示すような場合、 後方の参照 ピクチャにおいてブロック B L 1 と同位置にあるブロックと、 画素 A , 画素 B、 画素 Cそれぞれを含むブロックと、 さらに図 2 5に示す画素 D を含むブロック、 これら合計 5つのブロックが有する動きべク トルの中 央値を取るようにしてもよい。このように符号化対象画素の周囲に近い、 後方の参照ピクチャにおいてブロック B L 1 と同位置にあるブロックを 用いたときには、 ブロック数を奇数にするために画素 Dを含むブロック を用いると、 動きべク トルの中央値を算出する処理を簡単にすることが できる。 なお、 後方の参照ピクチャにおいてブロック B L 1 と同位置に ある領域に複数のプロックがまたがっている場合、 この複数のブロック のうちブロック B L 1 と重なる領域が最も大きいブロックにおける動き べク トルを用いてブロック B L 1 の動き補償をしてもよいし、 あるいは ブロック B L 1 を後方の参照ピクチャにおける複数のプロックの領域に 対応して分けて、 分けたブロック毎にブロック B L 1 を動き補償するよ うにしてもよい。
さらに、 具体的な例を挙げて説明する。
図 2 6や図 2 7に示すように画素 A, 画素 B, 画素 Cを含むブロック 全てが符号化対象ピクチャより前方のピクチャを参照する動きべク トル の場合、 上記第 1 の計算方法から第 3の計算方法まで、 いずれを用いて もよい。
同様に、 図 2 8や図 2 9に示すように画素 A, 画素 B, 画素 Cを含む プロック全てが符号化対象ピクチャよリ後方のピクチャを参照する動き ベク トルの場合、 上記第 1 の計算方法から第 3の計算方法まで、 いずれ を用いてもよい。
次に、 図 3 0に示す場合について説明する。 図 3 0は、 画素 A, 画素 B, 画素 Cそれぞれを含むブロック全てが符号化対象ピクチャより前方 と後方のピクチャを参照する動きベク トルを 1 本ずつ有する場合を示す, 上記第 1 の計算方法によれば、 ブロック B L 1 の動き補償に用いる前 方の動きべク トルは動きべク トル MV A f 、 動きべク トル MV B f 、 動 きべク トル MV C f の中央値により選択され、 ブロック B L 1 の動き補 償に用いる後方の動きべク トルは動きべク トル MV A b、 動きべク トル MV B b、 動きベク トル M V C bの中央値により選択される。 なお、 動 きべク トル MV A f は画素 Aを含むブロックの前方向動きべク トル、 動 きべク トル M V A bは画素 Aを含むブロックの後方向動きべク トル、 動 きべク 卜ル M V B f は画素 Bを含むブロックの前方向動きべク 卜ル、 動 きべク 卜ル M V B bは画素 Bを含むブロックの後方向動きべク トル、 動 きべク トル M V C f は画素 Cを含むブロックの前方向動きべク トル、 動 きべク トル M V C bは画素 Cを含むブロックの後方向動きべク トルであ る。 また、 動きべク トル M V A f 等は、 図示するようなピクチャを参照 する場合に限られない。 これらは以下の説明でも同様である。
上記第 2の計算方法によれば、 動きベク トル M V A f 、 動きベク トル M V B f 、 動きべク トル M V C f の前方参照の動きべク トルの中から符 号化効率が一番高くなる動きベク トルと、 動きベク トル M V A b、 動き べク トル M V B b、 動きべク トル M V C bの後方参照の動きべク トルの 中から符号化効率が一番高くなる動きベク トルとを取ることによって実 際に直接モードにおいて使用する動きベク トルとする。 この場合、 動き べク トル M V A f 、 動きべク トル M V B f 、 動きべク トル M V C f の前 方参照の動きべク トルの中から符号化効率が一番高くなる動きべク トル を用いて、 前方参照のみで動き補償しても良いし、 その決定した動きべ ク トルと平行な動きべク トルを用いて、 2方向参照で動き補償しても良 い。 なお、 符号化効率が一番高くなるように、 前方参照と後方参照の動 きベク トルそれぞれについて選択せず、 1 つのブロックを選択し、 その ブロックが有する前方参照と後方参照の動きベク トルを用いて動き補償 しても良い。 このとき、 符号化効率が一番高くなるように選択された前 方参照の動きべク トルを有する画素を有するブロックと、 符号化効率が 一番高くなるように選択された後方参照の動きベク トルを有する画素を 有するブロックとを示す情報を選択する場合に比べて、 選択を示す情報 が少なくて済むため、 符号化効率を向上させることができる。 また、 こ の 1 つのプロックの選択は、 ①前方参照の動きべク トルが参照するピク チヤの参照インデックスの値が一番小さくなる動きベク トルを有する画 素を含むブロックとする、 ②各画素を有するプロックの前方参照の動き べク トルが参照するピクチャの参照ィンデックスの値と、 後方参照の動 きべク トルが参照するピクチャの参照ィンデックスの値とを加算し、 加 算した値が最小となるプロックとする、 ③前方参照の動きべク トルが参 照するピクチャの参照インデックスの中央値をとリ、 中央値を有する前 方参照の動きべク トルを有する画素を含むブロックとし、 後方参照の動 きべク トルは、 このブロックの有する後方参照の動きべク トルとする、 ④後方参照の動きべク トルが参照するピクチャの参照ィンデックスの中 央値をとリ、 中央値を有する後方参照の動きべク トルを有する画素を含 むブロックとし、 前方参照の動きベク トルは、 このブロックの有する前 方参照の動きべク トルとする、 のいずれかを採用すればよい。 なお、 後 方参照の動きべク トルが全て同一のピクチャを参照している場合は、 上 記①と③のプロックの選択方法が適している。
上記第 3の計算方法では、 動きべク トル M V A f 、 動きべク トル M V B f 、 動きべク トル M V C f の前方参照の動きべク トルが参照する参照 ピクチャの参照インデックスの値が一番小さくなる動きベク トルを直接 モードにおいて使用する前方参照(第 1 の参照)の動きベク トルとする。 または、 動きべク トル M V A b、 動きべク トル M V B b、 動きべク トル M V C bの後方参照の動きベク トルが参照する参照ピクチャの参照イン デックスの値が一番小さくなる動きべク トルを直接モードにおいて使用 する後方参照 (第 2の参照) の動きべク トルとする。 なお、 第 3の計算 方法では、 参照ピクチャの参照ィンデックスの値が一番小さくなる前方 参照の動きべク トルをブロック B L 1 の前方参照の動きべク トルと し、 参照ピクチャの参照ィンデックスの値が一番小さくなる後方参照の動き べク トルをブロック B L 1 の後方参照の動きべク トルとしたが、 参照ピ クチャの参照インデックスの値が一番小さくなる前方または後方のいず れか一方を用いてブロック B L 1 の 2つの動きべク トルを導出し、 導出 された動きべク トルを用いてブロック B L 1 を動き補償しても良い。 次に、 図 3 1 に示す場合について説明する。 図 3 1 は、 画素 Aが前方 と後方のピクチャを参照する動きべク トルを 1本ずつ有し、 画素 Bが前 方のピクチャを参照する動きべク トルのみを有し、 画素 Cが後方のピク チヤを参照する動きべク トルのみを有する場合を示す。
このように一方のピクチャを参照する動きベク トルのみ有する画素を 含むブロックがあるとき、 このブロックの他方のピクチャを参照する動 きべク トルが 0であるとして、 動き補償するために上記図 3 0での計算 方法を用いれば良い。 具体的には、 図 3 0での第 1 の計算方法または第 3の計算方法を用い、 MV C f = M V B b = 0と して計算すればよい。 すなわち、 第 1 の計算方法では、 ブロック B L 1 の前方向動きべク トル を計算するときには、 画素 Cが前方のピクチャを参照する動きべク トル MV C f を MV C f = 0として、 動きベク トル MV A f 、 動きベク トル MV B f および動きべク トル MV C f の中央値を計算する。 また、 プロ ック B L 1 の後方向動きべク トルを計算するときには、 画素 Bが後方の ピクチャを参照する動きべク トル MV B bを MV B b = 0として、 動き べク トル MV A b、 動きべク トル M V B bおよび動きべク トル M V C b の中央値を計算する。
第 3の計算方法では、 画素 Cが前方のピクチャを参照する動きべク ト ル MV C f と画素 Bが後方のピクチャを参照する動きべク トル M V B b とを MV C f =MV B b = 0と して、 ブロック B L 1 の動きべク トルカ 参照する参照ピクチャの参照ィンデックスの値が一番小さくなる動きべ ク トルを計算する。 例えば、 画素 Aを含むプロックが第 1 参照ィンデッ クス 「 0」 のピクチャを参照し、 画素 Bを含むブロックが第 1参照イン デックス 「 1 」 のピクチャを参照している場合、 最小の第 1参照インデ ックスの値は 「 0」 である。 従って、 画素 Bを含むブロックの前方のピ りチャを参照する動きべク トル M V B f だけが、 最小の第 1参照ィンデ ックスを有するピクチャを参照しているので、 動きべク トル M V B f を ブロック B L 1 の前方向動きベク トルとする。 また、 例えば、 画素 A、 画素 Cのいずれもが第 2参照インデックスが最小の、 例えば、 第 2参照 インデックスが 「 0」 の後方ピクチャを参照している場合、 画素 Bが後 方のピクチャを参照する動きべク トル M V B bを MV B b = 0として、 動きべク 卜ル M V A b、 動きべク 卜ル M V B bおよび動きべク 卜ル M V C bの中央値を計算する。 計算の結果得られた動きべク トルをブロック B L 1 の後方向動きベク トルとする。
次に、 図 3 2に示す場合について説明する。 図 3 2は、 画素 Aが前方 と後方のピクチャを参照する動きべク トルを 1 本ずつ有し、 画素 Bが前 方のピクチャを参照する動きべク 卜ルのみを有し、 画素 Cが動きべク 卜 ルを有さず、 画面内符号化される場合を示す。
このように、 参照対象となった画素 Cを含むブロックが画面内符号化 されているとき、 このブロックの前方と後方のピクチャを参照する動き べク トルを共に 「 0」 であるとして、 動き補償するために上記図 3 0で の計算方法を用いれば良い。 具体的には、 M V C f = M V C b = 0とし て計算すればよい。 なお、 図 3 0の場合は、 M V B b = 0である。
最後に、 図 3 3に示す場合について説明する。 図 3 3は、 画素 Cが直 接モードによって符号化されている場合について示している。
このように、 参照対象となった画素に、 直接モードによって符号化さ れているブロックがあるとき、 直接モードによって符号化されているブ ロックが符号化されるときに用いられた動きべク トルを用いた上で、 上 記図 3 0での計算方法を用いてブロック B L 1 の動き補償をするとよい なお、 動きべク トルが前方参照と後方参照のどちらかであるかは、 参 照されるピクチャと符号化されるピクチャ、 それぞれのピクチャが有す る時間情報によって決まる。 よって、 前方参照と後方参照を区別した上 で、 動きべク トルを導出する場合は、 それぞれのブロックが有する動き べク トルが、 前方参照と後方参照のどちらかであるかを、 それぞれのピ クチャが有する時間情報によって判断する。
さらに、上記で説明した計算方法を組み合わせた例について説明する。 図 3 4は直接モードにおいて使用する動きべク トルを決定する手順を示 す図である。 図 3 4は参照インデックスを用いて動きべク トルを決定す る方法の一例である。 なお、 図 3 4に示す R i dxO、 R i dx 1 は上記で説明し た参照インデックスである。図 3 4 ( a ) は第 1 参照インデックス R i dxO によって動きベク トルを決定する手順を示しており、 図 3 4 ( ) は第 2参照インデックス R i dx l によって動きベク トルを決定する手順を示し ている。 まず、 図 3 4 ( a ) について説明する。
ステップ S3701 において画素 Aを含むブロック、 画素 Bを含むブロッ クおよび画素 Cを含むブロックのうち、 第 1参照インデックス R i dxOを 用いてピクチャを参照するブロックの数を計算する。
ステップ S3701 において計算されたプロックの数が Γ 0 J であれば、 さらにステップ S3702において第 2参照インデックス R ί dx 1 を用いてピ クチャを参照するブロックの数を計算する。 ステップ S3702において計 算されたブロックの数が 「0」 であれば、 S3703 において符号化対象ブ ロックの動きべク トルを 「 0」 として符号化対象ブロックを 2方向で動 き補償をする。 一方ステツプ S3702において計算されたプロックの数が Γ 1 」 以上であれば、 S3704において第 2参照インデックス R i dx 1 が存 在するブロックの数によって符号化対象ブロックの動きベク トルを決定 する。 例えば、 第 2参照インデックス R i dx l が存在するブロックの数に よって決定された動きベク トルを用いて符号化対象ブロックの動き補償 を行う。
ステップ S3701 において計算されたブロックの数が Γ 1 j であれば、 S3705 において第 1参照ィンデックス RidxO が存在するプロックの動き べク トルを使用する。
ステップ S3701 において計算されたブロックの数が Γ 2 J であれば、 S3706 において第 1参照ィンデックス RidxO が存在しないブロックにつ いて仮に第 1参照インデックス R i dxOに MV=0の動きべク トルがあるもの として、 3本の動きべク トルの中央値にあたる動きべク トルを使用する。 ステップ S3701 において計算されたブロックの数が 「 3」 であれば、 S3707 において 3本の動きべク トルの中央値にあたる動きべク トルを使 用する。 なお、 ステップ S3704.における動き補償は、 1 本の動きべク ト ルを用いて 2方向の動き補償をしてもよい。 ここでの 2方向の動き補償 は、 1 本の動きべク トルと同一方向の動きべク トルと反対方向の動きべ ク トルとをこの 1本の動きべク トルを例えばスケーリングすることによ つて求めた上で行ってもよいし、 あるいは 1 本の動きベク トルと同一方 向の動きべク トルと動きべク トルが 「 0」 の動きべク トルとを用いて行 つてもよい。 次に、 図 3 4 ( b ) について説明する。
ステップ S3711 において第 2参照ィンデックス Ridxl が存在するプロ ックの数を計算する。
ステップ S3711 において計算されたブロックの数が Γ 0 J であれば、 さらにステップ S3712において第 1参照ィンデックス RidxOが存在する ブロックの数を計算する。 ステップ S3712において計算されたプロック の数が 「 0」 であれば、 S3713 において符号化対象ブロックの動きべク トルを 「 0」 として符号化対象ブロックを 2方向で動き補償する。 一方 ステップ S3712において計算されたブロックの数が Γ 1 」以上であれば、 S3714において第 1参照ィンデックス RidxOが存在するプロックの数に よって符号化対象ブロックの動きベク トルを決定する。 例えば、 第 1参 照インデックス R i dxOが存在するプロックの数によって決定された動き べク トルを用いて符号化対象ブロックの動き補償を行う。
ステップ S371 1 において計算されたブロックの数が Γ 1 j であれば、 S371 5 において第 2参照インデックス R ί dx 1 が存在するブロックの動き ベク トルを使用する。
ステップ S371 1 において計算されたプロックの数が Γ 2 J であれば、 S371 6 において第 2参照ィンデックス R i dx l が存在しないプロックにつ いて仮に第 2参照インデックス R i dxlに MV=0の動きべク トルがあるもの として、 3本の動きべク トルの中央値にあたる動きべク トルを使用する。 ステップ S371 1 において計算されたプロックの数が Γ 3 j であれば、 S371 7 において 3本の動きべク トルの中央値にあたる動きべク トルを使 用する。 なお、 ステップ S371 4における動き補償は、 1 本の動きべク ト ルを用いて 2方向の動き補償をしてもよい。 ここでの 2方向の動き補償 は、 1 本の動きベク トルと同一方向の動きベク トルと反対方向の動きべ ク トルとをこの 1 本の動きべク トルを例えばスケーリングすることによ つて求めた上で行ってもよいし、 あるいは 1 本の動きべク トルと同一方 向の動きべク トルと動きべク トルが 「 0」 の動きべク トルとを用いて行 つてもよい。
なお、 図 3 4 ( a ) と図 3 4 ( b ) それぞれについて説明したが、 両 方の処理を用いてもよいし、 一方の処理のみを用いても良い。 ただし、 —方の処理を用いる場合、 例えば、 図 3 4 ( a ) に示すステップ S3701 から始まる処理を行う場合で、 さらにステップ S3704の処理に至る場合 は、 図 3 4 ( b ) に示す S371 1 の処理以下を行うと良い。 また、 このよ うに、 S3704の処理に至る場合は、 ス亍ップ S371 1 以下の処理のうちス テツプ S371 2以下の処理を行うことが無いため、 動きべク トルを一意に 决定することができる。 また、 図 3 4 ( a ) と図 3 4 ( b ) の両方の処 理を用いる場合、 どちらの処理を先にしてもよく、 また併せて行っても 良い。 また、 符号化対象ブロックの周囲にあるブロックが直接モードに よって符号化されているブロックであるとき、 直接モードによって符号 化されているブロックが符号化されたときに用いられた動きべク トルカ 参照していたピクチャの参照インデックスを、 直接モードによって符号 化されているブロックであって符号化対象ブロックの周囲にあるブロッ クが有しているものと してもよい。
以下、 具体的なブロックの例を用いて動きべク トルの決定方法につい て詳しく説明する。 図 3 5は符号化対象ブロック B L 1 が参照するプロ ックそれぞれが有する動きベク トルの種類を示す図である。 図 35 ( a ) において、 画素 Aを有するブロックは画面内符号化されるブロックであ リ、 画素 Bを有するブロックは動きベク トルを 1本有し、 この 1本の動 きべク トルで動き補償されるブロックであり、 画素 Cを有するブロック は動きべク トルを 2本有して 2方向で動き補償されるブロックである。 また、 画素 Bを有するブロックは第 2参照インデックス R i dx l に示され る動きべク トルを有している。 画素 Aを有するブロックは画面内符号化 されるブロックであるため、 動きベク トルを有さず、 すなわち参照イン デックスも有さない。
ステップ S3701 において第 1参照インデックス R i dxOが存在するプロ ックの数を計算する。 図 35 に示すように第 1参照インデックス R i dxO が存在するブロックの数は 2本であるため、 ステップ S3706において第 1参照ィンデックス R i dxOが存在しないプロックについて仮に第 1参照 インデックス R i dxOに MV=0の動きべク トルがあるものとして、 3本の動 きベク トルの中央値にあたる動きベク トルを使用する。 この動きべク ト ルのみを用いて符号化対象プロックを 2方向の動き補償をしてもよいし, または、 以下に示すように第 2参照インデックス R i dx1 を用いて別の動 きベク トルを用いて、 2方向の動き補償をしてもよい。
ステップ S3711 において第 2参照インデックス Ridxl が存在するプロ ックの数を計算する。 図 35 に示すように第 2参照インデックス Ridxl が存在するブロックの数は 1 本であるため、 ステップ S3715において第 2参照インデックス Ridxl が存在するブロックの動きべク トルを使用す る。
さらに、 上記で説明した計算方法を組み合わせた別の例について説明 する。 図 3 6は画素 A、 B、 Cそれぞれを有するブロックが有する動き ベク トルが参照するピクチャを示す参照インデックスの値によって、 符 号化対象ブロックの動きべク トルを決定する手順を示す図である。 図 3 6 ( a ) ( b ) は第 1 参照インデックス RidxOを基準に動きべク トルを决 定する手順を示す図であり、 図 3 6 ( c ) ( d ) は第 2参照インデックス Ridxl を基準に動きべク トルを決定する手順を示す図である。 また、 図 3 6 ( a ) が第 1参照インデックス RidxOを基準にした手順を示してい るところを図 3 6 ( c ) は第 2参照インデックス Ridxl を基準にした手 順を示しており、 図 3 6 ( b ) が第 1参照インデックス Ri dxOを基準に した手順を示していると ころを図 3 6 ( d ) は第 2参照インデックス Ridxl を基準にした手順を示しているため、 以下の説明では図 3 6 ( a ) と図 3 6 ( b ) のみについて説明する。 まず図 3 6 ( a ) について説明 する。
ステップ S3801 において有効な第 1参照インデックス R i dxOの中で最 小の第 1参照ィンデックス RidxOを 1 つ選択できるか判断する。
ステツプ S3801 において有効な第 1参照ィンデックス RidxOの中で最 小の第 1参照ィンデックス RidxOを 1 つ選択できる場合、ステツプ S3802 において選択された動きべク トルを使用する。 ステップ S3801 において有効な第 1参照ィンデックス RidxOの中で最 小の第 1参照インデックス R i dxOが複数ある場合、 ステップ S3803にお いて優先順位によって選択されたブロックが有する動きベク トルを使用 する。 ここで、 優先順位とは、 例えば画素 Aを有するブロック、 画素 B を有するブロック、 画素 Cを有するブロックの順で符号化対象ブロック の動き補償に使用する動きべク トルを決定する。
ステップ S3801 において有効な第 1参照ィンデックス RidxOがない場 合、 ステップ S3804において S3802や S3803とは違う処理を行う。 例え ば、 図 3 4 ( b ) で説明したステップ S3711 以下の処理をすればよい。 次に、 図 3 6 ( b ) について説明する。 図 3 6 ( b ) が図 3 6 ( a ) と 異なる点は、 図 3 6 ( a ) におけるステップ S3803 とステップ S3804に おける処理を図 3 6 ( b ) に示すステップ S3813と した点である。
ステップ S3811 において有効な第 1 参照インデックス R i dxOの中で最 小の第 1参照ィンデックス RidxOを 1 つ選択できるか判断する。
ステップ S3811 において有効な第 1 参照インデックス R ί dxOの中で最 小の第 1参照インデックス RidxOを 1 つ選択できる場合、ステップ S3812 において選択された動きべク トルを使用する。
ステップ S3811 において有効な第 1 参照ィンデックス RidxOがない場 合、 ステップ S3813において S3812 とは違う処理を行う。 例えば、 図 3 4 ( b ) で説明したステップ S3711 以下の処理をすればよい。
なお、 上記で示した有効な第 1 参照インデックス RidxO とは図 3 5 ( b ) で Γ〇」 が記されている第 1 参照インデックス R i dxOのことであ リ、 動きべク トルを有していることが示されている参照インデックスの ことである。 また、 図 3 5 ( b ) 中、 「 xj が記されているところは、 参 照インデックスが割り当てられていないことを意味する。 また、 図 3 6 ( c ) におけるステップ S3824、 図 3 6 ( d ) におけるステップ S3833 では、図 3 4 ( a )で説明したステップ S 3701 以下の処理をすればよい。 以下、 具体的なブロックの例を用いて動きべク トルの決定方法につい て図 3 5を用いて詳しく説明する。
ステツプ S3801 において有効な第 1 参照ィンデックス RidxOの中で最 小の第 1 参照ィンデックス RidxOを 1 つ選択できるか判断する。
図 3 5に示す場合、有効な第 1参照インデックス RidxOは 2つあるが、 ステップ S3801 において有効な第 1参照ィンデックス RidxOの中で最小 の第 1参照ィンデックス RidxO を 1 つ選択できる場合、 ステップ S3802 において選択された動きべク トルを使用する。
ステップ S3801 において有効な第 1参照インデックス R i dxOの中で最 小の第 1 参照インデックス RidxOが複数ある場合、 ステップ S3803にお いて優先順位によって選択されたプロックが有する動きべク トルを使用 する。 ここで、 優先順位とは、 例えば画素 Aを有するブロック、 画素 B を有するブロック、 画素 Cを有するブロックの順で符号化対象ブロック の動き補償に使用する動きべク トルを決定する。 画素 Bを有するブロッ クと画素 Cを有するブロックとで同一の第 1 参照インデックス RidxOを 有する場合、 優先順位によリ画素 Bを有するプロックにおける第 1参照 インデックス RidxOが採用され、 この画素 Bを有するブロックにおける 第 1参照インデックス RidxOに対応した動きベク トルを用いて符号化対 象ブロック BL1 の動き補償がされる。 このとき、 決定された動きべク ト ルのみを用いて符号化対象ブロック BL1 を 2方向で動き補償してもよい し、 以下に示すように第 2参照インデックス Ridxl を用いて別の動きべ ク トルを用いて、 2方向の動き補償をしてもよい。
ステップ S3821 において有効な第 2参照インデックス Ridxl の中で最 小の第 2参照ィンデックス Ridxl を 1 つ選択できるか判断する。
図 3 5に示す場合、 有効な第 2参照インデックス Ridxl は 1 つである ため、 ステップ S3822において画素 Cを有するブロックにおける第 2参 照インデックス R i dx1 に対応した動きべク 卜ルを使用する。
なお、 上記で参照インデックスを有さないブロックについて、 動きべ ク トルの大きさが 「 0」 の動きベク トルを有しているものと して、 合計 3つの動きベク トルの中央値をとるようにした点に関しては、 動きべク トルの大きさが 「 0」 の動きべク トルを有しているものとして、 合計 3 つの動きべク トルの平均値をとるようにしても、 参照インデックスを有 するブロックが有する動きべク トルの平均値をとるようにしてもよい。 なお、 上記で説明した優先順位を、 例えば画素 Bを有するブロック、 画素 Aを有するブロック、 画素 Cを有するブロックの順とし、 符号化対 象ブロックの動き補償に使用する動きベク トルを決定するようにしても よい。
このように、 参照インデックスを用いて符号化対象ブロックを動き補 償をするときに用いる動きべク トルを決定することにより、 動きべク 卜 ルを一意に決定することができる。 また、 上述の例に拠れば、 符号化効 率の向上も図ることが可能である。 また、 時刻情報を用いて動きべク ト ルが前方参照か後方参照かを判断する必要が無いため、 動きべク トルを 決定するための処理を簡略させることができる。 また、 ブロック毎の予 測モード、 動き補償で用いられる動きべク トル等を考慮すると多くのパ ターンが存在するが、 上述のように一連の流れによって処理することが でき有益である。
なお、 本実施の形態においては、 参照する動きべク トルに対してピク チヤ間の時間的距離を用いてスケーリングすることによリ、 直接モード において用いる動きべク トルを計算する場合について説明したが、 これ は参照する動きベク トルを定数倍して計算しても良い。 ここで、 定数倍 に使用される定数は、 複数ブロック単位または複数ピクチャ単位で符号 化または復号化する場合に、 変更可能と しても良い。
なお、 参照インデックス R i dx0, R i dx 1 を用いた動きべク トルの計算方 法は、 中央値を用いた計算方法だけでなく、 他の計算方法と組み合わせ てもよい。 例えば、 前述の第 3の計算方法において、 それぞれ画素 A、 画素 B、 画素 Cを含むブロックのうち、 参照インデックスが最小となる 同じピクチャを参照する動きべク トルが複数ある場合に、 必ずしもそれ らの動きべク トルの中央値を計算する必要はなく、 それらの平均値を計 算し、 得られた動きベク トルを、 ブロック B L 1 の直接モー ドにおいて 用いる動きベク トルと してもよい。 あるいは、 参照インデックスが最小 となる複数の動きべク小ルの中から、 例えば、 符号化効率が最も高くな る動きべク トルを 1 つ選択すると してもよい。
また、 ブロック B L 1 の前方向動きべク トルと後方向動きべク トルと をそれぞれ独立して計算してもよいし、 関連付けて計算してもよい。 例 えば、 前方向動きべク トルと後方向動きべク トルとを同じ動きべク トル から計算してもよい。
また、 計算の結果得られた前方向動きべク トルと後方向動きべク トル とのいずれか一方をブロック B L 1 の動きべク トルとしてもよい。 (実施の形態 8 )
本実施の形態では、 参照ピクチャの参照ブロック M Bが、 長時間メモ リに保存されている参照ピクチャを第 1参照ピクチャと して参照する前 方向 (第 1 ) 動きベク トルと、 短時間メモリに保存されている参照ピク チヤを第 2参照ピクチャとして参照する後方向 (第 2 ) 動きベク トルと を有している。
図 3 7は長時間メモリに参照ピクチャが 1 つだけ保存されている場合 の直接モー ドにおける 2方向予測を示す図である。
実施の形態 8がこれまでの複数の実施の形態と異なる点は、 参照ピク チヤのブロック MB2の前方向 (第 1 ) 動きべク トル MV21 が長時間メモリ に保存されている参照ピクチャを参照している点である。
短時間メモリは、 一時的に参照ピクチャを保存するためのメモリであ リ、 例えぱピクチャがメモリに保存された順番 (すなわち符号化または 復号化の順序) でピクチャが保存されている。 そして、 ピクチャを短時 間メモリに新しく保存する際にメモリ容量が足りない場合には、 最も古 く メモリに保存されたピクチャから順に削除する。
長時間メモリでは、 必ずしも短時間メモリのように時刻の順番でピク チヤが保存されているとは限らない。 例えば、 画像を保存する順番とし ては画像の時刻の順番を対応させても良いし、 画像が保存されているメ モリのア ドレスの順番を対応させても良い。 したがって、 長時間メモリ に保存されているピクチャを参照する動きべク トル M21 を時間間隔に基 づいてスケ一リングすることはできない。
長時間メモリは短期間メモリのように一時的に参照ピクチャを保存す るためのものではなく、 継続的に参照ピクチャを保存するためのもので ある。 したがって、 長時間メモリに保存されている動きべク トルに対応 する時間間隔は、 短時間メモリに保存されている動きべク トルに対応す る時間間隔より相当大きい。
図 3 7において、長時間メモリ と短時間メモリの境界は図示した通り、 縦の点線で示されており、 これより左のピクチャに関する情報は長時間 メモリに保存され、 これよリ右のピクチャに対する情報は短時間メモリ に保存される。 ここでピクチャ P 2 3のブロック M B 1 が対象ブロック である。 また、 ブロック M B 2はブロック M B 1 と参照ピクチャ P 2 4 内において同じ位置にある参照ブロックである。 参照ピクチャ P 2 4の ブロック MB2 の動きべク トルのうち前方向 (第 1 ) 動きべク トル MV21 は長時間メモリに保存されているピクチャ P 2 1 を第 1 参照ピクチャと して参照する第 1動きべク トルであり、後方向(第 2 )動きべク トル MV25 は短時間メモリに保存されているピクチャ P 2 5を第 2参照ピクチャと して参照する第 2動きべク トルである。
前述の通り、 ピクチャ P 2 1 とピクチャ P 2 4との時間間隔 TR21 は、 長時間メモリに保存されているピクチャを参照する動きべク トル MV21 に対応し、 ピクチャ P 2 4とピクチャ P 2 5 との時間間隔 TR25は、短時 間メモリに保存されているピクチャを参照する動きベク トル MV25 に対 応し、 ピクチャ P 2 1 とピクチャ P 2 4との時間間隔 TR21 は、 ピクチャ P 2 4とピクチャ P 2 5との時間間隔 TR25より相当大きいか、不定とな ることがある。
したがって、 これまでの実施の形態のように参照ピクチャ P 2 4のブ ロック MB2の動きべク トルをスケーリングして対象ピクチャ P 2 3のブ ロック MB 1 の動きべク トルを求めるのではなく、 以下のような方法で対 象ピクチャ P 2 3のブロック MB 1 の動きべク 卜ルを計算する。
MV21 = MV21 '
MV24' = 0
上の式は、 参照ピクチャ P 2 4のブロック MB2の動きべク トルのうち 長時間メモリに保存されている第 1 動きべク トル MN21 をそのまま対象 ピクチャの第 1 動きベク トル MV21 'とするということを表している。 下の式は、 短時間メモリに保存されているピクチャ P 2 4への、 対象 ピクチャ P23のブロック MB1 の第 2動きべク トル MV24'は、 第 1 動きべ ク トル MV21 'よリも十分小さいので、 無視できるということを表してい る。 第 2動きべク トル MV24'は" 0 "として扱われる。
以上のようにして、 長時間メモリに保存されている参照ピクチャを第 1 参照ピクチャとして参照する 1 つの動きべク トルと短時間メモリに保 存されている参照ピクチャを第 2の参照ピクチャとして参照する 1 つの 動きべク トルとを参照ブロック M Bが有する場合、 参照ピクチャのプロ ックの動きべク トルのうち、 長時間メモリに保存された動きべク トルを そのまま使用して対象ピクチャのブロックの動きベク トルとして 2方向 予測をする。
なお、 長時間メモリに保存された参照ピクチャは、 第 1 参照ピクチャ または第 2ピクチャのいずれのピクチャであってもよく、 長時間メモリ に保存された参照ピクチャを参照する動きべク トル M V 2 1 は後方向動 きべク トルであってもよい。 また、 第 2参照ピクチャが長時間メモリに 保存され、第 1参照ピクチャが短時間メモリに保存されている場合には、 第 1 参照ピクチャを参照する動きベク トルにスケーリングを適用し、 対 象ピクチャの動きべク トルを計算する。
これにより、 長時間メ モリの相当大きい、 または不定となる時間を用 いないで 2方向予測の処理を行うことができる。
なお、 参照する動きべク 卜ルをそのまま使用するのではなく、 その動 きベク トルを定数倍して 2方向予測をしても良い。
また、 定数倍に使用される定数は、 複数ブロック単位または複数ピク チヤ単位で符号化または復号化する場合に、 変更可能と しても良い。 (実施の形態 9 )
本実施の形態では、 参照ピクチャの参照ブロック M Bが、 長時間メモ リに保存されている参照ピクチャを参照する 2つの前方向動きべク トル を有している場合の直接モードにおける 2方向予測を示す。
図 3 8は、 参照プロック M Bが長時間メモリに保存された参照ピクチ ャを参照する 2つの動きベク トルを有する場合の直接モードにおける 2 方向予測を示す図である。
実施の形態 9が実施の形態 8と異なる点は、 参照ピクチャのブロック MB2の動きべク トル MV21 と動きべク トル MV22両方が長時間メモリに保 存されているピクチャを参照する点である。
図 3 8において、長時間メモリと短時間メモリの境界は図示した通り、 縦の点線で示されており、 これよリ左のピクチャに関する情報は長時間 メモリに保存され、 これより右のピクチャに対する情報は短時間メモリ に保存される。 参照ピクチャ P24 のブロック MB2 の動きべク トル MV21 及び動きべク トル MV22は、 2つとも長時間メモリに保存されたピクチャ を参照している。参照ピクチャ P21 には動きべク トル MB21 が対応し、参 照ピクチャ P22には動きべク トル MV22が対応している。
長時間メモリに保存されているピクチャ P22を参照する動きべク トル MV22 に対応してピクチャ P22 と P24 との時間間隔 TR22は、 短時間メモ リに保存されているピクチャ P24とピクチャ P25との時間間隔 TR25よリ 相当大きい、 または不定となることがある。
図 3 8において、 動きべク トル MV22に対応するピクチャ P22、 動きべ ク トル MV21 に対応するピクチャ P21 の順で順香が割り当てられて、ピク チヤ P21、 ピクチャ P22が長時間メモリに保存されている。 図 3 8では 以下のように対象ピクチャのブロック MB 1 の動きべク トルを計算する。
MV22 ' = V22
V24' = 0
上の式は、 参照ピクチャ P24のブロック MB2の動きべク トルのうち、 最も割リ当てられた順番が小さいピクチャ P21 を参照する動きべク トル 圖 22をそのまま対象ピクチャ P23のブロック MB 1 の動きべク トル MV22 ' とするということを表している。
下の式は、 短時間メモリに保存されている対象ピクチャ P23のプロッ ク MB 1の後方向動きべク トル MV24'は動きべク トル MV21 'よりも十分小さ いので、無視できるということを表している。後方向動きべク トル MV24' は〃 0 "と して扱われる。 W
以上のようにして、 長時間メモリに保存された参照ピクチャのブロッ クの動きベク トルのうち最も割り当てられた順番が小さいピクチャを参 照する動きベク トルをそのまま使用して対象ピクチャのブロックの動き ベク トルとすることで、 長時間メモリの相当大きい、 または不定となる 時間を用いないで 2方向予測の処理を行うことができる。
なお、 参照する動きべク トルをそのまま使用するのではなく、 その動 きべク トルを定数倍して 2方向予測をしても良い。
また、 定数倍に使用される定数は、 複数ブロック単位または複数ピク チヤ単位で符号化または復号化する場合に、 変更可能と しても良い。 さらに、参照ピクチヤのブロック MB2の動きベク トル MV21 と動きべク トル MV22 との両方が長時間メモリに保存されているピクチャを参照す る場合、 第 1 参照ピクチャを参照する動きべク トルを選択すると しても よい。例えば、 MV21 が第 1参照ピクチャを参照する動きベク トルであり、 V22が第 2参照ピクチャを参照する動きべク トルである場合、 ブロック M B 1 の動きベク トルはピクチャ P 2 1 に対する動きベク トル M V 2 1 とピクチャ P 2 4に対する動きベク トル " 0 " とを用いることになる。 (実施の形態 1 0 )
本実施の形態では、 実施の形態 5から実施の形態 9に記載された直接 モードにおける動きべク トル計算方法について説明を行う。 この動きべ ク トル計算方法は、 画像の符号化または復号化の際いずれにも適用され る。 ここでは、 符号化または復号化の対象のブロックを対象ブロック M Bという。 また、 対象ブロック M Bの参照ピクチャ中において対象プロ ックと同じ位置にあるブロックを参照ブロックという。
図 3 9は、 本実施の形態に係る動きべク トル計算方法の処理の流れを 示す図である。
まず、 対象ブロック M Bの後方の参照ピクチャ中の参照ブロック M B が動きベク トルを有するか否かが判定される (ステップ S 1 )。参照ブロ ック M Bが動きべク トルを有していなければ (ステップ S 1 ; N o )、 動 きベク トルが 0 "と して 2方向予測されて (ステップ S 2 ) 動きべク ト ルを計算する処理が終了する。
参照ブロック M Bが動きベク トルを有していれば (ステップ S 1 ; Y e s )、参照プロック M Bが前方向動きべク トルを有するか否かが判定さ れる (ステップ S 3 )。
参照ブロック M Bが前方向動きべク トルを有しない場合 (ステップ S
3 ; N o )、参照ブロック M Bは後方向動きべク トルしか有していないの で、 その後方向動きべク トルの数が判定される (ステップ S 1 4 )。 参照 ブロック M Bの後方向動きべク トルの数が〃 2〃の場合、図 1 9、図 2 0、 図 2 1 および図 2 2で記載されたいずれかの計算方法にしたがってスケ ーリ ングされた 2つの後方向動きべク トルを用いて 2方向予測が行われ る (ステップ S 1 5 )。
一方、 参照ブロック M Bの後方向動きべク トルの数が" 1 "の場合、 参 照ブロック M Bが有する唯一の後方向動きベク トルをスケーリングして. スケーリ ングされた後方向動きベク トルを用いて動き補償が行われる (ステップ S 1 6 )。ステップ S 1 5またはステップ S 1 6の 2方向予測 が終了すると、 動きべク トルの計算方法の処理が終了する。
また、 参照ブロック M Bが前方向動きべク トルを有する場合 (ステツ プ S 3 ; Y e s )、参照ブロック M Bの前方向動きべク トルの数が判定さ れる (ステップ S 4 )。
参照プロック M Bの前方向動きべク トルの数が〃 1 "の場合、 参照プロ ック M Bの前方向動きベク トルに対応する参照ピクチャが長時間メモリ または短時間メモリ いずれに保存されているかが判定される (ステップ
S 5 )。 参照ブロック M Bの前方向動きべク トルに対応する参照ピクチャが短 時間メモリに保存されている場合、 参照ブロック M Bの前方向動きべク トルをスケーリングして、 スケーリングされた前方向動きべク トルを用 いて 2方向予測が行われる (ステップ S 6 )。
参照ブロック M Bの前方向動きべク トルに対応する参照ピクチャが長 時間メモリに保存されている場合、 図 3 フに示された動きべク トル計算 方法にしたがって、 参照ブロック M Bの前方向動きべク トルがスケ一リ ングされずずにそのまま用いられ、 後方向動きべク トルゼロとして 2方 向予測が行われる (ステップ S 7 )。ステップ S 6またはステップ S 7の 2方向予測が終了すると、 動きベク トルの計算方法の処理が終了する。 参照プロック M Bの前方向動きべク トルの数が" 2 "の場合、 参照プロ ック M Bの前方向動きべク トルの内、 長時間メモリに保存されている参 照ピクチャに対応する前方向動きべク トルの数が判定される (ステップ S 8 )。
長時間メモリに保存されている参照ピクチャに対応する前方向動きべ ク トルの数がステップ S 8において" 0〃の場合、 図 1 6に示した動きべ ク トル計算方法にしたがって、 対象プロック M Bが属する対象ピクチャ に表示時間順で近い動きべク トルをスケーリングして、 スケーリングさ れた動きべク トルを用いて 2方向予測が行われる (ステップ S 9 )。 長時間メモリ に保存されている参照ピクチャに対応する前方向動きべ ク トルの数がステツプ S 8において" 1〃の場合、 短時間メモリに保存さ れたピクチャを動きべク トルをスケーリングして、 スケーリングされた 動きベク トルを用いて 2方向予測が行われる (ステップ S 1 0 )。
長時間メモリに保存されている参照ピクチャに対応する前方向動きべ ク トルの数がステップ S 8において〃 2〃の場合、 2つの前方向動きべク トル両方によって、 長時間メモリ内の同じピクチャが参照されているか が判定される (ステップ S 1 1 )。 2つの前方向動きべク トル両方によつ て長時間メモリ内の同じピクチャが参照されている場合 (ステップ S 1 1 ; Y e s )、 図 1 5に記載した動きべク トル計算方法にしたがって、 長 時間メモリ内の 2つの前方向動きベク トルに参照されているピクチャの 内で先に符号化または復号化された動きべク トルを用いて 2方向予測が 行われる (ステップ S 1 2 )。
2つの前方向動きベク トル両方によって長時間メモリ内の同じピクチ ャが参照されていない場合 (ステップ S 1 1 ; N o ) , 図 3 8に記載され た動きべク トル計算方法にしたがって、 長時間メモリに保存されたピク チヤに割リ当てられた順番が小さいピクチャに対応する前方向動きべク トルを用いて 2方向予測が行われる (ステップ S 1 3 )。長時間メモリで は実際の画像の時刻とは関係なく参照ピクチャが保存されているので、 各参照ピクチャに割リ当てられた順番にしたがって 2方向予測に用いら れるべき前方向動きべク トルが選択されるようになっている。 また、 長 時間メモリに保存される参照ピクチャの順番は画像の時刻と一致する場 合もあるが、単にメモリのァ ドレスの順番と一致させても良い。つまリ、 長時間メモリに保存される画像の順序は必ずしも画像の時刻と一致して いなくてもよい。 ステップ S 1 2、 1 3の 2方向予測が終了すると、 動 きべク トルの計算方法の処理が終了する。
(実施の形態 1 1 )
以下、本発明の実施の形態 1 1 について図面を用いて詳細に説明する。 図 4 0は、 本発明の実施形態 1 1 に係る動画像符号化装置 1 0 0の構 成を示すブロック図である。 動画像符号化装置 1 0 0は、 フィール ド構 瑋で符号化されたプロックとフレーム構造で符号化されたプロックとが 混在する場合にも直接モードの空間的予測方法を適用して動画像の符号 化を行うことができる動画像符号化装置であって、 フレームメモリ 1 0 1 、差分演算部 1 0 2、予測誤差符号化部 1 0 3、符号列生成部 1 0 4、 予測誤差復号化部 1 0 5、 加算演算部 1 0 6、 フ レームメモリ 1 0 7、 動きべク トル検出部 1 0 8、モー ド選択部 1 0 9、符号化制御部 1 1 0、 スィ ッチ 1 1 1 、 スィ ッチ 1 1 2、 スィ ッチ 1 1 3、 スィ ッチ 1 1 4、 スィッチ 1 1 5および動きべク トル記憶部 1 1 6を備える。
フ レームメモリ 1 0 1 は、 入力画像をピクチャ単位で保持する画像メ モリである。 差分演算部 1 0 2は、 フレームメモリ 1 0 1 からの入力画 像と、 動きべク トルに基づいて復号化画像から求められた参照画像との 差分である予測誤差を求めて出力する。 予測誤差符号化部 1 0 3は、 差 分演算部 1 0 2で求められた予測誤差に周波数変換を施し、 量子化して 出力する。 符号列生成部 1 0 4は、 予測誤差符号化部 1 0 3からの符号 化結果を可変長符号化した後、 出力用の符号化ビッ トス トリームのフォ —マツ 卜に変換し、 符号化された予測誤差の関連情報を記述したヘッダ 情報などの付加情報を付して符号列を生成する。 予測誤差復号化部 1 0 5は、 予測誤差符号化部 1 0 3からの符号化結果を可変長復号化し、 逆 量子化した後、 I D C T変換などの逆周波数変換を施し、 予測誤差に復 号化する。 加算演算部 1 0 6は、 復号化結果である予測誤差に前記参照 画像を加算して、 符号化および復号化を経た画像データで入力画像と同 じ 1 ピクチャの画像を表した参照画像を出力する。 フ レームメモリ 1 0 7は、 参照画像をピクチャ単位で保持する画像メモリである。
動きべク トル検出部 1 0 8は、 符号化対象フ レームの符号化単位ごと に、 動きべク トルを検出する。 モード選択部 1 0 9は、 動きべク トルを 直接モードで計算するか他のモードで計算するかを選択する。 符号化制 御部 1 1 0は、 フ レームメモリ 1 0 1 に入力された時間順で格納されて いる入力画像のピクチャを、 符号化される順に入れ替える。 さらに、 符 号化制御部 1 1 0は、符号化対象フ レームの所定の大きさの単位ごとに、 フィールド構造で符号化を行うか、 フレーム構造で符号化を行うかを判 定する。 ここでは、 所定の大きさの単位はマクロブロック (例えば水平 1 6画素、 垂直 1 6画素) を縦方向に 2つ連結したもの (以下ではマク ロブロックペアと呼ぶ) とする。 フィールド構造で符号化するのであれ ばフ レームメモリ 1 0 1 からイ ンタ レースに対応して 1 水平走査線おき に画素値を読み出し、 フレーム単位で符号化するのであればフレームメ モリ 1 0 1 から順次、 入力画像の各画素値を読み出して、 読み出された 各画素値がフィールド構造またはフレーム構造に対応した符号化対象マ クロプロックペアを構成するようにメモリ上に配置する。 動きべク トル 記憶部 1 1 6は、 符号化済みマクロブロックの動きべク トルと、 その動 きべク トルが参照するフレームの参照インデックスとを保持する。 参照 インデックスについては、 符号化済みマクロブロックペア中の各マクロ プロックのそれぞれについて保持する。
次に、 以上のように構成された動画像符号化装置 1 0 0の動作につい て説明する。 入力画像は時間順にピクチャ単位でフレームメモリ 1 0 1 に入力される。 図 4 1 ( a ) は、 動画像符号化装置 1 0 0に時間順にピ クチャ単位で入力されるフ レームの順序を示す図である。 図 4 1 ( b ) は、 図 4 1 ( a ) に示したピクチャの並びを符号化の順に並び替えた場 合の順序を示す図である。 図 4 1 ( a ) において、 縦線はピクチャを示 し、 各ピクチャの右下に示す記号は、 一文字目のアルファべッ 卜力《ピク チヤタイプ ( I 、 Pまたは B ) を示し、 2文字目以降の数字が時間順の ピクチャ番号を示している。 また、 図 4 2は、 実施の形態 1 1 を説明す るための、 参照フレームリス ト 3 0 0の構造を示す図である。 フレーム メモリ 1 0 1 に入力された各ピクチャは、 符号化制御部 1 1 0によって 符号化順に並び替えられる。 符号化順への並び替えは、 ピクチャ間予測 符号化における参照関係に基づいて行われ、 参照ピクチヤとして用いら れるピクチャが、 参照ピクチヤとして用いるピクチャよりも先に符号化 されるように並び替えられる。
例えば、 Pピクチャは、 表示時間順で前方にある近傍の 1 または Pピ クチャ 3枚のうち 1枚を参照ピクチャと して用いるとする。 また、 Bピ クチャは、 表示時間順で前方にある近傍の I または Pピクチャ 3枚のう ち 1 枚と、 表示時間順で後方にある近傍の I または Pピクチャの 1枚と を参照ピクチャとして用いるものとする。 具体的には、 図 4 1 ( a ) で はピクチャ B 5およぴピクチャ B 6の後方に入力されていたピクチャ P 7は、 ピクチャ B 5およびピクチャ B 6によって参照されるため、 ピク チヤ B 5およぴピクチャ B 6の前に並び替えられる。 同様に、 ピクチャ B 8およびピクチャ B 9の後方に入力されていたピクチャ P 1 0はピク チヤ B 8およびピクチャ B 9の前方に、 ピクチャ B 1 1 およぴピクチャ B 1 2の後方に入力されていたピクチャ P 1 3はピクチャ B 1 1 および ピクチャ B 1 2の前方に並び替えられる。 これにより、 図 4 1 ( a ) の ピクチャを並び替えた結果は、 図 4 1 ( b ) のようになる。
フ レームメモリ 1 0 1 で並び替えが行われた各ピクチャは、 マクロブ ロックを垂直方向に 2つ連結したマクロブロックペアの単位で読み出さ れるものと し、 各マクロブロックは水平 1 6画素 X垂直 1 6画素の大き さであるとする。 従って、 マクロブロックペアは、 水平 1 6画素 X垂直 3 2画素の大きさとなる。 以下、 ピクチャ B 1 1 の符号化処理について 説明する。 なお、 本実施の形態における参照インデックスの管理、 すな わち参照フ レームリス 卜の管理は符号化制御部 1 1 0において行うもの とする。
ピクチャ B 1 1 は Bピクチヤであるので、 2方向参照を用いたピクチ ャ間予測符号化を行う。 ピクチャ B 1 1 は表示時間順で前方にあるピク チヤ P 1 0、 P 7、 P 4と表示時間順で後方にあるピクチャ P I 3のう ちの 2つのピクチャを参照ピクチャと して用いるものとする。 これらの 4つのピクチャのうち、 いずれの 2つのピクチャを選択するかは、 マク ロブロック単位で指定することができるとする。 また、 ここでは、 参照 インデックスは初期状態の方法で割り当てるものとする。 すなわちピク チヤ B 1 1 の符号化時における参照フレームリス ト 3 0 0は図 4 2に示 す通り となる。 この場合の参照画像は、 第 1 の参照ピクチャは図 4 2の 第 1参照インデックスにより指定し、 第 2の参照ピクチャは図 4 2の第 2参照インデックスにより指定するものとなる。
ピクチャ B 1 1 の処理においては、 符号化制御部 1 1 0は、 スィッチ 1 1 3がオン、 スィッチ 1 1 4とスィッチ 1 1 5とがオフになるように 各スィ ッチを制御するものとする。 よって、 フレームメモリ 1 0 1 から 読み出されたピクチャ B 1 1 のマクロブロックペアは、 動きベク トル検 出部 1 0 8、モード選択部 1 0 9および差分演算部 1 0 2に入力される。 動きべク トル検出部 1 0 8では、 フ レームメモリ 1 0 7に蓄積されたピ クチャ P 1 0、 ピクチャ P 7、 ピクチャ P 4およびピクチャ P I 3の復 号化画像データを参照ピクチャとして用いることにより、 マクロブロッ クペアに含まれる各マクロブロックの第 1 の動きベク トルと第 2の動き べク トルとの検出を行う。 モード選択部 1 0 9では、 動きべク トル検出 部 1 0 8で検出された動きべク トルを用いてマクロブロックペアの符号 化モードを決定する。 ここで、 Bピクチャの符号化モードは、 例えば、 ピクチャ内符号化、一方向動きベク トルを用いたピクチャ間予測符号化、 二方向動きベク トルを用いたピクチャ間予測符号化および直接モードか ら選択することができるものとする。 また、 直接モード以外の符号化モ —ドを選択する場合には、 マクロブロックペアをフレーム構造で符号化 するか、 フィール ド構造で符号化するかも併せて決定する。
ここでは、 直接モー ドの空間的予測方法を用いて動きべク トルを計算 する方法について説明する。 図 4 3 ( a ) は、 フィール ド構造で符号化 されるマクロブロックペアとフ レーム構造で符号化されるマクロブロッ クペアとが混在する場合の直接モード空間的予測方法を用いた動きべク トル計算手順の一例を示すフローチャートである。 図 4 3 ( b ) は、 符 号化対象マクロブロックペアがフ レーム構造で符号化される場合におい て本発明が適用される周辺マクロブロックペアの配置の一例を示す図で ある。 図 4 3 ( c ) は、 符号化対象マクロブロックペアがフィールド構 造で符号化される場合において本発明が適用される周辺マクロブロック ペアの配置の一例を示す図である。 図 4 3 ( b ) および図 4 3 ( c ) に 斜線で示すマクロブロックペアは、 符号化対象マクロブロックペアであ る。
符号化対象マクロブ口ックペアが直接モードの空間的予測を用いて符 号化される場合、 当該符号化対象マクロブロックペアの周辺の 3つの符 号化済みマクロブロックペアが選択される。 この場合、 符号化対象マク ロブロックペアは、 フィール ド構造またはフ レーム構造のいずれで符号 化されてもよい。 従って、 符号化制御部 1 1 0は、 まず、 符号化対象マ クロブロックペアをフィールド構造で符号化するか、 フ レーム構造で符 号化するかを決定する。 例えば、 周辺マクロブロックペアのうちフィー ルド構造で符号化されたものが多い場合、 符号化対象マクロブロックべ ァをフィールド構造で符号化し、 フ レーム構造で符号化されたものが多 い場合、 フ レーム構造で符号化する。 このように、 符号化対象マクロブ ロックペアをフ レーム構造で符号化するか、 フィールド構造で符号化す るかを、 周辺ブロックの情報を用いて決定することにより、 符号化対象 マクロブロックペアをいずれの構造で符号化したかを示す情報を符号列 中に記述する必要がなくなり、 かつ周囲のマクロブロックペアから構造 を予測しているため、 適した構造を選択することができる。 次いで、 動きべク トル検出部 1 0 8は、 符号化制御部 1 1 0の決定に 従って、 符号化対象マクロブロックペアの動きべク トルを計算する。 ま ず、 動きべク トル検出部 1 0 8は、 符号化制御部 1 1 0がフィールド構 造で符号化すると決定したのか、 フ レーム構造で符号化すると決定した のかを調べ(S 3 0 1 )、 フ レーム構造で符号化すると決定されている場 合は、 符号化対象マクロブロックペアの動きべク トルをフレーム構造で 検出し (S 3 0 2 )、 フィール ド構造で符号化すると決定されている場合 は、 符号化対象マクロブロックペアの動きべク トルをフィール ド構造で 検出する (S 3 0 3 )。
図 4 4は、 フ レーム構造で符号化する場合のマクロブロックペアのデ ータ構成とフィールド構造で符号化する場合のマクロブロックペアのデ ータ構成とを示す図である。 同図において、 白丸は奇数水平走査線上の 画素を示し、 斜線でハッチングした黒丸は偶数水平走査線上の画素を示 している。 入力画像を表す各フレームからマクロブロックペアを切り出 した場合、 図 4 4中央に示すように、 奇数水平走査線上の画素と偶数水 平走査線上の画素とは垂直方向に交互に配置されている。 このようなマ クロブロックペアをフ レーム構造で符号化する場合、 当該マクロブロッ クペアは 2つのマクロブロック M B 1 およびマクロブロック M B 2毎に 処理され、 マクロブロックペアを構成する 2つのマクロブロック M B 1 とマクロブロック M B 2とのそれぞれについて動きべク トルが求められ る。 また、 フィール ド構造で符号化する場合、 当該マクロブロックペア は、 水平走査線方向にインタ レースした場合の トップフィール ドを表す マクロブロック T Fとボトムフィールドを表すマクロブロック B Fとに 分けられ、 その動きベク トルは、 マクロブロックペアを構成する 2つの フィール ドにそれぞれ 1 つ求められる。
このようなマクロブロックペアを前提として、 図 4 3 ( b ) に示すよ うに、 符号化対象マクロブロックペアをフレーム構造で符号化する場合 について説明する。 図 4 5は、 図 4 3に示したステップ S 3 0 2におけ る、 より詳細な処理手順を示すフローチャートである。 なお、 同図にお いて、マクロブロックペアを M B P、マクロブロックを M Bと表記する。 モード選択部 1 0 9は、 まず、 符号化対象マクロブロックペアを構成 する 1 つのマクロブロック M B 1 (上部のマクロブロック) について、 1 つの動きベク トルを直接モードの空間的予測を用いて計算する。まず、 モード選択部 1 0 9は、 周辺マクロブロックペアが参照するピクチャの インデックスのうちの最小値を第 1 動きべク トルと第 2動きべク トルの インデックスのそれぞれについて求める (S 5 0 1 )。 ただしこの場合、 周辺マクロブロックペアがフ レーム構造で符号化されている場合には、 符号化対象マクロブロックに隣接するマクロブロックのみを用いて決定 する。 次に、 周辺マクロブロックペアがフィール ド構造で符号化されて いるか否かを調べ(S 5 0 2 )、 フィール ド構造で符号化されている場合 にはさらに、 当該周辺マクロブロックペアを構成する 2つのマクロプロ ックによつて参照されたフィールドのうち、 いくつのフィールドが最小 のインデックスが付されたフィールドであるかを、 図 4 2の参照フレー ムリス 卜から調べる (S 5 0 3 )。
ステップ S 5 0 3において調べた結果、 2つのマクロブロックによつ て参照されたフィールドがいずれも最小のインデックス (すなわち同じ インデックス) が付されたフィールドである場合には、 2つのマクロブ ロックの動きべク トルの平均値を求め、 当該周辺マクロブロックペアの 動きべク トルとする(S 5 0 4 )。これはインタ レース構造で考えた場合、 フレ一厶構造の符号化対象マクロブロックには、 フィール ド構造の周辺 マクロブロックペアの 2つのマクロブロックが隣接するためである。 ステップ S 5 0 3において調べた結果、 1 つのマクロブロックによつ て参照されたフィールドのみが最小のインデックスが付されたフィ一ル ドである場合には、 その 1 つのマクロブロックの動きべク トルを当該周 辺マクロブロックペアの動きベク トルとする (S 5 0 4 A)。 いずれも、 参照されたフィール ドが最小のインデックスが付されていないフィール ドである場合には、 当該周辺マクロブロックペアの動きべク トルを「 0」 とする ( S 5 0 5 )。
上記において、 周辺マクロブロックの動きべク トルのうち、 参照する フィールドが最小のインデックスが付されているフィールドの動きべク トルのみを用いることにより、 より符号化効率の高い動きべク トルを選 択することができる。 S 5 0 5の処理は、 予測に適した動きべク トルが ないと判断していることを示している。
ステップ S 5 0 2において調べた結果、 当該周辺マクロブロックペア がフレーム構造で符号化されている場合には、 当該周辺マクロブロック ペアのうち、 符号化対象マクロブロックに隣接するマクロブロックの動 きベク トルを当該周辺マクロブロックペアの動きベク トルとする (S 5 0 6 )。
モード選択部 1 0 9は、 上記ステップ S 5 0 1 からステップ S 5 0 6 までの処理を、 選択された 3つの周辺マクロブロックペアについて繰り 返す。 この結果、 符号化対象マクロブロックペア内の 1 つのマクロプロ ック、 例えば、 マクロブロック M B 1 について、 3つの周辺マクロブロ ックペアの動きべク トルがそれぞれ 1 つずつ求められたことになる。 次いで、 モード選択部 1 0 9は、 3つの周辺マクロブロックペアのう ち、 インデックスが最小のフレームまたはそのフレーム内のフィールド を参照しているものが 1 つであるか否かを調べる ( S 5 0 7 )。
この場合、 モード選択部 1 0 9は、 3つの周辺マクロブロックペアの 参照インデックスを参照フレームインデックスまたは参照フィールドィ ンデックスのいずれかに統一して比較する。 図 4 2に示した参照フレー ムリス 卜には、 フレームごとに参照インデックスが付されているだけで あるが、 この参照フレームインデックスと、 フィールドごとにインデッ クスが付されている参照フィール ドインデックスとは一定の関係にある ので、 参照フ レームリス トまたは参照フィールドリス トの一方から計算 によって他方の参照インデックスに変換することができる。
図 4 6は、 参照フィールドインデックスと参照フレームインデックス との関係を示す関係表示図である。
この図 4 6に示すように、 参照フィールドリス トには、 第 1 フィール ド f 1 及び第 2フィールド f 2により示されるフレームが時系列に沿つ て幾つか存在し、 各フ レームには、 符号化対象ブロックを含むフ レーム (図 4 6中ので示すフ レーム) を基準に、 0 , 1 , 2 , …といった参照 フレームインデックスが割り当てられている。 また、 各フレームの第 1 フィールド f 1及び第 2フィールド f 2には、 符号化対象プロックを含 むフレームの第 1 フィールド f 1 を基準に (第 1 フィールドが符号化対 象フィールドである場合)、 0, 1 , 2 , …といった参照フィールドイン デックスが割り当てられている。 なお、 この参照フィール ドインデック スは、 符号化対象フィールドに近いフレームの第 1 フィールド f 1 及び 第 2 フィール ド f 2から、 符号化対象プロックが第 1 フィールド f 1 で あれば第 1 フィール ド f 1 を優先させて、 符号化対象ブロックが第 2フ ィールド f 2であれば第 2フィールド f 2を優先させて割り当てられる, 例えば、 フレーム構造で符号化された周辺マク口プロックが参照フレ —ムインデックス 「 1 」 のフレームを参照しており、 フィールド構造で 符号化された周辺ブロックが参照フィール ドインデックス Γ 2 J の第 1 フィール ド f 1 を参照しているときには、 上記周辺マクロブロックはい ずれも同一ピクチャを参照していると して扱われる。 すなわち、 1 つの 周辺マクロブロックによって参照されるフレームの参照フ レームインデ ックスが、 他の 1 つの周辺マクロブロックの参照フィールドに割り当て られた参照フィールドインデックスの二分の一の値に等しい (小数点以 下は切り捨て) という前提条件を満たすときに、 その周辺マクロブロッ クは同一のピクチャを参照していると して扱われる。
例えば、 図 4 6中の厶で示す第 1 フィールド f 1 に含まれる符号化対 象ブロックが参照フィールドインデックス Γ 2 J の第 1 フィールド f 1 を参照しておリ、 フレーム構造である周辺マクロブ口ックが参照フレー ムインデックス 「 1 j のフレームを参照しているときには、 上記前提条 件を満たすため、 上記周辺ブロックは同一のピクチャを参照していると して扱われる。 一方、 ある周辺マクロブロックが参照フィールドインデ ックス Γ 2」 の第 1 フィールドを参照しており、 他の周辺マクロブロッ クが参照フレームインデックス 「 3」 のフレームを参照しているときに は、 上記前提条件を満たさないため、 その周辺ブロックは同一のピクチ ャを参照していないと して扱われる。
上記のように、ステップ S 5 0 7において調べた結果、 1 つであれば、 インデックスが最小のフレームまたはそのフレーム内のフィールドを参 照した周辺マクロブロックペアの動きべク トルを、 符号化対象マクロブ ロックの動きベク トルとする (S 5 0 8 )。ステップ S 5 0 7で調べた結 果、 1 つでなければ、 さらに、 3つの周辺マクロブロックペアのうち、 インデックスが最小のフレームまたはそのフレーム内のフィールドを参 照した周辺マクロブロックペアが 2つ以上あるか否かを調べ(S 5 0 9 ) , 2つ以上あれば、 その中でさらにインデックスが最小のフレームまたは そのフレーム内のフィールドを参照していない周辺マクロブロックペア があればその動きべク トルを 「0」 と した上 (S 5 1 0 )、 周辺マクロブ ロックペアの 3つの動きベク トルの中央値を符号化対象マクロブロック の動きべク トルとする (S 5 1 1 )。 また、 ステップ S 5 0 9で調べた結 果、 2つ未満であれば、 インデックスが最小のフレームまたはそのフ レ ーム内のフィール ドを参照した周辺マクロブロックペアの数は Γ 0 J な ので、 符号化対象マクロブロックの動きベク トルを 「 0」 とする (S 5 1 2 )。
以上の処理の結果、 符号化対象マクロブロックペアを構成する 1 つの マクロブロック例えば、 M B 1 について、 1 つの動きベク トル M V 1 が 計算結果として得られる。 モード選択部 1 0 9は、 上記処理を、 第 2の 参照インデックスを有する動きべク トルについても行い、 得られた 2つ の動きべク トルを用いて 2方向予測により動き補償を行う。 ただし、 周 辺マクロブロックペアのうち、 第 1 または第 2の動きべク トルを有する 周辺マクロブロックが存在しない場合には、 その方向の動きべク トルは 用いず、 1 方向のみの動きベク トルによリ動き補償を行う。 また、 符号 化対象マクロブロックペア内のもう 1 つのマクロブロック、 例えば、 マ クロブロック. M B 2についても同じ処理を繰り返す。 この結果、 1 つの 符号化対象マクロブロックペアにおける 2つの各マクロブロックについ て、 直接モードによる動き補償を行ったことになる。
次に、 図 4 3 ( c ) のように、 符号化対象マクロブロックペアをフィ 一ルド構造で符号化する場合について説明する。 図 4 7は、 図 4 3に示 したステップ S 3 0 3における、 より詳細な処理手順を示すフローチヤ ートである。 モード選択部 1 0 9は、 符号化対象マクロブロックペアを 構成する 1 つのマクロブロック、 例えば、 当該マクロブロックペアの ト ップフィールドに対応するマクロブロック T 「について、 1 つの動きべ ク 卜ル M V t を直接モードの空間的予測を用いて計算する。 まず、 モ一 ド選択部 1 0 9は、 周辺マクロブロックペアが参照するピクチャのイン デックスのうち最小値を求める (S 6 0 1 )。 ただし、 周辺マクロブロッ クペアがフィールド構造で処理されている場合には、 符号化対象マクロ ブロックと同一フィール ド(トップフィール ドまたはボトムフィール ド) のマクロブロックについてのみ考える。 次いで、 周辺マクロブロックぺ ァがフレーム構造で符号化されているか否かを調べ (S 6 0 2 )、 フレー ム構造で符号化されている場合にはさらに、 当該周辺マクロブロックぺ ァ内の 2つのマクロブロックによって參照されたフレームがいずれも最 小のインデックスが付されたフレームであるか否かを、 参照フレームリ ス ト 3 0 0によって各フレームに付与されたインデックスの値を基に判 断する ( S 6 0 3 )。
ステップ S 60 3において調べた結果、 2つのマクロブロックによつ て参照されたフレームがいずれも最小のインデックスである場合には、 2つのマクロブロックの動きべク トルの平均値を求め、 当該周辺マクロ ブロックペアの動きべク トルとする ( S 6 0 4)。ステップ S 6 0 3にお いて調べた結果、 一方または両方とも、 参照したフレームが最小のイン デックスを有しないフレームである場合には、 さらに、 いずれかのマク ロブロックによって参照されたフ レームが最小のインデックスを有して いるか否かを調べ ( S 6 05 )、 調べた結果、 いずれか一方のマクロプロ ックが参照したフレームに最小のインデックスが付されている場合には そのマクロブロックの動きベク トルを当該周辺マクロブロックペアの動 きべク トルと し (S 60 6 )、 ステップ S 6 0 5で調べた結果、 いずれの マクロブロックも、 参照したフレームに最小のインデックスが付されて いない場合には、 当該周辺マクロブロックペアの動きベク トルを r oj とする ( S 6 0 7 )。 上記において、 周辺マクロブロックの動きべク トル のうち、 参照するフ レームが最小のインデックスが付されているフ レー ムの動きベク トルのみを用いることにより、 より符号化効率の高い動き べク トルを選択することができる。 S 6 07の処理は、 予測に適した動 きベク トルがないと判断していることを示している。
また、 ステップ S 6 0 2において調べた結果、 当該周辺マクロブロッ クペアがフィールド構造で符,号化されている場合には、 当該周辺マクロ ブロックペア全体の動きべク トルを、 当該周辺マクロブロックペアにお いて、 符号化対象マクロブロックペア内の対象マクロブロックに対応す るマクロブロックの動きべク トルとする (S 6 0 8 )。モード選択部 1 0 9は、 上記ステップ S 6 0 1 からステップ S 6 0 8までの処理を、 選択 された 3つの周辺マクロブロックペアについて繰り返す。 この結果、 符 号化対象マクロブロックペア内の 1 つのマクロブロック、 例えば、 マク ロブロック T Fについて、 3つの周辺マクロブロックペアの動きべク 卜 ルがそれぞれ 1 つずつ求められたことになる。
次いで、 動きベク トル検出部 1 0 8は、 3つの周辺マクロブロックべ ァのうち、 インデックスが最小のフレームを参照しているものが 1 つで あるか否かを調べ (S 6 0 9 )、 1 つであれば、 インデックスが最小のフ レームを参照した周辺マクロブロックペアの動きベク トルを、 符号化対 象マクロブロックの動きべク トルとする (S 6 1 0 )。ステップ S 6 0 9 で調べた結果、 1 つでなければ、 さらに、 3つの周辺マクロブロックべ ァのうち、 インデックスが最小のフレームを参照した周辺マクロブロッ クペアが 2つ以上あるか否かを調べ (S 6 1 1 )、 2つ以上あれば、 その 中でさらにインデックスが最小のフレームを参照していない周辺マクロ ブロックペアの動きべク トルを 「 0」 と した上 (S 6 1 2 )、 周辺マクロ ブロックペアの 3つの動きベク トルの中央値を符号化対象マクロブロッ クの動きべク トルとする (S 6 1 3 )。 また、 ステップ S 6 1 1 で調べた 結果、 2つ未満であれば、 インデックスが最小のフレームを参照した周 辺マクロブロックペアの数は 「 0」 なので、 符号化対象マクロブロック の動きベク トルを 「 0」 とする (S 6 1 4 )。 以上の処理の結果、 符号化対象マクロブロックペアを構成する 1 つの マクロブロック例えば、 トップフィールドに対応するマクロブロック T Fについて、 1 つの動きベク トル M V tが計算結果として得られる。 モ —ド選択部 1 0 9は、 上記処理を、 第 2の動きベク トル (第 2の参照ィ ンデックスに対応) についても繰り返す。 これにより、 マクロブロック T Fについて 2つの動きべク トルが得られ、 これらの動きべク トルを用 いて 2方向予測による動き補償を行う。 ただし、 周辺マクロブロックぺ ァのうち、 第 1 または第 2の動きべク トルを有する周辺マクロブロック が存在しない場合には、 その方向の動きベク トルは用いず、 1方向のみ の動きベク トルにより動き補償を行う。 これは、 周辺マクロブロックべ ァが一方向のみしか参照していないということは、 符号化対象マク口ブ 口ックについても一方向のみを参照する方が、 符号化効率が高くなると 考えられるからである。
また、符号化対象マクロブロックペア内のもう 1 つのマクロブロック、 例えば、 ボトムフィールドに対応するマクロブロック B Fについても同 じ処理繰り返す。 この結果、 1 つの符号化対象マクロブロックペアにお ける 2つの各マクロブロック、 例えば、 マクロブロック T Fとマクロブ ロック B Fとについて、 直接モードによる処理を行ったことになる。 なお、 ここでは符号化対象マクロブロックペアの符号化構造と周辺マ クロブロックペアの符号化構造とが異なる場合には、 周辺マクロブロッ クペア内の 2つのマクロプロックの動きべク トルの平均値を求めるなど の処理を行って計算したが、 本発明はこれに限定されず、 例えば、 符号 化対象マクロブロックペアと周辺マクロプロックペアとで符号化構造が 同じ場合にのみ、 その周辺マクロブロックペアの動きべク トルを用い、 符号化対象マクロブロックペアと周辺マクロブロックペアとで符号化構 造が異なる場合には、 符号化構造が異なる周辺マクロブ口ックペアの動 きベク トルを用いないとしてもよい。 より具体的には、 まず、 ①符号化 対象マクロブロックペアがフ レーム構造で符号化される場合、 フ レーム 構造で符号化されている周辺マクロブロックペアの動きベク トルのみを 用いる。 この際に、 フレーム構造で符号化されている周辺マクロブロッ クペアの動きべク トルのうち、 インデックスが最小のフ レームを参照し たものがない場合、 符号化対象マクロブロックペアの動きべク トルを 「 0」 とする。 また、 周辺マクロブロックペアがフィール ド構造で符号 化されている場合、 その周辺マクロブロックペアの動きべク トルを「 0」 とする。 次に②符号化対象マクロブ口ックペアがフィール ド構造で符号 化される場合、 フィール ド構造で符号化されている周辺マクロブロック ペアの動きベク トルのみを用いる。 この際に、 フィールド構造で符号化 されている周辺マクロブロックペアの動きべク トルのうち、 インデック スが最小のフレームを参照したものがない場合、 符号化対象マクロブ口 ックペアの動きベク トルを 「 0」 とする。 また、 周辺マクロブロックぺ ァがフレーム構造で符号化されている場合、 その周辺マクロブロックぺ ァの動きべク 卜ルを 「 0」 とする。 このようにして各周辺マクロブロッ クペアの動きべク トルを計算した後、 ③これらの動きべク トルのうち、 最小のインデックスを有するフ レームまたはそのフィールドを參照して 得られたものが 1 つだけの場合は、 その動きべク トルを直接モードにお ける符号化対象マクロブロックペアの動きベク トルとし、 そうでない場 合には、 3つの動きべク トルの中央値を直接モー ドにおける符号化対象 マクロブロックペアの動きべク トルとする。
また、 上記説明では、 符号化対象マクロブロックペアをフィールド構 造で符号化するかフ レーム構造で符号化するかを、 符号化済みの周辺マ クロブロックペアの符号化構造の多数決で決定したが、 本発明はこれに 限定されず、例えば、直接モー ドでは、必ずフ レーム構造で符号化する、 または必ずフィ一ルド構造で符号化するというように固定的に定めてお いてもよい。 この場合、 例えば、 符号化対象となるフレームごとにフィ —ルド構造で符号化するかまたはフレーム構造で符号化するかを切り替 える場合には、 符号列全体のヘッダまたはフ レームごとのフレームへッ ダなどに記述すると してもよい。 切り替えの単位は、 例えば、 シーゲン ス、 G O P、 ピクチャ、 スライスなどであってもよく 、 この場合には、 それぞれ符号列中の対応するヘッダなどに記述しておけばよい。 このよ うにした場合でも、 符号化対象マクロブロックペアと周辺マクロブロッ クペアとで符号化構造が同じ場合にのみ、 その周辺マクロブロックペア の動きべク トルを用いる方法で、 直接モードにおける符号化対象マクロ ブロックペアの動きベク トルを計算することができることはいうまでも ない。 更に、 パケッ ト等で伝送する場合はヘッダ部とデータ部を分離し て別に伝送してもよい。 その場合は、 ヘッダ部とデータ部が 1 つのビッ 卜ス トリームとなることはない。 しかしながら、 パケッ トの場合は、 伝 送する順序が多少前後することがあっても、 対応するデータ部に対応す るヘッダ部が別のバケツ 卜で伝送されるだけであり、 1 つのビッ トス 卜 リームとなっていなくても同じである。 このように、 フレーム構造を用 いるのかフィールド構造を用いるのかを固定的に定めることにより、 周 辺ブロックの情報を用いて構造を決定する処理がなくなリ、 処理の簡略 化を図ることができる。
またさらには、 直接モードにおいて、 符号化対象マクロブロックペア をフレーム構造とフィールド構造の両者で処理し、 符号化効率が高い構 造を選択する方法を用いてもよい。 この場合、 フレーム構造とフィール ド構造のいずれを選択したかは、 符号列中のマクロブロックペアのへッ ダ部に記述すればよい。 このようにした場合でも、 符号化対象マクロブ ロックペアと周辺マクロブロックペアとで符号化構造が同じ場合にのみ その周辺マクロブロックペアの動きべク トルを用いる方法で、 直接モー ドにおける符号化対象マクロブロックペアの動きベク トルを計算するこ とができることはいうまでもない。このような方法を用いることにより、 フレーム構造とフィールド構造のいずれを選択したかを示す情報が符号 列中に必要となるが、 動き補償の残差信号をより削減することが可能と なり、 符号化効率の向上を図ることができる。
また上記の説明においては、 周辺マクロブロックペアはマクロブロッ クの大きさを単位と して動き補償されている場合について説明したが、 これは異なる大きさを単位として動き補償されていてもよい。この場合、 図 4 8 ( a )、 ( b ) に示すように、 符号化対象マクロブロックペアのそ れぞれのマクロブロックに対して、 a、 b、 cに位置する画素を含むブ ロックの動きべク トルを周辺マクロブロックペアの動きべク トルとする, ここで図 4 8 ( a ) は、 上部のマクロブロックを処理する場合を示し、 図 4 8 ( b ) は下部のマクロブロックを処理する場合を示している。 こ こで、 符号化対象マクロブロックペアと周辺マクロブロックペアとのフ レームノフィール ド構造が異なる場合、 図 4 9 ( a )、 ( b ) に示すよう な a、 b、 cの位置の画素を含むブロックと位置 a '、 b '、 c 'の画素を 含むブロックとを用いて処理を行う。 ここで位置 a '、 b '、 c 'は、 画素 a、 b、 cの位置に対応する同一マクロブロックペア内のもう一方のマ クロブロックに含まれるブロックである。 例えぱ図 4 9 ( a ) の場合、 符号化対象マクロブロックペアと周辺マクロブロックペアとのフ レーム フィール ド構造が異なる場合、 上部の符号化対象マクロブロックの左 側のブロックの動きべク トルは、 B L 1 と B L 2の動きべク トルを用い て決定する。 また、 図 4 9 ( b ) の場合、 符号化対象マクロブロックべ ァと周辺マクロブロックペアとのフ レーム/フィールド構造が異なる場 合、 上部の符号化対象マクロブロックの左側のブロックの動きべク トル は、 B L 3と B L 4の動きベク トルを用いて決定する。 このような処理 方法を用いることにより、 周辺マクロブロックがマクロブロックの大き さとは異なる単位で動き補償されている場合でも、 フ レーム , フィール ドの差を考慮した直接モ一ドの処理を行うことが可能となる。
また、 周辺マクロブロックペアがマクロブロックの大きさとは異なる 大きさを単位として動き補償されている場合には、 マクロブロックに含 まれるブロックの動きべク トルの平均値を求めることにより、 そのマク ロブロックの動きべク トルと しても良い。 周辺マクロブロックがマクロ ブロックの大きさとは異なる単位で動き補償されている場合でも、 フ レ ーム ' フィール ドの差を考慮した直接モー ドの処理を行うことが可能と なる。
さて、 上記のように、 動きべク トルが検出され、 検出され動きべク ト ルに基づいてピクチャ間予測符号化が行われた結果、 動きべク トル検出 部 1 0 8によって検出された動きベク トル、 符号化された予測誤差画像 は、 マクロブロックごとに符号列中に格納される。 ただし、 直接モー ド で符号化されたマクロブロックの動きべク トルについては、 単に直接モ 一ドで符号化されたことが記述されるだけで、 動きべク トルおよび参照 ィンデックスは符号列に記述されない。 図 5 0は、 符号列生成部 1 0 4 によって生成される符号列 7 0 0のデータ構成の一例を示す図である。 同図のように、 符号列生成部 1 0 4によって生成された符号列 7 0 0に は、 ピクチャ P i ctu r eごとにヘッダ Heade rが設けられている。 このへッ ダ Heade r には、例えば、参照フレームリス ト 1 0の変更を示す項目 RPSL および当該ピクチャのピクチャタイプを示す図示しない項目などが設け られており、項目 RPSLに-は、参照フレームリス ト 1 0の第 1参照インデ ックス 1 2および第 2参照インデックス 1 3の値の割り当て方に初期設 定から変更があった場合、 変更後の割り当て方が記述される。 —方、 符号化された予測誤差は、 マクロブロックごとに記録される。 例えば、 あるマクロプロックが直接モードの空間的予測を用いて符号化 されている場合には、 そのマクロブロックに対応する予測誤差を記述す る項目 B l ock l において、当該マクロブロックの動きベク トルは記述され ず、当該マクロブロックの符号化モー ドを示す項目 Pr edType に符号化モ ードが直接モードであることを示す情報が記述される。 また、 当該マク ロブロックペアがフレーム構造またはフィ一ルド構造のいずれで符号化 するかを前述の符号化効率の観点から選択するような場合には、 フレー ム構造またはフィールド構造のいずれが選択されたかを示す情報が記述 される。 これに続いて、符号化された予測誤差が項目 CodedResに記述さ れる。 また、 別のマクロブロックがピクチャ間予測符号化モードで符号 化されたマクロブロックである場合、 そのマクロブロックに対応する予 測誤差を記述する項目 B l ock2 の中の符号化モー ドを示す項目 Pr edType に、 当該マクロブロックの符号化モードがピクチャ間予測符号化モード であることが記述される。 この場合、 符号化モードのほか、 さらに、 当 該マクロブロックの第 1参照インデックス 1 2が項目 R i dxOに、 第 2参 照インデックス 1 3が項目 R i dxl に書き込まれる。 ブロック中の参照ィ ンデックスは可変長符号語によリ表現され、 値が小さいほど短い符号長 のコードが割り当てられている。 また、 続いて、 当該マクロブロックの 前方フ レーム参照時の動きベク トルが項目 MV0に、 後方フ レーム参照時 の動きべク トルが項目 MV 1 に記述される。 これに続いて、 符号化された 予測誤差が項目 CodedResに記述される。
図 5 1 は、 図 5 0に示した符号列 7 0 0を復号化する動画像復号化装 置 8 0 0の構成を示すブロック図である。 動画像復号化装置 8 0 0は、 直接モー ドで符号化されたマクロブロックを含んだ予測誤差が記述され ている符号列 7 0 0を復号化する動画像復号化装置であって、 符号列解 析部 7 O 1 、 予測誤差復号化部 7 0 2、 モ一ド復号部 7 0 3、 動き補償 復号部 7 0 5、 動きベク トル記憶部 7 0 6、 フ レームメ モリ 7 0 7、 加 算演算部 7 0 8、 スィッチ 7 0 9及びスィツチ 7 1 0、 動きべク トル復 号化部 7 1 1 を備える。 符号列解析部 7 0 1 は、 入力された符号列 7 0 0から各種データを抽出する。 ここでいう各種データとは、 符号化モー ドの情報および動きべク トルに関する情報などである。 抽出された符号 化モードの情報は、 モード復号部 7 0 3に出力される。 また、 抽出され た動きべク トル情報は、 動きべク トル復号化部 7 1 1 に出力される。 さ らに、 抽出された予測誤差符号化データは、 予測誤差復号化部 7 0 2に 対して出力される。 予測誤差復号化部 7 0 2は、 入力された予測誤差符 号化データの復号化を行い、 予測誤差画像を生成する。 生成された予測 誤差画像はスィッチ 7 0 9に対して出力される。 例えば、 スィッチ 7 0 9が端子 bに接続されているときには、 予測誤差画像は加算器 7 0 8に 対して出力される。
モー ド復号部 7 0 3は、 符号列から抽出された符号化モード情報を参 照し、 スィッチ 7 0 9とスィッチ 7 1 0との制御を行う。 符号化モード がピクチャ内符号化である場合には、スィッチ 7 0 9を端子 aに接続し、 スィッチ 7 1 0を端子 cに接続するように制御する。
符号化モードがピクチャ間符号化である場合には、 スィッチ 7 0 9を端 子 bに接続し、 スィッチ 7 1 0を端子 dに接続するように制御する。 さ らに、 モード復号部 7 0 3では、 符号化モードの情報を動き補償復号部 7 0 5と動きべク 卜ル復号化部 7 1 1 に対しても出力する。 動きべク ト ル復号化部 7 1 1 は、 符号列解析部 7 0 1 から入力された、 符号化され た動きべク トルに対して、 復号化処理を行う。 復号化された参照ピクチ ャ番号と動きべク トルは、 動きべク トル記憶部 7 0 6に保持されると同 時に、 動き補償復号部 7 0 5に対して出力される。 符号化モードが直接モードである場合には、 モード復号部 7 0 3は、 スィ ッチ 7 0 9を端子 bに接続し、 スィ ッチ 7 1 0を端子 dに接続する ように制御する。 さらに、 モー ド復号部 7 0 3では、 符号化モー ドの情 報を動き補償復号部 7 0 5と動きべク トル復号化部 7 1 1 に対しても出 力する。 動きべク トル復号化部 7 1 1 は、 符号化モードが直接モードで ある場合、 動きべク トル記憶部 7 0 6に記憶されている周辺マクロプロ ックペアの動きべク トルと参照ピクチャ番号とを用いて、 直接モードで 用いる動きベク トルを決定する。 この動きベク トルの決定方法は、 図 4 0のモード選択部 1 0 9の動作で説明した内容と同様であるので、 ここ では説明は省略する。
復号化された参照ピクチャ番号と動きべク トルとに基づいて、 動き補 償復号部 7 0 5は、 フレームメモリ 7 0 7からマクロブロックごとに動 き補償画像を取得する。 取得された動き補償画像は加算演算部 7 0 8に 出力される。 フ レームメモリ 7 0 7は、 復号化画像をフ レームごとに保 持するメモリである。 加算演算部 7 0 8は、 入力された予測誤差画像と 動き補償画像とを加算し、 復号化画像を生成する。 生成された復号化画 像は、 フ レームメモリ 7 0 7に対して出力される。
以上のように、 本実施の形態によれば、 直接モードの空間的予測方法 において、 符号化対象マクロブロックペアに対する符号化済み周辺マク ロブロックペアに、 フレーム構造で符号化されたものとフィールド構造 で符号化されたものとが混在する場合においても、 容易に動きべク トル を求めることができる。
なお、 上記の実施の形態においては、 各ピクチャはマクロブロックを 垂直方向に 2つ連結したマクロブロックペアの単位で、 フレーム構造ま たはフィール ド構造のいずれかを用いて処理される場合について説明し たが、 これは、 異なる単位、 例えばマクロブロック単位でフ レーム構造 またはフィール ド構造を切り替えて処理しても良い。
また、 上記の実施の形態においては、 Bピクチャ中のマクロブロック を直接モ一ドで処理する場合について説明したが、 これは Pピクチャで も同様の処理を行うことができる。 Pピクチャの符号化 ■ 復号化時にお いては、 各ブロックは 1 つのピクチャからのみ動き補償を行い、 また参 照フレームリス トは 1 つしかない。 そのため、 Pピクチャでも本実施の 形態と同様の処理を行うには、 本実施の形態において符号化 ■ 復号化対 象ブロックの 2つの動きべク トル (第 1 の参照フレームリス トと第 2の 参照フ レームリス ト) を求める処理を、 1 つの動きベク トルを求める処 理とすれば良い。
また、 上記の実施の形態においては、 3つの周辺マクロブロックペア の動きべク 卜ルを用いて、 直接モードで用いる動きべク 卜ルを予測生成 する場合について説明したが、 用いる周辺マクロブロックペアの数は異 なる値であっても良い。 例えば、 左隣の周辺マクロブロックペアの動き ベク トルのみを用いるような場合が考えられる。
(実施の形態 1 2 )
さらに、 上記各実施の形態で示した画像符号化方法および画像復号化 方法の構成を実現するためのプログラムを、 フレキシブルディスク等の 記憶媒体に記録するようにすることにより、 上記各実施の形態で示した 処理を、 独立したコンピュータシステムにおいて簡単に実施することが 可能となる。
図 5 2は、 上記実施の形態 1 から実施の形態 1 1 の画像符号化方法お よび画像復号化方法をコンピュータシステムにより実現するためのプロ グラムを格納するための記憶媒体についての説明図である。
図 5 2 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示し、 図 5 2 ( a ) は、 記録媒体本体 であるフレキシブルディスクの物理フォーマツ 卜の例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数の トラック T rが形成さ れ、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従つ て、 上記プログラムを格納したフレキシブルディスクでは、 上記フレキ シブルディスク F D上に割り当てられた領域に、 上記プログラムとして の画像符号化方法および画像復号化方法が記録されている。
また、 図 5 2 ( c ) は、 フレキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 上記プログラムをフレキシブルデ イスク F Dに記録する場合は、 コンピュータシステム C sから上記プロ グラムと しての画像符号化方法および画像復号化方法をフレキシブルデ イスク ドライブを介して書き込む。 また、 フレキシブルディスク内のプ ログラムによリ上記画像符号化方法および画像復号化方法をコンピュー タシステム中に構築する場合は、 フレキシブルディスク ドライブによ y プログラムをフレキシブルディスクから読み出し、 コンピュータシステ ムに転送する。
なお、 上記説明では、 記録媒体と してフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 GD-R0M、 メモリカード、 R O Mカセッ ト等、 プログラムを記録できるものであれば同様に実施することができる。 さらにここで、 上記実施の形態で示した画像符号化方法や画像復号化 方法の応用例とそれを用いたシステムを説明する。
図 5 3は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム ex l 0 0の全体構成を示すブロック図である。通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7 ~ ex 1 1 0が設置されている。 このコンテンツ供給システム ex 1 0 0は、例えば、 インターネッ 卜 ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2およぴ電話網 ex 1 04、 および基地局 ex1 07〜ex1 1 0を介して、 コンピュータ ex 1 1 1 、 P D A (personal digital assistant) ex 1 1 2、 カメラ ex1 1 3、 携帯電話 exl 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コンテンツ供給システム exl 00は図 5 3のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex 1 0 7〜ex 1 1 0を介さずに、各機器が電話 網 ex 1 0 4に直接接続されてもよい。
カメラ ex 1 1 3はディジタルビデオカメラ等の動画撮影が可能な機 器である。また、携帯電話は、 P D C (Personal Di ital Communications) 方式、 C DM A (Code Di ision Multiple Access) 方式、 W— C DM A (Wideband-Code Division Multiple Access ) 方式、 若し く は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Personal Handyphone System) 等であり、 いずれでも構わな い。
また、ス トリ一ミングサーバ ex 1 0 3は、 カメラ ex 1 1 3から基地局 ex 1 0 9、電話網 ex 1 04を通じて接続されておリ、 カメラ ex 1 1 3を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。撮影したデータの符号化処理は力メラ exl 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ ex 1 1 6で撮影した動画データはコンピュータ exl 1 1 を介してス ト リーミングサーバ ex 1 0 3に送信されてもよい。カメラ ex 1 1 6はディ ジタルカメラ等の静止画、 動画が撮影可能な機器である。 この場合、 動 画データの符号化はカメラ exl 1 6で行ってもコンピュータ exl 1 1 で行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex l 1 1 やカメ ラ ex l 1 6が有する L S I ex 1 1 7において処理するこどにな る。 なお、 画像符号化 '復号化用のソフ トウェアをコンピュータ ex l 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア (C D— R O M、 フレキシブルディスク、 ハードディスクなど) に組み込んでもよ い。 さらに、 カメラ付きの携帯電話 ex 1 1 5で動画データを送信しても よい。 このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号 化処理されたデータである。
このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3 . カメラ ex l 1 6等で撮影しているコンテンツ (例えば、 音楽ライブを撮 影した映像等) を上記実施の形態同様に符号化処理してス トリーミング サーバ ex 1 0 3に送信する一方で、ス トリーミングサーバ ex 1 0 3は要 求のあったクライアン卜に対して上記コンテンツデータをス トリー厶配 信する。 クライアン トと しては、 上記符号化処理されたデータを復号化 することが可能な、 コンピュータ ex 1 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex l 1 4等がある。 このようにすることでコ ンテンツ 供給システム ex l 0 0は、符号化されたデータをクライアントにおいて 受信して再生することができ、 さらにクライアン トにおいてリアルタイ 厶で受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した画像符号化装置あるいは画像復号化装置を用いるようにすれ ばよい。
その一例と して携帯電話について説明する。
図 5 4は、 上記実施の形態で説明した画像符号化方法と画像復号化方 法を用いた携帯電話 ex l 1 5を示す図である。携帯電話 ex l 1 5は、基 地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex 2 0 3、 カメ ラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が復 号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、操 作キ一 e X 2 0 4群から構成される本体部、 音声出力をするためのスピ 一力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入 力部 ex 2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメール のデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデー タまたは復号化されたデータを保存するための記録メディア ex 2 0 7、 携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするためのス ロッ ト部 ex2 0 6を有している。記録メディア ex 2 0 7は S Dカード等 のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メ モ リである E E P R O M ( E I ectr ical ly Erasable and Programmab I e Read On I y Memory) の一種であるフラッシュメモリ素子を格納したものである < さらに、 携帯電話 ex 1 1 5について図 5 5を用いて説明する。 携帯電 話 ex1 1 5は表示部 ex 2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex3 0 4、 画像符号化部 ex 3 1 2、 カメ ラインターフェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、 画像復号化部 ex3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex3 0 7、 変復調回路部 ex3 0 6及び音声処理部 ex3 0 5が同期バス ex3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン 状態にされると、 パッテリパックから各部に対して電力を供給すること によ リカメラ付ディジタル携帯電話 ex 1 1 5を動作可能な状態に起動 する。 携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モー ド時に音声入力部 ex 20 5で集 音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク 卜ラム拡散処理し、 送 受信回路部 ex3 0 1 でディジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex 2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナログディジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスペク トラム逆拡散処理し、音声処理部 ex 30 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 208 を介して出力する。
さらに、 データ通信モー ド時に電子メールを送信する場合、 本体部の 操作キー e X 2 04の操作によって入力された電子メールのテキストデ —タは操作入力制御部 ex30 4を介して主制御部 ex 3 1 1 に送出され る。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex 30 6でス ぺク トラ厶拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部 ex 203 で撮像された画像データをカメラインターフヱース部 ex 3 03を介し て画像符号化部 ex3 1 2に供給する。 また、 画像データを送信しない場 合には、 カメラ部 ex 2 0 3で撮像した画像データをカメラインターフエ ース部 ex 3 0 3及び L C D制御部 ex 30 2を介して表示部 ex 2 0 2に 直接表示することも可能である。
画像符号化部 ex3 1 2は、本願発明で説明した画像符号化装置を備え た構成であり、 カメラ部 ex 20 3から供給された画像データを上記実施 の形態で示した画像符号化装置に用いた符号化方法によつて圧縮符号化 することにより符号化画像データに変換し、 これを多重分離部 ex 3 08 に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメ ラ部 ex 2 0 3で撮像中に音声入力部 ex20 5で集音した音声を音声処理部 ex 3 0 5を介してディジタルの音声データ として多重分離部 ex3 0 8に 送出する。
多重分離部 ex3 0 8は、画像符号化部 ex 3 1 2から供給された符号化 画像データと音声処理部 ex 3 0 5から供給された音声データとを所定 の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を 介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex1 1 0か ら受信した受信データを変復調回路部 ex3 0 6でスぺク トラ厶逆拡散 処理し、 その結果得られる多重化データを多重分離部 ex 3 0 8に送出す る。
また、 アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex3 0 8は、 多重化データを分離することによリ画 像データのビッ トス トリームと音声データのビッ トス トリームとに分け 同期バス ex3 1 3を介して当該符号化画像データを画像復号化部 ex3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex 3 09は、 本願発明で説明した画像復号化装置 を備えた構成であり、 画像データのビッ トス トリ一ムを上記実施の形態 で示した符号化方法に対応した復号化方法で復号することにより再生動 画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動画 像ファイルに含まれる動画データが表示される。 このとき同時に音声処 理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 これ を音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページにリ ンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっておリ、 図 5 6に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも画像符号化装置または画像復 号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報のビッ トス トリームが電波を介して通信または放送衛 星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送用の 電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ (受信機) ex 4 0 1 またはセッ ト トツプボックス ( S T B ) ex 4 0 7などの装置により ビッ トス トリームを復号化してこ れを再生する。 また、 記録媒体である CDや DVD等の蓄積メディア ex 4 0 2に記録したビッ トス トリー厶を読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能 である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。 また、 ケーブルテレビ用のケーブル ex 4 0 5または衛星 地上波放送の アンテナ ex 4 0 6に接続されたセッ ト トップボックス ex 4 0 7内に画 像復号化装置を実装し、 これをテレビのモニタ ex 4 0 8で再生する構成 も考えられる。 このときセッ ト トップボックスではなく、 テレビ内に画 像復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信 し、車 ex 4 1 2が有するカーナビゲ一シヨン ex 4 1 3等の表示装置に動 画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。 具体例としては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハードディスクに記録す るディスク レコーダなどのレコーダ e X 4 2 0がある。 更に SDカード e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施の形 態で示した画像復号化装置を備えていれば、 DVD ディスク e X 4 2 1や SDカード e x 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で 表示することができる。
なお、 カーナビゲーシヨン ex4 1 3の構成は例えば図 5 5に示す構成 のうち、 カメラ部 ex 2 0 3 とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンビユー タ ex1 1 1 やテレビ (受信機) ex40 1等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器■復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ■ システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで きる。
また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用の可能性
本発明に係る画像符号化装置は、 通信機能を備えるパーソナルコンビ ユータ、 P D A、 ディジタル放送の放送局および携帯電話機などに備え られる画像符号化装置と して有用である。
また、 本発明に係る画像復号化装置は、 通信機能を備えるパーソナル コンピュータ、 P D A、 ディジタル放送を受信する S T Bおよび携帯電 話機などに備えられる画像復号化装置と して有用である。

Claims

請 求 の 範 囲
1 . 複数のピクチャを参照してピクチャ間予測を行う際の動きべク 卜 ルの計算方法であって、
表示時間順で前方にある複数のピクチャもしくは表示時間順で後方 にある複数のピクチャもしくは表示時間順で前方および後方の両方にあ る複数のピクチャを参照することができる参照ステップと、
ピクチャ間予測を行うブロックが属するピクチャとは別のピクチャ の前記ブロックと同じ位置にあるブロックの動きベク トルを参照して、 前記ピクチャ間予測を行うブロックの動き補償を行う場合に、 前記動き ベク トルを参照されるブロックに対してすでに求められている動きべク トルのうち、 所定の条件を満足する少なく とも 1 つの動きべク トルを用 いて前記ピクチャ間予測を行うブロックの動きベク トルを計算する動き 補償ステップとを含む
ことを特徴とする動きべク トル計算方法。
2 . 前記参照ステップでは、 表示時間順で前方にあるピクチャを優先 して識別番号を昇順で付与された第 1 のピクチャの並びと、 表示時間順 で後方にあるピクチャを優先して識別番号を昇順で付与された第 2のピ クチャの並ぴとから、 それぞれ 1 つのピクチャを参照することができ、 前記動き補償ステップでは、 前記動きべク トルを参照されるブロック において前記第 1 の並びにあるピクチャを参照する動きべク トルを用い る
ことを特徴とする請求の範囲 1記載の動きベク トル計算方法。
3 . 前記動き補償ステップでは、 前記第 2の並びにあるピクチャのう ち最小の識別番号を有するピクチャを前記別のピクチャと し、 前記ピク チヤ間予測を行うブロックの動きベク トルを計算する
ことを特徴とする請求の範囲 2記載の動きベク トル計算方法。
4 . 前記動き補償ステップでは、 前記動きベク トルを参照されるプロ ックが、 長時間メモリに保存されるピクチャを参照する動きべク トルを 複数有する時、 ピクチャ間予測を行うブロックの動きべク トルと して、 前記長時間メモリに保存されるピクチャを参照する動きべク トルのうち 前記第 1 の並びにあるピクチャを参照する動きべク トルを用いる
ことを特徴とする請求の範囲 2記載の動きべク トル計算方法。
5 . 前記動き補償ステップでは、 前記動きべク トルを参照されるプロ ックにおいて表示時間順で前方にあるピクチャを参照する動きベク トル のうち、 少なく とも 1 つを用いて前記ピクチャ間予測を行うブロックの 動きべク トルを計算する
ことを特徴とする請求の範囲 1 記載の動きべク トル計算方法。
6 . 前記動き補償ステップでは、 前記動きべク トルを参照されるプロ ックが 1 または複数の動きべク トルを有する時、 先に符号化または復号 化された動きべク トル、 または先に符号列に記述された動きべク トルを 用いて前記ピクチャ間予測を行うブロックの動きベク トルを計算する ことを特徴とする請求の範囲 1 記載の動きベク トル計算方法。
7 . 前記動き補償ステップでは、 前記動きベク トルを参照されるプロ ックが、 表示時間順で前方または後方にあるピクチャを参照する複数の 動きべク トルを有する時、 前記複数の動きべク トルのうちの少なく とも 1 つを用いて前記ピクチャ間予測を行うブロックの 1 つの動きべク トル を計算する
ことを特徴とする請求の範囲 1記載の動きベク トル計算方法。
8 . 前記動き補償ステップでは、 前記動きベク トルを参照されるプロ ックが表示時間順で前方または後方にあるピクチャを参照する複数の動 きべク トルを有する場合に、 前記複数の動きべク トルのうちピクチャ間 予測を行うピクチャに表示時間順で近いピクチャを参照する 1 つの動き べク トルまたは表示時間順で遠いピクチャを参照する 1 つの動きべク ト ルを用いて、 動き補償を行うための動きべク トルを計算する
ことを特徴とする請求の範囲 1記載の動きベク トル計算方法。
9 . 前記動き補償ステップでは、 前記動きべク トルを参照されるプロ ックが、 長時間メモリに保存されているピクチャを参照する動きべク ト ルを 1 つ有する時、 前記ピクチャ間予測を行うブロックの動きべク トル として、 前記長時間メモリに保存されているピクチャを参照する動きべ ク トルを割り当てる
ことを特徴とする請求の範囲 1 ~ 8のいずれか 1 項に記載の動きべク トル計算方法。
1 0 . 前記動き補償ステップでは、
前記動きべク トルを参照されるブロックが、 長時間メモリに保存され ているピクチャを参照する動きべク トルを少なく とも 1 つ有する時、 前 記長時間メモリに保存されているピクチャを参照する動きべク トルが、 前記動きべク トルを参照されるプロックのピクチャよリ表示時間順で前 方にあるピクチャを参照する動きべク トルである場合、 その動きべク ト ルを前記ピクチャ間予測を行うブロックの動きベク トルとする ことを特徴とする請求の範囲 1 ~ 8のいずれか 1項に記載の動きべク トル計算方法。
1 1 . 前記動き補償ステップでは、 さらに、 前記ピクチャ間予測を行 うブロックの動きべク トルの計算を行う途中段階、 または最終結果に対 して、 所定の動きベク トルの精度への丸め演算を行う
ことを特徴とする請求の範囲 1 〜 8のいずれか 1項に記載の動きべク 卜ル計算方法。
1 2 . 複数のピクチャを参照してピクチャ間予測を行う際の動きべク トルの計算方法であって、
記憶部に格納されている複数の符号化済ピクチャから符号化対象ピク チヤ上のブロックを動き補償により求めるときに参照する第 1 の参照ピ クチャと第 2の参照ピクチャのうち少なく とも一方の参照ピクチャを選 択するときに用いる第 1参照インデックスまたは第 2参照インデックス を前記符号化済ピクチャに対して付与する付与ステップと、
前記符号化対象ピクチャ上のブロックを動き補償するときに、 前記符 号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべク ト ルのうち第 1参照インデックスを有する動きべク トルが複数あるとき、 それらの中央値を示す動きベク トルを選択する第 1選択ステップと、 前記第 1 選択ステップで選択された動きべク トルを用いて前記符号化 対象ピクチャより表示時間順で、 前方にあるピクチャまたは後方にある ピクチャまたは前方と後方にあるピクチャを参照する動きベク トルを導 出する導出ステップと
を含むことを特徴とする動きべク トル計算方法。
1 3 . 前記第 1選択ステップでは、 第 1参照インデックスを有する動 きべク トルのうち、 さらに、 第 1参照インデックスの値が最小のものの 中央値を示す動きべク トルを選択する
ことを特徴とする請求の範囲 1 2記載の動きべク トル計算方法。
1 4 . 前記第 1選択ステップは、 さらに、 前記符号化対象ピクチャ上 のブロックの周囲にある周辺ブロックの動きべク 卜ルのうち第 2参照ィ ンデックスを有する動きべク トルが複数あるとき、 それらの中央値を示 す動きべク トルを選択する第 2選択ステップを含む
ことを特徴とする請求の範囲 1 3記載の動きべク トル計算方法。
1 5 . 前記第 2選択ステップでは、 第 2参照インデックスを有する動 きべク トルのうち、 さらに、 第 2参照インデックスの値が最小のものの 中央値を示す動きべク トルを選択する
ことを特徴とする請求の範囲 1 4記載の動きべク トル計算方法。
1 6 . 前記導出ステップでは、 前記第 1選択ステップにおいて選択さ れた動きべク トルを、 前記符号化対象ピクチャ上のブロックが前記符号 化対象ピクチャょリ表示時間順で前方にあるピクチャを参照する際の動 きべク トルとし、 前記第 2選択ステップにおいて選択された動きべク ト ルを、 前記符号化対象ピクチャ上のブロックが前記符号化対象ピクチャ より表示時間順で後方にあるピクチャを参照する際の動きベク トルとす る
ことを特徴とする請求の範囲 1 5記載の動きべク トル計算方法。
1 7 . 前記導出ステップでは、 前記第 1選択ステップにおいて選択さ れた動きべク トルを、 前記符号化対象ピクチャ上のブロックが前記第 1 の参照ピクチャを参照する際の動きべク トルとし、 前記第 2選択ステツ プにおいて選択された動きべク トルを、 前記符号化対象ピクチャ上のブ ロックが前記第 2の参照ピクチャを参照する際の動きべク トルとする ことを特徴とする請求の範囲 1 5記載の動きべク トル計算方法。
1 8 . 前記周辺プロックが他のプロックが有する動きべク トルを用い て符号化する直接モードのブロックであるとき、 前記他のブロックを符 号化または復号化するときに実質的に用いた動きべク トルを前記直接モ ードのブロックの動きべク トルとする
ことを特徴とする請求の範囲 1 2記載の動きべク トル計算方法。
1 9 . 前記動きべク トル計算方法では、 前記第 1 選択ステツプに代え て、
前記符号化対象ピクチャ上のブロックを動き補償するときに、 前記符 号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべク 卜 ルのうち最小の第 1参照インデックスを有する動きベク トルの数に応じ て動きベク トルの導出方法を決定する判断ステップを含み、
前記導出ステップでは、 前記選択された動きべク トルの代わりに、 決 定された動きベク トル導出方法を用いて前記符号化対象ピクチャより表 示時間順で前方にあるピクチャまたは後方にあるピクチャまたは前方と 後方にあるピクチャを参照する動きべク トルを導出すると
を含むことを特徴とする請求の範囲 1 2記載の動きべク トル計算方法,
PCT/JP2003/004805 2002-04-19 2003-04-16 Procede de calcul de vecteurs de mouvement WO2003090473A1 (fr)

Priority Applications (42)

Application Number Priority Date Filing Date Title
KR1020087006472A KR100931750B1 (ko) 2002-04-19 2003-04-16 움직임 벡터 계산방법
AU2003231356A AU2003231356B2 (en) 2002-04-19 2003-04-16 Motion vector calculation method
CA2451568A CA2451568C (en) 2002-04-19 2003-04-16 Motion vector calculation method
EP16157926.3A EP3054680B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
EP03725587.4A EP1411729B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
ES03725587.4T ES2576629T3 (es) 2002-04-19 2003-04-16 Método de cálculo de vectores de movimiento
KR1020097013226A KR100931746B1 (ko) 2002-04-19 2003-04-16 움직임 벡터 계산방법
EP19160689.6A EP3525466B1 (en) 2002-04-19 2003-04-16 Motion vector determining method and apparatus
EP17204573.4A EP3324626B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
EP19160699.5A EP3525467B1 (en) 2002-04-19 2003-04-16 Bitstream decoding method and apparatus
EP19160688.8A EP3525465B1 (en) 2002-04-19 2003-04-16 Picture decoding method and apparatus
US10/480,928 US7940845B2 (en) 2002-04-19 2003-04-16 Motion vector calculating method
EP17204555.1A EP3324623B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
EP17204569.2A EP3324625B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
EP19160686.2A EP3525464B1 (en) 2002-04-19 2003-04-16 Picture coding and decoding method and system
EP17204565.0A EP3324624B1 (en) 2002-04-19 2003-04-16 Motion vector calculating method
MXPA03011333A MXPA03011333A (es) 2002-04-19 2003-04-16 Metodo para calcular vectores de movimiento.
KR1020037015504A KR101031423B1 (ko) 2002-04-19 2003-04-16 움직임 벡터 계산방법
BRPI0304534A BRPI0304534B1 (pt) 2002-04-19 2003-04-16 método e aparelho para determinar o vetor de movimento
US11/976,750 US7733960B2 (en) 2002-04-19 2007-10-26 Motion vector calculation method
US12/766,254 US8290049B2 (en) 2002-04-19 2010-04-23 Motion vector calculation method
US13/606,612 US8605789B2 (en) 2002-04-19 2012-09-07 Motion vector calculation method
US14/015,296 US8964848B2 (en) 2002-04-19 2013-08-30 Motion vector calculation method
US14/015,281 US8971411B2 (en) 2002-04-19 2013-08-30 Motion vector calculation method
US14/015,406 US8958480B2 (en) 2002-04-19 2013-08-30 Motion vector calculation method
US14/015,263 US8929453B2 (en) 2002-04-19 2013-08-30 Motion vector calculation method
US14/602,665 US9083980B2 (en) 2002-04-19 2015-01-22 Motion vector calculation method
US14/602,696 US9264730B2 (en) 2002-04-19 2015-01-22 Motion vector calculation method
US14/969,715 US9516338B2 (en) 2002-04-19 2015-12-15 Motion vector calculation method
US14/969,627 US9485519B2 (en) 2002-04-19 2015-12-15 Motion vector calculation method
US15/338,880 US9729896B2 (en) 2002-04-19 2016-10-31 Motion vector calculation method
US15/338,807 US9723324B2 (en) 2002-04-19 2016-10-31 Motion vector calculation method
US15/338,830 US9723325B2 (en) 2002-04-19 2016-10-31 Motion vector calculation method
US15/338,740 US9723323B2 (en) 2002-04-19 2016-10-31 Motion vector calculation method
US15/338,754 US9693074B2 (en) 2002-04-19 2016-10-31 Motion vector calculation method
US15/640,824 US9948947B2 (en) 2002-04-19 2017-07-03 Motion vector calculation method
US15/640,829 US10097855B2 (en) 2002-04-19 2017-07-03 Motion vector calculation method
US15/640,800 US9955181B2 (en) 2002-04-19 2017-07-03 Motion vector calculation method
US15/640,840 US9948948B2 (en) 2002-04-19 2017-07-03 Motion vector calculation method
US16/119,280 US10397602B2 (en) 2002-04-19 2018-08-31 Motion vector calculation method
US16/119,337 US10440386B2 (en) 2002-04-19 2018-08-31 Motion vector calculation method
US16/119,446 US10404995B2 (en) 2002-04-19 2018-08-31 Motion vector calculation method

Applications Claiming Priority (22)

Application Number Priority Date Filing Date Title
JP2002-118598 2002-04-19
JP2002118598 2002-04-19
JP2002-121053 2002-04-23
JP2002121053 2002-04-23
US37864302P 2002-05-09 2002-05-09
US60/378,643 2002-05-09
US37895402P 2002-05-10 2002-05-10
US60/378,954 2002-05-10
JP2002-156266 2002-05-29
JP2002156266 2002-05-29
JP2002-177889 2002-06-19
JP2002177889 2002-06-19
JP2002193027 2002-07-02
JP2002-193027 2002-07-02
JP2002-204713 2002-07-12
JP2002204713 2002-07-12
JP2002262151 2002-09-06
JP2002-262151 2002-09-06
JP2002290542 2002-10-02
JP2002-290542 2002-10-02
JP2002-323096 2002-11-06
JP2002323096 2002-11-06

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10/480,928 A-371-Of-International US7940845B2 (en) 2002-04-19 2003-04-16 Motion vector calculating method
US11/976,750 Continuation US7733960B2 (en) 2002-04-19 2007-10-26 Motion vector calculation method

Publications (1)

Publication Number Publication Date
WO2003090473A1 true WO2003090473A1 (fr) 2003-10-30

Family

ID=29255790

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2003/004805 WO2003090473A1 (fr) 2002-04-19 2003-04-16 Procede de calcul de vecteurs de mouvement
PCT/JP2003/004809 WO2003090475A1 (fr) 2002-04-19 2003-04-16 Procede pour calculer un vecteur de mouvement

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004809 WO2003090475A1 (fr) 2002-04-19 2003-04-16 Procede pour calculer un vecteur de mouvement

Country Status (12)

Country Link
US (24) US7940845B2 (ja)
EP (3) EP1411729B1 (ja)
KR (4) KR101011849B1 (ja)
CN (2) CN1290341C (ja)
AU (2) AU2003231356B2 (ja)
CA (2) CA2451568C (ja)
ES (5) ES2745059T3 (ja)
HU (8) HUE054106T2 (ja)
MX (1) MXPA03011334A (ja)
MY (1) MY155930A (ja)
PT (3) PT3525465T (ja)
WO (2) WO2003090473A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007517437A (ja) * 2003-12-31 2007-06-28 中国科学院▲計▼算技▲術▼研究所 直接符号化モードでの参照画像ブロックの確定方法
JP2007517438A (ja) * 2003-12-31 2007-06-28 中国科学院計算技木研究所 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
JPWO2005062625A1 (ja) * 2003-12-22 2007-07-19 日本電気株式会社 動画像を符号化する方法及び装置
TWI419569B (zh) * 2003-12-23 2013-12-11 Tamiras Per Pte Ltd Llc 在數位視訊序列進行瞬時移動向量過濾的方法
US8873630B2 (en) 2002-06-03 2014-10-28 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9402087B2 (en) 2004-08-16 2016-07-26 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
US9888237B2 (en) 2002-01-25 2018-02-06 Microsoft Technology Licensing, Llc Video coding

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111754B1 (en) 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
PT3525465T (pt) 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
CN101043626B (zh) * 2002-07-15 2010-06-09 株式会社日立制作所 动态图像编码方法
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
CN1568622B (zh) 2002-08-08 2010-05-26 松下电器产业株式会社 图像编码方法及图像编码装置
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
EP1562385B1 (en) * 2002-11-01 2014-07-02 Panasonic Corporation Motion picture encoding method and motion picture decoding method
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8073048B2 (en) * 2003-08-26 2011-12-06 Thomson Licensing Method and apparatus for minimizing number of reference pictures used for inter-coding
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US8036271B2 (en) * 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US7813432B2 (en) * 2004-12-30 2010-10-12 Intel Corporation Offset buffer for intra-prediction of digital video
DE112006002833T5 (de) * 2005-11-03 2008-12-11 Hyun Sam Lee Überlaufschutzdeckel für ein Kochgefäß
JP4616765B2 (ja) * 2005-12-15 2011-01-19 富士通株式会社 動画像符号化装置
KR100914713B1 (ko) 2006-01-09 2009-08-31 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
KR20070074451A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
JP4720543B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、記録媒体、ならびに、再生装置、再生方法および再生プログラム
US8306118B1 (en) * 2006-03-01 2012-11-06 Maxim Integrated, Inc. High quality low bitrate video coding by enabling and disabling a non-residual mode
JP4527677B2 (ja) * 2006-03-15 2010-08-18 富士通株式会社 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
US8208553B2 (en) * 2006-05-04 2012-06-26 Altera Corporation Methods and apparatus for quarter-pel refinement in a SIMD array processor
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
US8767830B2 (en) * 2006-09-13 2014-07-01 Vixs Systems, Inc Neighbor management module for use in video encoding and methods for use therewith
AU2014210664A1 (en) * 2006-10-16 2014-08-28 Nokia Technologies Oy System and method for implementing efficient decoded buffer management in multi-view video coding
US7907217B2 (en) * 2006-10-31 2011-03-15 Siemens Medical Solutions Usa, Inc. Systems and methods of subtraction angiography utilizing motion prediction
US20080137726A1 (en) * 2006-12-12 2008-06-12 General Instrument Corporation Method and Apparatus for Real-Time Video Encoding
EP2096439A4 (en) * 2006-12-21 2011-01-05 Ajinomoto Kk METHOD, APPARATUS, METHOD, SYSTEM AND SOFTWARE FOR EVALUATING COLORECTAL CANCER, AND RECORDING MEDIUM
CN102176751B (zh) * 2006-12-27 2013-12-25 松下电器产业株式会社 运动图像解码装置及运动图像解码方法
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR100906243B1 (ko) * 2007-06-04 2009-07-07 전자부품연구원 Rgb 색 공간 신호의 영상 부호화 방법
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8817878B2 (en) * 2007-11-07 2014-08-26 Broadcom Corporation Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
CN101453656B (zh) * 2007-11-29 2011-06-01 华为技术有限公司 视频编码、解码方法及装置和视频编解码系统
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US8355443B2 (en) * 2008-03-27 2013-01-15 CSR Technology, Inc. Recursive motion for motion detection deinterlacer
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
JP5578775B2 (ja) * 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101590511B1 (ko) * 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
PL3567855T3 (pl) 2009-03-23 2023-03-13 Ntt Docomo, Inc. Urządzenie do predykcyjnego kodowania wideo, sposób predykcyjnego kodowania wideo, program do predykcyjnego kodowania wideo, urządzenie do predykcyjnego dekodowania wideo, sposób predykcyjnego dekodowania wideo i program do predykcyjnego dekodowania wideo
EP2530937B1 (en) * 2009-06-18 2015-03-18 Kabushiki Kaisha Toshiba Video encoding apparatus and video decoding apparatus
US9628794B2 (en) * 2009-06-18 2017-04-18 Kabushiki Kaisha Toshiba Video encoding apparatus and a video decoding apparatus
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
TW201204054A (en) 2010-01-14 2012-01-16 Intel Corp Techniques for motion estimation
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
AU2013202014A1 (en) * 2010-01-14 2013-04-18 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding motion vector
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
CN102131091B (zh) * 2010-01-15 2013-01-23 联发科技股份有限公司 解码端运动向量导出方法
WO2011093688A2 (ko) * 2010-02-01 2011-08-04 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101780921B1 (ko) * 2010-04-01 2017-09-21 소니 주식회사 화상 처리 장치, 방법 및 기록매체
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
RS57809B1 (sr) 2010-07-09 2018-12-31 Samsung Electronics Co Ltd Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
ES2785606T3 (es) 2010-07-20 2020-10-07 Ntt Docomo Inc Dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes
US9602813B2 (en) * 2010-08-18 2017-03-21 Sk Telecom Co., Ltd. Image encoding/decoding device and method, and reference picture indexing device and method
EP3637777A1 (en) * 2010-10-06 2020-04-15 NTT DoCoMo, Inc. Bi-predictive image decoding device and method
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
EP3570542B1 (en) * 2010-11-24 2022-09-14 Velos Media International Limited Motion vector calculation method, picture coding method, picture decoding method, motion vector calculation apparatus, and picture coding and decoding apparatus
WO2012081246A1 (ja) * 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
PL2658263T3 (pl) * 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
EP4135329A3 (en) 2011-01-07 2023-04-05 LG Electronics Inc. Method for encoding and decoding image information and device using same
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
MX2013008691A (es) * 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
JP5883431B2 (ja) * 2011-02-25 2016-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法および画像復号化方法
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN102685479A (zh) * 2011-03-11 2012-09-19 华为技术有限公司 视频编解码处理方法和装置
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
EP3614665B1 (en) 2011-05-27 2022-03-23 Sun Patent Trust Apparatus, method and program for decoding moving pictures
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
TW201304552A (zh) 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR102008030B1 (ko) 2011-06-23 2019-08-06 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102067683B1 (ko) 2011-06-24 2020-01-17 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JPWO2012176465A1 (ja) 2011-06-24 2015-02-23 パナソニック株式会社 復号方法及び復号装置
EP2725793A4 (en) 2011-06-27 2014-12-03 Panasonic Ip Corp America IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
PL3481066T3 (pl) 2011-06-28 2021-11-22 Lg Electronics Inc. Sposób wyprowadzania predyktora wektora ruchu
MX2013012980A (es) 2011-06-28 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodififcacion de imagenes.
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN106851269B (zh) 2011-06-30 2019-11-15 太阳专利托管公司 图像解码方法及装置、图像编码方法及装置、编解码装置
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN103636218B (zh) 2011-06-30 2017-07-28 Jvc建伍株式会社 图像解码装置和图像解码方法
KR102007047B1 (ko) 2011-06-30 2019-08-02 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102365353B1 (ko) * 2011-06-30 2022-02-23 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
RU2604680C2 (ru) 2011-07-11 2016-12-10 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
IN2014CN00729A (ja) 2011-08-03 2015-04-03 Panasonic Corp
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
BR112013018949B8 (pt) 2011-11-02 2022-10-11 Panasonic Corp Método e aparelho de codificação para codificar uma imagem em um fluxo de bits
JP5485969B2 (ja) 2011-11-07 2014-05-07 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
SG11201402160XA (en) 2011-11-08 2014-08-28 Samsung Electronics Co Ltd Method and apparatus for motion vector determination in video encoding or decoding
AU2015201551B2 (en) * 2011-11-08 2015-06-18 Samsung Electronics Co., Ltd. Method and device for determining motion vector for video coding or video decoding
WO2013099031A1 (ja) * 2011-12-28 2013-07-04 株式会社安川電機 エンジニアリングツール
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
CN108235032B (zh) * 2012-01-18 2022-01-07 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
CN104094604B (zh) 2012-01-20 2017-07-14 太阳专利托管公司 使用时间运动矢量预测对视频进行编码和解码的方法和装置
WO2013111596A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および画像符号化復号装置
CN107396101B (zh) * 2012-02-03 2019-12-20 太阳专利托管公司 图像编码方法及图像编码装置
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9247196B1 (en) * 2012-08-30 2016-01-26 Ambarella, Inc. High efficiency video coding for video with interlaced and progressive content using lookahead
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
US9106793B2 (en) * 2013-01-03 2015-08-11 Cisco Technology, Inc. Method and apparatus for motion based participant switching in multipoint video conferences
BR112016017201B1 (pt) * 2014-01-29 2023-09-26 Hfi Innovation Inc Método de codificação e decodificação para precisão adaptativa de vetor de movimento de um bloco de dados de vídeo
CA2942336A1 (en) * 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
KR101635111B1 (ko) * 2014-05-15 2016-06-30 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
US10148965B2 (en) * 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
CN106303544B (zh) 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
US20190014326A1 (en) * 2017-07-06 2019-01-10 Intel Corporation Imu enhanced reference list management and encoding
US10602178B1 (en) * 2017-12-21 2020-03-24 Mozilla Corporation Systems and methods for frame context selection
CN116647696A (zh) 2018-09-06 2023-08-25 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020103877A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Coding and decoding of video coding modes
EP4262208A3 (en) * 2019-02-20 2024-01-17 Beijing Dajia Internet Information Technology Co., Ltd. Constrained motion vector derivation for long-term reference pictures in video coding
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
US11601656B2 (en) * 2021-06-16 2023-03-07 Western Digital Technologies, Inc. Video processing in a data storage device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JP2001045498A (ja) * 1996-09-09 2001-02-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法
JP2001224036A (ja) * 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
JP2001268581A (ja) * 1997-04-09 2001-09-28 Matsushita Electric Ind Co Ltd 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US38563A (en) * 1863-05-19 Improvement jn lighting gas by electricity
US5086439A (en) * 1989-04-18 1992-02-04 Mitsubishi Denki Kabushiki Kaisha Encoding/decoding system utilizing local properties
JPH0420088A (ja) 1990-05-14 1992-01-23 Victor Co Of Japan Ltd フレーム間符号化装置
JP3031638B2 (ja) 1991-01-30 2000-04-10 富士通株式会社 蓄積用動画像符号化方式における補間フレームのベクトル探索方法
JPH0662391A (ja) 1992-08-10 1994-03-04 Nippon Telegr & Teleph Corp <Ntt> 動画像予測符号化方法
US5329365A (en) 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
KR0148154B1 (ko) 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JP3513277B2 (ja) 1995-08-29 2004-03-31 シャープ株式会社 映像符号化装置及び映像復号化装置
US5724446A (en) 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
US5809173A (en) 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
DE69630643T2 (de) 1995-08-29 2004-10-07 Sharp Kk Videokodierungsvorrichtung
JP2872109B2 (ja) * 1996-05-14 1999-03-17 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動画像符号化方法および装置
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3019787B2 (ja) 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
JPH10126787A (ja) 1996-10-14 1998-05-15 Nec Eng Ltd Pピクチャの予測ベクトルをオフセットベクトルとした双方向予測ベクトル検出回路
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
MY129665A (en) 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
DE69838281T2 (de) 1997-06-25 2008-05-15 Nippon Telegraph And Telephone Corp. Bewegungsprädiktives bildkodierungsverfahren sowie speichermedium zur speicherung des entsprechenden programms
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6396874B1 (en) * 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
JP3523481B2 (ja) 1998-02-23 2004-04-26 シャープ株式会社 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
JP3724204B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
US6274537B1 (en) * 1998-08-05 2001-08-14 Samsung Electronics Co., Ltd. Use of alkoxy N-hydroxyalkyl alkanamide as resist removing agent, composition for removing resist, method for preparing the same and resist removing method using the same
GB2360662B (en) 1999-05-13 2002-01-09 Nec Corp Picture coding apparatus
JP3329768B2 (ja) 1999-07-05 2002-09-30 日本電信電話株式会社 画像符号化データの再符号化方法およびそのプログラム記録媒体
JP2001045475A (ja) 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体
JP2001086508A (ja) * 1999-09-13 2001-03-30 Victor Co Of Japan Ltd 動画像復号方法及び動画像復号装置
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
GB2381403B (en) * 2000-05-10 2004-12-01 Picturetel Corp Video coding using multiple buffers
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
KR100744366B1 (ko) 2000-06-26 2007-07-30 마츠시타 덴끼 산교 가부시키가이샤 광디스크용 편집장치, 컴퓨터-판독가능한 저장매체, 및 편집방법
JP4245790B2 (ja) 2000-08-29 2009-04-02 オリンパス株式会社 超音波処置具
US6738980B2 (en) * 2001-11-15 2004-05-18 Industrial Technology Research Institute Methods and systems for video streaming with VCR functionality
AU2002365337A1 (en) * 2001-11-21 2003-06-10 General Instrument Corporation Picture level adaptive frame/field coding for digital video signal
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
PT1449385E (pt) * 2001-11-21 2015-10-15 Google Technology Holdings LLC Codificação adaptativa de quadro/campo ao nível dos macroblocos para o conteúdo de vídeo digital
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
PT3525465T (pt) 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JP2001224036A (ja) * 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
JP2001045498A (ja) * 1996-09-09 2001-02-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法
JP2001268581A (ja) * 1997-04-09 2001-09-28 Matsushita Electric Ind Co Ltd 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1411729A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284843B2 (en) 2002-01-25 2019-05-07 Microsoft Technology Licensing, Llc Video coding
US9888237B2 (en) 2002-01-25 2018-02-06 Microsoft Technology Licensing, Llc Video coding
US8873630B2 (en) 2002-06-03 2014-10-28 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US10116959B2 (en) 2002-06-03 2018-10-30 Microsoft Technology Licesning, LLC Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9571854B2 (en) 2002-06-03 2017-02-14 Microsoft Technology Licensing, Llc Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9185427B2 (en) 2002-06-03 2015-11-10 Microsoft Technology Licensing, Llc Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7835438B2 (en) 2003-12-22 2010-11-16 Nec Corporation Method and device for encoding moving picture using reference frequency of reference frame
JP4702059B2 (ja) * 2003-12-22 2011-06-15 日本電気株式会社 動画像を符号化する方法及び装置
JPWO2005062625A1 (ja) * 2003-12-22 2007-07-19 日本電気株式会社 動画像を符号化する方法及び装置
TWI419569B (zh) * 2003-12-23 2013-12-11 Tamiras Per Pte Ltd Llc 在數位視訊序列進行瞬時移動向量過濾的方法
JP4670085B2 (ja) * 2003-12-31 2011-04-13 中国科学院▲計▼算技▲術▼研究所 直接符号化モードでの参照画像ブロックの確定方法
JP4642033B2 (ja) * 2003-12-31 2011-03-02 中国科学院計算技木研究所 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
JP2007517437A (ja) * 2003-12-31 2007-06-28 中国科学院▲計▼算技▲術▼研究所 直接符号化モードでの参照画像ブロックの確定方法
JP2007517438A (ja) * 2003-12-31 2007-06-28 中国科学院計算技木研究所 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
US9402087B2 (en) 2004-08-16 2016-07-26 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program

Also Published As

Publication number Publication date
ES2745059T3 (es) 2020-02-27
US9948947B2 (en) 2018-04-17
US20170085907A1 (en) 2017-03-23
US20140064376A1 (en) 2014-03-06
HUE044616T2 (hu) 2019-11-28
MXPA03011334A (es) 2004-04-20
US20170302956A1 (en) 2017-10-19
HUE045566T2 (hu) 2020-01-28
CA2451571A1 (en) 2003-10-30
EP3525466A1 (en) 2019-08-14
EP1411729B1 (en) 2016-03-23
AU2003235174A1 (en) 2003-11-03
US20150131736A1 (en) 2015-05-14
US20170302955A1 (en) 2017-10-19
CA2451568A1 (en) 2003-10-30
US20080063075A1 (en) 2008-03-13
US20170302957A1 (en) 2017-10-19
PT3525464T (pt) 2021-04-06
HUE053955T2 (hu) 2021-08-30
US20150172701A1 (en) 2015-06-18
US8958480B2 (en) 2015-02-17
US10397602B2 (en) 2019-08-27
US9485519B2 (en) 2016-11-01
US20100202539A1 (en) 2010-08-12
ES2743606T3 (es) 2020-02-20
HUE054106T2 (hu) 2021-08-30
ES2742799T3 (es) 2020-02-17
US7940845B2 (en) 2011-05-10
US20120328024A1 (en) 2012-12-27
KR20040099100A (ko) 2004-11-26
US9723325B2 (en) 2017-08-01
US9948948B2 (en) 2018-04-17
KR20090086610A (ko) 2009-08-13
HUE053922T2 (hu) 2021-07-28
EP1441537A4 (en) 2006-06-07
HUE044739T2 (hu) 2019-11-28
US20170048547A1 (en) 2017-02-16
KR20100005233A (ko) 2010-01-14
HUE044584T2 (hu) 2019-11-28
US9723324B2 (en) 2017-08-01
US9516338B2 (en) 2016-12-06
US10097855B2 (en) 2018-10-09
CN1518834A (zh) 2004-08-04
WO2003090475A1 (fr) 2003-10-30
EP1411729A4 (en) 2007-03-07
KR100931746B1 (ko) 2009-12-14
US10440386B2 (en) 2019-10-08
US20190014341A1 (en) 2019-01-10
US20170048545A1 (en) 2017-02-16
US20190020891A1 (en) 2019-01-17
US20040136461A1 (en) 2004-07-15
MY155930A (en) 2015-12-31
US20140064375A1 (en) 2014-03-06
US8929453B2 (en) 2015-01-06
US20170324976A1 (en) 2017-11-09
CN1518833A (zh) 2004-08-04
US8971411B2 (en) 2015-03-03
US9723323B2 (en) 2017-08-01
US9729896B2 (en) 2017-08-08
US7733960B2 (en) 2010-06-08
US20170048546A1 (en) 2017-02-16
EP1411729A1 (en) 2004-04-21
US8964848B2 (en) 2015-02-24
US20180376162A1 (en) 2018-12-27
PT3525465T (pt) 2021-05-10
KR100931750B1 (ko) 2009-12-14
US20160100185A1 (en) 2016-04-07
US8605789B2 (en) 2013-12-10
US9693074B2 (en) 2017-06-27
US8290049B2 (en) 2012-10-16
US20160112716A1 (en) 2016-04-21
US9264730B2 (en) 2016-02-16
US20140072047A1 (en) 2014-03-13
HUE044582T2 (hu) 2019-11-28
ES2745044T3 (es) 2020-02-27
US9955181B2 (en) 2018-04-24
EP3525466B1 (en) 2022-02-09
US9083980B2 (en) 2015-07-14
CA2451568C (en) 2012-08-21
PT3525467T (pt) 2021-04-08
CN1290341C (zh) 2006-12-13
AU2003231356B2 (en) 2009-10-01
AU2003231356A1 (en) 2003-11-03
US10404995B2 (en) 2019-09-03
EP1441537A1 (en) 2004-07-28
US20140072046A1 (en) 2014-03-13
KR20080031519A (ko) 2008-04-08
ES2745058T3 (es) 2020-02-27
CN1277419C (zh) 2006-09-27
US20170048544A1 (en) 2017-02-16
KR101011849B1 (ko) 2011-01-31

Similar Documents

Publication Publication Date Title
WO2003090473A1 (fr) Procede de calcul de vecteurs de mouvement
US7894526B2 (en) Motion estimation method and moving picture coding method
US8208549B2 (en) Decoder, encoder, decoding method and encoding method
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
US8126056B2 (en) Moving picture coding method, and moving picture decoding method
US7856060B2 (en) Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture prediction decoding using previously processed pictures as reference pictures
WO2004040915A1 (ja) 動画像符号化方法および動画像復号化方法
US20070071104A1 (en) Picture coding method and picture decoding method

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 1020037015504

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: PA/a/2003/011333

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2003231356

Country of ref document: AU

Ref document number: 2003725587

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10480928

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2017/CHENP/2003

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 038004712

Country of ref document: CN

Ref document number: 2451568

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003725587

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087006472

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020097013226

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020097025003

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107014568

Country of ref document: KR