WO1989010600A1 - Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif - Google Patents
Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif Download PDFInfo
- Publication number
- WO1989010600A1 WO1989010600A1 PCT/NL1989/000028 NL8900028W WO8910600A1 WO 1989010600 A1 WO1989010600 A1 WO 1989010600A1 NL 8900028 W NL8900028 W NL 8900028W WO 8910600 A1 WO8910600 A1 WO 8910600A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vector
- image
- block
- point
- motion
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Definitions
- the present invention therefore provides a device of the kind mentioned above which gives a motion vector for any point or a few points while remaining insensitive to noise.
- a device is remarkable in that it comprises an allocation member for assigning, among candidate motion vectors developed by the estimation member, a motion vector for at least one image point called the current point.
- the present invention also relates to a standard converter system formed from such a device.
- An example of conversion is that which consists in transforming images appearing at the cadence of 50 Hz into images of cadence 60 Hz (or more exactly 59.94 Hz).
- a device of the above kind comprises a motion vector coherence test member to provide a validation signal for each motion vector assigned to a point, by comparison with corresponding points located in images of said succession, brings the advantage of avoiding certain ambiguities on the determination of the motion vector.
- These ambiguities arise in particular for objects of reduced size moving in a continuous background. Certain portions of the object will be assigned a good motion vector but others may be assigned the motion vector corresponding to the background.
- the interpolated image will show discontinuities in the reproduction of this object and these discontinuities will appear in different places of the image during a succession of these.
- the object will finally appear in a degraded manner. Thanks to this characteristic of the invention, this degradation and these discontinuities are largely avoided by comparing the motion vectors both in a spatial domain surrounding the point of the image and in domains surrounding the corresponding points in different images.
Abstract
Ce dispositif pour interpoler des images par estimation et compensation de mouvement est constitué à partir d'un organe d'estimation de mouvement par blocs (10) pour former des vecteurs de mouvement affectés à des blocs de points d'images et d'un organe d'interpolation (120) pour former une image en fonction desdits vecteurs mouvements. Il comporte en outre un organe d'affectation (50) pour affecter, parmi des vecteurs mouvements candidats (D1, D2, ... DL), élaborés par l'organe d'estimation un vecteur pour chaque point d'image. Application : conversion de standards.
Description
DESCRIPTION
"Dispositif pour interpoler des images par estimation et compensation de mouvement et système convertisseur de standards de télévision constitué à partir d'un tel dispositif".
La présente invention concerne un dispositif pour interpoler des images par estimation et compensation de mouvement, dispositif constitué à partir d'un organe d'estimation de mouvement par blocs pour former des vecteurs de mouvement affectés à des blocs de points d'images et d'un organe d'interpolation pour former une image en fonction desdits vecteurs de mouvement.
De tels dispositifs trouvent des applications importantes notamment dans le domaine de la télévision. Ainsi par la connaissance des vecteurs de mouvement qui définissent le déplacement de différents points d'images successives, il est possible de former par interpolation une image de bonne qualité en un instant choisi entre deux images successives. Ce genre de dispositif pour lequel on utilise une estimation de mouvement pour tout un bloc de points d'images est bien connu. On pourra consulter à ce sujet l'article de C.CAFFORIO et ROCCA intitulé : "The differential method for image motion estimation" in Image sequence processing and dynamic scene analysis, T. S. Huang Ed., Berlin, Germany, Springer-Verlag, 1983, pp.76-103.
Si les blocs comportent beaucoup de points, on se heurte à un premier inconvénient. Cet inconvénient est dû au fait qu'il peut arriver que les points d'images d'un même bloc se déplacent d'une image à l'autre d'une quantité bien différente, il en résulte donc des images interpolées de mauvaise qualité.
Si les blocs comportent peu de points, on se heurte à un deuxième inconvénient car l'estimation de mouvement peut être faussée par le bruit et là encore on obtient une image de mauvaise qualité.
La présente invention propose donc un dispositif du genre mentionné ci-dessus qui donne un vecteur mouvement pour tout point ou quelques points tout en restant insensible au bruit. Pour cela un tel dispositif est remarquable en ce qu'il comporte un organe d'affectation pour affecter, parmi des vecteurs mouvements candidats élaborés par l'organe d'estimation, un vecteur mouvement pour au moins un point d'image dit point courant. La présente invention concerne aussi un système convertisseur de standards constitué à partir d'un tel dispositif. Un exemple de conversion est celui qui consiste à transformer des images apparaissant à la caden.ce de 50 Hz en images de cadence 60 Hz (ou plus exactement 59,94 Hz). De ce fait, il est impossible de faire coïncider les images ; les images à former à la cadence de 59,94 Hz sont obtenues par interpolation à partir des images à 50 Hz. Les articles suivants décrivent des systèmes de cette sorte : "Movement-Compensated Frame-Frequency Conversion of Television Signal" HIR0HISA YAMAGUCHI et al. IEEE Transactions on Communications, vol.COM-35, Nº10, oct. 1987.
"HDTV-PAL Standards Converter" YUTALEA TANAKA et al. NHK Laboratories Note, jan. 1986, Nº serie 326.
La qualité des images fournies par ces systèmes repose en grande partie sur une bonne appréciation du vecteur mouvement.
Pour interpoler des successions d'images, une caractéristique importante de l'invention selon laquelle un dispositif du genre ci-dessus comporte un organe de test de cohérence de vecteur mouvement pour fournir un signal de validation pour chaque vecteur mouvement affecté à un point, par comparaison avec des points correspondants situés dans des images de ladite succession, amène l'avantage d'éviter certaines ambiguïtés sur la détermination du vecteur mouvement. Ces ambiguïtés surviennent notamment pour des objets de taille réduite se déplaçant dans un fond continu. Certaines portions de
l'objet seront affectées d'un bon vecteur mouvement mais d'autres pourront être affectées du vecteur mouvement correspondant au fond. L'image interpolée montrera des discontinuités dans la reproduction de cet objet et ces discontinuités apparaitront en des endroits différents de l'image lors d'une succession de celles-ci. L'objet apparaîtra finalement d'une manière dégradée. Grâce à cette caractéristique de l'invention, on évite dans une large mesure cette dégradation et ces discontinuités en comparant les vecteurs mouvements tant dans un domaine spatial entourant le point de l'image que dans des domaines entourant les points correspondants dans des images différentes.
La description suivante accompagnée des dessins ci-annexés, le tout donné à titre d'exemple non limitatif fera bien comprendre comment l'invention peut être réalisée.
La figure 1 montre un schéma pour interpoler des images selon l'invention.
La figure 2 montre la construction de l'image à interpoler à partir de deux images existantes. La figure 3 montre la décomposition des images en points d'images (pixels) et en blocs de points.
La figure 4 montre comment sont choisis les vecteurs initiaux relatifs à des blocs déjà traités.
La figure 5 montre l'intérêt de l'organe de cohérence.
La figure 6 explicite les domaines pour lesquels cette cohérence est effectuée.
La figure 7 explicite le domaine pour lequel on détermine une majorité. La figure 8 montre la construction des images pour effectuer une conversion de standards.
La figure 9 montre le détail du circuit de mémoire utilisé par l'invention.
La figure 10 est un diagramme temps montrant le fonctionnement du circuit de la figure 9.
La figure 11 explicite un détail de fonctionnement où l'on convertit dans un standard à 59,94 Hz.
La figure 12 montre le détail d'un organe d'estimation par bloc utilisé par l'invention. La figure 13 montre comment est effectué une interpolation linéaire de point.
La figure 14 montre le détail de l'organe d'affection utilisé par l'invention.
La figure 15 montre le détail d'un circuit de traitement utilisé par l'invention.
La figure 16 montre le détail d'un circuit de répartition utilisé par l'invention.
La figure 17 montre le détail d'un circuit de majorité utilisé par l'invention. A la figure 1, on a représenté avec la référence 1 le dispositif de l'invention.
A la figure 1 , on a représenté avec la référence 1 le dispositif de l'invention. Ce dispositif comporte, tout d'abord, un premier accès 2 pour recevoir des informations d'image et un deuxième accès 3 pour fournir l'image interpolée. Cette image interpolée dépend d'un paramètre α appliqué à un quatrième accès 4. Ce paramètre α est défini de la manière suivante. Pour cela, on se reporte à la figure 2. Soient E1 et E2 deux images successives apparaissant en des temps distants d'une durée TR. Le dispositif de l'invention se propose de fournir, par interpolation, une image manquante M située dans le temps à α.TR de E1 et à (1-α).TR de E2 avec α compris entre 0 et 1.
Si on appelle
le vecteur représentant les coordonnées d'un point des images et
la luminance d'un point de coordonnée z de l'image M cette luminance se déduit par interpolation selon la formule :
où D est le vecteur mouvement,
représente le déplacement du point défini par entre les images E1 et E2.
Pour établir l'image manquante on applique la formule (1) pour tout point de cette image manquante.
A cet effet, le dispositif de l'invention comporte, tout d'abord un organe d'estimation de mouvement par blocs 10. Cet organe va fournir pour un bloc de, par exemple 16x16 points d'image, un vecteur
A la figure 3 on a montré la décomposition d'une image en blocs. Chaque image est composée de 1540 blocs. Ces blocs sont organlisés en 35 lignes de 44 blocs. Ainsi les blocs BK1 , 1 ; BK1,2 ;... BK1,44 appartiennent à la première ligne, les blocs BK2,1 ; BK2,2 ;... BK2,44 à la deuxième ligne, et ainsi de suite jusqu'aux blocs BK35,1 ; BK35,2 ;... BK35,44 qui appartiennent à la trente cinquième ligne. Chaque bloc est formé de 16 lignes L1, L2, L3,... L16 dont chacune contient 16 points P1, P2,... P16 : ceci est seulement détaillé pour le bloc BK1,1. Ainsi l'organe 10 va fournir pour chaque bloc BKm,n de l'image M, un vecteur mouvement
Pour établir ce vecteur
,n l'organe 10 est muni (n ) d'une pluralité d'organes élémentaires 11', 11",... 11 . Ces organes fournissent un vecteur mouvement D'i+i, D"i+ι,... pour un bloc donné, défini par le contenu d'un compteur
de bloc 15. Ce compteur 15 associé à un circuit de décodage 17 va adresser un circuit de mémoire 20 contenant toutes les informations de luminance des images E1 et E2 à partir desquelles on va élaborer l'image M. Ce circuit 17 ne va fournir en direction des organes élémentaires 11', 11",... 11(n) que les informations nécessaires pour établir les valeurs du vecteur mouvement D'i+1, D"i+1,...
Parmi tous les vecteurs D'i+i, D"i+1,....
un seul sera retenu. Un circuit 21 détermine le meilleur selon un certain critère défini par une information de qualité Q', Q",... Q (n ) élaborée par chaque organe élémentaire 11', 11",... 11(n). Ce circuit 21 commande, en fonction de cela, la position d'un multiplexeur 22 pour que le vecteur retenu Dm,n soit enregistré dans un deuxième circuit mémoire 30 en une place affectée au bloc
BKm,n. Selon le mode préféré de l'invention les organes élémentaires opèrent selon l'algorithme C.CAFFORIO et ROCCA décrit dans l'article précité. Tout autre algorithme fournissant des vecteurs mouvement convient aussi et rentre naturellement dans le cadre de l'invention.
Selon l'algorithme préféré de l'invention on ajoute une valeur δ de correction à une valeur antérieure selon un processus itératif de sorte que l'on peut écrire :
Di+1 = Di+ δ (2) Cette opération peut être effectuée plusieurs fois. Mais la demanderesse s'est aperçue qu'une seule itération suffisait pour obtenir de bonnes performances du dispositif de l'invention. Les valeurs initiales peuvent être prises en considérant le vecteur mouvement de blocs voisins déjà calculés. Selon une caractéristique de l'invention pour déterminer le vecteur Dm,n on prendra comme. valeurs initiales Dm_1,n+1 et Dm,n_1 (voir figure 4) qui sont les vecteurs mouvement affectés aux blocs BKm-1,n+1 et BKm,n-1 traités antérieurement donc et les vecteurs ont déjà été calculés. Le vecteur de mouvement nul peut être aussi considéré. Ces vecteurs sont rendus disponibles aux sorties d'un registre 32 relié avec le circuit mémoire 30.
Pour déterminer Di +1 les organes élémentaires 11 effectuent l'opération indiquée par l'équation (2) avec :
La quantité Q(j) analysée par le circuit 21 relativement à un vecteur est donnée par :
(10)
(j ) Le vecteur retenu sera celui pour lequel la quantité Q
sera minimale.
Le dispositif de l'invention comporte aussi un organe d'affectation 50 qui va affecter à chaque point de l'image M un vecteur déplacement DP. A chaque point, on associe L vecteurs candidats D1, D2,... DL qui sont des vecteurs déplacement associés à des blocs voisins de celui contenant le point. Dans l'exemple de réalisation préféré neuf vecteurs candidats ont été sélectionnés pour un point appartenant à un bloc BKm,n ; ce sont :
Dm-1,n-1
Dm-1,n
Dm-1,n+1
Dm,n-1
Dm,n Dm,n+1
Dm+1,n-1
Dm+1,n
Dm+1,n+1 Ces vecteurs sont prélevés dans le circuit mémoire 30 et emmagasinés pour le calcul dans un registre 52. Pour cela le circuit mémoire 30 est adressé par un circuit de transcodage 57 piloté par un compteur de points d'image 55, ce circuit 57
déterminant notamment pour le point courant les vecteurs mouvements candidats à traiter par l'organe d'affectation 50. Différents organes élémentaires d 'affectation 60-1, 60-2,... 60-L effectuent chacun un traitement sur chacun des L vecteurs candidats Dc (c = 1,..., L) . Un circuit de décision 62 recevant les résultats des différents organes élémentaires d'affectation détermine le vecteur DP pris parmi c - candidats. Ce vecteur est sélectionné au moyen d'un commutateur 65 commandé par le circuit 62. Pour faire cette sélection, on examine au niveau du circuit 62 la fonction CT(z,Dc) associée au point courant et à chaque vecteur mouvement candidat. Cette fonction
CT(z,Dc) est telle que :
B est un domaine de taille réduite par rapport à A. Par exempie, B est constitué par 8 points entourant le point courant. C ' est le vecteur De pour lequel la valeur CT(z , Dc) est minimale qui est retenu.
Le dispositif de l'invention comporte, en outre, un organe de test de cohérence de vecteur mouvement 80. Pour bien comprendre l'intérêt d'un tel organe on se reporte à la figure 5. Sur cette figure 5 on a représenté en E1, E2, E3 , E4 une section horizontale d'une suite d'images. OB représente un objet qui se déplace selon cette section. Dans l'image E1 l'objet occupe la place OB1, dans l'image E2 l'objet occupe la place OB2, dans l'image E3 l'objet occupe la place OB3, dans l'image E4 l'objet occupe la place OB4.
On suppose, d'une part que cet objet OB se déplace dans un fond uniforme et d'autre part que les valeurs des déplacements de l'objet et du fond sont connues. On s'intéresse maintenant à l'interpolation de cet objet OB pour l'image manquante M1 et donc à l'emplacement OM1. Les emplacements OB1 et OB2 donnent une bonne corrélation mais F1 et F2, qui correspondent au fond, donnent aussi une bonne corrélation de sorte qu'en OM1 on aura d'une manière aléatoire soit une interpolation entre OB1 et OB2, soit une interpolation entre F1 et F2.
Cette indétermination va se produire pour OM2, pour OM3 de sorte que l'objet ou des parties de lui-même apparaissent pour certaines images manquantes et n'apparaissent pas pour d'autres. Le but de cet organe de test de cohérence de vecteurs mouvement 80 est d'éviter l'aléa des décisions des vecteurs mouvements effectués par l'organe d'affectation 50. Cet organe comporte un premier circuit de traitement 82 comportant des moyens pour contenir tous les vecteurs mouvements de l'image future (ou image postérieure) à interpoler et un deuxième circuit de traitement 84 comportant des moyens pour contenir tous les vecteurs mouvements de l'image passée (ou antérieure). Un circuit de répartition 86 est relatif à l'image présente. Différents circuits de retard 88, 90 et 92 amènent les retards convenables pour que les différents traitements puissent s ' effectuer de manière cohérente. Le circuit de répartition 86 fournit sur une de ses sorties 87 la valeur du vecteur mouvement relatif au point courant ainsi qu'un certain nombre de vecteurs mouvements relatifs à différents points faisant partie d'un domaine spatial DDN du point courant de l'image. Ceci est représenté à la figure 6 où l'image courante à interpoler porte la référence MO. Le domaine DDN entoure le point courant Z auquel est affecté le vecteur mouvement
. Le vecteur
et le point défini par
définissent différents domaines :
- Le domaine DDP dans l'image interpolée antérieure M-1. Ce domaine est centré autour du point
où β est un coefficient dépendant de la fréquence d'entrée des images et de la fréquence de sortie des images interpolées . - Le domaine DDF dans l'image interpolée postérieure M+1 centré autour du point
Dans cet exemple décrit les domaines DDF, DDN et DDP sont égaux entre eux et égaux à 3.ΔX par 3.ΔY.
Le circuit de similitude 95 coopérant avec le circuit 86 détermine, dans une première étape, si le vecteur
est semblable aux autres vecteurs fournis par le circuit 86. On dit qu'un vecteur
tel que :
Si :
et
où. k et k' sont des entiers tels que k=k'=2.
Le circuit fournit, dans une deuxième étape, le signal de similitude si un certain nombre de vecteurs du domaine DDN sont semblables.
De même les circuits 82 et 84 fournissent aussi des signaux de similitude relatifs aux domaines DDF et DDP et par rapport à ce même vecteur
Un organe de cohérence finale 98 fournit à sa sortie, pour chaque point courant un signal de cohérence donnant le résultat de la cohérence considérée tant sur l'image présente que sur les images antérieures et postérieures. On dit qu'il y a cohérence si, au moins un signal de similitude est fourni par l'un des circuits 82, 84 et 95. Bien qu'on ait décrit un traitement impliquant une image antérieure ou une image postérieure, il est bien évident qu'on peut aussi, sans sortir du cadre de l'invention, utiliser une pluralité d'images postérieures et/ou une pluralité d'images antérieures.
Un organe de filtrage de décision 100 analyse dans un domaine DSS entourant le point z.(cf. figure 7) les décisions de cohérence élaborées par l'organe de cohérence final 98 pour fournir un signal de validité indiquant que le vecteur
affecté au point Z est valide compte tenu de la cohérence
des vecteurs affectés aux points de ce domaine DSS. Ce domaine DSS est par exemple étendu sur 17.ΔX par 17.ΔY. Ce filtrage peut correspondre dans le cas le plus simple à une décision majoritaire de cohérence dans le domaine DSS, donc supérieur à 144.
Ainsi un organe de calculs d'interpolation 120 effectue pour tout point Z des images à interpoler, le calcul indiqué par la formule (1) ci-dessus si le signal de validité est positif ou le calcul donné par la formmule suivante relative à un vecteur mouvement si le signal de validité est négatif :
I(Z,M) = αI(Z,E1) + (1-α)I(Z,E2) (12)
On va décrire maintenant plus en détail l'invention en se référant plus particulièrement à un système convertisseur de standards qui fournit des images à la cadence de 60 Hz (ou plus exactement 59,94 Hz) à partir d'images à 50 Hz.
A la figure 8 en a, on a représenté en traits continus les instants d ' apparition d'images EE1, EE2, EE3,... EE6 fournies à la cadence de 50 Hz. En b , on a représenté en trait pointillé les instants où les images MM1, MM2, ... MM7 doivent être interpolées. Ces images doivent être fournies à la cadence 60 Hz. Les images interpolées sont construites à partir des images EEj en fonction du paramètre α selon la manière suivante :
- pour l'image MM2, on utilise les images EE1 et EE2 (α = 5/6)
- pour l'image MM3, on utilise les images EE2 et EE3 (α = 4/6)
- pour l'image MM4, on utilise les images EE3 et EE4 (α = 3/6)
- pour l'image MM5, on utilise les images EE4 et EE5 (α = 2/6)
- pour l'image MM6, on utilise les images EE5 et EE6 (α = 1/6) - pour l'image MM7 (et MM1), on utilise EE6 (et EE1) (α = 0).
En fonction de ces considérations on décrit le circuit de mémoire 20.
Il se compose de trois agencements de mémoires 200, 201, 202 affectés respectivement à l'organe d'estimation 10, à
l'organe d'affectation 50 et à l'organe de calculs d'interpolation 120. Ces agencements sont séparés par des éléments de retard 210 et 212 pour retarder les informations d'images à l'accès 2 d'un temps suffisant pour permettre les traitements effectués par les différents organes. Un circuit 230, en comptant les différentes images fournit une marque d'interpolation à partir de laquelle peut être déterminée α. Cette valeur α est utilisée dans les différents traitements. La marque d'interpolation est affectée à chaque image entrante. L'agencement 200 est formé de quatre mémoires MY1,
MY2, MY3 et MY4 dont la capacité est suffisante pour enregistrer toute une image de points. A ces quatre mémoires est affecté un circuit d'écriture 250 et un circuit de lecture 260. La figure 10 montre comment cet agencement fonctionne. Chaque image entrante est inscrite tour à tour dans l'une des mémoires MY1 à MY4. Ainsi à l'instant tw1 l'image EE1 est emmagasinée dans la mémoire MY1, à l'instant tw2 l'image EE2 est emmagasinée dans la mémoire MY2 et ainsi de suite pour les instants tw3 et tw4 où les images EE3 et EE4 sont emmagasinées dans les mémoires MY3 et MY4. A l'instant tw5 un nouveau cycle commence pour les images EE5, EE6, EE7, EE8 qui sont enregistrées dans les mémoires MY1 à MY4. Les différents instants tw1, tw2,... tw5 sont séparés d'une durée égale à 1/50 Hz.
Le circuit de lecture 260 va rendre disponibles aux différents organes les informations concernant deux images successives. Ainsi à l'instant tri qui correspond sur la figure 10 à l'instant tw4, les mémoires MY1 et MY2 contenant les informations des images EE1 et EE2 sont rendues disponibles ; puis à l'instant tr2 ce sont les mémoires MY2 et MY3 concernant les images EE2 et EE3 et ceci ainsi de suite jusqu'à l'instant tr6 où l'on détecte une marque d ' interpolation indiquant qu'à partir de deux images identiques on effectue deux interpolations. Sur la figure 10 on a deux interpolations à effectuer sur les images EE6 et EE7 contenues dans les mémoires MY2 et MY3. La figure 11 explicite le cas où la conversion de standards doit s'effectuer vers des cadences de 59,94 Hz ;
la marque d'interpolation pour les images EE6 et EE7 détermine deux valeurs α : α1 et α2 telles que par exemple : α1 = 0,005 et α2 = 0,835 puisque tri coïncide avec tw4.
A la figure 12, on a montré en détail la structure des organes élémentaires 11'... 1l( n). Ces organes comportent deux mémoires de travail 301 et 302 prévues chacune pour contenir les informations de deux images différentes consécutives. Ces mémoires sont chargées à partir du circuit de décodage 17 ainsi qu'il l'a été dit. Pour effectuer les calculs indiqués aux formules
(2), (3) et (4), la valeur du vecteur mouvement Di est décomposée en deux parties : une partie entière DI et une partie fractionnaire d, de sorte que Di s'écrit : Di = DI + d. Ainsi un circuit de recherche 305 va chercher dans les mémoire 301 et 302 des points de luminance correspondant à des valeurs entières DI, cela en fonction du contenu du compteur de blocs 15. Deux organes d'interpolation linéaires 311 et 312 vont traiter la partie fractionnaire. Ils effectuent des interpolations linéaires en fonction d'un vecteur d ' entrée dd, ceci pour déterminer la luminance d'un point Pi selon la formule :
Pi = Pa(1-dH).(1-dv) + Pb.dH(1-dv) + Pd(1-dH).dv + Pc.dH.dv Pa, Pb, Pc et Pd représentent la luminance des points existants entourant le point intermédiaire Pi, dH et dv représentent les composantes horizontale et verticale du vecteur dd. Ceci est représenté à la figure 13.
Ce vecteur dd est égal à αd pour l'organe 311 et à (1-α)d pour l'organe 312. La valeur α est déterminée à partir de la marque d'interpolation provenant du circuit mémoire 20.
Un circuit de calcul 350 détermine les valeurs δ et Q (voir formules (3), (4) et (10) à partir d'opérations préalables effectuées par des circuits 351 à 357. Un additionneur final 370 effectue l'opération qui donne Di+1.
Le circuit 351 effectue le calcul de DFD. Les circuits 352 et 353 effectuent respectivement les calculs de gradients horizontal et vertical de l'image contenue dans la mémoire 301. Les circuits 354 et 355 effectuent respectivement les calculs de gradients horizontal et vertical de l'image contenue dans la mémoire 302.
Le circuit 356 calcule le gradient horizontal dans l'image à interpoler en appliquant la formule (6) et le circuit 357 le gradient vertical en appliquant la formule (7).
La figure 14 montre plus en détail la structure des organes élémentaires d'affectation 60-c (c = 1,..., L) . Ces organes comportent deux mémoires de travail 401 et 402 prévues chacune pour contenir des informations concernant deux images différents consécutives. Ces mémoires sont mises en relation. avec le circuit mémoire 20 à l'aide du circuit de décodage 57. Cet organe élémentaire 60-c comporte aussi, rattachés à chacune des mémoires 401 et 402, deux organes d'interpolation linéaire 411 et 412, pour effectuer des interpolations sur la partie fractionnaire dc du vecteur candidat Dc.
Les mémoires 401 et 402 sont adressées à partir du compteur 55.
En fonction de la valeur du vecteur candidat Dc, un circuit d'adressage 422 va adresser les points d'image concernés par le calcul qui va être effectué par un organe 450. La valeur α est élaborée en fonction de la marque d'interpolation provenant du circuit 20. L'organe 450 effectue le calcul donné par la formule (11).
La figure 15 montre plus en détail la structure des organes de traitement 82 et 84 faisant partie de l'organe de cohérence 80. Il est formé d'un circuit de répartition 600 qui fournit pour chaque vecteur déplacement les huit autres correspondant aux domaines DDP et DDF déjà définis. Ces neuf vecteurs sont emmagasinés dans un circuit mémoire 605. Un vecteur Dch dont on veut s'assurer la cohérence est appliqué à un
circuit d'adressage 608 utilisé pour la lecture de la mémoire 605. En sortie de la mémoire 605 on obtient les neuf vecteurs du domaine DDP ou DDF à comparer avec le vecteur Dch. C'est le circuit de comparaison 610 qui effectue cette opération. Ce circuit fournit le résultat de chaque comparaison avec Dch. Un circuit semblable au circuit 95 fournit le signal de similitude en comptant les vecteurs semblables au moyen d'un circuit 620 et en les comparant à une valeur de seuil au moyen du comparateur 622. A la figure 16 on a montré en détail le circuit de répartition 600 semblable au circuit de répartition 86. Ces circuits sont formés d'éléments de retard ligne 610 et 611 montés en cascade et apportant un retard égal à la durée d'une ligne. A l'entrée de l ' élément 610 qui constitue l'entrée de ces circuits, on a disposé deux éléments de retard points 620 et 621 amenant chacun un retard égal à la durée qui sépare deux points d'image. De la même manière sont disposés à la sortie de l'élément 610, deux éléments de retard points 630 et 631 et à la sortie de l'élément 611 deux éléments de retard points 640 et 641. Les signaux de sortie de ces circuits 600, 86 sont considérés à l'entrée de l'élément 610 et aux sorties des éléments 620, 621, 610, 630, 631, 611, 640 et 641. On constate que ces sorties fournissent bien les indications requises concernant les domaines DDF, DDN et DDP. A la figure 17, on a détaillé l'organe de filtrage de décision 100 qui réalise ici simplement une décision majoritaire. Il est formé d'une cascade d'éléments de retard ligne 701 à 715 dont le nombre dépend de la grandeur verticale du domaine DSS (17.ΔX×17.ΔY). A l'entrée de l'élément 701 et aux sorties des éléments 701, 702,... et 716 sont branchées différentes cascades d'éléments de retard point 711, 712,... 726 pour la première 731, 732,... 736 pour la deuxième et ainsi de suite jusqu'à la dernière avec les éléments 991, 992,... 1026. Différents additionneurs 1111 à 1127 additionnent les résultats de ces cascades. Un additionneur final 1130 somme
les résultats des différents additionneurs 1111 à 1126 pour une comparaison à effectuer par un organe 1150. Ainsi si une somme est supérieure à S' = 144 [=(17×17)/2] on déclare que le signal est valide ; si la somme est inférieure, la validité n'est pas reconnue. On peut aussi pondérer les signaux au niveau de chaque élément de retard, on parle alors de somme pondérée.
Claims
1. Dispositif pour interpoler des images par estimation et compensation de mouvement, dispositif constitué à partir d'un organe d'estimation de mouvement par blocs pour former des vecteurs de mouvement affectés à des blocs de points d'images et d'un organe d'interpolation pour former une image en fonction desdits vecteurs mouvements, caractérisé en ce qu'il comporte un organe d'affectation pour affecter, parmi des vecteurs mouvements candidats, élaborés par l'organe d'estimation, un vecteur pour au moins un point d'image dit point courant.
2. Dispositif pour interpoler des images selon la revendication 1 destiné à interpoler une succession d'images, caractérisé en ce qu'il comporte un organe de test de cohérence de vecteurs mouvements pour fournir un signal de validation pour chaque vecteur mouvement affecté à un point, par comparaison avec des points correspondants situés dans des images de ladite succession.
3. Dispositif pour interpoler des images selon l'une des revendications 1 ou 2, caractérisé en ce que l'organe d'estimation de mouvements par blocs est du type récursif.
4. Dispositif pour interpoler des images selon la revendication 3, caractérisé en ce que l'organe d'estimation de mouvements par blocs opère en une seule itération.
5. Dispositif pour interpoler des images selon l'une des revendications 1 à 4, caractérisé en ce que l'organe d'affectation comporte des moyens pour évaluer une fonction "coût relatif" à chaque vecteur candidat pour chaque point courant d'image à interpoler tandis que les vecteurs candidats sont ceux qui sont affectés aux blocs voisins entourant le bloc contenant ledit point.
6. Dispositif pour interpoler des images selon l'une des revendications 1 à 5, caractérisé en ce que l'organe de test de cohérence est formé d'un organe de comptage de vecteurs semblables qui sont semblables au vecteur affecté au point courant et qui sont relatifs à des points situés dans un premier domaine entourant le point courant et/ou à des points situés dans un deuxième domaine entourant le point correspondant au point courant dans au moins une image antérieure et/ou à des points situés dans un troisième domaine entourant le point correspondant au point courant dans au moins une image postérieure d'un organe de détermination de similitude affecté au premier, au deuxième et au troisième domaine, pour fournir un signal de similitude lorsqu'un certain nombre de vecteurs semblables a été compté, d'un organe de cohérence pour fournir un signal de cohérence lorsqu'au moins un signal de similitude relatif au premier, au deuxième et au troisième domaine est détecté et d'un organe de filtrage de décision pour effectuer une somme éventuellement pondérée des signaux de cohérence relatifs à des points situés dans un quatrième domaine entourant le point courant et pour fournir un signal de validité lorsque ladite somme excède un certain seuil.
7. Dispositif pour interpoler des images selon la revendication 6, caractérisé en ce que l'organe d'interpolation effectue pour chaque point courant une interpolation compensée avec le vecteur mouvement s'il est validé par le signal de validité ou une interpolation avec le vecteur mouvement nul s'il n'y a pas de signal de validation.
8. Dispositif pour interpoler des images selon l'une des revendications 3 à 7, caractérisé en ce que l'organe d'estimation de mouvement du type récursif comporte une pluralité d'organes d'estimation élémentaires pour fournir, chacun, pour chaque bloc de l'image (ou bloc courant) à interpoler un vecteur mouvement de bloc à partir d'un vecteur initial et pour fournir une information de qualité concernant ledit vecteur mouvement de bloc et un organe de décision pour fournir le vecteur mouvement de bloc retenu parmi les vecteurs mouvements élaborés par lesdits organes d'estimation élémentaires en fonction de l'information de qualité.
9. Dispositif pour interpoler des images selon la revendication 8, caractérisé en ce que les vecteurs initiaux sont soit le vecteur de déplacement nul soit le vecteur mouvement de bloc retenu attribué à un bloc antérieur contigu placé au-dessus et à droite du bloc courant, soit le vecteur mouvement de bloc retenu attribué au bloc antérieur contigu placé à gauche du bloc courant.
10. Convertisseur de standards constitué à partir d'un dispositif pour interpoler des images selon l ' une des revendications 1 à 9 .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8805775A FR2630842B1 (fr) | 1988-04-29 | 1988-04-29 | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
| FR8805775 | 1988-04-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO1989010600A1 true WO1989010600A1 (fr) | 1989-11-02 |
Family
ID=9365842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/NL1989/000028 WO1989010600A1 (fr) | 1988-04-29 | 1989-04-26 | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5060064A (fr) |
| EP (1) | EP0341769B1 (fr) |
| JP (1) | JPH02504216A (fr) |
| DE (1) | DE68916698T2 (fr) |
| FR (1) | FR2630842B1 (fr) |
| WO (1) | WO1989010600A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2678464A1 (fr) * | 1991-06-27 | 1992-12-31 | Thomson Csf | Procede de conversion du rythme temporel d'une sequence d'images animees. |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2645383B1 (fr) * | 1989-03-31 | 1997-06-27 | Thomson Consumer Electronics | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
| FR2651405B1 (fr) * | 1989-08-29 | 1992-05-22 | Philips Electronique Lab | Procede et dispositif de traitement d'images a estimation de mouvement amelioree. |
| DE4015390A1 (de) * | 1990-05-14 | 1991-11-21 | Nokia Unterhaltungselektronik | Verfahren zum berechnen des inhalts eines zwischenbildes zu jeweils zwei aufeinanderfolgenden monitorbildern |
| DE69029999T2 (de) * | 1990-07-20 | 1997-08-14 | Philips Electronics Nv | Vorrichtung zur Verarbeitung von Bewegungsvektoren |
| DE69116036T2 (de) * | 1990-08-28 | 1996-08-01 | Philips Electronics Nv | Verfahren und Anordung zum Verringern der Bewegungsabschätzapparatur und der Anforderungen an die Datenübertragungskapazität in Video-Systemen |
| EP0595895B1 (fr) * | 1991-07-23 | 1997-12-29 | BRITISH TELECOMMUNICATIONS public limited company | Procede et dispositif d'interpolation des trames d'une image mouvante |
| JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
| GB9214218D0 (en) * | 1992-07-03 | 1992-08-12 | Snell & Wilcox Ltd | Motion compensated video processing |
| DE69330155T2 (de) * | 1992-11-05 | 2001-09-06 | Canon Kk | Methode zur Durchführung von Bildeffekten im Empfänger eines übertragungssystems für kodierte Bewegtbinder |
| GB2302230B (en) * | 1992-11-10 | 1997-05-14 | Sony Uk Ltd | Motion compensated video signal processing |
| GB2283385B (en) * | 1993-10-26 | 1998-04-01 | Sony Uk Ltd | Motion compensated video signal processing |
| DE69510851T2 (de) * | 1994-03-30 | 1999-12-02 | Thomson Multimedia Sa | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten |
| KR100287211B1 (ko) * | 1994-08-30 | 2001-04-16 | 윤종용 | 양방향 움직임 추정방법 및 장치 |
| US8625665B2 (en) * | 1996-09-20 | 2014-01-07 | At&T Intellectual Property Ii, L.P. | Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video |
| US6341144B1 (en) * | 1996-09-20 | 2002-01-22 | At&T Corp. | Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video |
| US6340990B1 (en) * | 1998-03-31 | 2002-01-22 | Applied Intelligent Systems Inc. | System for deinterlacing television signals from camera video or film |
| US20030171665A1 (en) * | 2002-03-05 | 2003-09-11 | Jiang Hsieh | Image space correction for multi-slice helical reconstruction |
| US7519229B2 (en) * | 2004-03-30 | 2009-04-14 | Apple, Inc. | Video coding system providing separate coding chains for dynamically selected small-size or full-size playback |
| JP4453647B2 (ja) | 2005-10-28 | 2010-04-21 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法 |
| US8582656B2 (en) | 2007-04-13 | 2013-11-12 | Apple Inc. | Method and system for video encoding and decoding |
| US8619874B2 (en) * | 2007-04-13 | 2013-12-31 | Apple Inc. | Method and system for video encoding and decoding |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2153625A (en) * | 1984-01-30 | 1985-08-21 | Kokusai Denshin Denwa Co Ltd | Movement estimation system for video signals |
| GB2172171A (en) * | 1985-03-04 | 1986-09-10 | Kokusai Denshin Denwa Co Ltd | Motion vector calculating system for detecting a moving object on a screen |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4442454A (en) * | 1982-11-15 | 1984-04-10 | Eastman Kodak Company | Image processing method using a block overlap transformation procedure |
| JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
| JPS61113377A (ja) * | 1984-11-07 | 1986-05-31 | Sony Corp | テレビジヨン信号の動き検出装置 |
| DE3508094A1 (de) * | 1985-03-07 | 1986-09-11 | Fa. Carl Zeiss, 7920 Heidenheim | Kreuztisch fuer mikroskope |
| FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
-
1988
- 1988-04-29 FR FR8805775A patent/FR2630842B1/fr not_active Expired - Fee Related
-
1989
- 1989-04-24 DE DE68916698T patent/DE68916698T2/de not_active Expired - Fee Related
- 1989-04-24 EP EP89201050A patent/EP0341769B1/fr not_active Expired - Lifetime
- 1989-04-26 JP JP1505703A patent/JPH02504216A/ja active Pending
- 1989-04-26 WO PCT/NL1989/000028 patent/WO1989010600A1/fr unknown
- 1989-04-26 US US07/460,326 patent/US5060064A/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2153625A (en) * | 1984-01-30 | 1985-08-21 | Kokusai Denshin Denwa Co Ltd | Movement estimation system for video signals |
| GB2172171A (en) * | 1985-03-04 | 1986-09-10 | Kokusai Denshin Denwa Co Ltd | Motion vector calculating system for detecting a moving object on a screen |
Non-Patent Citations (1)
| Title |
|---|
| Computer Vision, Graphics, and Image Processing, vol. 21, no. 2, Février 1983, Academic Press, Inc., (New York, US), M. Yachida: "Determining velocity maps by spatio-temporal neighborhoods from image sequences", pages 262-279 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2678464A1 (fr) * | 1991-06-27 | 1992-12-31 | Thomson Csf | Procede de conversion du rythme temporel d'une sequence d'images animees. |
| WO1993000773A1 (fr) * | 1991-06-27 | 1993-01-07 | Thomson Consumer Electronics S.A. | Procede de conversion du rythme temporel d'une sequence d'images animees |
Also Published As
| Publication number | Publication date |
|---|---|
| DE68916698D1 (de) | 1994-08-18 |
| JPH02504216A (ja) | 1990-11-29 |
| EP0341769B1 (fr) | 1994-07-13 |
| FR2630842A1 (fr) | 1989-11-03 |
| EP0341769A1 (fr) | 1989-11-15 |
| FR2630842B1 (fr) | 1994-04-08 |
| US5060064A (en) | 1991-10-22 |
| DE68916698T2 (de) | 1995-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0341769B1 (fr) | Dispositif pour interpoler des images par estimation et compensation de mouvement et système convertisseur de standards de télévision constitué à partir d'un tel dispositif | |
| EP0368747B1 (fr) | Procédé d'estimation du mouvement d'au moins une cible dans une suite d'images, et dispositif pour la mise en oeuvre de ce procédé | |
| FR2693290A1 (fr) | Dispositif de détection de vecteur mouvement pour la compensation des mouvements dans une image animée. | |
| FR2594281A1 (fr) | Appareil d'estimation du bruit dans des signaux ayant des intervalles redondants | |
| FR2593698A1 (fr) | Appareil d'examen de milieux en mouvement par echographie ultrasonore | |
| JPH03154887A (ja) | 標的認識方法及び装置 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| EP0154341A1 (fr) | Processeur de calcul d'une transformée discrète du cosinus | |
| FR2493649A1 (fr) | Dispositif convertisseur de balayage | |
| EP0926626A1 (fr) | Procédé de traitement d'image pour réduire le bruit dans une image d'une séquence de trois images temporelles et appareil d'imagerie médicale mettant en oeuvre un tel procédé | |
| FR3026526A1 (fr) | Procede et systeme de detection d'evenements de nature connue | |
| EP0021948B1 (fr) | Dispositif pour le suivi et l'estimation récursive de l'état local des contours d'images et application à la prédiction adaptative en codage différentiel de signaux de télévision | |
| JP4206369B2 (ja) | 時系列データ補完装置、その方法及びそのプログラム | |
| FR2634297A1 (fr) | Dispositif pour determiner des objets contrastes dans une image | |
| EP0241983B1 (fr) | Dispositif de traitement d'images pour l'estimation du déplacement d'objets situés dans celles-ci | |
| EP0224957B1 (fr) | Procédé et dispositif d'estimation de mouvement dans une sequence d'images | |
| EP0294282B1 (fr) | Procédé d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procédé | |
| EP0286192A1 (fr) | Procédé et dispositif d'estimation de mouvement dans une séquence d'images | |
| FR2772951A1 (fr) | Procede de commande d'un etage radix 4 d'un dispositif electroonique de calcul d'une transformee de fourier a architecture dite "pipelinee", et dispositif correspondant | |
| WO1991000668A1 (fr) | Procede iteratif d'estimation de mouvement, entre une image de reference et une image courante, et dispositif pour la mise en ×uvre de ce procede | |
| WO1995004963A1 (fr) | Dispositif electronique de calcul d'une transformee de fourier et procede pour minimiser la taille des chemins de donnees internes d'un tel dispositif | |
| EP0161175B1 (fr) | Dispositif pour modifier l'aspect des points d'une image sur un écran d'une console de visualisation d'images graphiques | |
| EP0123573A1 (fr) | Procédé de codage adaptatif, et de décodage, d'une image de télévision, et dispositifs pour la mise en oeuvre de ce procédé | |
| CN113257267A (zh) | 干扰信号消除模型的训练方法和干扰信号消除方法及设备 | |
| FR2742902A1 (fr) | Procede d'estimation de mouvement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AK | Designated states |
Kind code of ref document: A1 Designated state(s): JP US |