DE102006047258A1

DE102006047258A1 - Sub-frame recording activating method for use in microscopy, involves recording and/or charging set of images, and determining whether image is recorded as sub-frame depending on image content of image

Info

Publication number: DE102006047258A1
Application number: DE200610047258
Authority: DE
Inventors: Lukas Goormann; Gordon Dr.-Ing. Strickert
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2006-10-04
Filing date: 2006-10-04
Publication date: 2008-04-10

Abstract

The method involves comparing a sub-frame (1) having an overlapping image area with another sub-frame, so that the two sub-frames are combined to an overall image e.g. satellite image. A set of images is recorded and/or charged by an image recording device i.e. digital camera. A determination is made whether the image is recorded as one of the sub-frames depending on an image content of the image. The image recording device and a scene are moved relative to each other. An independent claim is also included for a device for activating a recording of sub-frames.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Auslösen einer Aufzeichnung von Bildern. Die Erfindung liegt insbesondere auf dem Gebiet der Erzeugung von hochauflösenden Bildern, die durch das Zusammensetzen von einander überlappenden Einzelbildern geringerer Auflösung erzeugt werden. In der Literatur wird dieser Vorgang auch als Mosaiking bezeichnet.The The invention relates to a method and a device for triggering a Recording pictures. The invention is particularly in the field the generation of high-resolution Pictures created by putting together overlapping ones Single images of lower resolution be generated. In the literature this process is also called mosaiking designated.

Häufig wird das Mosaiking bei Bildern angewendet, die durch Fernerkundung (z.B. Satelliten- oder Flugzeugaufnahmen) aufgenommen wurden. Ein anderes Anwendungsgebiet liegt in der Mikroskopie.Frequently becomes Mosaiking is applied to images obtained by remote sensing (e.g. Satellite or aerial photographs) were taken. Another Application is in microscopy.

Wenn eine Szene, von der ein hochauflösendes Bild aufgezeichnet werden soll, und eine Aufzeichnungsvorrichtung (z.B. eine Digitalkamera) relativ zueinander bewegt werden (in der Regel bewegt sich die Kamera), können kontinuierlich oder quasi kontinuierlich Bilder erfasst werden. Bei der Relativbewegung kann es sich um eine translatorische Bewegung und/oder um eine rotatorische (Schwenkbewegung) handeln. Unter dem Erfassen von Bildern wird in dieser Beschreibung verstanden, dass die Bilder, insbesondere Bilddaten, in einer oder mehreren Erfassungseinrichtungen vorhanden sind, jedoch noch nicht zwangsläufig aufgezeichnet werden. Unter einem aufgezeichneten Bild wird ein Bild verstanden, das später aus einem Aufzeichnungsmedium (z.B. einem Datenspeicher) wieder abgerufen bzw. daraus geladen werden kann. Insbesondere können daher immer wieder Bilder erfasst werden, jedoch nur ein Teil der Bilder aufgezeichnet werden, um die Datenmenge der aufgezeichneten Bilder nicht unnötig zu erhöhen.If a scene of which a high-resolution Image should be recorded, and a recording device (e.g., a digital camera) are moved relative to each other (in the Usually the camera moves) continuous or quasi-continuous images are captured. The relative movement may be a translatory movement and / or act around a rotational (pivoting). Under the Capturing images in this description is understood to mean that the images, in particular image data, in one or more detection devices are present, but not yet necessarily recorded. Under a recorded image, an image is understood, the later off retrieved from a recording medium (e.g., a data memory) or can be loaded from it. In particular, therefore, again and again images but only part of the images are recorded, so as not to unnecessarily increase the amount of data of the recorded images.

Bilder, die jeweils im Vergleich zu zumindest einem anderen Bild einander überlappen, so dass die Bilder zu einem Gesamtbild zusammengesetzt werden können, werden in dieser Beschreibung als Teilbilder bezeichnet. Es sind verschiedene Verfahrensweisen vorgeschlagen worden, wie die Aufzeichnung von Teilbildern gesteuert werden kann. Bei zeitbasierten Verfahren wird die Aufzeichnung eines Teilbildes z.B. immer nach dem Verstreichen eines Zeitintervalls konstanter Länge seit der letzten Aufzeichnung eines Teilbildes ausgelöst. Das Auslösen der Aufzeichnung wird auch als Triggerung bezeichnet. Wenn die Bildinformationen, aus denen die Teilbilder ausgewählt werden sollen, bereits als Videoinformationen (d.h. zeitveränderliche Bildinformationen) vorliegen, kann das zeitbasierte Triggerungsverfahren ebenfalls angewendet werden. Auch die Erfindung, die noch erläutert wird, kann auf Video-Bildinformationen angewendet werden. Auch in diesem Fall können zum Beispiel wiederholt einzelne Bilder aus den Videoinformationen erfasst werden und gegebenenfalls die Aufzeichnung eines oder mehrerer dieser Bilder ausgelöst werden.Images, each overlapping each other as compared to at least one other image, so that the pictures can be put together to form a complete picture in this description referred to as sub-pictures. They are different Procedures have been proposed, such as the recording of Partial images can be controlled. For time-based methods the recording of a field, e.g. always after the lapse a time interval of constant length since the last recording of a field triggered. The triggering The recording is also called triggering. If the image information, from which the drawing files are selected already as video information (i.e., time-variant Image information), the time-based triggering method may also be be applied. Also the invention, which will be explained, can be applied to video image information. Also in this Case can for example, repeat individual pictures from the video information be recorded and, where appropriate, the recording of one or more triggered these pictures become.

Bei ortsbasierten Triggerungsverfahren werden optische Größen, wie z.B. die Brennweite eines Linsensystems und die Bildgröße, sowie geometrische Informationen, wie insbesondere die Entfernung zwischen der Szene und der Bilderfassungseinrichtung, berücksichtigt. Es kann dann im Vorhinein festgelegt werden, beim Erreichen welcher Orte und/oder nach dem Zurücklegen welcher Entfernung auf dem Weg einer Kamera die Aufzeichnung eines Teilbildes ausgelöst wird.at Location-based triggering methods become optical quantities, such as e.g. the focal length of a lens system and the image size, as well geometric information, in particular the distance between the scene and the image capture device, taken into account. It can then be in Be determined in advance, when reaching which places and / or after returning which distance on the way of a camera the recording of a partial image triggered becomes.

Das zeitbasierte Triggerungsverfahren hat folgende Nachteile: Der Zeitabstand zwischen den einzelnen Aufzeichnungen kann nur unter Schwierigkeiten so gewählt werden, dass die Datenmenge der aufgezeichneten Teilbilder nicht zu groß ist oder Lücken (nicht durch Teilbilder abgedeckte Bereiche) der Szene auftreten. Wenn die Datenmenge zu groß ist, können insbesondere bei der Fernerkundung Datenspeicher schnell erschöpft sein, so dass keine Kapazitäten mehr für andere Bereiche der Szene (insbesondere einer Planetenoberfläche) zur Verfügung stehen. Auch die Übertragungszeiten für die Fernübertragung der aufgezeichneten Daten werden in diesem Fall unnötig verlängert bzw. reichen u. U. nicht aus.The Time-based triggering methods have the following disadvantages: The time interval between each record can only be difficult so chosen be that the amount of data of the recorded fields is not is too big or gaps (areas not covered by fields) of the scene. In particular, if the amount of data is too large be exhausted in the remote sensing data storage quickly so no capacity more for other areas of the scene (especially a planetary surface) to To be available. Also the transmission times for the remote transmission recorded data is unnecessarily extended in this case rich u. Not out.

Außerdem weisen die einzelnen aufgezeichneten Teilbilder bei dem zeitbasierten Verfahren keinerlei örtlichen Bezug zueinander auf und müssen vor dem Zusammensetzen zu dem Gesamtbild noch aufwendig vorverarbeitet oder erneut selektiert werden.In addition, show the individual recorded fields in the time-based method no local Relate to each other and have to the composition to the overall picture still consuming preprocessed or be selected again.

Bei den ortsbasierten Verfahren ist eine aufwendige Planung der Kamerabewegung erforderlich. Außerdem werden Sensoren benötigt, welche es ermöglichen, die Kameraposition und Kameraausrichtung zu kontrollieren oder zu bestimmen.at The location-based method is a complicated planning of the camera movement required. Furthermore sensors are needed which make it possible to control or adjust the camera position and orientation determine.

Andernfalls können Abweichungen von der Planung nicht festgestellt und ausgeglichen werden. Standard-Kamerasysteme, die eine derartige Sensorik nicht aufweisen, können daher nicht eingesetzt werden. Darüber hinaus existieren für viele Anwendungsfälle lediglich Kamerasysteme ohne eine solche Sensorik, so dass ein ortsbasiertes Triggerungsverfahren nicht durchgeführt werden kann.Otherwise can Deviations from planning are not detected and compensated become. Standard camera systems that do not have such sensors may have therefore not be used. In addition, exist for many use cases only camera systems without such sensors, so that a location-based Triggering process can not be performed.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Auslösen einer Aufzeichnung von Teilbildern anzugeben, die ein Gesamtbild ermöglichen, welches keine Lücken aufweist, wobei aber die in den Teilbildern enthaltene Menge an Bildinformationen nicht unnötig groß ist. Auch soll der Aufwand für eine aufwendige Vorausplanung des Triggerungsverfahrens vermieden werden können. Außerdem soll auf zusätzliche optische Sensorik verzichtet werden können.It is an object of the present invention to provide a method and apparatus for triggering a recording of sub-images that allow an overall image that has no gaps, but the amount of image information contained in the sub-images is not unnecessarily large. Also, the effort for a complex advance planning of the triggering process should be avoided can become. In addition, it should be possible to dispense with additional optical sensors.

Zur Lösung der Aufgabe wird vorgeschlagen, jeweils abhängig von einem Bildinhalt eines Bildes zu entscheiden, ob das Bild als eines der Teilbilder aufgezeichnet wird. Im Gegensatz zu den zeitbasierten und ortsbasierten Triggerungsverfahren handelt es sich hier um ein Verfahren, das als Bildinhalt basiertes Triggerungsverfahren bezeichnet werden kann. Dadurch kann auf (zu der Bilderfassungseinrichtung) zusätzliche optische Sensorik verzichtet werden. Ferner ist es möglich, Lücken in dem Gesamtbild mit hoher Sicherheit zu vermeiden, da bereits direkt oder indirekt aus einem konkret vorliegendem Bild ermittelt werden kann, ob ein später folgendes Bild wahrscheinlich zu einer Lücke führen würde, wenn das aktuell vorliegende Bild nicht aufgezeichnet wird. Umgekehrt kann direkt oder indirekt durch Auswertung des aktuell vorliegenden Bildes festgestellt werden, ob der Bildinhalt sich überhaupt wesentlich von dem Bildinhalt des zuletzt aufgezeichneten Bildes unterscheidet. Somit können zu große Überlappungsbereiche der aufgezeichneten Bilder vermieden werden und daher auch zu große Datenmengen vermieden werden.to solution The task is proposed, each dependent on a picture content of a Picture to decide if the picture is recorded as one of the drawing files becomes. In contrast to time-based and location-based triggering methods this is a process based on image content Triggering method can be called. This can be done on (to the image capture device) additional optical sensors omitted become. It is also possible Gaps in the overall picture with high security to avoid there already determined directly or indirectly from a concrete present image can be, whether one later the following image would probably lead to a gap, if the current one Picture is not recorded. Conversely, directly or indirectly be determined by evaluating the currently available image, whether the picture content at all much of the image content of the last recorded image different. Thus, you can too large overlap areas The recorded images are avoided and therefore too large amounts of data be avoided.

Unter dem Bildinhalt eines Bildes wird im Gegensatz zu so genannten Metainformationen die eigentliche Bildinformation verstanden. Bei einem digitalen Bild handelt es sich dabei in der Regel um eine zweidimensionale Matrix von Bildelementen (Pixeln bzw. den entsprechenden Werten der Pixel).Under The image content of an image is in contrast to so-called meta-information understood the actual image information. In a digital Picture is usually a two-dimensional Matrix of picture elements (pixels or the corresponding values the pixel).

Wenn eine Mehrzahl der Bilder nacheinander von einer Bilderfassungseinrichtung erfasst wird, kann jeweils für ein aktuelles erfasstes Bild entschieden werden, ob es als eines der Teilbilder aufgezeichnet wird. Die Erfindung ist jedoch nicht auf die Erfassung von Bildern mit einer einzelnen Kamera beschränkt. Vielmehr kann die Bilderfassungseinrichtung z.B. zwei Kameras aufweisen, die stereoskopische Bilder erfassen. In der Regel genügt dabei die Auswertung eines der stereoskopischen Bilder, um zu ermitteln, ob die Bilder aufgezeichnet werden. Auch ist die Erfindung nicht darauf beschränkt, dass die Bilderfassungseinrichtung bewegt wird und die Szene ruht. Vielmehr kann z.B. aus unterschiedlichen Gründen eine Relativbewegung der Bilderfassungseinrichtung und der Szene, von der die Bilderfassungseinrichtung die Bilder erfasst, stattfinden. Alternativ oder zusätzlich können sich die Bilder, die ausgewertet werden, durch die Bildauflösung oder den von ihnen erfassten Bildausschnitt eines maximal erfassbaren Bildbereichs unterscheiden. Der Bildausschnitt und die Auflösung werden beispielsweise durch Zoomen verändert. Ferner können sich die Bilder durch eine verschiedene Drehstellung relativ zur Szene (z.B. bezogen auf die optische Achse der Bilderfassungseinrichtung) unterscheiden. Bekannt sind auch Verfahren und Vorrichtungen, mit denen Panoramabilder erfasst werden, wobei jeweils ein Teilbereich eines von einer Linse oder einem Linsensystem erfassten Bildes als Bild ausgegeben oder übermittelt wird. In diesem Fall kann sogar gar keine Bewegung zwischen der Bilderzeugungseinrichtung und der Szene stattfinden. Selbstverständlich betrifft die Erfindung jedoch auch Fälle, bei denen eine solche Panoramalinse oder -linsenanordnung relativ zur Szene bewegt wird.If a plurality of the images sequentially from an image capture device can be recorded for each a current captured image will be decided, whether it be as a the sub-picture is recorded. However, the invention is not limited to capturing images with a single camera. Much more For example, the image capture device may be e.g. have two cameras, capture the stereoscopic images. Usually this is enough Evaluate one of the stereoscopic images to determine if the pictures are recorded. Also, the invention is not on it limited, that the image capture device is moved and the scene rests. Rather, e.g. for different reasons a relative movement of Image capture device and the scene from which the image capture device the pictures captured, take place. Alternatively or additionally may the images that are evaluated by the image resolution or the captured by them image detail of a maximum detectable image area differ. The image detail and the resolution become, for example changed by zooming. Furthermore, can the pictures by a different rotational position relative to Scene (e.g., relative to the optical axis of the image capture device) differ. Are also known methods and devices, with which panoramic images are captured, each with a sub-area a captured by a lens or a lens system image as Image output or transmitted becomes. In this case, even no movement between the Image forming device and the scene take place. Of course it concerns However, the invention also cases, where such a panoramic lens or lens arrangement is relative is moved to the scene.

Die Erfindung ist auch nicht auf den Fall beschränkt, dass die Bilder, die für eine Aufzeichnung infrage kommen, noch nicht vorher aufgezeichnet waren. Vielmehr kann das Verfahren auch auf die Auswahl der Teilbilder aus einer aufgezeichneten Sammlung von Bildern und/oder Videobildinformationen angewendet werden.The Also, the invention is not limited to the case that the images which are eligible for recording come, not yet recorded before. Rather, that can Also applies to the selection of sub-images from a recorded collection of images and / or video image information.

Bei der bevorzugten Ausgestaltung des Verfahrens bzw. der Vorrichtung wird zumindest ein Bildmerkmal, welches aus dem Bildinhalt eines der Teilbilder ermittelt wird, über eine Mehrzahl der Bilder verfolgt. Der Vorgang der Verfolgung wird in dieser Beschreibung als Tracking bezeichnet. Bei der Mehrzahl der Bilder, über die das zumindest eine Bildmerkmal verfolgt wird, handelt es sich insbesondere um eine zeitliche Folge von nacheinander erfassten Bildern. Bei der bevorzugten Ausgestaltung wird abhängig von einem vordefinierten Kriterium und abhängig von einem Ergebnis des Trackings entschieden, ob eines der Bilder als eines der Teilbilder aufgezeichnet wird. Insbesondere kann so wiederholt z.B. für das zuletzt aufgezeichnete Teilbild das zumindest eine Bildmerkmal ermittelt werden und über die im Folgenden erfassten Bilder verfolgt werden, bis sich gemäß dem vordefinierten Kriterium ergibt, dass wieder eines der Bilder als Teilbild aufgenommen wird. Aus diesem Teilbild wird dann wieder zumindest ein Bildmerkmal ermittelt, welches über die dann folgenden erfassten Bilder verfolgt wird.at the preferred embodiment of the method or the device is at least one image feature, which from the image content of a the partial image is determined via tracked a majority of the images. The process of persecution will referred to as tracking in this description. In the majority the pictures, about that is pursued the at least one image feature, it is in particular, a temporal sequence of consecutively acquired images. In the preferred embodiment is dependent on a predefined Criterion and dependent from a result of the tracking decided whether one of the pictures recorded as one of the subpictures. In particular, so can repeatedly e.g. For the last recorded field the at least one image feature be determined and over the Traced in the following captured images until, according to the predefined Criterion shows that again one of the pictures taken as a sub picture becomes. This partial image then becomes at least one image feature again determines which over then the following captured images is tracked.

Beim Tracking wird beispielsweise ein Maß für die Übereinstimmung des Bildmerkmals, wie es aus dem Bildinhalt eines der Teilbilder ermittelt wurde, mit einem Bildmerkmal in dem aktuell betrachteten Bild ermittelt. Die Bestimmung eines solchen Maßes berücksichtigt, dass Bildmerkmale in der Regel nicht identisch aus zwei verschiedenen Bildern ermittelt werden können, da sich die äußeren Bedingungen zwischen den Zeitpunkten der Erfassung der beiden Bilder geändert haben. Das Maß ist beispielsweise, bezogen auf digitale Bilder, die Summe der Quadrate der Differenzen von Bildwerten innerhalb von zwei Bildausschnitten. Der erste Bildausschnitt erfasst das Bildmerkmal in dem aufgezeichneten Teilbild und der zweite Bildausschnitt erfasst das Bildmerkmal in dem auszuwertenden Bild. Beispielsweise durch einen Newton-Raphson-Minimierungsalgorithmus kann die örtliche Veränderung des Bildmerkmals in dem Bildausschnitt zwischen den beiden Erfassungszeitpunkten ermittelt werden. Für die Zwecke der vorliegenden Erfindung muss jedoch die örtliche Veränderung nicht unbedingt ermittelt werden. Vielmehr reicht es aus, das Maß für die Übereinstimmung (z.B. nach Anwendung des Minimierungsalgorithmus) zu bestimmen. Wenn dieses Maß z.B. einen Grenzwert nicht erreicht oder überschreitet, kann entschieden werden, dass das Merkmal noch in dem auszuwertenden Bild vorhanden ist oder noch in einem Teilbereich des auszuwertenden Bilds vorhanden ist. Diese Feststellung kann erforderlich sein, um zu ermitteln, ob das vordefinierte Kriterium erfüllt ist. Auf verschiedene Beispiele, wie das vordefinierte Kriterium definiert sein kann, wird noch eingegangen. Eine bevorzugte Ausgestaltung des Tracking ist in der Veröffentlichung von Carlo Tomasi und Takeo Kanade aus dem April 1991 mit dem Titel "Shape and Motion from Image Streams: a Factorization Method – Part 3, Detection and Tracking of Point Features", Technical Report CMU-CS-91-132 beschrieben.During tracking, for example, a measure of the coincidence of the image feature, as determined from the image content of one of the partial images, with an image feature in the currently viewed image is determined. The determination of such a measure takes into account that image features can not be determined identically from two different images as a rule, since the external conditions have changed between the times of capture of the two images. The measure is, for example, based on digital images, the sum of the squares of the differences of image values within two image sections. The first image section captures the image feature in the recorded partial image, and the second image segment captures the image feature in the image to be evaluated. For example, by a Newton-Raphson minimization algorithm, the spatial change of the image feature be determined in the image section between the two detection times. However, for the purposes of the present invention, the local change does not necessarily have to be determined. Rather, it is sufficient to determine the measure of the match (eg after application of the minimization algorithm). If this measure does not reach or exceed a limit, for example, it can be decided that the feature is still present in the image to be evaluated or is still present in a subarea of the image to be evaluated. This determination may be required to determine if the predefined criterion is met. Several examples of how the predefined criterion can be defined will be discussed later. A preferred embodiment of the tracking is in the publication of Carlo Tomasi and Takeo Kanade of April 1991 entitled "Shape and Motion from Image Streams: A Factorization Method - Part 3, Detection and Tracking of Point Features", Technical Report CMU-CS-91-132 described.

Das vordefinierte Kriterium kann beispielsweise darin bestehen, dass in einem vordefinierten Bereich in der Bildmitte des aufgezeichneten Teilbildes das Bildmerkmal oder die Bildmerkmale bestimmt wird/werden und dass in dem jeweils auszuwertenden Bild geprüft wird, ob das Bildmerkmal noch aus dem Bildinhalt ermittelt werden kann. Wenn das Bildmerkmal nicht mehr ermittelt werden kann, wird das Bild als eines der Teilbilder aufgezeichnet. Wenn das Bildmerkmal (noch) ermittelt werden kann, wird das Bild nicht aufgezeichnet und das nächstfolgende Bild ausgewertet. Das Kriterium kann für die verschiedenen Bedürfnisse, insbesondere zur Erzeugung unterschiedlicher Überlappungsbereiche der Teilbilder, in geeigneter Weise abgewandelt werden. Z.B. kann die Größe des Teilbereichs in der Mitte des bereits aufgezeichneten Teilbildes variiert werden. Je weiter ein Bildmerkmal bereits am Rande des Teilbereichs liegt, desto größer kann der Überlappungsbereich werden. Auch kann gefordert werden, dass sich in dem Teilbereich in der Mitte des Teilbildes mehrere Bildmerkmale befinden, die bestimmt werden und die verfolgt werden. Es kann dann geprüft werden, ob alle diese Bildmerkmale noch in einem auszuwertenden Bild vorhanden sind. Wenn nur eines der Bildmerkmale nicht mehr vorhanden ist, kann das Bild als eines der Teilbilder aufgezeichnet werden. Auch dieses Kriterium kann abgewandelt werden. Z.B. kann gefordert werden, dass mindestens die Hälfte oder zwei Drittel der Bildmerkmale noch in dem auszuwertenden Bild vorhanden sind. Weiterhin ist es möglich, wie bereits oben erwähnt, ein Maß für die Übereinstimmung der Bildmerkmale in dem bereits aufgezeichneten Teilbild und in dem auszuwertenden Bild zu bestimmen und bei Erreichen oder Überschreiten eines Grenzwertes das Bild als eines der Teilbilder aufzuzeichnen. Dies ermöglicht es, auch dann die Aufzeichnung eines Teilbildes auszulösen, wenn das Merkmal in dem jeweils auszuwertenden Bild zwar noch theoretisch vorhanden ist (d.h. noch in dem Bildausschnitt des Bildes liegt), jedoch verdeckt ist. Weiterhin ist es möglich, die Bewegung der Bildmerkmale beim Tracking festzustellen. Daraus lassen sich Vorhersagen dafür ermitteln, ob bei einem noch nicht erfassten Bild, das in der Zukunft erfasst wird, das Bildmerkmal wahrscheinlich noch innerhalb des Bildes liegt oder nicht. Auch die Bestimmung der Bewegung kann in das vordefinierte Kriterium mit einbezogen werden. Beispielsweise kann das Kriterium die Aufzeichnung eines aktuell ausgewerteten Bildes fordern, wenn das Bildmerkmal wahrscheinlich (auf Basis einer Extrapolation der Bewegung des Bildmerkmals in die Zukunft) nicht mehr in dem nächstfolgenden Bild enthalten ist.The For example, a predefined criterion may be that in a predefined area in the center of the recorded image Part image the image feature or image characteristics is / are determined and that it is checked in the image to be evaluated whether the image feature is still can be determined from the image content. If the picture feature is not can be determined more, the image is considered one of the drawing files recorded. If the image feature can (still) be determined, then the picture was not recorded and the next picture was evaluated. The criterion can be for the different needs, in particular for generating different overlapping areas of the partial images, be modified in a suitable manner. For example, can be the size of the subarea be varied in the middle of the already recorded field. The further a picture feature is already at the edge of the subarea, the bigger you can the overlap area become. It can also be demanded that in the subarea in the middle of the subpicture are several image features that determines become and those are pursued. It can then be checked whether all these image features are still present in an image to be evaluated are. If only one of the image features no longer exists, The image can be recorded as one of the subpictures. Also this criterion can be modified. For example, can be required that at least half or two-thirds of the image features still in the image to be evaluated available. Furthermore, it is possible, as already mentioned above, a Measure of the match the image features in the already recorded field and in to determine the image to be evaluated and on reaching or exceeding a Limit value to record the image as one of the partial images. This allows it, even then the recording of a field trigger, if Although the feature in the image to be evaluated in each case theoretically is present (i.e., still in the frame of the image), however, it is obscured. Furthermore, it is possible the movement of image features to determine the tracking. From this, predictions can be made whether in an unrecorded image captured in the future the picture feature is probably still inside the picture or not. Also, the determination of the movement can be in the predefined Criterion. For example, the criterion request the recording of a currently evaluated image, if the image feature likely (based on an extrapolation of the Movement of the image feature into the future) no longer in the next Picture is included.

Die beschriebene Ausführungsform, bei der das zumindest eine Bildmerkmal bei dem aufgezeichneten Teilbild in einem bestimmten Teilbereich liegen muss, ermöglicht, wie bereits erwähnt, die Einstellung von Überlappungsbereichen der Teilbilder. Solche Überlappungsbereiche dienen dazu, die Koordinatensysteme der einzelnen Teilbilder mit überlappenden Bereichen zu registrieren, d.h. z.B. die Transformationsmatrix zur Transformation der beiden Koordinatensysteme ineinander zu finden. Je nach Art der Szene, Auflösung und anderer Umstände der Bilderfassung und Bildaufzeichnung werden kleinere oder größere Überlappungsbereiche benötigt.The described embodiment, in which the at least one image feature in the recorded field in a certain subarea, allows, as already mentioned, the Setting of overlapping areas of the drawing files. Such overlapping areas serve the coordinate systems of the individual partial images with overlapping Register areas, i. e.g. the transformation matrix for Transformation of the two coordinate systems to find each other. Depending on the type of scene, resolution and other circumstances Image capture and image capture become smaller or larger overlap areas needed.

Bei einer Ausgestaltung der Erfindung gehört zu dem Verfahren auch der Verfahrensschritt der Zusammensetzung zumindest eines Teils der Teilbilder zu dem Gesamtbild bzw. zu einem Teil des Gesamtbildes. Hierzu kann insbesondere die beschriebene Registrierung auf Basis von Überlappungsbereichen benachbarter Teilbilder gehören. Dementsprechend gehört zum Umfang der Erfindung auch eine Vorrichtung, die eine entsprechende Registrierungseinrichtung aufweist und die ausgestaltet ist, die zusammengesetzten Teilbilder als Gesamtbild oder Teil-Gesamtbild aufzuzeichnen.at an embodiment of the invention belongs to the method of the Process step of the composition of at least a part of Partial images of the overall picture or part of the overall picture. In particular, the described registration can be based on this of overlapping areas of adjacent Partial images belong. Accordingly belongs to the scope of the invention, a device which has a corresponding Having registration device and which is configured, the to record composite partial images as an overall image or partial overall image.

Bei der erfindungsgemäßen Vorrichtung kann es sich ganz generell um eine Vorrichtung handeln, deren verschiedene Einrichtungen wie Merkmal-Bestimmungseinrichtung, Trackingeinrichtung, Bilderfassungseinrichtung und Entscheidungseinrichtung Teil einer gemeinsamen bautechnischen Einheit sind oder zumindest an einem gemeinsamen Ort angeordnet sind. Es ist jedoch auch möglich, dass eine oder mehrere dieser Einrichtungen an einem anderen Ort angeordnet sind. Beispielsweise können die von der Bilderfassungseinrichtung erfassten Bilder zu einem anderen Ort übertragen werden und dort die anderen Einrichtungen angeordnet sein. Die Vorrichtung kann daher auch als Anordnung bezeichnet werden.at the device according to the invention can It is generally a device whose different Devices such as feature-determining device, Tracking device, image capture device and decision maker Part of a common structural unit are or at least are arranged at a common location. However, it is also possible that one or more of these facilities arranged at a different location are. For example, you can the captured by the image capture device images to a transferred to another place be there and arranged the other facilities. The device can therefore also be referred to as an arrangement.

Die vorliegende Erfindung ermöglicht es, insbesondere durch Echtzeitbildanalyse Bildmerkmale zu bestimmen und ebenfalls durch Echtzeitbildanalyse in auszuwertenden Bildern beim Tracking zu versuchen, das oder die Bildmerkmale in dem jeweiligen auszuwertenden Bild zu ermitteln. Insbesondere wenn der Versuch fehlschlägt (d.h. das oder die Bildmerkmale nicht ermittelt werden können), kann gemäß dem vordefinierten Kriterium festgelegt sein, dass das auszuwertende Bild als Teilbild aufgezeichnet wird. Alternativ kann z.B. in einem Zwischenspeicher auch ein vorheriges Bild einer Bildfolge gespeichert sein und das vorherige Bild als Teilbild aufgezeichnet werden, wenn das vordefinierte Kriterium bezüglich des aktuell ausgewerteten Bildes erfüllt ist. Dadurch kann verhindert werden, dass durch unerwartete Umstände ein Bild nur wenige Bildinformationen über die Szene enthält und das zuvor erfasste Bild bereits nicht mehr vorhanden ist.The present invention enables it, in particular by real-time image analysis to determine image features and also by real-time image analysis in images to be evaluated to try tracking the image feature (s) in the particular one being evaluated To determine image. In particular, if the attempt fails (i.e. the image feature (s) can not be determined) according to the predefined Be determined criterion that the image to be evaluated as a partial image is recorded. Alternatively, e.g. in a cache also be stored a previous image of a sequence of images and the previous image can be recorded as a subpicture if the predefined Criterion regarding of the currently evaluated image is fulfilled. This can be prevented be that by unexpected circumstances a picture only a few picture information over the Scene contains and the previously captured image is already gone.

Ein Vorteil der vorliegenden Erfindung besteht darin, dass erst dann wieder ein Teilbild aufgezeichnet wird, wenn sich der Bildinhalt der Bilder signifikant der Bilder geändert hat. Dadurch wird erreicht, dass keine oder nur wenig überflüssige Bildinformation aufgezeichnet (gespeichert) werden muss. Dennoch kann mit hoher Sicherheit garantiert werden, dass ein lückenloses Gesamtbild erzeugt werden kann. Anpassungen von Aufnahmezeitpunkt oder Aufnahmeort an Brennweite, Fluggeschwindigkeit und Flughöhe können weitgehend entfallen. Das Verfahren arbeitet adaptiv und ist unempfindlich für Änderungen des Abstandes zwischen Bilderfassungseinrichtung und Szene oder für Änderungen der Relativbewegung zwischen Bilderfassungseinrichtung und Szene. Auch kann die Trajektorie der Relativbewegung sich bei fortschreitender Erfassung von Bildern ändern, ohne dass es zu Lücken in dem Gesamtbild führt. Auch muss eine Neuplanung von Aufzeichnungszeitpunkten in diesem Fall nicht erfolgen. Weiterhin kann selbst eine Änderung der Bildausschnittgröße (Zoom) während der laufenden Erfassung von Bildern erfolgen. Wie erwähnt kann durch Festlegung eines Teilbereichs in dem bereits aufgezeichneten Teilbild, in dem sich das zumindest eine Bildmerkmal befinden muss, und/oder durch Festlegung eines Teilbereichs in dem jeweils auszuwertenden Bild, in dem das oder die Bildmerkmale gesucht werden, eingestellt werden, wie groß die Überlappungsbereiche der Teilbilder sind. Durch Überlappungsbereiche mit sinnvoller Größe erfolgt eine Reduzierung der Datenmenge auf ein Minimum, wodurch die Weiterverarbeitung in Echtzeit, die Übermittlung und/oder die Speicherung der aufgezeichneten Teilbilder erheblich vereinfacht bzw. erst ermöglicht wird. Auf zusätzliche Sensorik zur Positions- und Ausrichtungsbestimmung kann vollständig verzichtet werden. Insbesondere reicht es aus, einen Bildgeber (Bilderfassungseinrichtung), einen Bildanalysator (der ermittelt, ob ein aktuell erfasstes Bild aufgezeichnet werden soll) und eine Bildaufzeichnungsvorrichtung zu verwenden. Dies kann beispielsweise durch handelsübliche Geräte und Hardware und außerdem durch geeignete Software in die Praxis umgesetzt werden. Z.B. kann eine Digitalkamera als Bilderfassungseinrichtung verwendet werden, die eine Ausgabeschnittstelle zur Ausgabe der erfassten Bilder zu einem Computer aufweist, beispielsweise eine Firewire-Schnittstelle (IEEE 1394-Standard). Über die Verbindung zu dem Computer wird das jeweils aktuell erfasste Bild übertragen. Auf dem Computer läuft eine Trackingsoftware ab, die das empfangene, aktuell erfasste Bild gemäß dem vordefinierten Kriterium auswertet und bei Erfüllung des Kriteriums ein Teilbild auf einem Permanentspeicher des Computers abspeichert. Zur Prüfung des Kriteriums braucht das Bild lediglich in den Arbeitsspeicher des Computers geladen zu werden.One Advantage of the present invention is that only then again a partial image is recorded when the image content the pictures has significantly changed the pictures. This will achieve that little or no superfluous image information must be recorded (stored). Nevertheless, with high Guaranteed security that creates a complete picture can be. Adjustments of recording time or location At focal length, airspeed and altitude can be largely eliminated. The method works adaptively and is insensitive to changes the distance between image capture device and scene or for changes of Relative movement between image capture device and scene. Also the trajectory of the relative movement can progressively increase Change capture of images, without it to gaps in the overall picture leads. Also, a re-scheduling of recording times needs to be done in this Case not done. Furthermore, even a change in the image detail size (zoom) while the ongoing capture of images done. As mentioned can through Defining a subarea in the already recorded field, in which the at least one image feature must be located, and / or by defining a subarea in the respectively to be evaluated Image in which the image feature (s) are searched How big are the overlap areas of the partial images are. By overlapping areas with meaningful size is one Reduce the amount of data to a minimum, reducing further processing in real time, the transmission and / or the storage of the recorded partial images considerably simplified or only possible becomes. On additional Sensors for position and orientation determination can be completely dispensed with. In particular, it is sufficient to use an imager (image capture device), an image analyzer (which determines if a currently captured image should be recorded) and an image recording device to use. This can be done for example by commercially available devices and hardware and also be implemented by suitable software in the practice. For example, can a digital camera can be used as an image capture device, the one output interface for outputting the captured images a computer, such as a Firewire interface (IEEE 1394 standard). About the Connection to the computer, the currently captured image is transmitted. On the computer is running a tracking software that receives the received, currently captured image according to the predefined Evaluate criterion and fulfillment of the criterion a partial image on a non-volatile memory of the computer stores. For testing of the criterion only needs the image in the main memory of the computer.

Ausführungsbeispiele der Erfindung werden nun unter Bezugnahme auf die beigefügte Zeichnung beschrieben. Die einzelnen Figuren der Zeichnung zeigen:embodiments The invention will now be described with reference to the accompanying drawings. The individual figures of the drawing show:

1 ein Bild mit einem Bildmerkmal, das in einem in der Mitte des Bildes gelegenen Teilbereich liegt, 1 an image with an image feature located in a subarea lying in the center of the image,

2 ein Gesamtbild, das das in 1 dargestellte Bild als Teilbild enthält, 2 an overall picture that is the in 1 contains displayed image as a partial image,

3 ein weiteres Bild mit mehreren Bildmerkmalen in einem vordefinierten Teilbereich des Bildes 3 another image with multiple image features in a predefined section of the image

4 eine Folge von insgesamt drei nacheinander erfassten Bildern, die aufgrund einer Relativbewegung zwischen der Bilderzeugungseinrichtung und der Szene gegeneinander verschobene Bereiche der Szene abbilden, und 4 a sequence of a total of three consecutively acquired images which, due to a relative movement between the image generator and the scene, image mutually shifted regions of the scene, and

5 eine Vorrichtung zum Auslösen einer Aufzeichnung von Teilbildern. 5 a device for triggering a recording of partial images.

1 zeigt schematisch ein Bild 1. Der Bildinhalt des Bildes 1 ist mit Ausnahme eines einzigen Bildmerkmals 4, das sich in einem Teilbereich 3 in der Mitte des Bildes 1 befindet, nicht dargestellt. Bei den Bildmerkmalen der vorliegenden Erfindung kann es sich um beliebige Bildmerkmale handeln, z.B. um Bilder realer Objekte der abgebildeten Szene oder um beliebige zusammenhängende Bereiche, etwa um so genannte Blobs. Darunter werden ähnlich farbige Bildwerte oder ähnliche Grauwerte in einem zusammenhängenden Bildbereich verstanden, der durch den Übergang zu Pixeln mit anderen Bildwerten begrenzt ist. Bei den Bildmerkmalen kann es sich jedoch auch um Bildbereiche mit scharfen Ecken oder scharfen Kanten handeln, die nicht realen Objekten entsprechen, wie es beispielsweise bei Schatten von realen Objekten der Fall ist. 1 schematically shows an image 1 , The picture content of the picture 1 is with the exception of a single image feature 4 that is in a subarea 3 In the center of the picture 1 is not shown. The image features of the present invention may be any image features, eg, images of real objects of the imaged scene or any contiguous regions, such as so-called blobs. This is understood to mean similarly colored image values or similar gray values in a contiguous image area, which is limited by the transition to pixels with other image values. However, the image features may also be image areas with sharp corners or sharp edges that do not correspond to real objects, such as shadows from real objects is the case.

Bei dem Bild 1 handelt es sich um ein in einer Speichereinrichtung abgespeichertes, d.h. aufgezeichnetes Teilbild eines Gesamtbildes 5, welches schematisch in 2 dargestellt ist. Das Gesamtbild 5 hat keine rechteckförmige Umrisslinie, sondern weist aufgrund der verschiedenen Teilbilder, aus denen es zusammengesetzt ist, einen Umriss mit acht Ecken auf. Von den Teilbildern sind nur zwei Teilbilder dargestellt, nämlich das Teilbild 1 aus 1 und ein zweites Teilbild 7, das mit dem Teilbild 1 einen Überlappungsbereich 8 hat, der in 2 schraffiert dargestellt ist. Man erkennt, dass das Bildmerkmal 4 nicht in dem Überlappungsbereich 8 liegt.In the picture 1 it is a stored in a memory device, ie recorded partial image of an overall image 5 which is shown schematically in FIG 2 is shown. The overall picture 5 does not have a rectangular outline, but has an eight-corner outline due to the different parts of which it is composed. Of the partial images only two partial images are shown, namely the partial image 1 out 1 and a second field 7 that with the drawing file 1 an overlap area 8th has that in 2 hatched. One recognizes that the picture feature 4 not in the overlap area 8th lies.

Bei dem Teilbild 7 handelt es sich beispielsweise um das Teilbild einer erfassten Folge von Bildern, welches unmittelbar nach dem Teilbild 1 aufgezeichnet wurde. Zwischen den Teilbildern 1, 7 wurden keine Teilbilder aufgezeichnet, da das entsprechende vordefinierte Kriterium, welches die Aufzeichnung eines neuen Teilbildes auslöst, für die zwischen den Teilbildern 1, 7 erfassten Bilder nicht erfüllt war. Das Teilbild 7 ist das erste Teilbild, welches nach Aufzeichnung des Teilbildes 1 das Merkmal 4 nicht mehr enthält.In the drawing file 7 For example, it is the partial image of a captured sequence of images which is immediately after the partial image 1 was recorded. Between the partial images 1 . 7 No sub-pictures were recorded because the corresponding predefined criterion, which triggers the recording of a new sub-picture, for those between the sub-pictures 1 . 7 captured images was not met. The drawing file 7 is the first field, which after recording the field 1 the feature 4 no longer contains.

Anhand von 3 und 4 wird nun eine Ausführungsform des Verfahrens beschrieben, die auf der Auswertung von mehreren Bildmerkmalen beruht. 3 zeigt ein aufgezeichnetes Teilbild 11, in dessen Teilbereich 13, welcher in der Mitte des Teilbildes 11 liegt, insgesamt vier Bildmerkmale 14, 15, 16, 17 bestimmt wurden.Based on 3 and 4 An embodiment of the method based on the evaluation of a plurality of image features will now be described. 3 shows a recorded field 11 , in its subarea 13 , which is in the middle of the drawing 11 is a total of four image features 14 . 15 . 16 . 17 were determined.

Durch einen Pfeil ist die Bewegung der Bilder relativ zu der Szene angedeutet, die beispielsweise aufgrund der Bewegung einer an einem Satelliten angebrachten Kamera beim Überflug über einen Bereich einer Planetenoberfläche beruht.By an arrow indicates the movement of the images relative to the scene for example, due to the movement of a satellite attached camera when flying over a Area of a planet surface based.

4 zeigt außerdem im Teilbild 11 auch die Umrisse von zwei weiteren Bildern 18, 19, die in der Folge nach dem Teilbild 11 von einer Bilderfassungseinrichtung erfasst wurden. 4 also shows in the drawing file 11 also the outlines of two more pictures 18 . 19 , which in the sequence after the partial picture 11 were detected by an image capture device.

Bei einer ersten Ausführungsvariante verlangt das vordefinierte Kriterium, dass alle in dem Teilbereich 13 bestimmten Bildmerkmale 14–17 nicht mehr in einem der im Folgenden erfassten Bilder 18, 19 vorhanden sein dürfen, bevor ein neues Teilbild aufgezeichnet wird. Wie aus 4 erkennbar ist, ist dieses Kriterium für das Bild 18 nicht erfüllt, da es noch die Merkmale 16, 17 enthält. Daher wird Bild 18 nicht aufgezeichnet. Dagegen enthält Bild 19 keines der Merkmale 14–17 und wird daher als neues Teilbild aufgezeichnet.In a first embodiment, the predefined criterion requires that all in the subarea 13 certain image characteristics 14 - 17 no longer in one of the pictures taken in the following 18 . 19 may be present before a new drawing file is recorded. How out 4 is recognizable, this criterion is for the picture 18 not met, as it still has the characteristics 16 . 17 contains. Therefore, picture becomes 18 not recorded. On the other hand contains picture 19 none of the features 14 - 17 and is therefore recorded as a new field.

Bei einer zweiten Verfahrensvariante verlangt das vordefinierte Kriterium für die Aufzeichnung eines neuen Teilbildes lediglich, dass eine vordefinierte Teilmenge der aus dem zuletzt aufgezeichneten Teilbild bestimmten Merkmale nicht mehr in dem Bild enthalten sind bzw. nicht mehr in dem Bild identifiziert werden können. Im Ausführungsbeispiel, das in 4 dargestellt ist, verlangt das vordefinierte Kriterium, dass, wenn die Hälfte der bestimmten Merkmale 14–17 nicht mehr in einem folgenden erfassten Bild 18, 19 vorhanden sind, dieses Bild als neues Teilbild aufgezeichnet wird. Daher wird Bild 18 aufgezeichnet. Ferner definiert das Kriterium, dass neue Bildmerkmale aus einem Teilbild erst dann wieder bestimmt werden, wenn ein Teilbild aufgezeichnet wurde, das keines der zuletzt bestimmten Merkmale mehr enthält. Nachdem Bild 18 aufgezeichnet wurde, wurde für die im Folgenden erfassten Bilder weiterhin geprüft, ob zumindest noch die Merkmale 16, 17 vorhanden sind. Da dies in Bild 19 nicht mehr der Fall war, wurde Bild 19 aufgezeichnet. Da Bild 19 außerdem keines der Merkmale 14–17 aus Bild 11 enthält, wurden wieder neue Merkmale aus Bild 19 für die folgende Prüfung von danach erfassten Bildern bestimmt.In a second method variant, the predefined criterion for recording a new partial image merely requires that a predefined subset of the features determined from the last recorded partial image no longer be contained in the image or can no longer be identified in the image. In the embodiment, in 4 is presented, the predefined criterion requires that if half of the certain characteristics 14 - 17 no longer in a following captured image 18 . 19 are present, this image is recorded as a new partial image. Therefore, picture becomes 18 recorded. Furthermore, the criterion defines that new image features from a partial image are only determined again when a partial image has been recorded that no longer contains any of the last determined features. After picture 18 was recorded, it was further checked for the images captured in the following whether at least the features 16 . 17 available. As this is in picture 19 no longer was the case became picture 19 recorded. There picture 19 also none of the features 14 - 17 from picture 11 contains, were again new features from image 19 for the following test of subsequently acquired images.

5 zeigt schematisch eine Ausführungsform der erfindungsgemäßen Vorrichtung, die bereits vor der Figurenbeschreibung erläutert wurde. Durch ein großes Oval 21 ist die Szene mit Objekten 14–17 dargestellt, die als Merkmale von einer Kamera 23 erfasst werden können. Die Kamera 23 befindet sich beispielsweise in einem Laboratorium und erfasst mikroskopische Bilder der Szene 21. Die Kamera 23 wird kontinuierlich relativ zu der Szene 21 bewegt und erfasst dabei fortlaufend Bilder der Szene 21, die über die Verbindung 25 zu dem Computer 27 übertragen werden. Der Computer 27 lädt die Bilder nach und nach in seinen Arbeitsspeicher, wobei jeweils maximal 1 bis 3 Bilder in dem Arbeitsspeicher gespeichert sind. Alternativ liegt kontinuierlich ein Bildsignal der Kamera 23 an einem Eingang des Computers 27 an und wird aufeinander folgend jeweils eines von einer Folge von Bildern durch Erfassungsmittel des Computers 27 (z.B. durch eine so genannte Capture Card) erfasst und in den Arbeitsspeicher des Computers 27 übertragen. Eine auf dem Computer 27 ablaufende Software führt das erfindungsgemäße Verfahren zur Triggerung der Aufzeichnung von Teilbildern auf Basis der Bildinhalte aus und steuert die Aufzeichnung der ausgewählten Teilbilder. Die Aufzeichnung findet dadurch statt, dass die ausgewählten Teilbilder über eine Leitungsverbindung 29 in einen Permanentdatenspeicher 31 geschrieben werden. Die Leitungsverbindung 29 und der Permanentspeicher 31 können auch innerhalb des Computers angeordnet sein. 5 schematically shows an embodiment of the device according to the invention, which has already been explained before the figure description. Through a big oval 21 is the scene with objects 14 - 17 presented as features of a camera 23 can be detected. The camera 23 For example, he is in a laboratory and records microscopic images of the scene 21 , The camera 23 becomes continuous relative to the scene 21 moves and captures images of the scene continuously 21 that about the connection 25 to the computer 27 be transmitted. The computer 27 loads the images gradually into its main memory, each with a maximum of 1 to 3 images are stored in the main memory. Alternatively, there is a continuous image signal from the camera 23 at an entrance of the computer 27 successively each one of a series of images by detection means of the computer 27 (for example, by a so-called capture card) and recorded in the memory of the computer 27 transfer. One on the computer 27 running software executes the inventive method for triggering the recording of partial images based on the image content and controls the recording of the selected partial images. The recording takes place in that the selected partial images via a line connection 29 in a permanent data memory 31 to be written. The line connection 29 and the permanent memory 31 can also be arranged inside the computer.

Der bevorzugte, da besonders robuste Trackingalgorithmus, der in der Lage ist, in jedem auszuwertenden Bild mehrere Bildmerkmale sicher zu erkennen bzw. im Vergleich zu früher erfassten Bildern zu verfolgen, ist in der Veröffentlichung von Jean-Yves Bouguet mit dem Titel "Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm" (Intel Corporation, Microprocessor Research Labs. OpenCV Documents) beschrieben. In der bevorzugten Implementierung wurde der in Abschnitt 2.3 dieser Veröffentlichung beschriebene iterative Lucas-Kanade-Trackingalgorithmus über Bildpyramiden aus der Bildverarbeitungsbibliothek Open CV verwendet. Dabei wird ein erstes Bild aus der Sequenz von erfassten Bildern ausgewertet und dabei dasjenige Bildmerkmal bzw. Objekt ermittelt, welches der Bildmitte am nächsten ist. Dieses Bildmerkmal wird über die im Folgenden erfassten Bilder verfolgt. Ist das Bildmerkmal in einem der folgenden Bilder nicht mehr zu finden (weil es den Bildbereich verlassen hat oder auch weil es ganz oder teilweise verdeckt ist), wird dieses Bild als nächstes Teilbild aufgezeichnet. Nun wird das Bildmerkmal bzw. Objekt bestimmt, das in diesem zuletzt aufgezeichneten Teilbild den geringsten Abstand zur Bildmitte hat, d.h. der Bildmitte am nächsten ist. Dieser Vorgang wird solange wiederholt, bis der gesamte gewünschte Bereich der Szene durch Teilbilder abgedeckt ist. Das Tracking eines Bildmerkmals, welches in dem zuletzt abgespeicherten Teilbild der Bildmitte am nächsten ist, gewährleistet eine ausreichende, aber nicht zu große Überlappung der aufeinander folgenden Teilbilder.The preferred, because particularly robust tracking algorithm, which is able to safely capture multiple image features in each image to be evaluated know or track compared to previously captured images is in the publication of Jean-Yves Bouguet entitled "Pyramidal Implementation of the Lucas Kanad Feature Tracker Description of the Algorithm" (Intel Corporation, Microprocessor Research Labs., OpenCV Documents) described. In the preferred implementation, the iterative Lucas-Kanade tracking algorithm over image pyramids from the Open CV image processing library described in Section 2.3 of this publication was used. In the process, a first image is evaluated from the sequence of captured images, and the image feature or object which is closest to the center of the image is determined. This image feature is tracked through the images captured below. If the image feature is no longer found in one of the following images (because it has left the image area or because it is completely or partially hidden), this image is recorded as the next partial image. Now the image feature or object is determined, which has the smallest distance to the center of the image in this last recorded partial image, ie is closest to the image center. This process is repeated until the entire desired area of the scene is covered by partial images. The tracking of an image feature, which is closest in the last stored partial image of the image center, ensures a sufficient, but not too large overlap of the successive partial images.

Claims

Method for triggering a recording of partial images ( 1 . 7 ), the partial images ( 1 . 7 ) in each case in comparison to at least one other of the partial images ( 1 . 7 ) an overlapping image area ( 8th ), so that the partial images ( 1 . 7 ) to an overall picture ( 5 ), characterized in that a plurality of images are acquired and / or loaded and in each case a decision is made depending on an image content of an image, whether it or an image other than one of the partial images ( 1 . 7 ) is recorded.

Method according to the preceding claim, wherein the plurality of images are successively read by an image acquisition device ( 23 ) is determined, and in each case it is decided for a current captured image whether it has been selected as one of the partial images ( 1 . 7 ) is recorded.

Method according to the preceding claim, wherein the image capture device ( 23 ) and a scene ( 21 ) from which the image capture device ( 23 ) captures the images, are in motion relative to each other.

Method according to one of the preceding claims, wherein at least one image feature ( 4 ), which consists of the image content of one of the partial images ( 1 . 7 ), is tracked over a plurality of the images (in the following: tracking) and, depending on a predefined criterion and depending on a result of the tracking, it is decided whether one of the images is one of the partial images ( 1 . 7 ) is recorded.

Method according to the preceding claim, wherein from the image content of an image which is displayed as one of the partial images ( 1 . 7 ), at least one new image feature is detected, and the process of the preceding claim is repeated until one of the images is selected as one of the partial images ( 1 . 7 ) is recorded.

Method according to one of the two preceding claims, wherein the tracking is attempted, the at least one image feature ( 4 ) from the images over which the image feature is traced.

Method according to one of the three preceding claims, wherein the at least one image feature ( 4 ) in a predefined subarea ( 3 ) of the partial image ( 1 ) are located.

Device for triggering a recording of partial images ( 1 . 7 ), wherein the device is designed, partial images ( 1 . 7 ), in each case compared to at least one other of the partial images ( 1 . 7 ) an overlapping image area ( 8th ), so that the partial images ( 1 . 7 ) to an overall picture ( 5 ), characterized in that the device comprises an image capture device ( 23 ) and a decision-making facility ( 27 ), which are designed and combined with one another in such a way that, for a plurality of images, which are captured by the image acquisition device ( 23 ) and / or loaded, in each case by the decision-making device ( 27 ) is decided depending on an image content of an image, whether it or another image as one of the partial images ( 1 . 7 ) is recorded.

Device according to the preceding claim, wherein the image capture device ( 23 ) is configured to detect the plurality of images in succession, and wherein the decision device ( 27 ) is configured to decide in each case for a current captured image, if it is one of the partial images ( 1 . 7 ) is recorded.

Device according to one of the preceding claims, wherein the device has a feature-determining device and a tracking device, wherein the feature-determining device is configured, at least one image feature ( 4 ) from the image content of one of the partial images ( 1 . 7 ), wherein the tracking device is configured, the at least one image feature ( 4 ) over a plurality of the images captured by the image capture device ( 23 ) and / or charged, (tracking), and wherein the decision-making device ( 27 ) is determined, depending on a predefined criterion and, depending on a result of the tracking, it is decided whether one of the images is one of the partial images ( 1 . 7 ) is recorded.

Apparatus according to the preceding claim, wherein the feature determining means is arranged to extract from the image content of an image which is one of the partial images ( 1 . 7 ) has been recorded, at least one new image feature to be determined, and wherein the device is designed by the tracking device and the decision device ( 27 ) according to the preceding claim, until the decision-making device ( 27 ) decides that one of the images is one of the partial images ( 1 . 7 ) should be recorded.

Device according to one of the two preceding claims, wherein the tracking device is designed to attempt the tracking, the at least one image feature ( 4 ) from the images over which the image feature is traced.

Device according to one of the three preceding claims, wherein the feature-determining device is configured, the at least one image feature in a predefined subregion ( 3 ) of the partial image ( 1 . 7 ).