DE102007033835A1

DE102007033835A1 - Imaging technique for direct object segmentation in images

Info

Publication number: DE102007033835A1
Application number: DE102007033835A
Authority: DE
Inventors: Peter Paul Dr. Deimel; Gerald Dr. Sobotta
Original assignee: EADS Deutschland GmbH
Current assignee: Airbus Defence and Space GmbH
Priority date: 2007-07-18
Filing date: 2007-07-18
Publication date: 2009-01-29
Anticipated expiration: 2027-07-19
Also published as: DE102007033835B4; WO2009010550A1

Abstract

Eine Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung (4), die eine ein Objekt (12) umfassende Szene (11) mit einer von zumindest einer Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation beleuchtet; eine Aufnahmeeinrichtung (1), die eine zumindest zwei Bilder (B0, B1, ..., Bn) umfassende statische Bildfolge (10) der Szene (11) aufnimmt; sowie eine Steuereinrichtung (2), die die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die Bildaufnahme der Aufnahmeeinrichtung (1) derart koordiniert steuert, dass die zumindest zwei Bilder (B0, B1, ..., Bn) der Bildfolge (10) paarweise unterschiedlicher Beleuchtung aufgenommen werden. Ferner umfasst die Bildsegmentierungsvorrichtung eine mit der Aufnahmeeinrichtung (1) verbundene Segmentierungseinrichtung (7), die aus den zumindest zwei Bildern (B0, B1, ..., Bn) der Bildfolge (10) zumindest ein Differenzbild (D1, ..., Dn) bildet und das segmentierte Ergebnisbild (S1, ...Sn; S) aus dem zumindest einen Differenzbild (D1, ..., Dn) ableitet.An image segmentation device comprises a lighting device (4) which illuminates a scene (11) comprising an object (12) with a lighting modulation generated by at least one lighting unit (5); a recording device (1) which records a static image sequence (10) of the scene (11) comprising at least two images (B0, B1, ..., Bn); and a control device (2) which coordinates the illumination modulation of the illumination device (5) and the image acquisition of the recording device (1) such that the at least two images (B0, B1, ..., Bn) of the image sequence (10) are pairwise different Lighting to be included. Furthermore, the image segmentation device comprises a segmentation device (7) which is connected to the recording device (1) and from which at least two images (B0, B1, ..., Bn) of the image sequence (10) have at least one difference image (D1, ..., Dn ) and derives the segmented result image (S1, ... Sn; S) from the at least one difference image (D1, ..., Dn).

Description

Die Erfindung betrifft eine Bildsegmentierunagsvorrichtung zum Markieren eines Objekts in einem Bild einer das Objekt umfassenden Szene, sowie ein entsprechendes Segmentierungsverfahren.The The invention relates to an image segmentation tagging device for marking an object in an image of a scene comprising the object, and a corresponding segmentation method.

Die Segmentierung von Objekten in digitalen Bildern, die eine bestimmte Szene zeigen, d. h. die Erkennung und Markierung einer Kontur oder einer Fläche eines zu erkennenden Objektes in dem digitalen Bild, ist eine grundlegende und anspruchsvolle Aufgabe der digitalen Bildverarbeitung und -analyse. Gesuchte Objekte in Bildern können z. B. Gegenstände, Personen oder topologische Strukturen sein, wie z. B. Löcher, Gräben oder sonstige geometrische Figuren in realen Szenen. Da es sich bei der Segmentierung zumeist um eine (low level) Vorverarbeitung eines digitalen Bilds handelt, die eine (high level) Vermessung, Zählung oder anderweitige quantitative Analyse der segmentierten Objekte ermöglicht, ist die Qualität eines Segmentierungsverfahrens entscheidend für die Zuverlässigkeit einer übergeordneten optischen Überwachungs- oder Qualitätsanalyseanwendung. Hinzu kommt, dass bei der Überwachung von Personenbewegungen und/oder industriellen Prozessen oft eine Echtzeitbildanalyse erforderlich ist, die erhebliche Geschwindigkeits- und insofern auch Qualitätsanforderungen an ein Segmentierungsverfahren stellt.The Segmentation of objects in digital images that have a specific Scene show, d. H. the recognition and marking of a contour or a surface an object to be recognized in the digital image is a fundamental one and challenging task of digital image processing and analysis. sought Objects in pictures can z. B. objects, Persons or topological structures, such as. As holes, ditches or other geometric figures in real scenes. Since it is at the Segmentation mostly by a (low level) preprocessing of a digital image that is a (high level) survey, count or otherwise allows quantitative analysis of the segmented objects the quality of a segmentation process critical to reliability a parent optical monitoring or quality analysis application. On top of that, in the surveillance Of person movements and / or industrial processes often one Real-time image analysis is required, the significant speed and therefore also quality requirements to a segmentation method.

Bei der Segmentierung von Einzelbildern, bei der kein Kontext- bzw. Modellwissen über die zu segmentierende Szene vorhanden ist oder ausnutzt werden kann, ist die erforderliche Zuverlässigkeit nicht ohne weiteres zu gewährleisten. Prinzipiell ist es jedoch möglich, zufriedenstellende Segmentierungsergebnisse entweder durch Verbesserungen der Beleuchtungs- und/oder Bildaufnahmetechnik oder durch algorithmische Weiterentwicklung zu erzielen. Im Zusammenhang mit dem erstgenannten Ansatz ist es bekannt, dreidimensionale Aufnahmetechniken einzu setzen, die zwar umfangreiche Objektinformationen liefern und insofern eine bessere Ausgangslage für die algorithmische Bildsegmentierung schaffen, aber auch technisch wesentlich aufwendiger und kostenintensiver sind und deshalb eine Echtzeitbildverarbeitung weiter erschweren.at the segmentation of individual images, in which no context or Model knowledge about the scene to be segmented exists or can be exploited, is not the required reliability to ensure without further ado. In principle, however, it is possible satisfactory segmentation results either through improvements of Illumination and / or imaging technique or by algorithmic To achieve further development. In the context of the former approach it is known to use three-dimensional recording techniques, which provide extensive object information and thus one better starting position for create algorithmic image segmentation, but also technically are much more expensive and cost-intensive and therefore a real-time image processing further complicate.

Ebenso ist sowohl bei der zweidimensionalen als auch bei der dreidimensionalen Bildaufnahme bekannt, die aufzunehmende Szene mit einer homogenen Beleuchtung oder mit einer strukturierten Beleuchtung zu beleuchten, also ein reproduzierbares oder zufälliges Muster auf die Objekte zu projizieren, um die Objekte im Bildvordergrund gegenüber dem Bildhintergrund zu betonen und dadurch eine bessere Unterscheidbarkeit von Objekt und Hintergrund zu erreichen. Darüber werden auch Ansätze mit einer Infrarotbeleuchtung bzw. einer Beleuchtung im nicht-sichtbaren Spektralbereich verfolgt, bei denen zumindest Störungen durch eine natürliche Umgebungsbeleuchtung der Szene ausgeschlossen werden können. Jedoch sind hierbei Objektkanten und -konturen jedoch zumeist nicht störungsfrei zu erkennen, da prinzipiell jegliche Art von indirekter Umgebungsbeleuchtung für eine zuverlässige Bildsegmentierung nachteilig ist.As well is both the two-dimensional and the three-dimensional Image capture known, the scene to be recorded with a homogeneous Lighting or to illuminate with structured lighting, So a reproducible or random pattern on the objects to project the objects in the foreground of the picture against the image background to emphasize and thereby a better distinguishability of object and achieve background. There are also approaches to that an infrared lighting or a lighting in the non-visible Spectral range tracks where at least interference from natural ambient lighting the scene can be excluded. However, here are object edges and contours, however, usually not to be recognized without interference, as in principle any kind of indirect ambient lighting for reliable image segmentation is disadvantageous.

Insbesondere für sensible Echtzeitanwendungen, wie z. B. in der Sicherheitstechnik oder bei der optischen Qualitätskontrolle, gilt für alle vorgenannten Ansätze, dass der algorithmische Aufwand zu Segmentierung der aufgenommenen Bilder erheblich ist, da bei derartigen Anwendungen eine hohe Detektionswahrscheinlichkeit bei gleichzeitiger Reduktion der Fehlerrate erforderlich ist.Especially for sensitive Real-time applications, such as B. in safety technology or in the optical quality control, applies to all the above approaches, that the algorithmic effort to segment the recorded Images is significant because in such applications a high probability of detection while reducing the error rate is required.

Es ist demzufolge die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur einfachen Echtzeitbildsegmentierung vorzuschlagen.It is therefore the object of the present invention, a device and to propose a method for simple real-time image segmentation.

Diese Aufgabe wird erfindungsgemäß durch eine Segmentierungsvorrichtung sowie ein Segmentierungsverfahren mit den Merkmalen der unabhängigen Ansprü che gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung angegeben.These The object is achieved by a Segmentation device and a segmentation method with the characteristics of the independent Claims solved. In dependent on it claims are advantageous embodiments and developments of the invention specified.

Eine erfindungsgemäße Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung mit zumindest einer Beleuchtungseinheit zur Erzeugung einer zeitlichen Beleuchtungsmodulation zur aktiven Beleuchtung einer ein Objekt umfassenden Szene, eine Aufnahmeeinrichtung zur Aufnahme einer zumindest zwei Bilder umfassenden statischen Bildfolge der Szene sowie eine mit der Aufnahmeeinrichtung verbundene Segmentierungseinrichtung, die aus der Bildfolge ein segmentiertes Ergebnisbild ableitet, in dem das Objekt von dem Hintergrund unterscheidbar markiert ist. Durch die von der zumindest einen Beleuchtungseinheit erzeugt Beleuchtungsmodulation, kann die Szene mit einer veränderlichen Beleuchtung beleuchtet werden. Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation sowie die Bildaufnahme der Aufnahmeeinrichtung werden durch eine Steuereinrichtung der Bildsegmentierungsvorrichtung derart koordiniert gesteuert, dass die Aufnahmeeinrichtung die zumindest zwei Bilder der Bildfolge bei paarweise unterschiedlichen Beleuchtungen aufnimmt. Die Segmentierungseinrichtung bildet zum Ableiten eines segmentierten Bildes aus den Bildern der Bildfolge zunächst zumindest ein Differenzbild durch punktweise Subtraktion zweier Bilder der Bildfolge, um aus dem resultierenden zumindest einen Differenzbild das segmentierte Bild abzuleiten.A Image segmentation device according to the invention comprises a lighting device with at least one lighting unit for generating a temporal illumination modulation to the active Illumination of a scene comprising an object, a recording device for recording a static image sequence comprising at least two images the scene as well as a segmentation device connected to the recording device, which derives a segmented result image from the image sequence, in the object is marked distinguishable from the background. By the illumination modulation generated by the at least one illumination unit, can change the scene with a changeable one Illuminated lighting. The of the lighting device generated illumination modulation and the image recording of the recording device by a control device of the image segmentation device in such a way controlled in a coordinated manner that the receiving device the at least two pictures of the picture sequence with pairwise different illuminations receives. The segmentation device forms for deriving a segmented image from the images of the image sequence, at least initially a difference image by point subtraction of two images of Image sequence, from the resulting at least one difference image derive the segmented image.

Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation kann beispielsweise in einer zeitlichen Veränderung der Beleuchtungsintensität oder einer Variation des elektromagnetischen Spektrums der Beleuchtung bestehen. So kann beispielsweise bei entsprechender Beleuchtung das Objekt stark aufgehellt werden, während der das Objekt umgebende Hintergrund fast unverändert bleibt. Da aufgrund der Steuerung durch die Steuereinrichtung für jedes Bild der Bildfolge die Szene aufgrund der Beleuchtungsmodulation unterschiedlich beleuchtet wird, er geben sich in einem entsprechenden Differenzbild (bei einer Bildfolge aus zwei Bildern) bzw. den entsprechenden Differenzbildern (bei einer Bildfolge aus zumindest drei Bildern) deutliche Intensitätsunterschiede zwischen dem Objekt und dessen Hintergrund. Die Beleuchtungsmodulation ist hierbei derart ausgestaltet und mit der Bildaufnahme koordiniert, dass sie das von dem Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Licht möglichst stark verändert, während das von dem Hintergrund reflektierte Licht weitestgehend konstant bleibt. Aufgrund der daraus resultierenden starken Helligkeitsdifferenz zwischen Objekt und Hintergrund in einem Differenzbild ist aus dem Differenzbild durch einfache und robuste Bildverarbeitungsoperationen ein segmentiertes Bild – z. B. in Form eines Binärbilds – ableitbar, das das Objekt gegenüber dem Hintergrund markiert.The of the lighting device he Illuminated modulation can consist, for example, in a change over time of the illumination intensity or a variation of the electromagnetic spectrum of the illumination. Thus, for example, with appropriate illumination, the object can be greatly brightened, while the background surrounding the object remains almost unchanged. Since, due to the control by the control device, the scene is illuminated differently for each image of the image sequence due to the illumination modulation, it results in a corresponding difference image (in the case of an image sequence of two images) or the corresponding difference images (in the case of an image sequence of at least three images) distinct intensity differences between the object and its background. In this case, the illumination modulation is configured and coordinated with the image acquisition such that it changes the light reflected by the object and recorded by the recording device as much as possible, while the light reflected by the background remains largely constant. Due to the resulting strong difference in brightness between the object and the background in a difference image, a segmented image - e.g. B. in the form of a binary image - derivable that marks the object against the background.

Aufgrund der im Hinblick auf die Bildaufnahme gesteuerten Beleuchtungsmodulation werden große Helligkeitsdifferenzen des Objekts in den Bildern der Bildfolge verursacht. Dadurch können auch unter realen unvorteilhaften Umweltbedingungen – z. B. bei schlechten Umgebungsbeleuchtungsverhältnissen, hohen Rauschanteilen oder beweglichen Objekten mit einer zweidimensionalen Kameratechnik – zuverlässige und robuste Segmentierungsergebnisse erreicht werden.by virtue of the illumination modulation controlled with regard to image acquisition be great Brightness differences of the object in the images of the image sequence caused. Thereby can even under real unfavorable environmental conditions - eg. B. in poor ambient lighting conditions, high noise or moving objects with a two-dimensional camera technology - reliable and robust segmentation results can be achieved.

Die Bildfolge wird prinzipiell statisch aufgenommen, d. h. bei unveränderter relativer Position und Ausrichtung der Aufnahmeeinrichtung im Verhältnis zu der aufgenommenen Szene. Dadurch sind einfachste und entsprechend rechenzeiteffiziente Bildverarbeitungsoperationen, wie z. B. die bildpunktweise Bildsubtraktion, ausreichend, um robuste Segmentierungsergebnisse zu erhalten. Die vorliegende Erfindung zeichnet sich also durch einen vergleichsweise geringen apparativen Aufwand und dementsprechend geringe Kosten sowie durch eine hohe Berechnungseffizienz aus, die insgesamt eine zuverlässige Echtzeitbildsegmentierung ermöglichen. Demzufolge ist zumindest die erfindungsgemäße Bildaufnahme bei der üblichen Aufnahmefrequenz von 50 bis 60 Hz in der Regel in weniger als 0,1 Sekunden abgeschlossen. Dabei wird abhängig von dem anwendungsspezifischen Aufbau einer aufzunehmenden Bildfolge die relative Helligkeit der gesuchten Objekte von Bild zu Bild derart verändert, dass eine robuste Segmentierung mit sehr geringem Berechnungsaufwand mittels der Berechnung von Differenzbildern erreicht werden kann. Die Einarisierung eines Differenzbildes mit einem geeigneten automatisch ermittelbaren Schwellenwert liefert dabei bereits gute und robuste Segmentierungsergebnisse. Diese mit der Erfindung einhergehenden Vorteile erlauben es, einen großen Umfang von Detektions-, Überwachungs- und Zählanwendungen mit geringem technischen Aufwand bei zufriedenstellender Zuverlässigkeit zu lösen, also insbesondere ohne den Einsatz einer 3D-Sensorik oder aufwendigen algorithmischen Segmentierungsansätzen. Ferner sind die mit der Erfindung erzielbaren Segmentierungsergebnisse derart robust, dass der Kalibrierungsaufwand der erfindungsgemäßen Bildsegmentierungsvorrichtung im Hinblick auf Positionen, Entfernungen oder Ausrichtungen der Beleuchtungs- und Aufnahmeeinrichtung bezüglich der Szene zu vernachlässigen ist.The Image sequence is basically recorded statically, d. H. at unchanged relative position and orientation of the receiving device in relation to the recorded scene. As a result, the simplest and most appropriate computationally efficient image processing operations, such as B. the pixel-by-pixel image subtraction, sufficient to produce robust segmentation results to obtain. The present invention is characterized by a comparatively small amount of equipment and accordingly low cost and high computing efficiency, the altogether a reliable one Enable real-time image segmentation. As a result, is at least the image acquisition according to the invention at the usual Recording frequency of 50 to 60 Hz usually in less than 0.1 seconds completed. It becomes dependent from the application-specific structure of a picture sequence to be recorded the relative brightness of the searched objects from picture to picture in such a way changed that a robust segmentation with very little computational effort can be achieved by calculating difference images. The Einarisierung a difference image with a suitable automatically detectable threshold already provides good and robust Segmentation results. This associated with the invention Benefits allow a big one Scope of detection, monitoring and counting applications with little technical effort with satisfactory reliability to solve, So in particular without the use of a 3D sensor or consuming algorithmic segmentation approaches. Furthermore, those with the Invention achievable Segmentierungsergebnisse so robust that the calibration effort of the image segmentation device according to the invention in With regard to the positions, distances or orientations of the lighting and recording device with respect to to neglect the scene is.

Die Beleuchtungseinrichtung der Bildsegmentierungsvorrichtung umfasst zumindest eine Beleuchtungseinheit, mit der sie abhängig von der Steuerung durch die Steuereinrichtung eine Beleuchtungsmodulation der Szene erzeugt. Jede Beleuchtungseinheit der Beleuchtungsvorrichtung emittiert vorzugsweise in einem schmalbandigen Beleuchtungsspektrum, das auch im Nahinfrarotbereich liegen kann. Das schmalbandige Spektrum liegt bevorzugt zwischen 700 nm und 1000 nm, besonders bevorzugt um 850 nm. Die Beleuchtungseinrichtung kann zumindest zwei Beleuchtungseinheiten umfassen, die zur Beleuchtung der Szene paarweise unterschiedliche schmalbandige Beleuchtungsspektren erzeugen, wobei die Beleuchtungseinrichtung derart gesteuert wird, dass bei einer aktiven Beleuchtung jeweils eine der zur Verfügung stehenden Beleuchtungseinheiten jeweils genau ein Bild der Bildfolge durch die Aufnahmeeinrichtung aufgenommen wird. Dadurch wird eine Beleuchtungsmodulation sichergestellt, die zu einer paarweise unter schiedlichen Beleuchtung der Bilder der aufgenommenen Bildfolge führt. Hierbei werden die Beleuchtungseinrichtung und die Aufnahmeeinrichtung vorzugsweise derart koordiniert, dass ein Bild (z. B. das erste Bild der Bildfolge) gänzlich ohne eine aktive Beleuchtung aufgenommen wird, d. h. ausschließlich durch Reflektion der Umgebungsbeleuchtung durch das Objekt bzw. den Hintergrund. Jedes weitere Bild der Bildfolge wird dann bei einer aktiven Beleuchtungsmodulation aufgezeichnet, die paarweise unterschiedliche Beleuchtungen der Szene für jedes Bild der Bildfolge zur Folge hat.The Lighting device of the image segmentation device comprises at least one lighting unit with which they depend on the controller by the control means a lighting modulation the scene generated. Each lighting unit of the lighting device preferably emits in a narrow band illumination spectrum, which can also be in the near infrared range. The narrowband spectrum is preferably between 700 nm and 1000 nm, particularly preferred around 850 nm. The illumination device can have at least two illumination units include, in pairs to illuminate the scene produce narrow-band illumination spectra, wherein the illumination device is controlled so that when active lighting respectively one of the available Standing lighting units each exactly one image of the image sequence the receiving device is received. This will be a lighting modulation ensured that in pairs under different lighting the images of the recorded image sequence leads. Here are the lighting device and the receiving device preferably coordinated such that a Image (eg the first image of the image sequence) entirely without active illumination is recorded, d. H. exclusively by reflection of Ambient lighting through the object or the background. each another image of the image sequence is then recorded during an active illumination modulation, the pairwise different lighting of the scene for each Image of the image sequence has.

Bei aktiver Beleuchtung der Szene durch die Beleuchtungseinrichtung ändert sich im aufgenommenen Bild das Objekt stärker als der Hintergrund, da die Intensität eines reflektierten Beleuchtungsanteils mit 1/r² abhängig ist von dem Abstand r des Objekts/Hintergrunds zur jeweiligen Beleuchtungseinheit. Die Helligkeit des Objekts verändert sich im Bild bei aktiver Beleuchtung deshalb wesentlich stärker als die Helligkeit des Hintergrunds. Deshalb entsteht durch die punktweise Subtraktion von jeweils zwei Bildern der Bildfolge – insbesondere durch die Subtraktion eines bei Umgebungsbeleuchtung (d. h. ohne aktive Beleuchtung) aufgenommenen Bildes von jeweils sämtlichen anderen aktiv beleuchteten Bildern der Bildfolge – für die dem Objekt zuzuordnenden Bildpunkte des jeweiligen Differenzbildes ein hoher Helligkeitswert, während dem Hintergrund zuzuordnende Bildpunkte in einem Differenzbild geringe oder vernachlässigbare Helligkeitswerte aufweisen.When the scene is actively illuminated by the illumination device, in the captured image the object changes more than the background, since the intensity of a reflected illumination component with 1 / r ^{2 is} dependent on the distance r of the object / background to the respective illumination Ness. The brightness of the object therefore changes much more in the picture with active illumination than the brightness of the background. Therefore, by the pointwise subtraction of two images of the image sequence - in particular by the subtraction of a captured in ambient lighting (ie without active illumination) image of each of all other actively illuminated images of the sequence - for the object to be assigned pixels of the respective difference image a high brightness value while pixels to be assigned to the background in a difference image have low or negligible brightness values.

Zur Unterstützung der Beleuchtungsmodulation durch eine Beleuchtung mit paarweise unterschiedlichen Beleuchtungsspektren kann die Aufnahmeeinrichtung mit entsprechenden Spektralfiltern ausgestattet werden, die automatisch oder manuell entsprechend der jeweils aktiven Beleuchtungseinheit bzw. deren emittiertem Spektrum zugeschaltet werden können. Dadurch wird eine Störlichtunterdrückung bei der Bildaufnahme erreicht, die die natürliche Umgebungsbeleuchtung sehr stark abschwächt, jedoch das Beleuchtungsspektrum der jeweils aktiven Beleuch tungseinheit passieren lässt. Aus diesem Grund findet sich in einem Differenzbild, das durch Subtraktion eines nicht aktiv beleuchteten (d. h. lediglich bei Umgebungsbeleuchtung aufgenommenen) Bildes und eines aktiv beleuchteten Bildes, bei dessen Aufnahme ein angepasstes Spektralfilter verwendet wurde, ein stark gegenüber dem Hintergrund hervorgehobenes Objekt, das deshalb auch einfach segmentierbar ist.to support the illumination modulation by a lighting in pairs different illumination spectra, the receiving device be equipped with appropriate spectral filters that automatically or manually according to the respective active lighting unit or whose emitted spectrum can be switched on. Thereby is a Störlichtunterdrückung at The image capture achieves the natural ambient lighting very much weakens, however the illumination spectrum of the respective active lighting unit lets happen. For this reason, is found in a difference image, by subtraction a non-actively lit (i.e., ambient lighting only recorded) image and an actively illuminated image, in whose Recording a customized spectral filter was used a strong across from background object, which is why it is also simple is segmentable.

In einer weiteren Ausführungsform wird ausgenutzt, dass der von dem beleuchteten Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Beleuchtungsanteil wesentlich von der geometrischen Anordnung der jeweiligen Beleuchtungseinheit abhängt, insbesondere von dem Einfallswinkel der Beleuchtung auf die reflektierende Oberfläche des Objektes. Durch Verwendung einer Beleuchtungsmodulation, die durch mehrere bezüglich der aufzunehmenden Szene jeweils unterschiedlich geometrisch angeordnete Beleuchtungseinheiten erzeugt wird, wird insbesondere die Segmentierung von solchen Szenen verbessert, die durch verschieden zueinander geneigte Flächen gekennzeichnet sind, z. B. bei der Detektion von Kratzern und anderen Oberflächenfehlern bei der optischen Qualitätskontrolle.In a further embodiment is exploited that reflected from the illuminated object and absorbed by the receiving device lighting component essentially of the geometric arrangement of the respective lighting unit depends in particular from the angle of incidence of the illumination on the reflective surface of the Object. By using a lighting modulation by several re the scene to be recorded each differently geometrically arranged Lighting units is generated, in particular, the segmentation improved by such scenes by different from each other inclined surfaces are characterized, for. In the detection of scratches and others surface defects in optical quality control.

Bei dieser Ausführungsform wird die Beleuchtungsmodulation durch die unterschiedlichen Einfallswinkel der aktiven Beleuchtungen der vorhandenen Beleuchtungseinheiten erzeugt. Bei jeweils vergleichbarem Abstand der Beleuchtungseinheiten von der aufzunehmenden Szene wird die Abhängigkeit der Reflektionsrichtung des auf das Objekt auftreffenden Beleuchtungsanteils von der Ausrichtung der jeweiligen Objektoberflächen ausgenutzt (die durch den Normalenvektor der Objektoberfläche beschrieben wird). In diesem Zusammenhang können also Schatteneffekte erzeugt und ausgenutzt werden und bei gleichzeitiger Beleuchtung der Szene durch mehr als eine Beleuchtungseinheit auch Halbschatteneffekte.at this embodiment The illumination modulation is due to the different angles of incidence the active lighting of the existing lighting units generated. With in each case comparable distance of the lighting units of the scene to be recorded becomes the dependence of the direction of reflection of the incident on the object lighting proportion of the orientation of the respective object surfaces exploited (described by the normal vector of the object surface becomes). So in this context Shadow effects are generated and exploited and at the same time Illumination of the scene by more than one lighting unit too Penumbra effects.

Bei der Beleuchtungsmodulation durch unterschiedlich angeordnete Beleuchtungseinheiten werden vorzugsweise zumindest zwei bezüglich der Szene geometrisch jeweils paarweise verschieden angeordnete Beleuchtungseinheiten verwendet, während die Aufnahmeeinrichtung eine zumindest drei Bilder umfassende Bildfolge aufnimmt, wobei ein Bild bei ausgeschalteten Beleuchtungseinheiten (d. h. lediglich bei Umgebungsbeleuchtung) aufgenommen wird, während die restlichen Bilder bei aktiver Beleuchtung durch jeweils eine der Beleuchtungseinheiten aufgenommen werden. Darüber hinaus ist es auch möglich, die Szene mit Kombinationen von jeweils zwei oder mehr aktiven Beleuchtungseinrichtungen zu beleuchten, die für jedes Bild paarweise verschieden sind, da sich auch auf diese Weise in den entsprechenden Differenzbildern unterscheidbare Objekte ergeben. Die Beleuchtungsmodulation durch Veränderung der Einfallswinkel kann auch mit einer Beleuchtungsmodulation durch paarweise verschiedene schmalbandige Beleuchtungsspektren kombiniert werden, so dass auch durch die Kombination von verschiedenen Modulationseffekten in den Bildern eine hohe Robustheit des Segmentierungsergebnisses erreicht werden kann.at the illumination modulation by differently arranged lighting units preferably at least two respect the scene geometrically in pairs differently arranged Lighting units used while the recording device a picture sequence comprising at least three images, wherein a picture with lighting units switched off (ie only in ambient lighting) while the remaining images with active illumination by one of the lighting units be recorded. About that It is also possible the scene with combinations of two or more active lighting devices to illuminate that for Each picture is different in pairs, as is the case in this way in the corresponding difference images distinguishable objects. The illumination modulation by changing the angle of incidence can also do a lighting modulation by pairwise different Narrow-band illumination spectra are combined, so too through the combination of different modulation effects in the pictures a high robustness of the segmentation result can be achieved can.

Bei einer Bildfolge, die aus zumindest drei Bildern besteht, ergeben sich bei paarweiser Subtraktion immer zumindest zwei oder mehr Differenzbilder. Die Differenzbilder werden dann vorzugsweise jeweils separat segmentiert und die entstehenden segmentierten Bilder anschließend zu einem Ergebnisbild fusioniert, beispielsweise durch eine geeignete algebraische Operation, z. B. einen Bool'schen Operator. Auf diese Weise sind in dem resultierenden Ergebnisbild Objektinformationen aus sämtlichen Differenzbildern und somit auch aus sämtlichen Bildern der Bildfolge vorhanden.at a sequence of images consisting of at least three images result with pairwise subtraction always at least two or more difference images. The difference images are then preferably segmented separately and then add the resulting segmented images fused to a result image, for example by an appropriate algebraic operation, e.g. B. a Boolean operator. That way are in the resulting result image object information from all Difference pictures and thus also from all pictures of the picture sequence available.

Eine ausreichend gute Segmentierung eines in der Regel mehrwertigen (bzw. grauwertigen) Differenzbildes ist aufgrund der vergleichsweise hohen Helligkeits dynamik der abgebildeten Objekte gegenüber dem jeweiligen Hintergrund mit einfachsten Bildverarbeitungsoperationen zu erreichen. Vorzugsweise wird ein Differenzbild durch eine initiale Tiefpassfilterung, die eine Rauschunterdrückung bezweckt, und eine anschließende Binarisierung des gefilterten Differenzbildes durch einen geeigneten globalen Schwellenwert segmentiert. Dieser globale Schwellenwert ist aufgrund der großen Helligkeitsunterschiede zwischen Objekt- und Hintergrundbildpunkten in den Differenzbildern ein eher unkritischer Wert, so dass in den meisten Fällen eine ausreichende Segmentierungsqualität bereits durch Schwellenwerte erreicht wird, die geringfügig über dem Helligkeitsniveau des Hintergrundes liegen, welches aufgrund der Subtraktion verschiedenartig beleuchteter Bilder im Allgemeinen nahezu Null sein wird. Diese globale Schwellenwertsegmentierung ist deshalb sehr zuverlässig und robust gegenüber (globalen) Störeinflüssen und Artefakten.A sufficiently good segmentation of a generally multi-valued (or gray-valued) difference image is due to the relatively high brightness dynamics of the imaged objects over the respective background with the simplest image processing operations to achieve. Preferably, a difference image is segmented by an initial low-pass filtering, which aims at noise suppression, and a subsequent binarization of the filtered difference image by a suitable global threshold value. This global Due to the large differences in brightness between object and background pixels in the difference images, the threshold value is a rather uncritical value, so that in most cases sufficient segmentation quality is already achieved by thresholds that are slightly above the brightness level of the background, due to the subtraction of variously illuminated images generally will be close to zero. This global threshold segmentation is therefore very reliable and robust against (global) perturbations and artifacts.

Die Aufnahmeeinrichtung kann eine herkömmliche Kamera sein, die jedoch vorzugsweise ein Spektrum erfasst, das in den Infrarotbereich hinein reicht, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum. Ferner kann die Aufnahmeeinrichtung eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit sein, wodurch die Farb- bzw. Helligkeitsauflösung der Bilder der Bildfolge und somit auch die Helligkeitsauflösung der Differenzbilder und schließlich auch die Robustheit der Segmentierungsoperation erhöht wird.The Recording device may be a conventional camera, however preferably a spectrum detected in the infrared range ranges, preferably reaching up to a wavelength of 1100 nm Spectrum. Furthermore, the receiving device can be a highly dynamic Camera with a color depth of more than 8 bits, causing the Color or brightness resolution the images of the image sequence and thus also the brightness resolution of the difference images and finally also the robustness of the segmentation operation is increased.

Die Beleuchtungseinrichtung ist vorzugsweise aus Diodenfeldern aufgebaut, die die einzelnen Beleuchtungseinheiten bilden. Die Beleuchtungseinheiten können zusätzlich mit Polarisationsfiltern ausgestattet sein. Entsprechend kann auch die Aufnahmeeinrichtung mit Polarisationsfiltern ausgestattet sein, die bei der Aufnahme der Bildfolge abhängig von der jeweils aktiven Beleuchtungseinheit zugeschaltet werden können. Die Polarisationsfilter unterdrücken diffus reflektierendes Licht und lassen nur Licht einer bestimmten Polarisation passieren. Die Umge bungsbeleuchtung kann dadurch sehr wirkungsvoll unterdrückt werden, was bei der Subtraktion von aktiv beleuchteten und nicht aktiv beleuchteten Bildern zu einer noch besseren Unterscheidbarkeit von Objekt und Hintergrund führt.The Lighting device is preferably constructed of diode fields, which form the individual lighting units. The lighting units can additionally be equipped with polarizing filters. Correspondingly, too the receiving device be equipped with polarizing filters, which when taking the image sequence depends on the active one Lighting unit can be switched on. The polarization filters suppress diffuse reflecting light and let only light of a certain Polarization happen. The ambient lighting can be very good effectively suppressed become what is actively illuminated during the subtraction and not actively lit images to an even better distinguishability of object and background leads.

Vorzugsweise besitzt die Kamera der Aufnahmeeinrichtung eine logarithmische Kennlinie, d. h. es besteht zwischen einer Eingangshelligkeit des von dem Objekt reflektierten Lichtes und dem entsprechenden von der Aufnahmeeinrichtung erzeugten Ausgangssignal, das die Helligkeitswerte eines aufgenommenen Bildes repräsentiert, ein logarithmischer Zusammenhang, so dass sich bei einer linear ansteigenden Eingangshelligkeit die durch das Ausgangssignals kodierten Helligkeiten lediglich logarithmisch erhöhen. Durch die logarithmische Kennlinie wird der an sich multiplikative Zusammenhang zwischen dem Beleuchtungsanteil und dem Reflektionsanteil, deren Produkt von der Aufnahmeeinrichtung als Eingangshelligkeit aufgezeichnet wird, in einen additiven Zusammenhang transformiert, so dass sich die im aufgezeichneten Bild niederschlagende Helligkeit des Ausgangssignals als Summe des Beleuchtungsanteils und des Reflektionsanteils ergibt. Dies hat den Vorteil, dass aufgrund des nunmehr additiven Zusammenhangs bei der anschließenden Bildsubtraktion der Reflektionsanteil von dem Beleuchtungsanteil getrennt werden kann, was bei einem multiplikativen Zusammenhang nicht möglich wäre. Im Differenzbild kann somit der durch die Beleuchtungsmodulation veränderliche Beleuchtungsanteil von dem nahezu unveränderlichen Reflektionsanteil getrennt werden, was wiederum zu einer einfachen und robusten Segmentierung führt.Preferably the camera of the recording device has a logarithmic characteristic, d. H. it exists between an input brightness of the object reflected light and the corresponding of the receiving device generated output signal, which is the brightness values of a recorded Representing the image, a logarithmic relationship, so that in a linearly increasing Input Brightness the brightnesses encoded by the output signal increase only logarithmically. The logarithmic characteristic turns the multiplicative Relationship between the lighting proportion and the reflection proportion, their product from the receiving device as input brightness recorded, transformed into an additive relationship, so that the reflected brightness in the recorded image the output signal as the sum of the illumination component and the reflection component results. This has the advantage that due to the now additive relationship at the subsequent Image subtraction of the reflection component of the illumination component can be separated, which in a multiplicative context not possible would. in the Difference image can thus be changed by the illumination modulation Lighting proportion of the almost constant reflection component be separated, which in turn leads to a simple and robust segmentation leads.

Die erfindungsgemäße Segmentierungsvorrichtung umfasst vorzugsweise neben einer Kamera als Aufnahmeeinrichtung und einer Anordnung von Diodenfeldern oder sonstigen Beleuchtungselementen als Beleuchtungseinrichtung einen Computer mit einem Speicher und einem Prozessor, wobei die Segmentierungseinrichtung ein in dem Speicher gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm repräsentiert. Bei der Aufnahme der Bildfolge durch die Aufnahmeeinrichtung wird die Bildfolge über eine Datenkommunikationsschnittstelle zwischen Computer und Aufnahmeeinrichtung in den Speicher des Computers zur nachfolgenden algorithmischen Segmentierung gespeichert. Bei einer derartigen Ausgestaltung der erfindungsgemäßen Segmentierungsvorrichtung kann die koordinierende Steuereinrichtung als auf dem Computer ausführbares Steuerprogramm ausgestaltet sein, oder als in die Kamera integrierte, die Beleuchtungseinrichtung steuernde Steuereinheit der Kamera. Eine solche Steuereinheit kann dann auch die Kommunikation der Kamera mit dem Computer bzw. dem Segmentierungsprogramm übernehmen.The Segmentation device according to the invention preferably includes a camera as a recording device and an array of diode arrays or other lighting elements as a lighting device a computer with a memory and a processor, wherein the segmentation means includes a Memory stored and executable by the processor segmentation program represents. When recording the image sequence by the recording device is the image sequence over a data communication interface between the computer and the recording device in the memory of the computer for subsequent algorithmic Segmentation saved. In such an embodiment of the Segmentation device according to the invention The coordinating controller may be implemented as computer-executable Control program, or integrated into the camera, the lighting device controlling the control unit of the camera. Such a control unit can then also the communication of the camera with the computer or the segmentation program.

Weitere Merkmale der Erfindung ergeben sich aus der folgenden Beschreibung verschiedener erfindungsgemäßer Ausführungsbeispiele und Ausführungsalternativen. Es wird auf die folgenden Figuren verwiesen, welche zeigen:Further Features of the invention will become apparent from the following description various inventive embodiments and design alternatives. Reference is made to the following figures, which show:

1 ein Flussdiagramm eines prototypischen erfindungsgemäßen Segmentierungsverfahrens; 1 a flow chart of a prototypical segmentation method according to the invention;

2 einen Aufbau einer ersten Ausführungsform der erfindungsgemäßen Segmentierungsvorrichtung; 2 a structure of a first embodiment of the segmentation device according to the invention;

3 ein Beispiel der bei der Segmentierung entstehenden Bilddaten; und 3 an example of the image data resulting from the segmentation; and

4 ein Aufbau einer zweiten Ausführungsform der vorliegenden Erfindung. 4 a construction of a second embodiment of the present invention.

Nachfolgend wird eine Vorrichtung sowie ein Verfahren zum Erzeugen eines segmentierten Bildes einer Szene beschrieben, die ein oder mehrere Objekte umfasst, die zu erkennen, zu vermessen, zu zählen oder anderweitig zu analysieren sind. Das Verfahren zeichnet sich durch eine hohe Robustheit der Segmentie rungsergebnisse aus, d. h. einer geringen Fehleranfälligkeit und Abhängigkeit von Bildartefakten, einen im Vergleich zu z. B. gängigen 3D-Aufnahmetechniken geringen apparativen Aufwand sowie außerordentlich geringen algorithmischen Berechnungsanforderungen, woraus insgesamt die Echtzeitfähigkeit des beschriebenen Segmentierungsverfahrens resultiert. Das Verfahren ist deshalb insbesondere für solche Bildverarbeitungs- und Segmentierungsanwendungen geeignet, die eine hohe Verarbeitungsgeschwindigkeit bei einer gleichzeitigen hohen Zuverlässigkeit der Segmentierungs- und Erkennungsergebnisse erfordern. Dies gilt insbesondere im industriellen Bereich für die Überwachung von Produktionsvorgängen und die optische Qualitätskontrolle sowie für den Bereich der Personenüberwachung, -registrierung oder -erkennung, beispielsweise an Flughäfen, bei Grenzbehörden, zur Zugangskontrolle zu geschützten Bereichen und dergleichen.The following describes an apparatus and method for generating a segmented image of a scene comprising one or more objects that are to be detected, measured count or otherwise analyze. The method is characterized by a high degree of robustness of the Segmentation results, ie a low susceptibility to error and dependence on image artifacts, a comparison with z. B. common 3D recording techniques low equipment cost and extremely low algorithmic computational requirements, resulting in the overall real-time capability of the described segmentation method results. The method is therefore particularly suitable for such image processing and segmentation applications which require a high processing speed with a simultaneous high reliability of the segmentation and recognition results. This applies in particular in the industrial sector for the monitoring of production processes and the optical quality control as well as for the area of personal monitoring, registration or recognition, for example at airports, at border authorities, for access control to protected areas and the like.

Ein prototypischer Ablauf des Segmentierungsverfahrens ist in 1 in Form eines Flussdiagramms gezeigt. Die Schritte S1 bis S5 betreffen dabei die Aufnahme einer Bildfolge B0, B1, ..., Bn, während die Schritte S6 bis S9 die algorithmische Weiterverarbeitung der Bildfolge B0, B1, ..., Bn betreffen, die schließlich in einem einzelnen segmentierten Ergebnisbild S resultiert, das ein oder mehrere in der Szene vorhandene Objekte deutlich und von dem Hintergrund unterscheidbar markiert, z. B. in Form eines Binärbilds mit weißen Objektbildpunkten (Binärwert 1) und schwarzen Hintergrundbildpunkten (Binärwert 0).A prototypical procedure of the segmentation procedure is in 1 shown in the form of a flow chart. The steps S1 to S5 in this case relate to the acquisition of an image sequence B0, B1,..., Bn, while the steps S6 to S9 relate to the algorithmic further processing of the image sequence B0, B1,..., Bn, which finally results in a single segmented result image S results in one or more objects present in the scene clearly marked and distinguishable from the background, e.g. In the form of a binary image with white object pixels (binary value 1) and black background pixels (binary value 0).

Nach dem Beginn des Verfahrens mit Schritt S1 (START) bilden die Schritte S2, S3 und S4 eine Schleife zur sequentiellen Aufnahme von Einzelbildern der Bildfolge. In Schritt S2 werden die Einzelbinder jeweils von einer Kamera statisch aufgenommen (ACQUISITION), deren Ausrichtung und Orientierung sich gegenüber der aufzunehmenden Szene nicht verändert. Im Idealfall haben also alle aufgenommenen Bilder der Bildfolge B0, B1, ..., Bn einander entsprechende Bildpunkte, die jeweils einen nahezu identischen Szenenausschnitt repräsentieren. In den Schrit ten S3 (SET MODULATION) und S4 (ILLUMINATION) wird die Beleuchtung der Szene für das jeweils nächste aufzunehmende Einzelbild festgelegt.To the beginning of the process with step S1 (START) form the steps S2, S3 and S4 loop for sequential recording of frames the sequence of pictures. In step S2, the single binders are each of a camera statically recorded (ACQUISITION), their orientation and orientation opposite the scene to be recorded has not changed. Ideally, therefore all captured images of the image sequence B0, B1, ..., Bn each other corresponding pixels, each having a nearly identical scene detail represent. In Step S3 (SET MODULATION) and S4 (ILLUMINATION) become the Lighting the scene for that each next recorded single image.

Im ersten Durchlauf der Schleife S2, S3, S4 wird in Schritt S2 das Bild B0 bei Umgebungsbeleuchtung aufgenommen, d. h. ohne eine aktive Beleuchtung durch eine Beleuchtungseinrichtung. In Schritt S3 wird dann erstmals für die Aufnahme des Bildes B1 eine Beleuchtung(-smodulation) eingestellt bzw. verändert und in Schritt S3 wird die Szene mit der eingestellten Beleuchtung beleuchtet, um anschließend in Schritt S2 als Bild B1 aufgenommen zu werden. Nach insgesamt n Schleifendurchläufen liegt in Schritt S5 schließlich die vollständige Bildfolge B0, B1, ..., Bn vor (SEQUENCE). Die Beleuchtungsmodulation wird in Schritt S3 derart bildweise angepasst, dass die Bilder B0, B1, ..., Bn jeweils paarweise derart verschieden beleuchtet sind, dass auch paarweise unterschiedliche Darstellungen insbesondere des Objekts vorliegen. Die Art der Beleuchtungsmodulation wird nachfolgend im Zusammenhang mit den 2 und 4 im Detail erläutert.In the first pass of the loop S2, S3, S4, the image B0 is recorded in ambient illumination, ie without active illumination by a lighting device, in step S2. In step S3, a lighting (-smodulation) is then set or changed for the first time for taking the image B1, and in step S3 the scene is illuminated with the set illumination, in order subsequently to be recorded as image B1 in step S2. After a total of n loop passes, the complete image sequence B0, B1,..., Bn is finally present in step S5 (SEQUENCE). The illumination modulation is adjusted imagewise in step S3 such that the images B0, B1,..., Bn are each illuminated in pairs in such a different manner that pairs of different representations, in particular of the object, are present. The type of illumination modulation will be described below in connection with 2 and 4 explained in detail.

Die in Schritt S5 vorliegende Bildfolge B0, B1, ..., Bn wird in Schritt S6 von einer Segmentierungseinrichtung in eine Folge von Differenzbildern D1 = B1 – B0, D2 = B2 – B0, ..., Dn = Bn – B0 transformiert, indem jeweils aus dem unbeleuchtet aufgenommenen Bild B0 und jedem der aktiv und paarweise unterschiedlich beleuchteten Bilder B1, B2, ..., Bn ein entsprechendes Differenzbild erzeugt wird (DIFFERENCE). Da die aktive Beleuchtung der Bilder B1, B2, ..., Bn gegenüber dem unbeleuchteten Bild B0 zu einem deutlichen Helligkeitsänderung des Objekts führt, sind die Objekte in den Differenzbildern D1, D2, ..., Dn jeweils deutlich dargestellt, während der Hintergrund, auf den die Beleuchtungsmodulation einen geringen Einfluss hat, in den Differenzbildern D1, D2, ..., Dn vernachlässigbar kleine Helligkeitswerte besitzt.The Image sequence B0, B1,..., Bn present in step S5 is determined in step S6 from a segmentation device into a sequence of difference images D1 = B1 - B0, D2 = B2 - B0, ..., Dn = Bn - B0 transformed by each from the unlit recorded Picture B0 and each of the active and in pairs differently lit Images B1, B2, ..., Bn generates a corresponding difference image becomes (DIFFERENCE). Since the active illumination of the images B1, B2, ..., opposite to Bn the unlit image B0 to a significant change in brightness of the object leads, are the objects in the difference images D1, D2, ..., Dn, respectively clearly shown while the background to which the illumination modulation has a low Influence, in the difference images D1, D2, ..., Dn negligible has small brightness values.

In Schritt S7 werden die Differenzbilder D1, D2, ..., Dn einer Rauschfilterung unterzogen (LOW-PASS), beispielsweise durch ein geeignetes Tiefpass-, Median- oder sonstiges Rauschfilter, und in Schritt S8 wird jedes einzelne der gefilterten Differenzbilder durch eine Schwellenwertoperation in die Binärbilder S1, S2, ..., Sn binarisiert (THRESHOLD). Der angelegte Schwellenwert ist dabei derart gewählt, dass die Helligkeiten der Hintergrundbildpunkte in einem Differenzbild im Wesentlichen unterhalb des Schwellenwerts liegen, während die Helligkeiten der Objektbildpunkte im Differenzbild im Wesentlichen oberhalb der Schwelle liegen. Demzufolge sind in den Binärbildern S1, S2, ..., Sn Objektbildpunkte z. B. mit dem Binärwert 1 dargestellt, während Hintergrundbildpunkte mit dem Binärwert 0 dargestellt sind. Jedes Binärbild S1, S2, ..., Sn kann aufgrund der paarweise unterschiedlichen Beleuchtungen durch die Beleuchtungsmodulation eine leicht veränderte Objektinformation bzw. Objektrepräsentation zeigen, so dass in Schritt S9 ein einzelnes resultierendes Ergebnisbild S des Segmentierungsprozesses durch eine Fusion der Binärbilder S1, S2, ..., Sn errechnet wird (FUSION). Diese Fusion kann beispielsweise durch Bool'sche Binäroperatoren erfolgen, z. B. durch ein logisches UND, ein logisches ODER oder ein exklusives ODER (XOR).In step S7, the difference images D1, D2, ..., Dn are noise-filtered (LOW-PASS), for example, by a suitable low-pass, median or other noise filter, and in step S8 each of the filtered difference images is threshed into the binary images S1, S2, ..., Sn binarized (THRESHOLD). The applied threshold value is chosen such that the brightnesses of the background pixels in a difference image are substantially below the threshold, while the brightnesses of the object pixels in the difference image are substantially above the threshold. Consequently, in the binary images S1, S2, ..., Sn object pixels z. B. with the binary value 1 while background pixels are represented by the binary 0 value. Each binarized image S1, S2,..., Sn can exhibit a slightly modified object information or object representation due to the pairwise different illuminations by the illumination modulation, so that in step S9 a single resultant result image S of the segmentation process is achieved by merging the binary images S1, S2, ..., Sn is calculated (FUSION). This fusion can be done, for example, by Boolean binary operators, e.g. By a logical AND, a logical OR, or an exclusive OR (XOR).

2 zeigt einen Aufbau einer ersten bevorzugten Ausführungsform der Erfindung. Eine Kamera 1 mit einer integrierten Steuereinrichtung 2 und einer vorgeschalteten Spektralfilteranordnung 3 nimmt eine Bildfolge B1, B2, ..., Bn der Szene 11 auf, die ein Objekt 12 vor einem Hintergrund 13 zeigt. Nach einer erfolgreichen Aufnahme und Segmentierung soll das Objekt 12 im Rahmen einer Sicherheitsanwendung oder optischen Qualitätskontrolle beispielsweise vermessen, registriert oder erkannt werden. Zur Beleuchtung der Szene 11 ist eine Beleuchtungseinrichtung 4 vorgesehen, die eine oder mehrere Beleuchtungseinheiten 5 umfasst. Die Beleuchtungseinheiten 5 können hierbei beispielsweise Diodenfelder sein, die jeweils paarweise unterschiedliche schmalbandige Beleuchtungsspektren emittieren, welche nach einer Reflektion durch das Objekt 12 und den Hintergrund 13 und einer Filterung durch das Spektralfilter 3 von der Kamera 1 aufgezeichnet werden. 2 shows a structure of a first before zugten embodiment of the invention. A camera 1 with an integrated control device 2 and an upstream spectral filter array 3 takes an image sequence B1, B2, ..., Bn of the scene 11 on which is an object 12 in front of a background 13 shows. After a successful capture and segmentation, the object should 12 be measured, registered or recognized as part of a security application or optical quality control, for example. To illuminate the scene 11 is a lighting device 4 provided, the one or more lighting units 5 includes. The lighting units 5 In this case, for example, diode arrays may be used which each emit different narrow-band illumination spectra in pairs, which after reflection by the object 12 and the background 13 and filtering by the spectral filter 3 from the camera 1 to be recorded.

Die Steuereinrichtung 2 der Kamera 1 steht mit der Beleuchtungseinrichtung 4 in Verbindung und steuert die durch die Beleuchtungseinheiten 4 hervorgerufene Beleuchtungsmodulation derart, dass bei der Aufnahme des Bildes B0 die Szene nicht aktiv beleuchtet wird und bei der Aufnahme der weiteren Bilder B1, B2, ..., Bn jeweils genau eine der verschiedenen Beleuchtungseinheiten 4 die Szene 11 aktiv beleuchtet. Die Bilder B0, B1, ..., Bn werden also jeweils mit paarweise unterschiedlichen Beleuchtungen aufgenommen.The control device 2 the camera 1 stands with the lighting device 4 Connects and controls the through the lighting units 4 caused illumination modulation such that during the recording of the image B0, the scene is not actively illuminated and when taking the other images B1, B2, ..., Bn exactly one of the different lighting units 4 the scene 11 actively lit. The images B0, B1, ..., Bn are thus each recorded with pairwise different illuminations.

Die Bildfolge 10 wird von der Steuereinrichtung 2 in einem Speicher 9 eines Computers 6 abgespeichert, der ein Segmentierungsprogramm 7 zur Berechnung einer Segmentierung der Szene 11 aus der Bildfolge 10 umfasst. Im einfachsten Falle werden Bildfolgen mit lediglich zwei Einzelbildern B0 und B1 erzeugt. Beispielhaft ist in 2 ein unbeleuchtetes Bild B0 mit einem dunklen Objekt sowie ein aktiv beleuchtetes Bild B1 mit einem beleuchteten helleren Objekt gezeigt, sowie das entsprechende Differenzbild D1 = B1 – B0 und ein sich durch eine Schwellenwertoperation ergebendes Binärbild S, das das weiße Objekt 12 von einem schwarzen Hintergrund 13 unterscheidbar markiert. Die Kamera 1 kann hierbei beispielsweise eine Schwarz/Weiß-Kamera sein, die auch außerhalb des sichtbaren Spektralbereichs bis zu einer Wellenlänge von 1100 nm im Nahinfrarotbereich empfindlich ist. Zur schmalbandigen Beleuchtung werden die Beleuchtungseinheiten 5 als Diodenfelder ausgebildet, wobei zumindest eine der Beleuchtungseinheiten 5 ein schmalbandiges Spektrum im Bereich von 850 nm erzeugt, das bei Reflektion durch das Objekt 12 durch ein auf den Spektralbereich der Beleuchtungseinheit 5 abgestimmtes schmalbandiges Spektralfilter 3 gefiltert von der Kamera 1 aufgenommen wird.The sequence of pictures 10 is from the controller 2 in a store 9 a computer 6 saved, which is a segmentation program 7 to calculate a segmentation of the scene 11 from the picture sequence 10 includes. In the simplest case, image sequences are generated with only two individual images B0 and B1. Exemplary is in 2 an unlit image B0 with a dark object and an actively illuminated image B1 with a lighted brighter object shown, and the corresponding difference image D1 = B1 - B0 and a resultant by a threshold operation binary image S, the white object 12 from a black background 13 distinguishably marked. The camera 1 In this case, for example, a black-and-white camera can be used, which is also sensitive outside the visible spectral range up to a wavelength of 1100 nm in the near-infrared range. The lighting units become narrow-band lighting 5 designed as diode arrays, wherein at least one of the lighting units 5 produces a narrow-band spectrum in the range of 850 nm, which is reflected by the object 12 by a on the spectral range of the lighting unit 5 tuned narrowband spectral filter 3 filtered by the camera 1 is recorded.

Kern des Segmentierungsverfahrens ist die variierende Beleuchtung des Objekts 12 bei gleichzeitiger nahezu unveränderter Beleuchtung des Hintergrunds 13 durch die koordinierte Beleuchtungsmodulation der Beleuchtungseinrichtung 4, z. B. durch die Verwendung von paarweise unterschiedlichen Beleuchtungsspektren. Diese Tatsache resultiert aus einer 1/r²-Abhängigkeit der Beleuchtungsstärke von dem Abstand r einer Punktlichtquelle zum Objekt 12 bzw. zum Hintergrund 13. Dadurch wird unabhängig von der tatsächlichen Helligkeit des Hintergrunds 13 in der Bildfolge 10 dieser im Differenzbild D1, ...Dn immer relativ geringe Helligkeitswerte haben und dunkel dargestellt werden. Die signifikante Helligkeitsdifferenz zwischen Objekt 12 und Hintergrund 13 kann dabei durch ein Spektralfilter 3 zur Unterdrückung einer Umgebungsbeleuchtung unterstützt werden, indem dann die in der Regel diffuse und den Segmentierungsprozess störende Umgebungsbeleuchtung in den Einzelbindern B1, ..., Bn nicht aufgezeichnet wird. Dadurch wird eine ansonsten notwendige Subtraktion von hohen, vergleichbaren Hintergrundhelligkeiten verhindert, die ansonsten leicht zu verrauschten Differenzbildern führen könnte. Eine darüber hinaus entstehende Rauschkomponente in den Differenzbildern D1, ..., Dn kann bei der eigentlichen Segmentierung durch eine Tiefpassfilterung weiter eliminiert werden. Daraus resultiert auch, dass bereits kleine Helligkeitsdifferenzen zwischen einem Objekt 12 und dem entsprechenden Hintergrund 13 aufgrund der oben erläuterten 1/r²-Abhängigkeit zur zuverlässigen Trennung des Objekts 12 von dem Hintergrund 13 ausreicht.The core of the segmentation process is the varying illumination of the object 12 with almost unchanged illumination of the background 13 by the coordinated illumination modulation of the illumination device 4 , z. By using pairs of different illumination spectra. This fact results from a 1 / r ² dependence of the illuminance from the distance r of a point light source to the object 12 or to the background 13 , This will be independent of the actual brightness of the background 13 in the sequence 10 these in the difference image D1,... Dn always have relatively low brightness values and are shown dark. The significant brightness difference between object 12 and background 13 can by a spectral filter 3 be suppressed to suppress ambient lighting by then the usually diffuse and the segmentation process disturbing ambient lighting in the individual binders B1, ..., Bn is not recorded. This prevents an otherwise necessary subtraction of high, comparable background brightness, which otherwise could easily lead to noisy difference images. An additionally occurring noise component in the difference images D1,..., Dn can be further eliminated during the actual segmentation by a low-pass filtering. This also means that even small brightness differences between an object 12 and the corresponding background 13 due to the 1 / r ² dependence explained above for reliable separation of the object 12 from the background 13 sufficient.

Bei Anwendungsgebieten aus der Sicherheitstechnik, dem Zählen oder Registrieren von Personen oder industriellen Gegenständen oder dergleichen ist die Verwendung einer Beleuchtung außerhalb des sichtbaren Spektralbereichs sinnvoll, beispielsweise im Infrarotbereich, da auf diese Weise eine Störung der Beleuchtungsmodulation durch eine Umweltbeleuchtung weiter minimiert werden kann. Darüber hinaus kann eine im Infrarotbereich bzw. allgemein im nicht sichtbaren Lichtbereich operierende Segmentierungsvorrichtung relativ unauffällig arbeiten.at Application areas from the security technology, the counting or Registering persons or industrial objects or the like is the use of a lighting outside of the visible spectral range, for example in the infrared range, because in this way a disturbance the illumination modulation further minimized by environmental lighting can be. About that In addition, one in the infrared or generally not visible in the visible Operating light segmentation device relatively inconspicuous.

Die Kamera 1 kann eine hochdynamische Kamera mit einem dynamischen Intensitätsbereich oberhalb des 8-Bit-Standards (entspricht 256 digitalen Intensitätswerten) sein. Bei der Nutzung eines nicht-sichtbaren Spektralbereichs ist der Nahinfrarotbereich zwischen 700 nm und 1000 nm besonders bevorzugt, da für diesen Spektralbereich konventionelle und somit preiswerte Siliziumtechnologien als Bildaufnahmechips eingesetzt werden können.The camera 1 can be a highly dynamic camera with a dynamic intensity range above the 8-bit standard (equivalent to 256 digital intensity values). When using a non-visible spectral range, the near-infrared range between 700 nm and 1000 nm is particularly preferred since conventional and thus inexpensive silicon technologies can be used as image-recording chips for this spectral range.

Bei einer besonders bevorzugten Ausführungsvariante besitzt die Kamera 1 eine logarithmische Kennlinie, wodurch die sich aus der Eingangshelligkeit an der Kamera 1 (bzw. einem Bildaufnahmesensor des Kamera 1) ergebende, in einem digitalen Bild niederschlagende Helligkeit eines entsprechenden Ausgabesignals lediglich logarithmisch (anstatt linear) mit der Eingangshelligkeit wächst. Dadurch wird der natürliche multiplikative Zusammenhang zwischen einem Beleuchtungsanteil L(x, y) und einem Reflektionsanteil R(x, y) in der Gesamthelligkeit H(x, y) = R(x, y) × L(x, y) (mit x, y als Bildkoordinaten) (1)eines Bildes (B0, B1, ..., Bn) durch die Logarithmierung in einen additiven Zusammenhang log H(x, y) = log R(x, y) + log L(x, y) (2)der logarithmierten Beleuchtungs- und Reflektionsanteile transformiert, was insbesondere bei der Subtraktion (negative Addition) unterschiedlich beleuchteter Bilder nützlich ist.In a particularly preferred embodiment, the camera has 1 a logarithmic characteristic, which is different from the input brightness on the camera 1 (or an image sensor of the camera 1 ), in a digita len image striking brightness of a corresponding output signal only logarithmic (instead of linear) increases with the input brightness. Thereby, the natural multiplicative relationship between a lighting proportion L (x, y) and a reflection proportion R (x, y) in the total brightness becomes H (x, y) = R (x, y) × L (x, y) (with x, y as image coordinates) (1) of an image (B0, B1, ..., Bn) by the logarithmation in an additive context log H (x, y) = log R (x, y) + log L (x, y) (2) the logarithmized illumination and reflection components, which is particularly useful in the subtraction (negative addition) of differently lit images.

Zwischen der Objekthelligkeit H_O(B0) = R_O(B0) × L_O(B0) eines Objekts 12 in einem (nicht aktiv beleuchteten) Bild B0 und der Helligkeit H_O(B1) = R_O(B1) × L_O(B1) eines Objekts 12 in einem (aktiv beleuchteten) Bild B1 sowie zwischen den entspre chenden Hintergrundhelligkeiten H_H(B0) = R_H(B0) × L_H(B0) und H_H(B1) = R_H(B1) × L_H(B1) ergibt sich durch die logarithmischen Kennlinie der Kamera 1 in den Ausgangsbildern folgender Zusammenhang: log HO(B0) = log RO(B0) + log LO(B0) log HO(B1) = log RO(B1) + log LO(B1) (3) log HH(B0) = log RH(B0) + log LH(B0) log HH(B1) = log RH(B1) + log LH(B1) (4)woraus sich für ein Differenzbild D1 = B1 – B0 bei einem helleren Bild B2 ergibt: log HO(B1) – log HO(B0) = log RO(B1) – log RO(B0) + log LO(B1) – log LO(B0) log HH(B1) – log HH(B0) = log RH(B1) – log RH(B0) + log LH(B1) – log LH(B0) (5) Between the object brightness H _O (B0) = R _O (B0) × L _O (B0) of an object 12 in a (not actively illuminated) B0 picture and the brightness H _O (B1) = R _O (B1) × L _O (B1) of an object 12 in an (actively lit) image B1 and between the corre sponding background brightnesses H _H (B0) = R _H (B0) × L _H (B0) and H _H (B1) = R _H (B1) × L _H (B1) through the logarithmic characteristic of the camera 1 in the source images, the following relationship: log H O (B0) = log R O (B0) + log L O (B0) log H O (B1) = log R O (B1) + log L O (B1) (3) log H H (B0) = log R H (B0) + log L H (B0) log H H (B1) = log R H (B1) + log L H (B1) (4) what results in a difference image D1 = B1 - B0 for a brighter image B2: log H O (B1) - log H O (B0) = log R O (B1) - log R O (B0) + log L O (B1) - log L O (B0) log H H (B1) - log H H (B0) = log R H (B1) - log R H (B0) + log L H (B1) - log L H (B0) (5)

Hierbei setzt sich die Oberflächenbeleuchtungsstärke L aus einem konstanten Anteil L^const und einem modulierten Anteil L^mod zusammen: L = Lconst + Lmod mit Lmod = 0 für Bild B0. (6) In this case, the surface illuminance L is composed of a constant component L ^const and a modulated component L ^mod : L = L const + L mod with L mod = 0 for picture B0. (6)

Für ein Objekt 12 vor einem Hintergrund 13 ist die Beleuchtungseinrichtung 4 vorzugsweise so ausgestaltet, dass der modulierte Anteil in der Oberflächenbeleuchtungsstärke L_O wesentlich größer ist, als der modulierte Anteil in der Hintergrundbeleuchtungsstärke L_H: LO mod >> LH mod (7)was wegen des oben erläuterten Helligkeitsabfalls mit 1/r² bei wachsendem Abstand r des Objekts 12 von der Lichtquelle 5 leicht realisierbar ist. Aufgrund der in jedem Bild B0, B1, ..., Bn nahezu unveränderten Reflexionskomponente R und der unveränderten konstanten Anteile L^const gilt: log HO(B ) – log HO(B0) = log LO(B1) – log LO(B0) = log(LO const(B1) + LO mod(B1)) – log LO const(B0) = log(1 + LO mod(B1)/LO const(B0)) (8a) log HH(B1) – log HH(B0) = log LH(B1) – log LH(B0) = log(LH const(B1) + LH mod(B1)) – log LH const(B0) = log(1 + LH mod(B1)/LH const(B0)) (8b)woraus sich aus log(1 + L_H ^mod(B1)) aufgrund L_O ^const(B0) ≈ log 1 = 0 und log(1 + L_O ^mod(B1)/L_O ^const(B0)) >> 0 die folgende entscheidende Relation ergibt: log HO(B1) – log HO(B0) >> log HH(B1) – log HH(B0). (9) For an object 12 in front of a background 13 is the lighting device 4 preferably configured so that the modulated component in the surface illumination _intensity L _{O is} substantially greater than the modulated component in the backlight intensity L _H : L O mod >> L H mod (7) which due to the above explained brightness decrease with 1 / r ² with increasing distance r of the object 12 from the light source 5 easily realizable. Due to the reflection component R which is virtually unchanged in each image B0, B1,..., Bn and the unchanged constant components L ^{const, the} following applies: log H O (B) - log H O (B0) = log L O (B1) - log L O (B0) = log (L O const (B1) + L O mod (B1)) - log L O const (B0) = log (1 + L O mod (B1) / L O const (B0)) (8a) log H H (B1) - log H H (B0) = log L H (B1) - log L H (B0) = log (L H const (B1) + L H mod (B1)) - log L H const (B0) = log (1 + L H mod (B1) / L H const (B0)) (8b) where log (1 + L _H ^mod (B1)) is L _o ^const (B0) ≈ log 1 = 0 and log (1 + L _O ^mod (B1) / L _O ^const (B0)) >> 0 the following decisive relation yields: log H O (B1) - log H O (B0) >> log H H (B1) - log H H (B0). (9)

Dies bedeutet, dass im Differenzbild D1 = B1 – B0 die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Objekts 12 wesentlich größer sind als die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Hintergrunds 13, so dass sich das Objekt 12 im Differenzbild D1 sogar nahezu unabhängig von seiner Oberflächenreflektivität R_O(B0) bzw. R_O(B1) im Vergleich zur Hintergrundreflektivität R_H(B0) bzw. R_H(B1) deutlich hervorhebt. Diese hohen Helligkeitsunterschiede zwischen Objekt 12 und Hintergrund 13 im Differenzbild D1 ermöglicht eine entsprechend einfache Segmentierung durch eine relativ robuste, globale Schwellenwertoperation.This means that in the difference image D1 = B1-B0 the brightness differences of corresponding pixels of the object 12 are significantly larger than the brightness differences of corresponding pixels of the background 13 , so that the object 12 in the difference image D1 even almost independent of its surface reflectivity R _O (B0) and R _O (B1) compared to the background reflectivity R _H (B0) and R _H (B1) clearly highlighted. These high brightness differences between object 12 and background 13 in the difference image D1 allows a correspondingly simple segmentation by a relatively robust, global threshold operation.

Die Verwendung einer Kamera 1 mit logarithmischer Kennlinie (also die apparative Logarithmierung bei Bildaufnahme) ist deshalb besonders vorteilhaft, weil sich gegenüber der der eigentlichen Bildaufnahme nachgeschalteten algorithmischen Lo garithmierung eine vorteilhaftere Rauschfehlerfortpflanzung ergibt. In diesem Zusammenhang wird auf die Bildbeispiele der 3 verwiesen, die zwei Einzelbilder B0 (ohne aktive Beleuchtung) und B1 (mit aktiver Beleuchtung) zeigt, sowie das Differenzbild D1 = B0 – B1 in Falschfarbendarstellung und ein segmentiertes Ergebnisbild S, das die hellen Objektbildpunkte von den dunklen Hintergrundbildpunkten deutlich markiert.The use of a camera 1 with logarithmic characteristic curve (thus the apparatus logarithmization at image acquisition) is particularly advantageous because compared to the actual image recording downstream algorithmic Lo garithmierung results in a more advantageous Rauschfehlerpropplungung. In this context, the picture examples of the 3 which shows two frames B0 (without active illumination) and B1 (with active illumination) and the difference image D1 = B0-B1 in false color representation and a segmented result image S which clearly marks the bright object pixels from the dark background pixels.

4 zeigt eine zweite bevorzugte Ausführungsform der vorliegenden Erfindung, bei der die Beleuchtungsmodulation durch zwei im Hinblick auf die aufzunehmende Szene geometrisch unterschiedlich angeordnete Beleuchtungseinheiten 5 der Beleuchtungseinrichtung 4 erreicht wird. Hierbei wird ausgenutzt, dass die Oberflächenreflektivität R_O eines Objekts 12 (im Beispiel der 4 eines Kratzers in einem Materialstück, das auch den Hintergrund 13 bildet) von der geometrischen Anordnung der Beleuchtungseinheit 5 abhängt, d. h. von dem Einfallswinkel der modulierten Beleuchtung auf die Objektoberfläche bzw. auf die im Verhältnis zur Objektoberfläche unterschiedlich ausgerichteten weiteren Oberflächen im Bereich des Kratzers 12 der 4. Bei einem vergleichbaren Abstand der beiden Beleuchtungseinheiten 5 zu der aufzunehmenden Szene 11 wird die Reflektivität von der durch den Normalenvektor der jeweiligen Oberfläche beschriebenen Ausrichtung der Oberfläche bestimmt, wobei auch Schatten- und Halbschattenbildeffekte erzeugt und ausgenutzt werden können. 4 shows a second preferred embodiment of the present invention, in which the illumination modulation by two with respect to the scene to be picked geometrically differently arranged lighting units 5 the lighting device 4 is reached. This exploits the fact that the surface reflectivity R _{O of} an object 12 (in the example of the 4 a scratch in a piece of material that also has the background 13 forms) of the geometric arrangement of Be illumination unit 5 depends on the angle of incidence of the modulated illumination on the object surface or on the relative to the object surface differently oriented further surfaces in the region of the scratch 12 of the 4 , At a comparable distance of the two lighting units 5 to the scene to be recorded 11 the reflectivity is determined by the orientation of the surface described by the normal vector of the respective surface, whereby shadow and half-shadow image effects can also be generated and exploited.

In 4 finden sich neben der regulären Oberfläche des Werkstücks (Hintergrund 13) noch mindestens zwei Objekt- bzw. Kantenoberflächen, deren Ausrichtung sich von derjenigen der Hintergrundfläche 13 unterscheidet. Es ist deshalb sinnvoll, eine Bildfolge 10 aus zumindest drei Bildern B0, B1, B2 mit einer entsprechenden Kamera 1 aufzuzeichnen, wobei das Bild B0 bei ausgeschalteter Beleuchtungseinrichtung 4 (d. h. bei Umgebungsbeleuchtung) aufgenommen wird, während die Bilder B1 und B2 bei Beleuchtung durch jeweils eine der beiden Be leuchtungseinheiten 5 aufgezeichnet werden. Daraus resultierend werden ausgehend von den Differenzbildern D1 = B1 – B0 und D2 = B2 – B0 zwei entsprechenden segmentierte Bilder S1 und S2 durch Tiefpassfilterung und eine Schwellenwertoperation erzeugt, die schließlich zu einem gemeinsamen Ergebnisbild S fusioniert werden. Durch die Fusion mehrerer segmentierter Bilder S1, ..., Sn, die jeweils aus Bildpaaren B0, B1; ...; B0, Bn gewonnen werden, erhält man ein einheitliches binäres Ergebnisbild S für die gesamte aufgenommene Bildfolge B0, B1, ..., Bn. Das Ergebnisbild S vereint dabei alle Objektinformationen der segmentierten Bilder S1, ..., Sn und ist in der Regel hinreichend robust gegenüber Artefakten bei der Aufnahme und/oder Beleuchtungsfehlern.In 4 can be found next to the regular surface of the workpiece (background 13 ) at least two object or edge surfaces whose orientation is from that of the background surface 13 different. It therefore makes sense to have a picture sequence 10 from at least three pictures B0, B1, B2 with a corresponding camera 1 with the image B0 with the illumination device switched off 4 (ie in ambient lighting) is recorded, while the images B1 and B2 lighting by each one of the two Be lighting units 5 to be recorded. As a result, starting from the difference images D1 = B1-B0 and D2 = B2-B0, two corresponding segmented images S1 and S2 are generated by low-pass filtering and a threshold operation, which are finally fused to form a common result image S. By merging a plurality of segmented images S1, ..., Sn, each consisting of image pairs B0, B1; ...; B0, Bn, one obtains a uniform binary result image S for the entire recorded image sequence B0, B1,..., Bn. The result image S combines all the object information of the segmented images S1,..., Sn and is generally sufficiently robust against artefacts during recording and / or illumination errors.

Grundsätzlich sind zur Segmentierung auch Schattenflächen 15, die keine direkte Beleuchtung erfahren, und Halbschattenflächen 14, die wenigsten von einer Beleuchtungseinheit 5 direkt beleuchtet werden, zur Objektsegmentierung nutzbar, so dass auch alle Positions- und Ausrichtungskombinationen von Kamera 1 und Beleuchtungseinrichtung 4 bezüglich der Szene 11 ausgenutzt werden können. Deshalb ist es sinnvoll, dass die Beleuchtungseinrichtung 4 auch mehrere geometrisch unterschiedliche ausgerichtete Beleuchtungseinheiten 5 umfasst und dementsprechend längere Bildfolgen B0, B1, ..., Bn aufgezeichnet werden, aus denen wiederum entsprechend mehr Differenz- D1, ..., Dn und segmentierte Bilder S1, ..., Sn errechnet werden, wobei bei Aufnahme der Bilder paarweise unterschiedliche Kombinationen von aktiven Beleuchtungseinheiten 5 eingesetzt werden. Die Fusion der segmentierten Bilder S1, ..., Sn zu einem Ergebnisbild S kann dabei auf einfache Weise eine logische UND-Operation realisiert werden, so dass im resultierenden Ergebnisbild S lediglich solche Objektbildpunkte gesetzt sind, die in allen Differenzbildern D1, ..., Dn gesetzt sind.Basically, shadowing is also used for segmentation 15 that do not experience direct illumination, and penumbra 14 , the least of a lighting unit 5 directly illuminated, can be used for object segmentation, so that all position and alignment combinations of camera 1 and lighting device 4 as to the scene 11 can be exploited. Therefore, it makes sense that the lighting device 4 also several geometrically different aligned lighting units 5 Accordingly, longer image sequences B0, B1,..., Bn are recorded, from which in turn correspondingly more differential D1,..., Dn and segmented images S1,..., Sn are calculated, wherein when the images are taken in pairs different combinations of active lighting units 5 be used. The fusion of the segmented images S1,..., Sn into a result image S can be realized in a simple manner a logical AND operation, so that only those object pixels are set in the resulting result image S, which in all the difference images D1, ... , Dn are set.

Bei der in 4 illustrierten Beleuchtungsanordnung werden Polarisationsfilter 16 bei den Beleuchtungseinheiten 5 und/oder bei der Kamera 1 eingesetzt. Dadurch zeichnen sich z. B. gut reflektierende Metalloberflächen durch starke Helligkeitsdifferenzen aus, die zu robust erkennbaren Objektbereichen in den entsprechenden Differenzbildern führen. Bei der in 4 gezeigten Beleuchtungsanordnung lässt sich auf diese Weise z. B. ein Kratzer 12 unterschiedlich zu einer glatten Metalloberfläche 13 darstellen und segmentieren. Dadurch wird eine Segmentierung hinsichtlich der Ausrichtung der Objektoberflächen im Koordinatensystem der Beleuchtungseinrichtung 4 ermöglicht.At the in 4 Illustrated illumination arrangement become polarization filters 16 at the lighting units 5 and / or at the camera 1 used. As a result, z. B. good reflective metal surfaces by strong differences in brightness, which lead to robust recognizable object areas in the corresponding difference images. At the in 4 shown lighting arrangement can be in this way z. B. a scratch 12 different from a smooth metal surface 13 represent and segment. This results in a segmentation with regard to the alignment of the object surfaces in the coordinate system of the illumination device 4 allows.

Dieses Vorgehen kann mit einer kameraseitigen Polarisationsfilterung verbunden werden, wobei ein Polarisationsfilter 16 der Kamera 1 auf ein gegebenenfalls eingesetztes Polarisationsfilter 16 der Beleuchtungseinheiten 5 abgestimmt ist und bei Bedarf automatisch zugeschaltet werden kann. Die Reflektion des unpolarisierten Umgebungslichts liefert hinsichtlich des Normalenvektors der verschiedenen reflektierenden Oberflächen polarisationsabhängige Helligkeiten und ermöglicht somit eine Segmentierung hinsichtlich der Objektoberflächenausrichtung im Kamerakoordinatensystem.This procedure can be combined with a camera-side polarization filtering, wherein a polarization filter 16 the camera 1 on an optionally used polarizing filter 16 the lighting units 5 is tuned and can be switched on automatically when needed. The reflection of the unpolarized ambient light provides polarization-dependent brightnesses with respect to the normal vector of the various reflective surfaces and thus enables segmentation with respect to the object surface orientation in the camera coordinate system.

Die Polarisationsfilterung kann auch im Zusammenhang mit der Anordnung gemäß 2 oder bei Kombinationen der Spektralmodulation gemäß 2 und der Ausrichtungsmodulation gemäß 4 eingesetzt werden. Die Polarisationsfilterung an den Beleuchtungseinheiten 5 und der Kamera 1 bewirkt prinzipiell eine weitere Unterdrückung von diffusem Umgebungslicht und anderer Beleuchtungseffekte und – artefakte, denn es wird nur reflektiertes Licht derjenigen Polarisationsrichtung aufgezeichnet, die auch tatsächlich von der betreffenden Beleuchtungseinrichtung 5 emittiert wurde.The polarization filtering can also be used in connection with the arrangement according to 2 or in combinations of spectral modulation according to 2 and the alignment modulation according to 4 be used. The polarization filtering on the lighting units 5 and the camera 1 causes in principle a further suppression of diffused ambient light and other lighting effects and artifacts, since only reflected light of that polarization direction is recorded, which is actually recorded by the relevant illumination device 5 was emitted.

Die erläuterten Ausführungsformen der vorliegenden Erfindung zeichnen sich allgemein dadurch aus, dass Bildfolgen B0, B1, ..., Bn mit unveränderter relativer Position und Ausrichtung der Kamera 1 (statische Bildfolge) im Szenenkoordina tensystem aufgenommen, die durch unterschiedliche Beleuchtungsmodulationen hinsichtlich der Geometrie und des emittierten Beleuchtungsspektrums und durch unterschiedliche Spektral- und/oder Polarisationsfilterung des einfallenden Lichtes entstehen. Die gesamte zur Informationsextraktion erforderliche Bildfolge B0, B1, ..., Bn ist bei der üblichen 50 bis 60 Hz Aufnahmetechnik in der Regel in weniger als 0,1 Sekunden aufgezeichnet. Wesentlich ist dabei die Tatsache, dass die anwendungsspezifische Komposition der Bildfolgen B0, B1, ..., Bn die relative Helligkeit der gesuchten Objekte 12 derart verändert, dass eine robuste Segmentierung mit einem geringen algorithmischen Aufwand (Rechenzeit) lediglich durch bildpunktweise Bildsubtraktion und eine Schwellenwertoperation erreicht werden kann. Auf diese Weise ist eine Vielzahl von industriellen und anderen Bildverarbeitungs- und Segmentierungsaufgaben mit sehr geringem technischen Aufwand und in Echtzeit durchführbar. Aufgrund der außergewöhnlichen Robustheit der Segmentierungsergebnisse ist der Kalibrierungsaufwand für die Beleuchtungs- und die Aufnahmeeinrichtung grundsätzlich vernachlässigbar.The illustrated embodiments of the present invention are generally characterized in that image sequences B0, B1,..., Bn with unchanged relative position and orientation of the camera 1 (Static image sequence) recorded in Szenenkoordina tensystem caused by different illumination modulations in terms of geometry and the emitted illumination spectrum and by different spectral and / or polarization filtering of the incident light. The entire image sequence B0, B1,..., Bn required for information extraction is usually recorded in less than 0.1 seconds in the usual 50-60 Hz recording technique. What is essential is the fact that the application-specific compo Position of the image sequences B0, B1, ..., Bn, the relative brightness of the searched objects 12 changed so that a robust segmentation with a low algorithmic effort (computing time) can be achieved only by pixel image subtraction and threshold operation. In this way, a variety of industrial and other image processing and segmentation tasks with very little technical effort and in real time feasible. Due to the exceptional robustness of the segmentation results, the calibration effort for the illumination and the recording device is basically negligible.

Claims

Image segmentation device comprising a lighting device ( 4 ) for actively illuminating an object ( 12 ) comprehensive scene ( 11 ); a recording device ( 1 ) for capturing an image (B0, B1, ..., Bn) of the illuminated scene ( 11 ); and one with the receiving device ( 1 ) connected segmentation device ( 7 ) for deriving a segmented image (S) from the captured image (B0, B1, ..., Bn) in which the object ( 12 ), characterized by a control device ( 2 ) and in that the lighting device ( 4 ) at least one lighting unit ( 5 ) and is set up, the scene ( 11 ) with one of the at least one illumination unit ( 5 ) to illuminate generated illumination modulation; the receiving device ( 1 ), a static image sequence comprising at least two images (B0, B1, ..., Bn) ( 10 ) of the scene ( 11 ); the control device ( 2 ), the illumination modulation of the illumination device ( 5 ) as well as the receiving device ( 1 ) in such a way that the at least two images (B0, B1,..., Bn) of the image sequence ( 10 ) are recorded in pairs with different lighting; and the segmentation device ( 7 ) is set up, from the at least two images (B0, B1, ..., Bn) of the image sequence ( 10 ) to form at least one difference image (D1, ..., Dn) and derive the segmented image (S1, ... Sn; S) from the at least one difference image (D1, ..., Dn).

Segmentation device according to claim 1, characterized in that the at least one illumination unit ( 5 ) generates a narrow-band spectrum in the near-infrared region for illumination, preferably between 700 nm and 1000 nm, particularly preferably at 850 nm.

Segmentation device according to claim 1 or 2, characterized in that the illumination device ( 4 ) at least two lighting units ( 4 ), which generate pairs of different narrow-band spectrums for illumination, and the control device ( 2 ), the lighting device ( 4 ) and the receiving device ( 1 ) in such a way that, when the illumination is active, one of the lighting units ( 5 ) one image (B0, B1, ..., Bn) of the image sequence ( 10 ) is recorded.

Segmentation device according to one of claims 1 to 3, characterized in that the control device ( 2 ), the lighting device ( 4 ) and the receiving device ( 1 ) such that a first image (B0) of the image sequence ( 10 ) is recorded at ambient illumination and each further image (B1, ..., Bn) of the image sequence ( 10 ) with active illumination by a respective lighting unit ( 5 ) is recorded.

Segmentation device according to one of claims 1 to 4, characterized in that the receiving device ( 1 ) on the illumination modulation of the illumination device ( 4 ) tuned spectral filter ( 3 ), which suppresses ambient lighting and one of the active lighting of the respective lighting unit ( 5 ) lets pass corresponding spectral band, wherein the receiving device ( 1 ), the spectral filter ( 3 ) when capturing the image sequence ( 10 ) picturewise depending on the respective active lighting.

Segmentation device according to one of claims 1 to 5, characterized in that the illumination device ( 4 ) at least two with respect to the scene ( 11 ) geometrically each differently arranged lighting units ( 5 ) and set up the scene ( 11 ) with one of the different ge ometrischen arrangement of the lighting units ( 5 ) illuminate resulting illumination modulation; the receiving device ( 1 ), an image sequence comprising at least three images (B0, B1, ..., Bn) ( 10 ); and the control device ( 2 ), the lighting device ( 4 ) and the receiving device ( 1 ) such that a first image (B0) of the image sequence ( 10 ) in ambient lighting and further images (B1, ..., Bn) of the image sequence ( 10 ) with active illumination by at least one lighting unit ( 5 ) is recorded.

Segmentation device according to claim 4 or 6, characterized in that the segmentation device ( 7 ) is set up, in each case a difference image (D1, ..., Dn) from the image (B0) of the image sequence recorded in the case of ambient lighting ( 10 ) and one each with active illumination by a respective lighting unit ( 5 ) recorded further image (B1, ..., Bn) of the image sequence ( 10 ) and to derive from each differential image (D1, ..., Dn) in each case a segmented image (S1, ... Sn) and the to merge segmented images.

Segmentation device according to one of claims 1 to 7, characterized in that the receiving device ( 1 ) is a camera which is adapted to detect a reaching into the infrared range, preferably a range reaching up to a wavelength of 1100 nm spectrum.

Segmentation device according to one of claims 1 to 8, characterized in that the receiving device ( 1 ) is a camera with logarithmic characteristic.

Segmentation device according to one of claims 1 to 9, characterized in that the receiving device ( 1 ) is a highly dynamic camera with a color depth of more than 8 bits.

Segmentation device according to one of claims 1 to 10, characterized in that the at least one lighting unit ( 5 ) of the lighting device ( 4 ) each with a polarizing filter ( 16 ) and / or the receiving device ( 1 ) a polarizing filter ( 16 ) and is arranged, the polarizing filter ( 16 ) when capturing the image sequence ( 10 ) picturewise depending on the respective active lighting.

Segmentation device according to one of claims 1 to 11, characterized in that the illumination device ( 4 ) Diode arrays as at least one illumination unit ( 5 ).

Segmentation device according to one of claims 1 to 12, characterized in that the segmentation device ( 7 ) is arranged to derive a segmented image (S1, ..., Sn) as a binary image from a differential image (D1, ..., Dn) by a low-pass filtering and a threshold operation, wherein the object ( 12 ) is marked by a binary value of the binary image.

Segmentation device according to one of Claims 1 to 13, characterized by a computer ( 6 ) with a memory ( 9 ), a processor ( 8th ) and a data communication interface, wherein the segmentation device ( 7 ) in the memory ( 9 stored segmentation program executable by the processor and the recording device ( 1 ) via the data communication interface to the computer ( 6 ) connected.

Segmentation method for marking an object ( 12 ) in one the one object ( 12 ) comprehensive scene ( 11 ) (B0, B1, ..., Bn), comprising the steps of: - actively illuminating (S4) the object ( 12 ) comprehensive scene ( 11 ); - taking (S2) an image (B0, B1, ..., Bn) of the illuminated scene ( 11 ); Deriving (S6-S9) a segmented image (S) in which the object ( 12 ) is selected from the recorded image (B0, B1, ..., Bn); characterized in that a picture sequence comprising at least two pictures (B0, B1, ..., Bn) ( 10 ) (A2), where the scene ( 11 ) is illuminated with an illumination modulation (S3, S4) such that the images (B0, B1, ..., Bn) of the image sequence ( 10 ) are recorded with paired different illuminations (S2); and from the at least two images (B0, B1, ..., Bn) of the image sequence ( 10 ) at least one difference image (D1, ..., Dn) is formed (S6) and the segmented image (S1, ..., Sn; S) is derived from the at least one difference image (D1, ..., Dn) ( S7, S8).

Segmentation method according to claim 15, characterized in that the scene ( 11 ) is illuminated in the illumination modulation with at least one narrowband spectrum in the near infrared region (S2), preferably with a wavelength between 700 nm and 1000 nm, particularly preferably at a wavelength of 850 nm.

Segmentation method according to claim 15 or 16, characterized in that the scene ( 11 ) is illuminated in the illumination modulation in such a way with at least two pairwise different narrow-band spectra (S3, S4) that when illuminated by in each case one of the at least two pairwise different spectra an image (B0, B1, ..., Bn) of the image sequence ( 10 ) is recorded (S2).

Segmentation method according to one of Claims 15 to 17, characterized in that the image sequence ( 10 ) is recorded (S5) in such a way that a first image (B0) of the image sequence ( 10 ) is recorded at ambient illumination (S2) and every further image (B1, ..., Bn) of the image sequence ( 10 ) is recorded in pairs of different illuminations.

Segmentation method according to one of claims 15 to 18, characterized in that during the recording (S2) of the image sequence ( 10 ) that of the scene ( 11 ) Reflected light is filtered spectrally depending on the respective illumination such that an ambient illumination is suppressed and a spectral band corresponding to the respective illumination is allowed to pass.

Segmentation method according to one of Claims 15 to 18, characterized in that a picture sequence comprising at least three pictures (B0, B1, ..., Bn) ( 10 ) is recorded (S5), wherein the Scene ( 11 ) is illuminated (S3, S4) (S3, S4) such that a first image (B0) of the image sequence is recorded under ambient lighting (S2) and each further image (B1, S4) is illuminated by a illumination modulation resulting from at least two geometrically differently oriented lights. , Bn) of the image sequence ( 10 ) is taken in each case at least one of the geometrically differently oriented illuminations (S2).

Segmentation method according to claim 18 or 20, characterized in that in each case a difference image (D1, ..., Dn) from the image recorded in ambient lighting (B0) and in each case a captured in lighting another image (B1, ..., Bn) Image sequence ( 10 ), wherein a segmented image (S1, ..., Sn) is derived from each of the difference images (D1, ..., Dn) and the segmented images (S1, ..., Sn) are fused.

Segmentation method according to one of claims 15 to 21, characterized in that when recording the image sequence ( 10 ), a range extending into the infrared range is detected (S2), preferably a spectrum reaching up to a wavelength of 1100 nm.

Segmentation method according to one of Claims 15 to 22, characterized in that the images (B0, B1, ..., Bn) of the image sequence ( 10 ) are recorded in such a way that there is a logarithmic dependence between an input intensity of the light detected for taking an image (B0, B1, ..., Bn) and an output signal forming the image (B0, B1, ..., Bn) a difference image (D1,..., Dn) is formed in such a way that pixels of the difference image (D1,..., Dn) that represent the object ( 12 ) surrounding background ( 13 ) of the recorded scene ( 11 ), compared to pixels of the difference image (D1, ..., Dn), which the object ( 12 ), has negligible brightness values.

Segmentation method according to one of Claims 15 to 23, characterized in that the images (B0, B1, ..., Bn) of the image sequence ( 10 ) with a color depth of more than 8 bits (S2).

Segmentation method according to one of Claims 15 to 24, characterized in that the scene ( 11 ) is illuminated with polarized light and / or when taking the image sequence ( 10 ) that of the scene ( 11 ) reflected light is imagewise polarization filtered.

Segmentation method according to one of claims 15 to 25, characterized in that the illumination by diode fields is produced.

Segmentation method according to one of Claims 15 to 26, characterized in that a segmented image (S1, ..., Sn) is derived as a binary image by low-pass filtering and a threshold operation from a differential image (D1, ..., Dn) Object ( 12 ) is marked by a binary value of the binary image.

Segmentation method according to one of Claims 15 to 27, characterized in that the scene is controlled by a lighting device ( 4 ), which with one the image sequence ( 10 ) receiving device ( 1 ) is coordinated such that the image sequence ( 10 ) is recorded in a lighting modulation, and the recorded image sequence ( 10 ) one on a computer ( 6 ) segmentation program ( 7 ) provided from the image sequence ( 10 ) derives the segmented image (S).