WO2003088145A1 - Method for analyzing image processing processes - Google Patents

Method for analyzing image processing processes Download PDF

Info

Publication number
WO2003088145A1
WO2003088145A1 PCT/DE2003/001166 DE0301166W WO03088145A1 WO 2003088145 A1 WO2003088145 A1 WO 2003088145A1 DE 0301166 W DE0301166 W DE 0301166W WO 03088145 A1 WO03088145 A1 WO 03088145A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing device
image
data processing
image processing
data
Prior art date
Application number
PCT/DE2003/001166
Other languages
German (de)
French (fr)
Inventor
Thomas Schnekenburger
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to AU2003232595A priority Critical patent/AU2003232595A1/en
Publication of WO2003088145A1 publication Critical patent/WO2003088145A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the image processing process previously carried out on the image recognition system 103 can now be completely reproduced on the image recognition system 203, which is implemented in the operating computer 200.
  • Individual steps of the identically reproduced image processing sequence can be viewed on a monitor 210, so that, under certain circumstances, the error in the reproduced image processing sequence can be eliminated by selecting an improved parameter data record.
  • the changed parameter data record is then transferred to the machine computer 100 via an interface (not shown), so that the subsequent image processing is carried out without errors by means of the image recognition system 103.

Abstract

The invention relates to a method for analyzing image processing processes, whereby an image of an object is recorded during each image processing process based on an input image data set and on a parameter data set by means of a unique mathematical mapping, which has a number of individual, unique intermediate mappings that are to be executed in succession. During the inventive method, a defective image processing process, which had been executed by a first data processing device (100), is identically reproduced by means of a second data processing device (300), whereby only the input image data set and the parameter data set have to be transmitted to the second data processing device (300) in order to reproduce the image processing process based on the unique mathematical mappings. Examining the intermediate mappings of the reproduced image processing process, said mappings being computed on the second data processing device (300), enables a modified parameter data set to be determined whereby permitting a new image recording to be carried out on the first data processing device (100) during which the object to be recorded is recorded with a higher reliability. The intermediate mappings are examined using certain image characteristics of the respective intermediate result. The modified parameter data set is subsequently transmitted to the data processing device (100) with which additional image recognitions can be carried out.

Description

Beschreibungdescription
VERFAHREN ZUR ANALYSE VON BILDVERARBEITUNGSVORGÄNGENMETHOD FOR ANALYZING IMAGE PROCESSING PROCESSES
Die Erfindung betrifft ein Verfahren zur Analyse von Bildver¬ arbeitungsvorgängen, bei denen Objekte, insbesondere Bauele¬ mente und/oder Substrate, in einem Bestückautomaten erfasst werden.The invention relates to processing operations, a method for analyzing Bildver ¬, in which objects, in particular Bauele ¬ elements and / or are detected in a placement substrates.
Bei der automatischen Bildverarbeitung von Objekten, bei der beispielsweise Objekte erkannt werden oder die Lage von Objekten bestimmt wird, treten häufig Fehler auf, die von dem Anwender nur sehr schwer zu analysieren sind. Da eine funktionierende Bildverarbeitung neben einer genauen Einstellung der optischen Komponenten der Bildverarbeitungsvorrichtung auch eine geschickte Wahl einer Vielzahl von mathematischen, den Bildverarbeitungsalgorithmus bestimmenden Parametern erfordert, können eventuell auftretende Probleme vielfältige Ursachen haben. Diese Ursachen sind in der Regel nicht direkt aus den dargestellten Ergebnissen der Bildverarbeitung zu entnehmen, so dass die aufgetretenen Fehler nur schwer behoben werden können.In the automatic image processing of objects, in which, for example, objects are recognized or the position of objects is determined, errors often occur which are very difficult for the user to analyze. Since functioning image processing requires not only a precise adjustment of the optical components of the image processing device but also a clever choice of a large number of mathematical parameters which determine the image processing algorithm, problems which may occur can have a variety of causes. These causes cannot usually be deduced directly from the results of the image processing shown, so that the errors that have occurred can only be eliminated with difficulty.
Bildverarbeitungsprobleme treten beispielsweise häufig bei der automatischen Bestückung von Leiterplatten mit Bauelementen mittels sog. Bestückautomaten auf. Dies liegt insbesondere daran, dass die mittels der Bildverarbeitung zu erfassenden Objekte wie beispielsweise Bauelemente und Positionsmarkierungen sowohl in ihrer räumlichen Lage in dem Be- Stückautomaten als auch in ihrem Aussehen variieren. Für eine zuverlässige Erfassung der Objekte sind deshalb auf die jeweilige Situation sorgfältig abgestimmte Beleuchtungsverhältnisse zu wählen. Deshalb werden in einem Bestückautomaten für verschiedenen Bestückvorgänge im allgemeinen verschiedene Be- leuchtungsverhältnisse eingesetzt. Damit wird es dem Anwender zusätzlich erschwert, bei einem auftretenden Problem die Parameter für den Bildverarbeitungsalgorithmus derart zu verän- dern, dass die zu vermessenden Objekte korrekt erfasst werden. Aus diesem Grund uss der Anwender bei auftretenden Problemen in schwierigen Problemfällen auf die Hilfe eines Kundendienstes zurückgreifen.Image processing problems often occur, for example, in the automatic assembly of printed circuit boards with components using so-called placement machines. This is due in particular to the fact that the objects to be detected by means of the image processing, such as, for example, components and position markings, vary both in terms of their spatial position in the loading machine and in their appearance. For reliable detection of the objects, lighting conditions that are carefully matched to the respective situation must therefore be selected. For this reason, different lighting conditions are generally used in an automatic placement machine for different placement processes. This makes it even more difficult for the user to change the parameters for the image processing algorithm in the event of a problem. ensure that the objects to be measured are correctly recorded. For this reason, the user has to call on the help of a customer service when problems arise in difficult problems.
Die Unterstützung des Anwenders durch einen Kundendienst erfolgt in der Regel dadurch, dass die für die Bildverarbeitung beim Anwender verwendeten und durch den Bildverarbeitungsalgorithmus produzierten Daten an den Kundendienst übergeben werden. Bei diesem werden dann zumindest einige der beim Anwender berechneten Zwischenschritte des Bildverarbeitungsvorgangs auf bestimmte Kriterien überprüft und daraus neue Parameter für den Bildverarbeitungsalgorithmus bestimmt. Die Verwendung von neuen verbesserten Parametern führt dann beim An- wender im allgemeinen zu einer korrekten Bildverarbeitung.The user is usually supported by customer service by transferring the data used for image processing by the user and produced by the image processing algorithm to customer service. In this case, at least some of the intermediate steps of the image processing process calculated by the user are then checked for specific criteria and new parameters for the image processing algorithm are determined therefrom. The use of new, improved parameters then generally leads to correct image processing for the user.
Da jedoch bei der Bildverarbeitung bei jedem Schritt des Bildverarbeitungsalgorithmuses große Datenmengen produziert werden, ist der Datenaustausch zwischen dem Anwender und dem Kundendienst sehr aufwendig und damit auch fehleranfällig.However, since large amounts of data are produced in every step of the image processing algorithm during image processing, the data exchange between the user and customer service is very complex and therefore also prone to errors.
Aus diesem Grund ist beim Anwender in schwierigen Fällen ein Vor-Ort-Service durch den Kundendienst erforderlich.For this reason, on-site service by the customer service is required for the user in difficult cases.
Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren zur Analyse von Bildverarbeitungsvorgängen zu schaffen, bei dem zwischen Anwender und Kundendienst auf einfache Weise Daten ausgetauscht werden.The invention is therefore based on the object of providing a method for analyzing image processing operations in which data can be exchanged in a simple manner between the user and customer service.
Diese Aufgabe wird gelöst durch ein Verfahren zur Analyse von Bildverarbeitungsvorgängen mit den Merkmalen des unabhängigen Anspruchs 1.This object is achieved by a method for analyzing image processing operations with the features of independent claim 1.
Der Erfindung liegt die Erkenntnis zugrunde, dass bei einer geeigneten Konstruktion des Bildverarbeitungsablaufs das Er- gebnis der Bildverarbeitung mittels einer mathematisch eindeutigen Abbildung aus den Eingangsdaten abgeleitet werden kann. Die Eingangsdaten, welche in Form einer Datei oder ei- nes Datenstroms zusammengefasst werden, weisen einen Eingangsbilddatensatz und einen Parameterdatensatz auf. Die Eingangsbilddaten korrelieren dabei direkt mit den Pixelwerten des zu verarbeitenden Bildes. Der Parameterdatensatz enthält eine Reihe von Parametern, die in die Berechnung des Ergebnisses der Bildverarbeitung einfließen. Durch die Verwendung einer eindeutigen mathematischen Abbildung kann der Ablauf der Bildverarbeitung in einer anderen Instanz des Systems, d.h. beispielsweise auf einer getrennten Datenverarbeitungs- Vorrichtung vollständig reproduziert werden.The invention is based on the knowledge that, with a suitable construction of the image processing sequence, the result of the image processing can be derived from the input data by means of a mathematically clear mapping. The input data, which in the form of a file or nes data stream are summarized, have an input image data set and a parameter data set. The input image data correlate directly with the pixel values of the image to be processed. The parameter data set contains a number of parameters that are used in the calculation of the result of the image processing. By using a clear mathematical mapping, the sequence of the image processing can be completely reproduced in another instance of the system, ie for example on a separate data processing device.
Formal lässt sich die eindeutige mathematische Abbildung derart beschreiben, dass aus einem Eingangsbilddatensatz B und einem Parameterdatensatz P ein Ergebnis E berechnet wird. Er- findungsgemäß erfolgt die Bildverarbeitung in mehrerenThe clear mathematical mapping can be formally described in such a way that a result E is calculated from an input image data record B and a parameter data record P. According to the invention, the image processing takes place in several
Schritten, welche als eine Verkettung von Funktionen Si, s2, ..., sn darstellbar sind.Steps which can be represented as a chain of functions Si, s 2 , ..., s n .
E f(B,P) = sn(sn-ι :s2(sι(B,P) )) ) )E f (B, P) = s n (s n -ι: s 2 (sι (B, P)))))
Wie oben erläutert, muss die Funktion f eine eindeutige Abbildung sein. Dies wird am besten dadurch erreicht, wenn auch die Zwischenabbildungen Si, s2-...sn eindeutige Abbildungen sind, d.h. wenn die Zwischenergebnisse Si (l≤i≤n) jeweils eindeutig aus B und P hervorgehen. Für die Durchführung der dem erfindungsgemäßen Verfahren zugrundeliegenden Bildverarbeitung scheiden damit beispielsweise Datenverarbeitungssysteme aus, deren Ergebnis von Echtzeitanforderungen abhängt, weil beispielsweise die Ergebnisgenauigkeit von der aktuell verfügbaren Rechenzeit bestimmt wird.As explained above, the function f must be a clear mapping. This is best achieved if the intermediate images Si, s 2 -... s n are clear images, ie if the intermediate results Si (l≤i≤n) are clearly derived from B and P. For the execution of the image processing on which the inventive method is based, data processing systems, for example, are ruled out, the result of which depends on real-time requirements, because, for example, the accuracy of the result is determined by the currently available computing time.
Durch die einzelnen Parameter des Parameterdatensatzes P wird bei der Berechnung des Messergebnisses E beispielsweise die geometrische Beschreibung des zu vermessenden bzw. zu erfas- senden Objekts, die Eigenschaften der für das Bildverarbeitungssystem verwendeten Kamera und die aktuellen eingestellten Beleuchtungsverhältnisse berücksichtigt. Als Ergebnis E kann beispielsweise die räumliche Lage eines Objekts, die räumliche Orientierung des Objekts, die Art des Objekts und/oder die Beschaffenheit des Objekts bestimmt werden.The individual parameters of the parameter data record P take into account, for example, the geometric description of the object to be measured or detected, the properties of the camera used for the image processing system and the currently set lighting conditions when calculating the measurement result E. As a result E For example, the spatial position of an object, the spatial orientation of the object, the type of object and / or the nature of the object can be determined.
Erfindungsgemäß kann somit durch die Übertragung des vollen Eingangsdatensatzes (Eingangsbilddatensatz und Parameterdatensatz) ein fehlerhafter Bildverarbeitungsablauf auf einer beliebigen Datenverarbeitungsvorrichtung identisch reproduziert werden, ohne dass eine Aufzeichnung des gesamten Pro- grammablaufs einschließlich der Zwischenergebnisse erforderlich wäre.According to the invention, a faulty image processing sequence can thus be reproduced identically on any data processing device by the transmission of the full input data record (input image data record and parameter data record) without a recording of the entire program sequence including the intermediate results being necessary.
Gemäß Anspruch 2 werden als vorbestimmte Kriterien bestimmte Bildmerkmale des Zwischenergebnisses verwendet. Diese Bild- merkmale sind beispielsweise die Form eines zu erfassendenAccording to claim 2, certain image features of the intermediate result are used as predetermined criteria. These image features are, for example, the shape of one to be captured
Objekts oder die Form einzelner Teilbereiche des Objekts, die integrale oder partielle Helligkeit des Objekts, die integrale oder partielle Lichtabsorption des Objekts oder auch eine Verzerrung eines Abbilds des gesamten Objekts oder einzelner Teilbereich des Objekts. Als vorbestimmte Kriterien eignen sich insbesondere Reflektionseigenschaften, welche sowohl integral über das gesamte zu erfassende Objekt als auch lokal an bestimmten Teilbereichen de-s Objekts bestimmt werden können. Ferner können die Reflektionseigenschaften sowohl anhand der im gesamten Spektralbereich integral reflektierten Lichtintensität als auch anhand von bestimmten spektral aufgelösten Lichtreflexen beurteilt werden.Object or the shape of individual partial areas of the object, the integral or partial brightness of the object, the integral or partial light absorption of the object or also a distortion of an image of the entire object or individual partial area of the object. In particular, reflection properties are suitable as predetermined criteria, which can be determined both integrally over the entire object to be detected and locally at certain partial areas of the object. Furthermore, the reflection properties can be assessed both on the basis of the light intensity which is integrally reflected in the entire spectral range and on the basis of certain spectrally resolved light reflections.
Die Weiterbildung gemäß Anspruch 3 hat den Vorteil, dass die für die Reproduktion des Bildverarbeitungsablaufs erforderlichen Daten nur auf Wunsch des Anwenders übergeben werden, so dass bei einem fehlerfreien Ablauf der Bildverarbeitung im gewöhnlichen Betrieb keinerlei LaufZeitverzögerungen verursacht werden.The development according to claim 3 has the advantage that the data required for the reproduction of the image processing sequence are only passed on at the request of the user, so that no runtime delays are caused when the image processing runs correctly in normal operation.
Es wird darauf hingewiesen, dass die Übergabe der Daten auch indirekt über eine weitere Datenverarbeitungsvorrichtung er- folgen kann, welche zwischen der ersten und der zweiten Da¬ tenverarbeitungsvorrichtung angeordnet ist und welche über eine schnelle Datenleitung mit der ersten Datenverarbeitungs¬ vorrichtung gekoppelt ist. Dadurch wird gewährleistet, dass die zu übertragenden Daten schnell von der ersten Datenverarbeitungsvorrichtung weitergeleitet werden und in der ersten Datenverarbeitungsvorrichtung somit weitere Bildverarbeitungen ohne größere LaufZeitverzögerungen durchführbar sind.It is pointed out that the transfer of the data also takes place indirectly via a further data processing device. may follow, which between the first and the second Da ¬ tenverarbeitungsvorrichtung is arranged and which is coupled to device via a high speed data line to the first data processing ¬. This ensures that the data to be transmitted are quickly forwarded by the first data processing device and that further image processing can thus be carried out in the first data processing device without major delays in running time.
Die vorteilhafte Weiterbildung der Erfindung gemäß Anspruch 4 ermöglicht auf einfache Weise die Behebung eines Fehlers in der Bildverarbeitung im Rahmen einer Ferndiagnose. Der dafür erforderliche Datenaustausch kann beispielsweise über das Internet oder ein transportables Speichermedium, wie beispiels- weise eine Diskette oder eine CD (Compact Disk) erfolgen. Damit ist bei vielen Problemlösungen ein zeit- und kostenintensiver Vor-Ort-Service eines Kundendienst nicht mehr erforderlich.The advantageous further development of the invention according to claim 4 enables the correction of an error in the image processing in the context of a remote diagnosis in a simple manner. The data exchange required for this can take place, for example, via the Internet or a portable storage medium, such as a floppy disk or a CD (compact disk). With many problem solutions, a time-consuming and cost-intensive on-site customer service is no longer necessary.
Gemäß Anspruch 5 wird dem Anwender ermöglicht, durch eine Überprüfung von einer ersten Anzahl von Zwischenergebnissen einen verbesserten Parameterdatensatz zu wählen. Erst wenn dem Anwender damit eine Behebung des Fehlers in der Bildverarbeitung nicht möglich ist, uss der Kundendienst herangezo- gen werden, welchem zur Problemlösung die Überprüfung einer größeren Anzahl von Zwischenergebnissen zur Verfügung steht.According to claim 5, the user is able to select an improved parameter data set by checking a first number of intermediate results. Only when the user is unable to rectify the error in the image processing can the customer service be consulted, who can check a larger number of intermediate results to solve the problem.
Gemäß Anspruch 6 stehen dem Kundendienst zur Analyse des Programmablaufs sämtliche Zwischenergebnisse der Bildverarbei- tung zur Verfügung. Damit können sog. Debugger auf Basis von Quellcode oder andere detaillierte Analysewerkzeuge zur Lösung des Bildverarbeitungsproblems verwendet werden.According to claim 6, all intermediate results of image processing are available to customer service for analyzing the program flow. So-called debuggers based on source code or other detailed analysis tools can be used to solve the image processing problem.
Gemäß der vorteilhaften Weiterbildung nach Anspruch 7 wird erst bei auftretenden Problemen im Bildverarbeitungsablauf von dem Anwender ein bestimmter Betriebsmodus gewählt, bei dem die Daten erstellt werden, die zur vollständigen Repro- duktion des Programmablaufs erforderlich sind. Damit wird zu¬ sätzlich gewährleistet, dass im normalen fehlerfreien Programmablauf keine unnötigen LaufZeitverzögerungen auftreten.According to the advantageous development according to claim 7, the user chooses a specific operating mode only in the event of problems occurring in the image processing sequence, in which the data are created which are required for complete production of the program flow are required. This ensures additionally to ¬ that no unnecessary propagation delays occur in the normal error-free execution.
Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der beispielhaften Beschreibung einer derzeit bevorzugten Ausführungsform.Further advantages and features of the present invention result from the exemplary description of a currently preferred embodiment.
Die einzige Figur zeigt eine schematische Darstellung des Verfahrens zur Analyse von Bildverarbeitungsvorgängen gemäß einem Ausführungsbeispiel der Erfindung.The single figure shows a schematic representation of the method for analyzing image processing operations according to an embodiment of the invention.
Das in der Figur schematisch dargestellte Verfahren zur Analyse von Bildverarbeitungsvorgängen wird unter Verwendung von drei Datenverarbeitungsvorrichtungen, einem Maschinenrechner 100, einem Bedienrechner 200 und einem Supportrechner 300 durchgeführt. Der Maschinenrechner 100 ist dabei einem Bestückautomaten zur automatischen Bestückung von Leiterplatten mit Bauelementen zugeordnet. Die Aufgabe eines dem Maschinen- rechner 100 zugeordneten Bilderkennungssystems 103 besteht darin, die Position eines zu bestückenden Bauelements (nicht dargestellt) zu erfassen. Dies erfolgt dadurch, dass die Werte eines Pixelfeldes 101, welche von einer nicht dargestellten Kamera erzeugt werden, an das Bilderkennungssystem 103 übergeben werden. Zusammen mit den einzelnen Werten des Pixelfeldes 101 werden auch eine Reihe von Parametern an das Bilderkennungssystem 103 übergegeben, welche Parameter in den mathematischen Algorithmus der Bildverarbeitung einfließen und damit das Ergebnis der durchzuführenden Bildverarbeitung beeinflussen. Die Pixelwerte und die Parameter werden im folgenden als Eingangsdaten bezeichnet. Die Übertragung der Eingangsdaten ist in der Figur durch den Pfeil mit dem Bezugszeichen 102 dargestellt.The method for the analysis of image processing operations shown schematically in the figure is carried out using three data processing devices, a machine computer 100, an operating computer 200 and a support computer 300. The machine computer 100 is assigned to an automatic placement machine for the automatic assembly of printed circuit boards with components. The task of an image recognition system 103 assigned to the machine computer 100 is to capture the position of a component (not shown) to be assembled. This is done in that the values of a pixel field 101, which are generated by a camera, not shown, are transferred to the image recognition system 103. Together with the individual values of the pixel field 101, a number of parameters are also transferred to the image recognition system 103, which parameters flow into the mathematical algorithm of the image processing and thus influence the result of the image processing to be carried out. The pixel values and the parameters are referred to below as input data. The transmission of the input data is shown in the figure by the arrow with the reference symbol 102.
Solange die Bilderkennung durch das Bilderkennungssystem 103 fehlerfrei funktioniert werden gemäß dem hier dargestellten Ausführungsbeispiel der Erfindung die Eingangsdaten aus- schließlich in dem Arbeitsspeicher des Bilderkennungssystems 103 gespeichert. Erst beim Auftreten eines Fehlers in der Bildverarbeitung werden die Eingangsdaten auf Veranlassung einer Bedienperson, welche den Bestückautomaten überwacht, auf einer Festplatte 105 persistent gespeichert. Die Speicherung der Eingangsdaten ist in der Figur durch den Pfeil mit dem Bezugszeichen 104 dargestellt. Danach werden die auf der Festplatte 105 gespeicherten Eingangsdaten an ein Bilderkennungssystem 203 übergeben, welches dem Bedienrechner 200 zu- geordnet ist. Die Übertragung der Eingangsdaten von der Festplatte 105 an das Bilderkennungssystem 203 ist durch den Pfeil mit dem Bezugszeichen 106 dargestellt. Nach der Eingangsdatenübertragung 106 kann der zuvor auf dem Bilderkennungssystem 103 durchgeführte Bildverarbeitungsvorgang nun auf dem Bilderkennungssystem 203, welches in dem Bedienrechner 200 implementiert ist, vollständig reproduziert werden. Einzelne Schritte des identisch reproduzierten Bildverarbeitungsablaufs können auf einem Monitor 210 betrachtet werden, so dass unter Umständen durch Wahl eines verbesserten Parame- terdatensatzes der Fehler in dem reproduzierten Bildverarbeitungsablauf behoben werden kann. In diesem Fall wird dann der veränderte Parameterdatensatz über eine nicht dargestellte Schnittstelle an den Maschinenrechner 100 übergeben, so dass die nachfolgenden Bildverarbeitungen mittels des Bilderken- nungssystems 103 fehlerfrei durchgeführt werden. Falls es der Bedienperson des Bedienrechners 200 nicht gelingt, einen für einen fehlerfreien Bildverarbeitungsablauf geeigneten Parameterdatensatz zu erstellen oder falls die Bedienperson aufgrund mangelndem Fachwissen nicht in der Lage ist, einen ge- eigneten Parameterdatensatz zu erstellen, werden die Eingangsdaten auf einem transportablen Speichermedium wie beispielsweise einer Diskette 205 gespeichert. Die Speicherung der Eingangsdaten ist durch den Pfeil mit dem Bezugszeichen 204 schematisch dargestellt.As long as the image recognition by the image recognition system 103 functions correctly, according to the exemplary embodiment of the invention shown here, the input data are finally stored in the working memory of the image recognition system 103. Only when an error occurs in the image processing are the input data persistently stored on a hard disk 105 at the instigation of an operator who monitors the placement machine. The storage of the input data is represented in the figure by the arrow with the reference number 104. The input data stored on the hard disk 105 are then transferred to an image recognition system 203, which is assigned to the operating computer 200. The transmission of the input data from the hard disk 105 to the image recognition system 203 is represented by the arrow with the reference symbol 106. After the input data transmission 106, the image processing process previously carried out on the image recognition system 103 can now be completely reproduced on the image recognition system 203, which is implemented in the operating computer 200. Individual steps of the identically reproduced image processing sequence can be viewed on a monitor 210, so that, under certain circumstances, the error in the reproduced image processing sequence can be eliminated by selecting an improved parameter data record. In this case, the changed parameter data record is then transferred to the machine computer 100 via an interface (not shown), so that the subsequent image processing is carried out without errors by means of the image recognition system 103. If the operator of the operating computer 200 does not succeed in creating a parameter data record that is suitable for an error-free image processing sequence, or if the operator is unable to create a suitable parameter data record due to a lack of specialist knowledge, the input data are stored on a transportable storage medium such as, for example Disk 205 saved. The storage of the input data is shown schematically by the arrow with the reference symbol 204.
Nachfolgend werden die Eingangsdaten dann über die Diskette 205 an einen Supportrechner 300 übergeben. Dieser Datenaus- tausch mittels der Diskette 205 ist durch den Pfeil mit dem Bezugszeichen 206 schematisch dargestellt.The input data are then transferred to a support computer 300 via the disk 205. This data Exchange using disk 205 is schematically represented by the arrow with reference number 206.
Es wird darauf hingewiesen, dass selbstverständlich anstelle der Diskette 205 auch jedes beliebige andere transportableIt should be noted that, of course, instead of the disk 205, any other portable one
Speichermedium verwendet werden kann. Selbstverständlich können zum Datenaustausch 206 auch Datenleitungen, wie beispielsweise das Internet, verwendet werden.Storage medium can be used. Of course, data lines, such as the Internet, can also be used for data exchange 206.
Nach der Datenübertragung 206 an den Supportrechner 300 werden die Daten an das Bilderkennungssystem 303 übergeben, welches in dem Supportrechner 300 implementiert ist. Auf dem Bilderkennungssystem 303 wird dann erneut der zu analysierende Bildverarbeitungsvorgang reproduziert. Im Gegensatz zu dem Bilderkennungssystem 203 ist das Bilderkennungssystem 303 derart ausgebildet, dass ein Kundendienst, welcher den Supportrechner 300 bedient, auf einem Monitor sämtliche Zwischenergebnisse der mathematischen eindeutigen Bildverarbeitung betrachten kann. Auf diese Weise ist es möglich, einen geeigneten Parameterdatensatz zu bestimmen, mittels welchem der Bildverarbeitungsablauf auf allen drei Bilderkennungssystemen 103, 203 und 303 fehlerfrei funktioniert.After the data transmission 206 to the support computer 300, the data are transferred to the image recognition system 303, which is implemented in the support computer 300. The image processing process to be analyzed is then reproduced again on the image recognition system 303. In contrast to the image recognition system 203, the image recognition system 303 is designed such that a customer service that operates the support computer 300 can view all intermediate results of the mathematically clear image processing on a monitor. In this way it is possible to determine a suitable parameter data set, by means of which the image processing sequence works correctly on all three image recognition systems 103, 203 and 303.
Nach Ermittlung eines geeigneten Parameterdatensatzes werden die einzelnen Parameter direkt oder bevorzugt indirekt über den Bedienrechner an das Bilderkennungssystem 103 übergeben (nicht dargestellt) , so dass die nachfolgend durchzuführenden Bilderkennungen erneut wieder ausschließlich mit dem Bilderkennungssystem 103 des Maschinenrechners 100 durchführbar sind.After a suitable parameter data set has been determined, the individual parameters are transferred directly or preferably indirectly via the operating computer to the image recognition system 103 (not shown), so that the image recognition to be carried out again can only be carried out again using the image recognition system 103 of the machine computer 100.
Es wird darauf hingewiesen, dass die Erfindung auch ohne die Verwendung des Bedienrechners 200 durchgeführt werden kann. In diesem Fall werden die Eingangsdaten von der Festplatte 105 über ein beliebiges transportables Speichermedium oder über eine Datenleitung direkt an das Bilderkennungssystem 303 übergeben. Gemäß einer weiteren Ausführungsform der Erfindung wird auch auf die Speicherung der Eingangsdaten 104 auf die Festplatte 105 verzichtet und statt dessen werden die Ein¬ gangsdaten direkt von dem Bilderkennungssystem 103 auf das Bilderkennungssystem 303 übertragen.It is pointed out that the invention can also be carried out without using the operating computer 200. In this case, the input data are transferred directly from the hard disk 105 to the image recognition system 303 via any transportable storage medium or via a data line. According to a further embodiment of the invention is also dispensed with the storage of the input data 104 to the hard disk 105, and instead, the A ¬ are input data transmitted directly from the image recognition system 103 on the image recognition system 303rd
Zusammenfassend schafft die Erfindung ein Verfahren zur Analyse von Bildverarbeitungsvorgängen, wobei bei jedem Bildverarbeitungsvorgang ausgehend von einem Eingangsbilddatensatz und einem Parameterdatensatz mittels einer eindeutigen athe- matischen Abbildung, welche eine Mehrzahl von einzelnen, nacheinander auszuführenden eindeutigen Zwischenabbildungen aufweist, eine Bilderfassung eines Objekts durchgeführt wird. Bei dem erfindungsgemäßen Verfahren wird ein fehlerhafter Bildverarbeitungsvorgang, welcher mittels einer ersten Daten- verarbeitungsvorrichtung 100 durchgeführt wurde, mittels einer zweiten Datenverarbeitungsvorrichtung 300 identisch reproduziert, wobei zur Reproduktion aufgrund der eindeutigen mathematischen Abbildungen nur der Eingangsbilddatensatz und der Parameterdatensatz an die zweite Datenverarbeitungsvor- richtung 300 übertragen werden müssen. Durch eine Überprüfung der auf der zweiten Datenverarbeitungsvorrichtung 300 berechneten Zwischenabbildungen des reproduzierten Bildverarbei- tungsvorgangs kann ein veränderter Parameterdatensatz bestimmt werden, so dass auf der ersten Datenverarbeitungsvor- richtung 100 eine neue Bilderfassung durchführbar ist, mittels welcher das zu erfassende Objekt mit einer höheren Zuverlässigkeit erfasst wird. Die Überprüfung der Zwischenabbildungen erfolgt dabei anhand bestimmter Bildmerkmale des jeweiligen Zwischenergebnisses. Der veränderte Parameterda- tensatz wird nachfolgend an die Datenverarbeitungsvorrichtung 100 übergeben, mittels welcher weitere Bilderkennungen durchführbar sind. In summary, the invention provides a method for analyzing image processing operations, with each image processing operation being carried out using an unambiguous, atematical image, starting from an input image data record and a parameter data record, which has a plurality of individual, clear intermediate images to be executed one after the other. In the method according to the invention, a faulty image processing operation, which was carried out by means of a first data processing device 100, is reproduced identically by means of a second data processing device 300, only the input image data set and the parameter data set being transmitted to the second data processing device 300 for reproduction on account of the clear mathematical images Need to become. By checking the intermediate images of the reproduced image processing process calculated on the second data processing device 300, a changed parameter data record can be determined, so that a new image capture can be carried out on the first data processing device 100, by means of which the object to be captured can be captured with greater reliability , The intermediate images are checked on the basis of certain image features of the respective intermediate result. The changed parameter data set is subsequently transferred to the data processing device 100, by means of which further image recognition can be carried out.

Claims

Patentansprüche claims
1. Verfahren zur Analyse von Bildverarbeitungsvorgängen, bei denen Objekte, insbesondere Bauelemente und/oder Substrate, in einem Bestückautomaten ausgehend von einem Eingangsbildda¬ tensatz erfasst werden, wobei bei jedem Bildverarbeitungsvorgang ausgehend von dem Eingangsbilddatensatz und einem Parameterdatensatz mittels einer eindeutigen mathematischen Abbildung, welche eine Mehrzahl von einzelnen nacheinander aus- zuführenden eindeutigen Zwischenabbildungen aufweist, eine Bilderfassung eines Objekt durchgeführt wird, wobei das Verfahren zumindest folgende Schritte aufweist:1. A method of analysis of image processing operations, in which objects, in particular components and / or substrates, are recorded in a placement machine, starting from a Eingangsbildda ¬ cost rate, wherein, in each image processing operation on the basis of the input image data set and a parameter data set by means of a unique mathematical mapping which a Having a plurality of individual, clear intermediate images to be carried out one after the other, an image capture of an object is carried out, the method comprising at least the following steps:
• der Eingangsbilddatensatz und der Parameterdatensatz werden von einer den Bildverarbeitungsvorgang durchführenden er- sten Datenverarbeitungsvorrichtung (100) an eine zweite Datenverarbeitungsvorrichtung (300) übergeben,The input image data set and the parameter data set are transferred from a first data processing device (100) which carries out the image processing operation to a second data processing device (300),
• mittels der zweiten Datenverarbeitungsvorrichtung (300) wird der zuvor mittels der ersten Datenverarbeitungsvorrichtung (100) durchgeführte Bildverarbeitungsvorgang re- produziert,The image processing operation previously carried out by means of the first data processing device (100) is reproduced by means of the second data processing device (300),
• zumindest ein Zwischenergebnis einer einzelnen Zwischenabbildung des reproduzierten Bildverarbeitungsvorgangs wird auf das Vorhandensein vorbestimmter Kriterien überprüft,At least one intermediate result of an individual intermediate image of the reproduced image processing process is checked for the presence of predetermined criteria,
• anhand der Überprüfung des Zwischenergebnisses wird ein veränderter Parameterdatensatz bestimmt, so dass von dem• Based on the checking of the intermediate result, a changed parameter data set is determined, so that the
Bildverarbeitungsvorgang unter Verwendung des Eingangsbilddatensatzes und des veränderten Parameterdatensatzes eine neue Bilderfassung durchführbar ist, welche gegenüber der Bilderfassung des zuvor mittels der ersten Datenverarbei- tungsvorrichtung (100) durchgeführten Bildverarbeitungsvorgangs das zu erfassende Objekt mit einer höheren Zuverlässigkeit erfasst, undA new image acquisition can be carried out using the input image data record and the changed parameter data record which, compared to the image capture of the image processing operation previously carried out by the first data processing device (100), captures the object to be captured with a higher degree of reliability, and
• der neue Parameterdatensatz wird von der zweiten Datenverarbeitungsvorrichtung (300) an die erste Datenverarbei- tungsvorrichtung (100) übergeben. • The new parameter data record is transferred from the second data processing device (300) to the first data processing device (100).
2. Verfahren gemäß Anspruch 1, bei dem als vorbestimmte Kri¬ terien bestimmte Bildmerkmale des Zwischenergebnisses verwen¬ det werden.2. The method of claim 1, wherein the predetermined criteria Kri ¬ certain image features of the intermediate result USAGE be det ¬.
3. Verfahren gemäß einem der Ansprüche 1 bis 2, bei dem der Eingangsbilddatensatz und der Parameterdatensatz von der ersten Datenverarbeitungsvorrichtung (100) an die zweite Datenverarbeitungsvorrichtung (300) übergeben werden, nachdem bei dem mittels der ersten Datenverarbeitungsvorrichtung (100) durchgeführten Bildverarbeitungsvorgang ein Fehler bei der Erfassung des Objekts aufgetreten ist.3. The method according to claim 1, wherein the input image data set and the parameter data set are transferred from the first data processing device to the second data processing device after an error occurs in the image processing operation carried out by means of the first data processing device the acquisition of the object has occurred.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, bei dem der Eingangsbilddatensatz und/oder der Parameterdatensatz zwi- sehen der ersten Datenverarbeitungsvorrichtung und der zweiten Datenverarbeitungsvorrichtung unter Verwendung4. The method according to any one of claims 1 to 3, wherein the input image data set and / or the parameter data set between see the first data processing device and the second data processing device using
• eines transportablen Speichermediums (205) ,A portable storage medium (205),
• einer leitungsgebundenen Datenleitung und/oder• a line-bound data line and / or
• einer drahtlosen Datenleitung übergeben werden.• transferred to a wireless data line.
5. Verfahren gemäß einem der Ansprüche 1 bis 4,5. The method according to any one of claims 1 to 4,
• bei dem mittels der ersten DatenverarbeitungsvorrichtungIn the case of the first data processing device
(100) eine ungefähre Analyse des Bildverarbeitungsvorgangs mittels einer Überprüfung von einer ersten Anzahl von Zwi- schenergebnissen erlaubt wird und(100) an approximate analysis of the image processing process by means of a check of a first number of intermediate results is permitted and
• bei dem mittels der zweiten Datenverarbeitungsvorrichtung• in that by means of the second data processing device
(300) eine Analyse des Bildverarbeitungsvorgangs mittels einer Überprüfung von einer zweiten, im Vergleich zur ersten Anzahl größeren Anzahl von Zwischenergebnissen erlaubt wird.(300) an analysis of the image processing process by means of a check of a second number of intermediate results, which is larger than the first number, is permitted.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem mittels der zweiten Datenverarbeitungsvorrichtung (300) der Bildverarbeitungsvorgang analysiert wird, indem eine Folge von Zwischenergebnissen in beliebig kleinen Schritten bis hin zu einzelnen Instruktionen auf Assemblerebene überprüft werden. 6. The method according to any one of claims 1 to 5, in which the image processing operation is analyzed by means of the second data processing device (300) by checking a sequence of intermediate results in arbitrarily small steps down to individual instructions at assembly level.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem der Eingangsbilddatensatz und/oder der Parameterdatensatz auf Anweisung einer die erste Datenverarbeitungsvorrichtung (200) bedienenden Bedienperson generiert und/oder auf einem Speichermedium (205) gespeichert werden, bevor der Eingangsbilddatensatz und/oder der Parameterdatensatz von der ersten Datenverarbeitungsvorrichtung (200) an die zweite Datenverarbeitungsvorrichtung (300) übergeben werden. 7. The method according to any one of claims 1 to 6, wherein the input image data set and / or the parameter data set on the instruction of an operator operating the first data processing device (200) is generated and / or stored on a storage medium (205) before the input image data set and / or the parameter data record is transferred from the first data processing device (200) to the second data processing device (300).
PCT/DE2003/001166 2002-04-16 2003-04-09 Method for analyzing image processing processes WO2003088145A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003232595A AU2003232595A1 (en) 2002-04-16 2003-04-09 Method for analyzing image processing processes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE2002116850 DE10216850A1 (en) 2002-04-16 2002-04-16 Process for analyzing image processing
DE10216850.4 2002-04-16

Publications (1)

Publication Number Publication Date
WO2003088145A1 true WO2003088145A1 (en) 2003-10-23

Family

ID=29224503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/001166 WO2003088145A1 (en) 2002-04-16 2003-04-09 Method for analyzing image processing processes

Country Status (3)

Country Link
AU (1) AU2003232595A1 (en)
DE (1) DE10216850A1 (en)
WO (1) WO2003088145A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995022137A1 (en) * 1994-02-08 1995-08-17 Cognex Corporation Methods and apparatus for remote monitoring and control of automated video data systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995022137A1 (en) * 1994-02-08 1995-08-17 Cognex Corporation Methods and apparatus for remote monitoring and control of automated video data systems

Also Published As

Publication number Publication date
AU2003232595A1 (en) 2003-10-27
DE10216850A1 (en) 2003-11-13

Similar Documents

Publication Publication Date Title
DE69919404T2 (en) ON-LINE TROUBLESHOOTING AND EXHAUST TRACKING SYSTEM AND METHOD
DE10307342B4 (en) Device and method for model-based on-board diagnostics
DE2500086B2 (en)
DE10227595A1 (en) System and method for automatic parameter collection and problem solving generation for computer storage devices
DE10127170A1 (en) Troubleshooting procedures and troubleshooting device
EP0104635A2 (en) Digital computer test method and configuration
DE10144050A1 (en) Verification of the software functions of a control unit, e.g. for use in automotive or machine tool applications, by use of a computer simulation model that is used for a experimental control unit and a serial control unit
DE102004004572A1 (en) Fault diagnosis method for a vehicle communication network
DE112008001411T5 (en) Method for checking the mounting state of components
DE102005040142A1 (en) Method for identifying complex diagnostic situations in customer service
DE2654389B2 (en)
WO2005078586A2 (en) Method and device for analyzing integrated systems for critical safety computing systems in motor vehicles
DE102008016801A1 (en) Onboard fault diagnosing method for vehicle, involves identifying component associated to failure characteristic signal difference by correlating determined signal difference with failure characteristic signal difference
DE112007003639T5 (en) Method and system for detecting a fault in an error correcting unit
DE102007041848A1 (en) Method and device for detecting faulty components of coupled chains of action
WO2003088145A1 (en) Method for analyzing image processing processes
DE2441486C2 (en) Method for automatic fault checking of an electrical circuit and device for carrying out the method
DE19646012C2 (en) Data processing system with an integral diagnostic procedure
DE102008064337B4 (en) Automatic reproduction of a plant behavior
WO2000014606A1 (en) Diagnostic method for printing systems
DE102016203303A1 (en) vehicle diagnostics
DE102011052511A1 (en) Method for processing data in an influencing device
DE102009001048A1 (en) Device for testing functioning of dual-core computer system for e.g. security-relevant control system of motor vehicle, has switching and comparison unit triggered-off by signal, where signal is led back to test unit
DE102022200705A1 (en) Control unit for driver assistance systems or systems for autonomous driving
DE10139068B4 (en) Method for determining a sequence of commands and corresponding computer program

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP