WO1991019240A1 - Calibration system of visual sensor - Google Patents

Calibration system of visual sensor Download PDF

Info

Publication number
WO1991019240A1
WO1991019240A1 PCT/JP1991/000643 JP9100643W WO9119240A1 WO 1991019240 A1 WO1991019240 A1 WO 1991019240A1 JP 9100643 W JP9100643 W JP 9100643W WO 9119240 A1 WO9119240 A1 WO 9119240A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
visual sensor
data
pattern
robot
Prior art date
Application number
PCT/JP1991/000643
Other languages
English (en)
French (fr)
Inventor
Atsushi Watanabe
Original Assignee
Fanuc Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Ltd filed Critical Fanuc Ltd
Priority to US07/820,588 priority Critical patent/US5329469A/en
Priority to DE69103871T priority patent/DE69103871T2/de
Priority to EP91909092A priority patent/EP0489919B1/en
Publication of WO1991019240A1 publication Critical patent/WO1991019240A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Definitions

  • the present invention relates to a calibration system of a visual sensor for performing calibration of a visual sensor in a robot system, and particularly to a calibration system of a visual sensor for performing calibration of a plurality of cameras.
  • a calibration system of a visual sensor for performing calibration of a plurality of cameras.
  • the calibration jig is large, and it is necessary to move the jig by a jog operation or the like in order to take an image of the jig with a camera.
  • the present invention has been made in view of such points, c also an object to provide a wire carrier re Buresho down method does not require visual sensor moving operation jig for Canon Riburesho down Yet another object of the present invention is to provide a calibration method of a visual sensor that can perform calibration of the visual sensor with a simple calibration jig.
  • Still another object of the present invention is to provide a calibration system of a visual sensor which can easily perform calibration for each camera.
  • the arm of the mouth robot has a pattern plate for the calibration, and the robot controller sends the robot the robot.
  • the data is sent to a visual sensor control device, and the visual sensor control device obtains a second calibration pattern data from the pattern plate, and obtains the first carrier data.
  • the method is characterized in that the calibration pattern data is obtained from the calibration data and the second calibration "NO,” and the calibration data is obtained from the "turn data”. Vision sensor calibration A ration method is provided.
  • the robot controller has the internal position data of the pattern board on the robot coordinate system. That is, based on the coordinate position of the tip of the robot arm and the mounting dimensions of the pattern board, The first calibration break on the turnboard. Have turn data.
  • the vision sensor controller is the first calibration device. Turn ⁇ Read data from robot controller via communication line.
  • the visual sensor control device captures the pattern board image from the visual sensor, detects each dot of the pattern, and performs the second calibration. Turn ⁇ Ask for data.
  • FIG. 1 is an overall configuration diagram of a mouth-bot system for implementing a calibration method of a visual sensor according to the present invention.
  • Figure 2 is a detailed view of the dot pattern on the pattern board.
  • Fig. 3 is a diagram showing an example of imaging one pattern board with two cameras.
  • Figure 4 shows an example of a robot system consisting of four robots and four cameras, in which four cameras are calibrated to a common robot coordinate system for all robots. It is. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is an overall configuration diagram of a mouth bot system for implementing a calibration method of a visual sensor according to the present invention.
  • the calibration is performed.
  • the data flow one robot and one camera are used. However, in practice, multiple robots or multiple cameras are used.
  • the robot 1 is controlled by the robot control device 10.
  • the robot control device Position 10 recognizes the coordinate position of the tip of arm 2 in the robot's base coordinates, that is, the coordinate position of TCP (tool ⁇ center point) as the current position. Based on the mounting dimensions of the board 3, the calibration-pattern 'data on the robot coordinates, which is the position of each dot pattern on the pattern board 3, is stored in memory 11. The turn data is assumed to be CPD r 11 a.
  • the pattern plate 3 is not perpendicular to the optical axis of the force camera 4 but is constant. Control to have an angle of
  • a camera 4 is connected to the visual sensor control device 20, and the camera 4 captures an image of the pattern plate 3, and carries out a calibration of the camera 4.
  • the visual sensor control device 20 is composed mainly of a processor (CPU) 21.
  • R 0 M 22 has a calibration
  • a control 'software 22a' is stored for controlling the calibration operation.
  • the RAM 23 is the calibration data (CD) 23a described later and the calibration from the robot controller 10 ⁇ . Turn data
  • CPDR 1 1a is stored.
  • R AM 24, no are stored.
  • DPD 24a Coordinate position data of each dot on the turntable, dot pattern data (DPD) 24a, are stored.
  • the processor 21 images the dot pattern of the pattern board 3 from the camera 4 according to the control software 22 a.
  • This imaging data is temporarily stored in the RAM 25 via the camera interface 28.
  • This imaging data is video data of each dot pattern on the imaging surface of the camera 4.
  • the image processor 26 reads the position data and the pre-stored dot pattern data (DPD) 24a from the camera 4 for calibration. Turn 'data (C P D c) 25 a is obtained and stored in RAM 25.
  • Turn data (CPDR) 11a is read from interface 27 via communication line 13 and stored in RAM 23.
  • This calibration data (CD) 23a is used for assembling and palletizing work, etc., whereby the position and orientation of the workpiece in the robot coordinate system can be accurately controlled by the camera 4 and the visual sensor control. Can be recognized by the device.
  • FIG. 2 is a detailed view of the dot pattern of the pattern plate.
  • Dot patterns 3 a, 3 b, 3 c, etc. are arranged on the pattern plate 3 in a rectangular shape. Although theoretically six dot patterns are sufficient, 25 dot patterns are provided to accurately obtain calibration and ° turn data. In particular, the dot pattern 3a is larger than the other dot patterns for the origin.
  • FIG. 3 is a diagram showing an example of a case where two cameras capture one pattern board. That is, by imaging the dot pattern of the pattern plate 3 by the two cameras 5 and 6, the calibration of each force camera coordinate system can be performed independently.
  • Fig. 4 is a diagram showing an example of calibrating a 4-unit camera with respect to a common robot coordinate system for all robots in a robot system consisting of 4 robots and a 4-unit camera.
  • the pattern board 3a of the robot 31 is imaged by the camera 41
  • the pattern board 3b of the robot 32 is imaged by the camera 42
  • the pattern board 3c of the robot 33 is imaged.
  • Camera 43 captures pattern ⁇ 3 d of robot 34.
  • a visual sensor control device (not shown) captures the imaging data of each camera and calculates the calibration data of each camera.
  • the details are the same as in Fig. 1.
  • calibration data can be obtained for each camera. Even when the position of the camera is changed, only the changed camera needs to be re-captured. .
  • a camera was used as the visual sensor, but in addition, the dot pattern on the pattern plate was read using a laser measuring device or the like, and the calibration pattern was read.
  • the calibration 'pattern' data in the robot device is sent to the visual sensor control device, and the visual sensor uses the visual sensor coordinates obtained from the camera image data.
  • Calibration data is compared with pattern data, so calibration data can be easily obtained. Also, it is sufficient if the visual sensor captures an image of the pattern plate, and no special operation is required. In addition, calibration can be performed individually for multiple visual sensors. Also, no special jig is required, and there is no need to provide space for jigs.

Description

明 細 書 視覚センサのキヤ リブレーショ ン方式
技 術 分 野
本発明はロボッ ト システムにおける視覚センサのキヤ リブ レーシ ョ ンを行う視覚セ ンサのキヤ リ ブレーシ ョ ン方式に関 し、 特に複数のカメ ラ等のキヤ リブレーシヨ ンを行う視覚セ ンサのキヤ リ ブレーシ ョ ン方式に関する。 背 景 技 術
ロボッ ト システムでは視覚機能を持たせ、 ワークをカメ ラ 等によって撮像し、 ワークの位置を認識させて、 組立作業、 パレタイ ジング作業等を実行させることが実用化されつつあ る。 また、 正確にワークの位置を認識するため、 あるいは複 数のロボッ トに対応して複数のカメ ラが使用される。
正確にワークの位置を認識するために、 ロボッ ト座標系と、 カメ ラ座標系との関係をキヤ リブレーショ ンする必要がある。 複数のカメ ラを使用するときは、 これに対応した専用の治具 を用意して行っている。
しかし、 キヤ リブレ一ショ ン治具が大きく、 これをカメ ラ で撮像するために、 治具をジョグ操作等で移動させる必要が あり、 操作性が低い。
また、 キヤ リブレーショ ン治具は一般に大きく、 製造費用 等も高く、 特別のスペースが必要となる。 さらに、 複数の力メ ラを使用するときは、 個々のカメ ラご とにキャ リブレーショ ンを行うことが困難であつた。 発 明 の 開 示
本発明はこのような点に鑑みてなされたものであり、 キヤ リブレーショ ンのための治具の移動操作の必要のない視覚セ ンサのキヤ リ ブレーショ ン方式を提供することを目的とする c また、 本発明の他の目的は簡単なキヤ リブレーショ ン治具 で視覚センサのキヤ リブレーショ ンを行うことのできる視覚 センサのキヤ リブレーショ ン方式を提烘することである。
さらに、 本発明の他の目的はカメ ラ毎に簡単にキヤ リブレ ーショ ンできる視覚センサのキヤ リブレーショ ン方式を提供 することである。
本発明では上記課題を解決するために、
ロボッ ト システムにおける視覚センサのキヤ リ ブレーショ ンを行う視覚センサのキャ リ ブレーショ ン方式において、 口 ボッ トのアームにキヤ リ ブレーショ ン用のパタ一ン板を持た せ、 ロボッ ト制御装置から、 ロボッ トのベース座標上の前記 パター ン板の第 1のキヤ リブレーショ ン ·ハ。ター ン ♦デ一タ を視覚センサ制御装置に送り、 前記視覚センサ制御装置は前 記パター ン板から第 2のキ ヤ リブレーシ ョ ン · パター ン .デ ータを求め、 前記第 1のキャ リ ブレーショ ン .パターン . デ ータと前記第 2のキ ヤ リブレーシ ョ ン 'ノ、"ター ン ·データか らキャ リ ブレーショ ン ' データを求め、 視覚センサのキャ リ ブレーショ ンを行う ことを特徵とする視覚センサのキヤ リ ブ レーシ ョ ン方式が、 提供される。
ロボッ ト制御装置は、 パターン板のロボッ ト座標系上の位 置データを正確に内部に持っている。 すなわち、 ロボッ 卜の アームの先端の座標位置と、 パターン板の取り付け寸法から ノ、。タ―ン板の第 1 のキヤ リ ブレーシヨ ン ' ノ、。タ一ン · データ を持っている。
視覚センサ制御装置はこの第 1 のキャ リ ブレーショ ン · ノ、。 ターン ♦ データを通信回線を経由して、 ロボッ ト制御装置か ら読み取る。 一方、 視覚センサ制御装置は視覚センサからパ ターン板画像を取り込み、 パターンの各ドッ トを検出し、 第 2のキヤ リ ブレーショ ン . ノ、。ターン · データを求める。
この第 1 のキヤ リ ブレ一ショ ン * ノ、。ターン ' データ と第 2 のキヤ リ ブレーシヨ ン ♦ パターン · データを比較すれば、 キ ャ リブレーシ ョ ン ·データを得ることができる。 図 面 の 簡 単 な 説 明 第 1図は本発明の視覚センサのキヤ リブレーショ ン方式を 実施するための口ボッ ト システムの全体の構成図、
第 2図はパター ン板のド ッ トパター ンの詳細図、
第 3図は 2台のカメ ラで 1個のパターン板を撮像する場合 の例を示す図、
第 4図は 4台のロボッ 卜と 4台のカメ ラからなるロボッ ト システムにおいて、 4台のカメ ラを全ロボッ ト共通のロボッ ト座標系に対してキヤ リブレ一ショ ンする例を示す図である。 発明を実施するための最良の形態
以下、 本発明の一実施例を図面に基づいて説明する。
第 1図は本発明の視覚セ ンサのキヤ リブレーシ ョ ン方式を 実施するための口ボッ ト システムの全体の構成図である。 第 1図ではキヤ リ ブレ一シ ヨ ン · ノ、。タ ーン . データの流れを簡 単に説明するために、 ロボッ トとカメ ラは 1台としているが、 実際には複数のロボッ トあるいは複数のカメ ラが使用される。
ロボッ ト 1のアーム 2には、 ノ、。ターン板 3が結合されてい る。 ノ、 "ターン板 3には複数のドッ トパターンが設けられてい る。 パターン板 3の詳細については後述する。 ロボッ ト 1 は ロボッ ト制御装置 1 0によつて制御される。 ロボッ ト制御装 置 1 0はロボッ トのベース座標のアーム 2の先端の座標位置、 すなわち T C P (ツール ♦ セ ンタ · ポイ ン ト） の座標位置は 現在位置として認識している。 従って、 アーム 2の T C Pと パターン板 3の取り付け寸法から、 パターン板 3の各ドッ ト パタ一ンの位置であるロボッ ト座標上でのキヤ リブレーシ ョ ン - パタ ーン ' データをメ モ リ 1 1 に持っている。 このキ ヤ リブレーシ ヨ ン ' ノ、。ターン · データを C P D r 1 1 aとする。 なお、 ロボッ ト制御装置 1 0はパタ一ン板 3が力メ ラ 4の光 軸に対して垂直でなく、 一定の角度を有するように制御する。
一方、 視覚セ ンサ制御装置 2 0にはカメ ラ 4が結合されて おり、 カメ ラ 4によつてパターン板 3を撮像し、 カメ ラ 4の キ ヤ リ ブレーショ ンを行う。
視覚セ ンサ制御装置 2 0はプロセ ッ サ （ C P U ) 2 1を中 心に構成されている。 R 0 M 2 2にはキヤ リブレーショ ンを 行うためのコ ン ト ロ ール ' ソ フ ト ウヱァ 2 2 aが格納されて おり、 キ ヤ リブレーシ ョ ン動作を制御する。 R AM 2 3は後 述のキャ リ ブレーシ ョ ン ' データ （C D) 2 3 aと、 ロボッ ト制御装置 1 0からキ ャ リ ブレーショ ン ♦ ノ、。ターン · データ
(C P D r ) 1 1 aが格納されている。 R AM 2 4には、 ノ、。 タ一ン板の各ドッ トの座標位置データ、 ドッ トパタ一ン ·デ ータ （DP D) 2 4 aが格納される。
プロセッサ 2 1はコ ン ト ロ ール · ソフ トゥヱァ 2 2 aに従 つて、 カメ ラ 4からパターン板 3のドッ トパターンを撮像す る。 この撮像データはカメ ラ ' イ ンタ フヱース 2 8を経由し て、 RAM 2 5に一旦格納される。 この撮像データはカメ ラ 4の撮像面上での各ドッ トパターンの映像データである。 画像処理プロセッサ 2 6は、 この位置データと予め格納さ れたドッ トパターン ·データ （ D P D ) 2 4 aから、 カメ ラ 4のキャ リ ブレーシ ョ ン · ノ、。ターン ' データ （C P D c ) 2 5 aを求め、 RAM 2 5に格納する。
一方、 ロボッ ト制御装置 1 0内のキャ リ ブレーシ ョ ン . ノ、。 ターン ·データ （C P D r ) 1 1 aを通信回線 1 3を経由し て、 イ ンタ フ ヱ 一ス 2 7から読み取り、 RAM 2 3に格納す る
続いて、 ロボッ ト座標上でのキャ リブレーショ ン . パター ン 'データ （C P D r ) 1 1 aとカメ ラ座標上でのキヤ リ ブ レーシ ヨ ン . ノ、。ターン 'データ （C P D c ) 2 5 aとを比較 して、 力メ ラ座標系の口ボッ ト座標系における位置、 姿勢の 関係を計算、 すなわちキヤ リブレーショ ンを行う。 この結果 をキャ リ ブレーシ ョ ン *データ （C D ) 2 3 aとして、 R A M 2 3に格納する。
このキャ リ ブレーシ ョ ン .データ （C D ) 2 3 a は組立、 パレタイ ジング作業等に使用され、 これによつて、 ロボッ ト 座標系におけるワークの位置、 姿勢を正確にカメ ラ 4と視覚 センサ制御装置で認識することができる。
第 2図はパター ン板のドッ トパターンの詳細図である。 パ ターン板 3には矩形状にドッ トパターン 3 a、 3 b、 3 c等 が配列されている。 これらのドッ トパターンは理論的に 6個 あれば足りるが、 キヤ リブレーショ ン .ノ、°ターン ·データを 正確に求めるために、 2 5のドッ トパターンが設けられてい る。 特に、 ドッ トパターン 3 aは原点用として他のドッ トパ ターンより大きくなつている。
第 3図は 2台のカメ ラで 1個のパタ一ン板を撮像する場合 の例を示す図である。 すなわち、 2台のカメ ラ 5、 6によつ てパターン板 3のドッ トパターンを撮像することにより、 そ れぞれの力メ ラ座標系のキャ リブレーショ ンを、 独立に行う ことができる。
第 4図は 4台のロボッ ト と 4合のカメ ラからなるロボッ ト システムにおいて、 4合のカメ ラを全ロボッ ト共通のロボッ ト座標系に対してキヤ リブレーショ ンする例を示す図である。 ロボッ ト 3 1のパターン板 3 aをカメ ラ 4 1で撮像し、 ロボ ッ ト 3 2のパターン板 3 bをカメ ラ 4 2で撮像し、 ロボッ ト 3 3のパタ一ン板 3 cをカメ ラ 4 3で撮像し、 ロボッ ト 3 4 のパターン扳 3 dをカメ ラ 4 4で撮像している。 ここでは、 図示されていない視覚センサ制御装置によって、 各カメ ラの 撮像デ一タが取り込まれ、 それぞれのカメ ラのキヤ リブレ一 シ ヨ ン ♦ データが計算される。 その詳細は第 1図の場合と同 じである。 この例の場合でも分かるように、 キヤ リブレーシ ヨ ン ·データはカメ ラ毎に求めることができ、 カメ ラの位置 等を変更したときも変更したカメ ラのみキヤ リブレーショ ン •データを取り直せばよい。
上記の説明では 1台のロボッ トと 2台のカメ ラの例、 4台 のロボッ ト と 4合のカメ ラの例で説明したが、 これらの台数 は必要に応じて、 選択することができることはいうまでもな い。
また、 パター ン板は 1種類のみ用意すればよ く、 それほど 大きなものは必要なく、 簡単に製造できる。 さらに、 キヤ リ ブレーシ ョ ン ·データを求めるために、 特別にジョグ操作等 を行う必要もない。
なお、 上記の説明では視覚セ ンサとしてカ メ ラを使用した が、 これ以外にもレーザ測長器等を使用して、 パターン板の ドッ トパターンを読み取り、 キャ リ ブレーショ ン .パターン
• データを求めるようにすることもできる。
以上説明したように本発明では、 ロボッ ト装置内のキャ リ ブレーシ ヨ ン 'パターン ' データを視覚セ ンサ制御装置に送 り、 視覚センサがカメ ラの撮像データから求めた視覚セ ンサ 座標でのキヤ リ ブレーシ ヨ ン . パターン 'データと比較して、 キャ リ ブレーショ ン 'データを求めるようにしたので、 簡単 にキヤ リブレーショ ン ·データを求めることができる。 また、 視覚センサがパターン板を撮像すれば足り、 特別の 操作を必要としない。 さらに、 複数の視覚センサに対しても 個別にキャ リ ブレーショ ンを行うことができる。 また、 特別 な治具を必要とせず、 治具のためのスペースを設ける必要も ない。

Claims

請 求 の 範 囲
1 . ロボッ ト システムにおける視覚センサのキヤ リ ブレー ショ ンを行う視覚センサのキヤ リ ブレーショ ン方式において、 ロボッ 卜のアームにキヤ リ ブレーショ ン用のノ、。ターン板を 持たせ、
ロボッ ト制御装置から、 ロボッ 卜のベース座標上の前記パ ターン板の第 1 のキヤ リ ブレーショ ン ' パターン ' データを 視覚センサ制御装置に送り、
前記視覚センサ制御装置は前記パタ一ン板から第 2のキヤ リ ブレーショ ン · ノ、。ターン ' データを求め、
前記第 1 のキヤ リ ブレーショ ン · パターン · データと前記 第 2のキヤ リ ブレーシヨ ン · パター ン · データからキヤ リブ レーショ ン · データを求め、
視覚センサのキヤ リ ブレーショ ンを行う ことを特徵とする 視覚センサのキヤ リ ブレーショ ン方式。
2 . 前記第 2のキヤ リ ブレーシヨ ン · パターン ♦ データは カメ ラによる撮像画面から得ることを特徵とする請求項 1記 載の視覚センサのキヤ リ ブレーショ ン方式。
3 . 前記第 2のキヤ リ ブレーショ ン · ノ、。ターン . データは レーザ測長器を使用して得ることを特徴とする請求項 1記載 の視覚センサのキヤ リ ブレーショ ン方式。
4 . 1合の口ボッ トのパタ一ン板から、 複数の力メ ラで、 前記カメ ラ ごとに第 2のキヤ リ ブレーショ ン . ノ、。ター ン · デ 一タを取り込み、 各カメ ラのキヤ リ ブレーショ ンを行う こと を特徴とする請求項 1記載の視覚センサのキヤ リブレーショ ン方式。
5 . 複数のロボッ トのパターン板から複数のカメ ラの前記 第 2のキヤ リブレーシ ョ ン · ノ、。ター ン ·データを取り込み、 キャ リ ブレーシ ョ ンを行うことを特徵とする請求項 1記載の 視覚セ ンサのキ ヤ リブレーシ ョ ン方式。
6 . 1個の原点用のドッ ト ·パターンと、 複数の矩形上に 配列されたドッ ト ·パターンからなるパターン板を使用する ことを特徵とする請求項 1記載の視覚セ ンサのキヤ リブレー ショ ン方式。
7 . 前記キャ リ ブレーシ ョ ンデータはマ ト リ クスデータと して得ることを特徵とする請求項 1記載の視覚センサのキヤ リブレーショ ン方式。
PCT/JP1991/000643 1990-05-30 1991-05-15 Calibration system of visual sensor WO1991019240A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US07/820,588 US5329469A (en) 1990-05-30 1991-05-15 Calibration method for a visual sensor
DE69103871T DE69103871T2 (de) 1990-05-30 1991-05-15 Eichsystem für einen optischen sensor.
EP91909092A EP0489919B1 (en) 1990-05-30 1991-05-15 Calibration system of visual sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2/140487 1990-05-30
JP2140487A JP2690603B2 (ja) 1990-05-30 1990-05-30 視覚センサのキャリブレーション方法

Publications (1)

Publication Number Publication Date
WO1991019240A1 true WO1991019240A1 (en) 1991-12-12

Family

ID=15269755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1991/000643 WO1991019240A1 (en) 1990-05-30 1991-05-15 Calibration system of visual sensor

Country Status (5)

Country Link
US (1) US5329469A (ja)
EP (1) EP0489919B1 (ja)
JP (1) JP2690603B2 (ja)
DE (1) DE69103871T2 (ja)
WO (1) WO1991019240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2764485B2 (ja) * 1991-08-27 1998-06-11 ファナック株式会社 リアルタイムセンサの診断方法
JP3394278B2 (ja) * 1992-12-03 2003-04-07 ファナック株式会社 視覚センサ座標系設定治具及び設定方法
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
EP0763406B1 (de) * 1995-09-15 2000-02-23 Ersü, Enis Verfahren zum Bestimmen der Lage eines Körpers im Raum
US6134507A (en) * 1996-02-06 2000-10-17 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US6285959B1 (en) 1996-02-06 2001-09-04 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US6078846A (en) * 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
US5748505A (en) * 1996-02-06 1998-05-05 Perceptron, Inc. Method and apparatus for calibrating a noncontact gauging sensor with respect to an external coordinate system
US6259827B1 (en) 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US6075881A (en) 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US6044308A (en) * 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
US6608647B1 (en) 1997-06-24 2003-08-19 Cognex Corporation Methods and apparatus for charge coupled device image acquisition with independent integration and readout
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US5978080A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US6381375B1 (en) 1998-02-20 2002-04-30 Cognex Corporation Methods and apparatus for generating a projection of an image
US6071060A (en) * 1998-04-08 2000-06-06 Mcms, Inc. Calibration jig for an automated placement machine
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6687402B1 (en) 1998-12-18 2004-02-03 Cognex Corporation Machine vision methods and systems for boundary feature comparison of patterns and images
US6381366B1 (en) 1998-12-18 2002-04-30 Cognex Corporation Machine vision methods and system for boundary point-based comparison of patterns and images
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
US6356807B1 (en) 1999-08-13 2002-03-12 Fanuc Robotics North America, Inc. Method of determining contact positions, calibration parameters, and reference frames for robot assemblies
US6684402B1 (en) 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US6798925B1 (en) * 2000-12-22 2004-09-28 Cognex Corporation Method and apparatus for calibrating an image acquisition system
JP2004093265A (ja) 2002-08-30 2004-03-25 Fujitsu Ltd 位置検出装置及びライブラリ装置
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
WO2004079546A2 (en) * 2003-03-04 2004-09-16 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
EP1468792A3 (de) * 2003-04-16 2005-04-20 VMT Bildverarbeitungssysteme GmbH Verfahren zum Kalibrieren eines Roboters
US7561717B2 (en) * 2004-07-09 2009-07-14 United Parcel Service Of America, Inc. System and method for displaying item information
JP3946716B2 (ja) 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
DE102004056669A1 (de) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Einrichtung für die Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
US7113878B1 (en) 2005-05-18 2006-09-26 Perceptron, Inc. Target for calibrating a non-contact sensor
US20060271332A1 (en) * 2005-05-18 2006-11-30 Perceptron, Inc. Method for calibrating a non-contact sensor using a robot
DE102005045854B3 (de) * 2005-09-26 2007-04-12 Siemens Ag Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US8311311B2 (en) * 2005-10-31 2012-11-13 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
US8162584B2 (en) 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
JP4297142B2 (ja) * 2006-09-13 2009-07-15 株式会社日立製作所 運搬システム
US8358575B2 (en) * 2007-11-12 2013-01-22 Analog Devices, Inc. Methods and apparatus for generating and processing transmitter signals
EP2070664A1 (en) * 2007-12-14 2009-06-17 Montanuniversität Leoben Object processing system
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP4763074B2 (ja) * 2009-08-03 2011-08-31 ファナック株式会社 ロボットのツール先端点の位置の計測装置および計測方法
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
JP5928114B2 (ja) 2012-04-12 2016-06-01 セイコーエプソン株式会社 ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
JP5670416B2 (ja) 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US9189702B2 (en) 2012-12-31 2015-11-17 Cognex Corporation Imaging system for determining multi-view alignment
CN103878774A (zh) * 2014-02-25 2014-06-25 西安航天精密机电研究所 一种基于机器人的视觉标定方法
DE102014213518A1 (de) * 2014-07-11 2016-01-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
SI3012695T1 (en) 2014-10-23 2018-01-31 Comau S.P.A. System for monitoring and control of an industrial plant
WO2016079967A1 (en) * 2014-11-21 2016-05-26 Seiko Epson Corporation Robot and robot system
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
KR101850118B1 (ko) * 2016-08-09 2018-04-19 한국생산기술연구원 이동 로봇과 카메라의 캘리브레이션 방법 및 시스템
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP6396516B2 (ja) 2017-01-12 2018-09-26 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
US10742865B2 (en) 2017-04-14 2020-08-11 International Business Machines Corporation Configuring cognitive robot vision
US10471478B2 (en) 2017-04-28 2019-11-12 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
WO2019212985A1 (en) 2018-04-30 2019-11-07 Path Robotics, Inc. Reflection refuting laser scanner
IT201800005091A1 (it) 2018-05-04 2019-11-04 "Procedimento per monitorare lo stato di funzionamento di una stazione di lavorazione, relativo sistema di monitoraggio e prodotto informatico"
JP7070127B2 (ja) * 2018-06-15 2022-05-18 オムロン株式会社 ロボット制御システム
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
JP2020154208A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 カメラ焦点調整治具、及びカメラ焦点調整方法
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US20230032421A1 (en) 2020-01-14 2023-02-02 Fanuc Corporation Robot system
US11407110B2 (en) 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
JP2024508564A (ja) 2021-02-24 2024-02-27 パス ロボティクス， インコーポレイテッド 自律型溶接ロボット

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0114505A1 (en) * 1982-12-28 1984-08-01 Diffracto Ltd. Apparatus and method for robot calibration
JPS60229109A (ja) * 1984-04-27 1985-11-14 Hitachi Ltd 視覚カメラによる位置補正システム
JPS61129508A (ja) * 1984-11-28 1986-06-17 Yokogawa Electric Corp ロボツト用・物体観測装置
JPS62214403A (ja) * 1986-03-17 1987-09-21 Yaskawa Electric Mfg Co Ltd 視覚センサ付ロボツトシステムにおけるキヤリブレ−シヨン方法
JPS63254575A (ja) * 1987-04-13 1988-10-21 Fanuc Ltd 視覚センサのキヤリブレ−シヨン装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
JPS6037007A (ja) * 1983-08-08 1985-02-26 Hitachi Ltd 画像処理装置の座標変換パラメタ決定方式
EP0151417A1 (en) * 1984-01-19 1985-08-14 Hitachi, Ltd. Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor
US4796200A (en) * 1986-12-09 1989-01-03 Diffracto Ltd. Target based determination of robot and sensor alignment
US4825394A (en) * 1985-05-07 1989-04-25 General Dynamics Corporation Vision metrology system
US4853771A (en) * 1986-07-09 1989-08-01 The United States Of America As Represented By The Secretary Of The Navy Robotic vision system
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
JPH0790494B2 (ja) * 1987-08-22 1995-10-04 ファナック株式会社 視覚センサのキャリブレ−ション方法
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
US4909376A (en) * 1987-10-06 1990-03-20 Western Technologies Automation, Inc. Robotically controlled component feed mechanism visually monitoring part orientation
US4841762A (en) * 1987-10-27 1989-06-27 Automatix Incorporated Symmetry calibration method for multi-configuration robots
JPH01205994A (ja) * 1988-02-08 1989-08-18 Toshiba Corp ロボット視覚認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0114505A1 (en) * 1982-12-28 1984-08-01 Diffracto Ltd. Apparatus and method for robot calibration
JPS60229109A (ja) * 1984-04-27 1985-11-14 Hitachi Ltd 視覚カメラによる位置補正システム
JPS61129508A (ja) * 1984-11-28 1986-06-17 Yokogawa Electric Corp ロボツト用・物体観測装置
JPS62214403A (ja) * 1986-03-17 1987-09-21 Yaskawa Electric Mfg Co Ltd 視覚センサ付ロボツトシステムにおけるキヤリブレ−シヨン方法
JPS63254575A (ja) * 1987-04-13 1988-10-21 Fanuc Ltd 視覚センサのキヤリブレ−シヨン装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0489919A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法

Also Published As

Publication number Publication date
JP2690603B2 (ja) 1997-12-10
EP0489919A1 (en) 1992-06-17
JPH0435885A (ja) 1992-02-06
DE69103871D1 (de) 1994-10-13
DE69103871T2 (de) 1995-01-12
EP0489919A4 (en) 1993-02-24
EP0489919B1 (en) 1994-09-07
US5329469A (en) 1994-07-12

Similar Documents

Publication Publication Date Title
WO1991019240A1 (en) Calibration system of visual sensor
JP2686351B2 (ja) 視覚センサのキャリブレーション方法
KR970007039B1 (ko) 검출 위치 보정 방법
JP2009269110A (ja) 組立装置
CN107953333B (zh) 一种机械手末端工具标定的控制方法及系统
CN111369625A (zh) 定位方法、装置和存储介质
WO1990008016A1 (fr) Correction du positionnement de robots
JP2003311670A (ja) ロボットアームの位置制御方法およびロボット装置
US20100017032A1 (en) Device for controlling a robot
CN107756391B (zh) 机械手臂校正系统的校正方法
JPH0460817A (ja) カメラの位置ずれ検出方法
JP2707548B2 (ja) 視覚認識装置の座標補正方法
JPH06187021A (ja) 視覚付きロボットの座標補正方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
JPS61226289A (ja) ロボツト・マニピユレ−タの診断装置
CN113905859B (zh) 机器人控制系统及机器人控制方法
JP6721211B2 (ja) 位置決め装置及び穿孔装置
JP3562096B2 (ja) 位置検出方法
JPH05204423A (ja) 視覚装置付きロボット装置における座標較正方法
JP3679460B2 (ja) 移動体装置及びその制御方法
JP2015085457A (ja) ロボット、ロボットシステム及びロボット制御装置
JPH05108131A (ja) ロボツトの教示装置
JPH06175712A (ja) 視覚認識ロボットの自動キャリブレーション方法
JP3577881B2 (ja) 移載方法
WO2020067234A1 (ja) 制御装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE IT SE

WWE Wipo information: entry into national phase

Ref document number: 1991909092

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1991909092

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1991909092

Country of ref document: EP