CN102612704A - 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法 - Google Patents

用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法 Download PDF

Info

Publication number
CN102612704A
CN102612704A CN2010800467625A CN201080046762A CN102612704A CN 102612704 A CN102612704 A CN 102612704A CN 2010800467625 A CN2010800467625 A CN 2010800467625A CN 201080046762 A CN201080046762 A CN 201080046762A CN 102612704 A CN102612704 A CN 102612704A
Authority
CN
China
Prior art keywords
characteristic
image
descriptor
orientation
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800467625A
Other languages
English (en)
Other versions
CN102612704B (zh
Inventor
D·库尔茨
S·本希马宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN102612704A publication Critical patent/CN102612704A/zh
Application granted granted Critical
Publication of CN102612704B publication Critical patent/CN102612704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

一种用于提供针对图像的至少一个特征的描述符的方法包括步骤：提供由捕获设备捕获的图像，并且从所述图像提取至少一个特征；并且，向所述至少一个特征分配描述符，所述描述符取决于指示方位的至少一个参数，其中，从由跟踪系统测量的所述捕获设备的方位确定所述至少一个参数。本发明也涉及一种用于匹配两个或多个图像的特征的方法。

Description

用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
本发明涉及一种用于提供针对图像的至少一个特征的描述符的方法和用于匹配两个或更多图像的特征的方法。而且，本发明涉及包括用于实现根据本发明的方法的软件代码部分的计算机程序产品。
引言
在计算机视觉的领域中的许多应用要求在照明和所使用的捕获硬件可能改变的情况下的在不同视点下的同一场景或物体的两个或多个图像中找到对应点或其他特征。特征可以是点或一组点(线、线段、在图像中的区域或仅为一组像素)。示例应用包括窄和宽基线立体匹配、相机姿态估计、图像检索、物体识别和视觉搜索。
例如，增强现实系统允许计算机产生的虚拟信息与真实环境的视觉印象的叠加。为此，例如，通过例如显示设备的方式将在一个或多个图像中的例如由相机捕获的真实世界的视觉印象与虚拟信息混和，该显示设备向用户显示增加了虚拟信息的相应图像。虚拟信息和真实世界的空间对准要求通常基于特征对应的相机姿态(位置和方位)的计算。
用于获得这样的对应性的、例如在David G.Lowe：″Distinctive ImageFeatures from Scale-Invariant Keypoints″，International Journal of ComputerVision，60，2(2004)，页91-110中描述的通常的方式是首先从具有高重合性的单独图像中提取特征或兴趣点(例如，在边缘、角或局部极点)。即，在不同的图像中提取与相同的物理实体对应的相同的像素集的概率较高。第二步骤是然后基于其相邻区域像素的强度来创建针对每一个特征的描述符，这使得能够进行特征的比较并且因此使得能够进行特征的匹配。对于好的描述符的两个主要要求是：区别性，即，不同的特征点导致不同的描述符；以及，下述部分的不变性：
1)在观看方位、旋转和比例上的改变，
2)在照明上的改变，
3)图像噪声。
这是为了保证以关于相似性度量的类似方式来描述在不同图像中的相同特征。为了处理相对于旋转的不变性，在描述符的构造之前，空间规格化将在特征点周围的局部相邻区域(neighborhood)的像素变换为规格化的坐标系。
对于该不变性关键的是，这种规格化是可再现的。存在更高级的方法，但是在最简单的情况下，规格化仅由根据特征方位的平面内旋转构成。通常基于在特征点的相邻区域中的像素强度来将方位定义为例如最大梯度的方向。理想上，在特征的规格化的相邻区域中的像素对于使用不同的观看方向、旋转和比例获取的不同的图像相同。实际上，它们至少非常类似，与图2比较。
在图2中，示出在不同场景21和22中的示例性特征点。在示出场景21和22的第一列中，在两个不同方位下的同一特征点被示出为在场景21中的特征点F21和在场景22中的特征点F22。在下一步步骤，在本示例中，基于在相应的特征点F21和F22的相邻区域中的像素强度将方位定义为最大梯度的方向(由在相应的矩形内的白线描述)。然后，在描述符d1和d2(第三列)的构造之前，空间规格化分别将在特征点F21和F22周围的局部相邻区域的像素(在当前情况下，在矩形内的像素)变换为规格化的坐标系(在第二列中的描述31和32)。因此，描述符d1、d2与最大梯度的对齐产生非常类似的规格化相邻区域(如在描述31和32中所示)，并且因此产生类似的描述符d1和d2。这个属性在局部特征描述符中是常见的，并且被称为对于旋转的不变性。通常，通过构造包含不同比例的图像的图像金字塔和在每一个比例级上执行上面的行为来处理对于比例的不变性。其他手段存储每一个特征描述符的比例。
存在多种局部特征描述符，其中，在Krystian Mikolajczyk and CordeliaSchmid，″A performance evaluation of local descriptors″，IEEE Transactions onPattern Analysis&Machine Intelligence，10，27(2005)，页1615-1630中给出了良好的概述和比较。它们的大多数基于规格化的局部相邻区域像素的强度值或它们的函数(例如梯度)的直方图的建立。将最后的描述符表达为n维向量(如在图2中的右面所示)，并且可以使用诸如欧几里得距离的相似性度量将该最后的描述符与其他描述符作比较。
在图3中，示出用于建立特征描述符的标准手段。在步骤S1中，由诸如相机的捕获设备捕获或从存储介质加载图像。在步骤S2中，从图像提取特征点，并且将其存储在二维描述(参数u、v)中。在步骤S3中，如上相对于图2所述执行方位分配，以向参数u、v增加方位角α。其后，执行相邻区域的规格化步骤S4，如上相对于图2所述，以获得规格化的相邻区域像素强度i[]。在最后的步骤S5中，基于规格化的相邻区域像素强度i[]，对于相应的提取的特征创建以描述符向量d[]形式的特征描述符。存在下述手段：该手段可以在步骤S3向特征分配多个方位角，并且因此对于每一个方位执行步骤S4和S5，产生每一个分配的方位一个描述符。
如上所述的标准手段的一个主要限制是：虽然对于旋转的不变性在许多应用中清楚地是局部特征描述符的重要特性，然而，它可能在图像包含例如作为对称窗口的四个角或单独的圆靶(dartboard)部分的多个全等或近乎全等的特征时导致不匹配。
在示例中，如图1中所示，在后侧(未示出)具有相机的移动设备1捕获真实物体3，该真实物体3在本示例中是具有窗口4的建筑物。例如，移动设备1可以是在后侧具有用于捕获窗口4的图像的相机和光学镜头的移动电话。在移动设备1的显示器6上，如所示描述了窗口4。图像处理方法从所显示的图像提取特征，例如，可以被认为是窗口的显著特征的表示窗口的四角的特征F1至F4，并且对于特征F1至F4的每一个创建特征描述符。因为对于旋转的不变性，如在图1中的左列中示意地所示，理想的局部特征描述符以使得这些特征F1至F4不可区分的精确地相同的方式来描述这些特征F1至F4，如在左列中的规格化坐标系中描述的提取的特征F1至F4所示。
在具有相机噪声和图形失真的真实世界设置中，描述符将不会相同，但是非常类似并且因此实际上不可区分。因此，对于这样的场景，不匹配的概率很高，这可能导致依赖于这样的局部特征描述符的任何系统的完全失效。
存在下述多种手段：假定在直立方位上捕获所有的相机图像，并且因此不必处理方位。在此，可以容易地彼此区分在不同方位上的全等或近乎全等特征，但是可能的应用领域很有限，因为相机方位严重地被约束。
因此，提供针对图像的至少一个特征的描述符的方法是有益的，其中，以下述方式来提供描述符：可以降低由于在特征匹配处理中在静态物体或场景上的不同方位上全等或近乎全等的特征导致的不匹配的概率，而不限制捕获设备的方位或移动或不需要关于捕获设备的方位或移动的先验知识。
方法概述
在第一方面，提供了根据权利要求1的特征的一种用于提供针对图像的至少一个特征的描述符的方法。此外，在另一个方面，提供了根据权利要求12的用于匹配两个或更多图像的特征的方法。本发明也涉及根据权利要求16的包括用于实现这样的方法的软件代码部分的计算机程序产品。
具体地说，在第一方面，提供了一种用于提供针对图像的至少一个特征的描述符的方法，包括步骤：提供由捕获设备捕获的图像以及从图像提取至少一个特征；并且，向所述至少一个特征分配描述符，所述描述符取决于指示方位的至少一个参数，其中，根据由跟踪系统测量的所述捕获设备的绝对或相对方位确定所述至少一个参数。具体地说，在本发明的上下文中的所述跟踪系统确定物体特别是所述捕获设备的至少一个方位，优选地是关于普通坐标系的至少一个方位，如在下面的实施例中进一步描述的。在通过跟踪系统测量方位的情况下，不需要将所述捕获设备的所述方位和/或移动限制为特定位置或具有关于所述捕获设备的所述方位和/或移动的任何先验知识。
在本发明的一个方面，提出将特征描述符(特别是局部特征描述符)的所述方位与特定的给定普通坐标系对齐。取代根据在图像中的相邻区域像素的强度获得可再现的方位，关于单独像素的方位和/或捕获设备的方位的额外信息建立了对于特征的方位分配的基础。将局部特征描述符与全局方位对齐克服了由于不同方位的全等或几乎全等的特征因为在城市场景中和在人造物体上是常见的而引起的模糊，如在图1中的右面所示和在下面更详细地所述。在本发明的一个实施例中，跟踪系统包括附接到捕获设备的传感器，例如惯性传感器、加速度计、陀螺仪或指南针。
在另一个实施例中，所述跟踪系统包括：基于在所述捕获设备和固定参考点之间的物理连接的机械跟踪系统；产生和测量磁场的电磁跟踪系统；使用声波来工作的声音跟踪系统；以及/或者，使用从所述捕获设备发射和/或反射的光的光学跟踪系统；所述光学跟踪系统可以被集成到所述捕获设备内或者被实现为与所述捕获设备分离的外部系统。
在本发明的一个实施例中，所述普通坐标系是使用提供绝对值的跟踪系统(例如，附接到设备的指南针和/或惯性传感器)测量的世界坐标系。
在另一个实施例中，所述普通坐标系包括跟踪系统关于其提供变换的任何坐标系。例如使用陀螺仪测量的在方位上的相对改变可以被累积以计算在每一个时刻在普通坐标上的绝对方位，而不需要测量绝对方位的任何传感器。
在另一个实施例中，所述捕获设备包括范围数据捕获设备，特别是激光扫描器、飞行时间相机或立体相机，所述范围数据捕获设备提供具有相关联的深度和/或3D位置的图像像素。
在本发明的另一个方面，所述方法进一步包括步骤：关于普通坐标系中的方位规格化所述至少一个特征的相邻区域。具体地说，在规格化所述至少一个特征的所述相邻区域的步骤中，所述方位提供用于旋转所述图像的角度。可选地，在规格化所述至少一个特征的所述相邻区域的步骤中，所述方位用于将相邻区域像素或整个图像弯曲到一个或多个参考方位，以校正在特定特征相邻区域中的透视变形(perspective distortion)。
在本发明的另一个方面，一种用于匹配两个或更多图像的特征的方法包括步骤：提取第一图像的至少一个第一特征和第二图像的至少一个第二特征；提供针对所述第一特征的第一描述符和针对所述第二特征的第二描述符，其中，根据如上所述的方法的方面来提供所述第一和第二描述符中的至少一个；并且，在针对所述第一和第二特征的匹配处理中比较所述第一和第二描述符。在所述匹配处理中，然后可以基于相似性度量确定所述第一和第二特征是否彼此对应。
根据本发明的一个实施例，基于相邻区域像素的像素强度来计算所述至少一个特征的一个或多个方向并且关于所述普通坐标系来对其进行存储。在所述匹配阶段中，仅匹配关于所述普通坐标系具有类似方向的特征，以减少所需的比较的数量并且降低误匹配的比率。
根据本发明的实施例，可以在立体匹配(特别是在宽基线立体匹配)、相机跟踪、图像检索、物体识别、视觉搜索、姿态估计、视觉监督、场景重建、动作估计、全景缝合或图像恢复的处理中实现所述方法。
在本发明的另一个方面，提供了一种计算机程序产品，其适于加载到与用于捕获图像的至少一个捕获设备耦合的数字计算机系统的内部存储器内，并且包括软件代码部分，通过所述软件代码部分，当所述产品在所述计算机系统上运行时，根据在本文中描述的方法和实施例中的任何一种的步骤被执行。
通过从属权利要求，本发明的其他实施例和方面将变得显而易见。方法的详细描述
现在将参考下面的附图来更详细地描述本发明，在附图中，描述了根据各个示例性实施例的本发明的方面。
图1示出示例性场景，其中，通过在其后侧具有相机的移动设备来捕获图像，并且其中，从所述图像提取特征，并且根据标准手段(左)和根据本发明的一个实施例(右)来在规格化描述中示意地示出特征；
图2示出在两种不同的方位下的特征点的示例性描述中对于对旋转的不变性的标准手段、特征点的局部相邻区域像素的规格化和相应的描述符的构造；
图3以流程图示出用于构造特征描述符的标准手段；
图4以流程图示出用于构造特征描述符的根据本发明的方法的一个实施例；
图5以示意方式示出要匹配的描述具有相应提取特征的不同视点下的相同静态物体的示例性第一图像和第二图像。
具体实施方式
图1示出示例性场景，其中，通过在其后侧具有相机的移动设备来捕获图像，并且其中，从所述图像提取特征，并且根据标准手段(在左侧示出并且如上所述的)和根据本发明的一个实施例(在右侧示出)来在规格化描述中示意地示出特征。
根据本发明的所示实施例，在本示例中为具有窗口4的建筑物的真实物体3再次由后侧(未示出)具有相机的移动设备2捕获。例如，移动设备2可以是移动电话或数字相机，其具有用于图像处理的微处理器和相机，该相机具有用于捕获窗口4的图像的在后侧的光学镜头。然而，可以使用任何其他类型的设备。同样，可以以集成或分布的形式来使用具有包含用于图像处理的微处理器的处理设备和相机的任何其他类型的系统配置。
移动设备包括传感器5，诸如惯性传感器、加速度计、陀螺仪和/或指南针。同样地，该传感器与移动设备的相机相关联，因为相机也是移动设备的一部分。该传感器适合于测量移动设备2关于普通坐标系10的方位。可以以绝对方式或者通过随着时间累积相对方位数据来测量该方位。通常可获得的移动电话和数字相机经常配备了内置的数字加速度计和指南针，该内置的数字加速度计和指南针提供了用于指示设备的当前方位的测量值。这个信息与关于相机的固有参数的信息一起使得能够在相机图像的坐标系中进行世界坐标中的任何方位的变换，例如，重力或北方的变换。
在移动设备2的显示器7上，如所示出的描述了由移动设备2的相机捕获的窗口4。在移动设备2(或与移动设备2进行通信的外部设备)的微处理器中执行的图像处理方法从所捕获的图像提取特征，例如用于将窗口的四角表示为窗口的相当显著的特征的特征F11至F14，并且建立针对特征F11至F14的每一个的特征描述符，如下面更详细地描述的。所建立的局部特征描述符使用与使得特征F11至F14能够清楚地区分的左列(如上所述的标准手段)相比不同的方式来描述这些特征F11至F14，如在右列中的规格化坐标系中描述的所提取的特征F11至F14所示。具体地说，将特征方位与由传感器5的坐标系10定义的全局方位对齐导致四个良好地可区分的描述符，而不限制设备方位。可以匹配在不同的相机方位下获取的特征。
在图4中，示出用于构造特征描述符的根据本发明的方法的实施例的流程图。在步骤S11中，由诸如移动设备2的相机的捕获设备捕获图像，或者从存储介质加载图像。在步骤S12中，从图像提取特征点，以获得具有二维描述(参数u、v)的特征点。在步骤S13中，使用关于由跟踪系统提供的捕获设备的方位(参数x、y、z)的空间信息来对于提取的特征点计算特征方位。
例如，跟踪系统将捕获设备关于世界坐标系的方位提供为欧拉角，并且特征描述符应该与重力对齐。用于获得所有特征的方位的非常简单的方法是首先使用欧拉角将重力变换为附加到捕获设备的坐标系，然后将其投影到图像平面上。由此，计算在图像中的重力的方向并且将其用于图像中的所有特征。这种技术假定正交投影，通常不是这种情况。包含相机的固有参数放松这种假设，但是基于2D图像的所有技术仍然假定在图像中可视的全部内容位于平面上，并且因此是近似。
在步骤S14中，执行方位对齐以基于在步骤S13中确定的特征方位角α向参数u、v加上方位角α。其后，执行相邻区域规格化步骤S15以获得规格化的相邻区域像素强度i[]。在最后步骤S16中，根据指示所提取的特征的方位(特别是源自在步骤S14中的方位分配)的参数来对于相应的所提取的特征建立具有描述符向量d[]形式的特征描述符。
根据本发明的另一个实施例，范围接收捕获设备可以用作捕获设备，其中，使用诸如激光扫描器、飞行时间相机或立体相机的任何种类的范围数据捕获设备所获取的图像的像素可以具有相关联的3D坐标。在该情况下，可以从特征点的相邻区域像素的3D位置计算特定特征点在普通坐标系中的任何方位。
假设在像素P的特征，对于所有的相邻区域像素Ni(其中，i是相邻区域像素的索引)，计算源自P并且指向Ni的3D向量。确定相对于期望的方位向量的两个最近的相邻区域，并且将其用于在图像空间中插入期望的方位。
而且，至少两个像素的3D位置的知识允许在相邻区域规格化步骤中计算对于平面内旋转的旋转角。如果已知三个或更多像素的3D世界坐标，则可以计算三维变换，以在规格化步骤中将局部相邻区域或整个图像弯曲到一个或多个参考方位。
可以使用所提出的技术来匹配从具有来自不同的跟踪系统的不同种类的相关联的空间信息的图像提取的描述符。
图1以上面描述和示出的窗户的四个角为示例，示意地将标准手段的结果与根据本发明确定的全局对齐的局部特征描述符作比较。虽然标准手段(在左面的特征F1-F4)产生四个相同的描述符，但是根据本发明的全局对齐产生清楚地不同的特征描述符(在右面的特征F11-F14)。
因此，根据本发明的方面，当从具有关于捕获设备相对于普通坐标系的方位的相关联的信息的图像提取局部特征描述符时，提出基于这个信息来分配特征的方位。具体地说，通过普通坐标系来对齐针对特征的方位并将其投影到图像坐标系。这使得能在具有不同方位的全等或近乎全等特征的描述符之间的更高的区别性，同时允许相机的自由移动和旋转。通过考虑测量的方位，根据本发明的方法可以被容易地插入依赖于规格化的局部相邻区域的任何现有的局部特征描述符，如图4中所示。
任选地，所测量的设备方位不仅在它在相邻区域规格化步骤中提供用于将相机图像旋转的单个角度方面影响特征方位分配，而且另外用于将整个或部分图像弯曲到一个或多个参考方位以校正在特定特征相邻区域中的透视变形。
例如，可以在立体匹配(特别是宽基线立体匹配)、相机跟踪、图像检索、图像分类、物体分类或物体识别的处理中实现如上所述的方法。
立体匹配的目标是在被提供有从不同视点获取的场景或物体的两个图像的情况下，重建它的3D几何形状。这是通过在描述相同的3D点的两个图像中找到对应的像素并且通过三角测量的方式计算它们的深度来进行的。
相机跟踪描述了在给定一个或多个相机图像的情况下计算相机的姿态(位置和方位)的过程。或者相对于具有已知3D位置的参考特征匹配相机图像中的特征来计算绝对姿态或相对于来自前一个帧的特征匹配相机图像中的特征来计算在位置和方位上的相对改变。
图像或物体的分类向n个可能类别中的一个分配给定图像或物体的三维描述。一个示例是分辨给定的图像是描述了苹果还是梨的方法，即使在查询图像中的特定水果还没有用于培训或被用作参考图像。而在针对给定查询的图像检索或物体识别中，搜索精确地匹配的参考图像或物体。
所有这些技术依赖于两个或更多图像的特征的匹配。
图5A和5B以示意方式示出要匹配的描述具有相应提取特征的相同物体的示例性第一图像和第二图像。例如，已经在诸如不同的视角、光条件等的不同的条件或环境下捕获了图像。
在第一图像IM1中，如图5A中所示的真实静态物体RO1被相机(未示出)捕获。在图像IM1中，提取真实物体RO1的特征，诸如在图5A中由特征F51所示。在下面的步骤中，可以根据本发明的方法对于每一个提取的特征F51计算描述符。然后将这些特征F51与在第二图像IM2中提取的特征F52进行匹配。第二图像IM2描述与在不同的视点下的真实物体RO1对应的真实物体RO2，其中，对于特征F52，也确定相应的描述符。具体地说，如果特征F51和F52的描述符在特定的相似性度量上相对接近，则它们是相匹配的。例如，如果每一个描述符被写为数字的向量，则当比较两个描述符时，可以使用在两个对应的向量之间的欧几里得距离来作为相似性度量。
在图5中示出三个匹配，通过使用虚线连接它们来进行说明。匹配M51是正确的匹配，因为在此匹配的两个特征对应于同一物理实体，而匹配M52和M53是错误的，因为它们匹配与不同的物理实体对应的特征。在匹配M52中，两个特征在不同的方位中具有类似(近乎全等)的相邻区域。虽然在使用标准手段时这种不匹配是常见，但是本发明旨在避免它们。在M53中匹配的两个特征在类似的方位上具有类似的相邻区域，并且因此可以导致在标准手段和本发明的实施例两者中的不匹配。
基于相邻区域像素的像素强度来计算特征的方位的常见方法具有高度的可重复性，因此是特征的可靠特性。当如本发明所建议的将特征与普通坐标系对齐时，这个特征可以用于向描述符增加额外的区别性，并且提高匹配性能。当提取特征时，任选地计算基于图像强度的一个或多个方向，并且将其关于对于每一个特征的普通坐标系进行存储。在匹配阶段，通过仅比较关于普通坐标系具有类似方向的特征，可以减少所需的比较的数量。
本详细说明已经阐述了本发明的一些实施例。应当明白，可能的实现方式的以上描述意图是说明性的而不是限制性的。此外，在本公开中，术语“第一”、“第二”等仅用作标签，并且不意图对它们的对象施加数值要求。在权利要求的范围内的其他实施例和修改对于结合附图研究了上面的说明书的本领域内的技术人员是显而易见的。

Claims (16)

1.一种用于提供针对图像的至少一个特征的描述符的方法，包括步骤：
-提供由捕获设备捕获的图像，并且从所述图像提取至少一个特征，
-向所述至少一个特征分配描述符，所述描述符取决于指示方位的至少一个参数，
-其中，从至少一个跟踪系统确定所述至少一个参数。
2.根据权利要求1所述的方法，其中，从关于普通坐标系的所述捕获设备的方位确定所述至少一个参数。
3.根据权利要求1和2中的一项所述的方法，其中，所述跟踪系统包括与所述捕获设备相关联的传感器，特别是惯性传感器或加速度计或陀螺仪或指南针。
4.根据权利要求1至3中的一项所述的方法，其中，所述跟踪系统包括机械和/或电磁和/或声音和/或光学跟踪系统。
5.根据权利要求1至4中的一项所述的方法，其中，所述捕获设备包括范围数据捕获设备，特别是激光扫描器、飞行时间相机或立体相机，所述范围数据捕获设备提供具有相关联的深度和/或3D位置的图像像素。
6.根据权利要求1至5中的一项所述的方法，其中，与关于用于在所述图像的坐标系中的变换的所述捕获设备的固有参数的信息一起确定所述至少一个参数。
7.根据权利要求1至6中的一项所述的方法，其中，从所述图像的像素的3D位置确定针对所述至少一个提取的特征的所述至少一个参数。
8.根据权利要求1至7中的一项所述的方法，进一步包括步骤：规格化关于所述方位的所述至少一个特征的相邻区域。
9.根据权利要求8所述的方法，其中，在规格化所述至少一个特征的相邻区域的所述步骤中，所述方位提供用于旋转所述图像的角度。
10.根据权利要求8或9所述的方法，其中，在规格化所述至少一个特征的所述步骤中，所述方位用于将整个图像或其的部分弯曲到一个或多个参考方位，以校正在特定特征相邻区域中的透视变形。
11.根据权利要求1至10中的一项所述的方法，其中，基于像素强度来计算关于在普通坐标系中的所述方位的所述特征的一个或多个方向，并且将其存储为所述描述符的一部分。
12.一种用于匹配两个或更多图像的特征的方法，包括：
-提取第一图像的至少一个第一特征和第二图像的至少一个第二特征，
-提供用于所述第一特征的第一描述符和用于所述第二特征的第二描述符，其中，根据前述权利要求中的一项所述的方法来提供所述第一描述符和第二描述符中的至少一个，
-在用于所述第一特征和第二特征的匹配处理中比较所述第一描述符和第二描述符。
13.根据权利要求12所述的方法，其中，在所述匹配处理中，基于相似性度量确定所述第一特征和第二特征是否彼此对应。
14.根据权利要求13所述的方法，其中，所述相似性度量包括多级方法，所述多级方法连续地计算不同的度量以尽可能早地拒绝错误的匹配。
15.根据权利要求1至14中的一项所述的方法，其中，在特别是在宽基线立体匹配的立体匹配、相机跟踪、图像检索、物体识别、视觉搜索、姿态估计、视觉监督、场景重建、动作估计、全景缝合或图像恢复的处理中实现所述方法。
16.一种计算机程序产品，其适于加载到与用于捕获图像的至少一个捕获设备耦合的数字计算机系统的内部存储器或用于从其加载图像的存储介质内，并且包括软件代码部分，通过所述软件代码部分，当所述产品在所述计算机系统上运行时，根据权利要求1至15的任何一项所述的步骤被执行。
CN201080046762.5A 2009-10-19 2010-05-28 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法 Active CN102612704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009049849.4A DE102009049849B4 (de) 2009-10-19 2009-10-19 Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
DE102009049849.4 2009-10-19
PCT/EP2010/057461 WO2011047888A1 (en) 2009-10-19 2010-05-28 Method of providing a descriptor for at least one feature of an image and method of matching features

Publications (2)

Publication Number Publication Date
CN102612704A true CN102612704A (zh) 2012-07-25
CN102612704B CN102612704B (zh) 2017-03-22

Family

ID=42667910

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201080046762.5A Active CN102612704B (zh) 2009-10-19 2010-05-28 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
CN201610898928.5A Pending CN106650723A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法
CN2010800574754A Pending CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201610898928.5A Pending CN106650723A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法
CN2010800574754A Pending CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Country Status (6)

Country Link
US (7) US8942418B2 (zh)
EP (4) EP3547256B1 (zh)
JP (4) JP2013508794A (zh)
CN (3) CN102612704B (zh)
DE (1) DE102009049849B4 (zh)
WO (2) WO2011047888A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598509A (zh) * 2013-09-24 2015-05-06 彩滋公司 可定制产品的自动成像
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
WO2016050290A1 (en) 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
CN105938614A (zh) * 2015-03-02 2016-09-14 精工爱普生株式会社 图像处理装置及显示装置
CN106469448A (zh) * 2015-06-26 2017-03-01 康耐视公司 利用3d视觉进行自动化工业检查
CN107145525A (zh) * 2017-04-14 2017-09-08 北京小度信息科技有限公司 用于确认搜索场景的数据处理方法、搜索方法及相应装置
CN107967710A (zh) * 2016-10-20 2018-04-27 株式会社理光 一种三维物体描述方法及装置
CN113240732A (zh) * 2014-05-29 2021-08-10 株式会社高迎科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
CN113240732B (zh) * 2014-05-29 2024-04-19 株式会社高迎科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
WO2011106520A1 (en) 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
WO2012061549A2 (en) * 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8977629B2 (en) * 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9400941B2 (en) 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
TWI489859B (zh) * 2011-11-01 2015-06-21 Inst Information Industry 影像形變方法及其電腦程式產品
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US10579904B2 (en) * 2012-04-24 2020-03-03 Stmicroelectronics S.R.L. Keypoint unwarping for machine vision applications
CN102694963B (zh) * 2012-04-27 2014-09-17 南京航空航天大学 一种获取无阴影目标图像的方法
JP5727969B2 (ja) * 2012-06-15 2015-06-03 株式会社東芝 位置推定装置、方法、及びプログラム
CN103673990B (zh) * 2012-09-13 2016-04-06 北京同步科技有限公司 获取摄像机姿态数据的装置及其方法
CN103674011B (zh) * 2012-09-19 2017-07-25 联想(北京)有限公司 即时定位与地图构建设备、系统与方法
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
CN102928201B (zh) * 2012-10-24 2014-12-17 北京控制工程研究所 一种动态的月面成像敏感器的目标模拟系统
US20140140573A1 (en) * 2012-11-21 2014-05-22 Gravity Jack, Inc. Pose Tracking through Analysis of an Image Pyramid
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
EP2763077B1 (en) * 2013-01-30 2023-11-15 Nokia Technologies Oy Method and apparatus for sensor aided extraction of spatio-temporal features
US9058683B2 (en) 2013-02-21 2015-06-16 Qualcomm Incorporated Automatic image rectification for visual search
US9426451B2 (en) 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
US9495389B2 (en) 2013-03-15 2016-11-15 Qualcomm Incorporated Client-server based dynamic search
CN105408937B (zh) * 2013-05-02 2018-02-13 高通股份有限公司 用于便于计算机视觉应用程序初始化的方法
DE102013009288B4 (de) * 2013-06-04 2016-02-04 Testo Ag 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung
CN103327246B (zh) * 2013-06-07 2016-08-24 腾讯科技（深圳）有限公司 一种多媒体拍摄处理方法、装置及智能终端
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2015012659A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Two way local feature matching to improve visual search accuracy
US8860818B1 (en) 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
DE102013016247A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US10240930B2 (en) 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
KR101947619B1 (ko) * 2013-12-19 2019-02-14 애플 인크. 모바일 디바이스에서의 slam
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9400939B2 (en) 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9280832B2 (en) * 2014-05-08 2016-03-08 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
US9761008B2 (en) 2014-05-08 2017-09-12 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
DE102014008152A1 (de) 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
CN111598974B (zh) * 2014-06-03 2023-12-22 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2016019390A1 (en) * 2014-08-01 2016-02-04 Locuslabs Ip Image-based object location system and process
WO2016033796A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
CN110174903B (zh) 2014-09-05 2023-05-09 深圳市大疆创新科技有限公司 用于在环境内控制可移动物体的系统和方法
CN105980950B (zh) 2014-09-05 2019-05-28 深圳市大疆创新科技有限公司 无人飞行器的速度控制
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
EP3221845A1 (en) 2014-11-21 2017-09-27 Metaio GmbH Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US20180176483A1 (en) 2014-12-29 2018-06-21 Metaio Gmbh Method and sytem for generating at least one image of a real environment
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10142596B2 (en) 2015-02-27 2018-11-27 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus of secured interactive remote maintenance assist
US10168785B2 (en) * 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
DE102016109628A1 (de) * 2016-05-25 2017-11-30 Deutsche Telekom Ag Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10788888B2 (en) * 2016-06-07 2020-09-29 Koninklijke Kpn N.V. Capturing and rendering information involving a virtual environment
CN106210450B (zh) * 2016-07-20 2019-01-11 罗轶 一种多通道多视角大数据视频剪辑方法
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US11210854B2 (en) * 2016-12-30 2021-12-28 Facebook, Inc. Systems and methods for providing augmented reality personalized content
JP6760114B2 (ja) 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
CN106996777B (zh) * 2017-04-21 2019-02-12 合肥井松自动化科技有限公司 一种基于地面图像纹理的视觉导航方法
US9965960B1 (en) * 2017-08-07 2018-05-08 Lyft, Inc. Facilitating transportation services by generating a directional indicator between a requester and a transportation vehicle
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
WO2019089704A1 (en) 2017-10-31 2019-05-09 Outward, Inc. Blended physical and virtual realities
DE102017222534B3 (de) 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft Verfahren, computerlesbares Speichermedium mit Instruktionen, Vorrichtung und System zum Einmessen einer Augmented-Reality-Brille in einem Fahrzeug, für das Verfahren geeignetes Fahrzeug und für das Verfahren geeignete Augmented-Reality-Brille
JP7149707B2 (ja) * 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム
US10508913B2 (en) * 2018-02-08 2019-12-17 Raytheon Company Environment recording system using virtual or augmented reality
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
US10943401B2 (en) 2019-02-01 2021-03-09 International Business Machines Corporation Active visual recognition in mobile augmented reality
US11727321B2 (en) 2019-05-22 2023-08-15 InterDigital VC Holdings Inc. Method for rendering of augmented reality content in combination with external display
CN110175579A (zh) * 2019-05-29 2019-08-27 北京百度网讯科技有限公司 姿态确定方法、场景图像的展示方法、装置、设备及介质
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US10828576B1 (en) 2019-07-29 2020-11-10 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
GB2586831A (en) * 2019-09-05 2021-03-10 Wolf In Motion Ltd Three-Dimensional Content Generation using real-time video compositing
US11023730B1 (en) 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
DE102020112300A1 (de) 2020-05-06 2021-11-11 Audi Aktiengesellschaft 6 Degree of Freedom (6DOF) Tracking von mobilen Head Mounted Displays (HMD)
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
CN111583420B (zh) * 2020-05-27 2021-11-12 上海松鼠课堂人工智能科技有限公司 基于增强现实模式的智能学习系统和方法
US11688142B2 (en) 2020-11-23 2023-06-27 International Business Machines Corporation Automatic multi-dimensional model generation and tracking in an augmented reality environment
DE102021205834A1 (de) * 2021-06-09 2022-12-15 Continental Automotive Technologies GmbH Cloudgestütztes 3D Rendering für ein Egofahrzeug
CN115493512B (zh) * 2022-08-10 2023-06-13 思看科技(杭州)股份有限公司 数据处理方法、三维扫描系统、电子装置和存储介质
CN117102856B (zh) * 2023-10-23 2024-02-13 浙江大学 一种大型舱体双平台五自由度位姿识别与调整方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700307A (en) * 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
US20040090444A1 (en) * 2001-03-06 2004-05-13 Canon Kabushiki Kaisha Image processing device and method therefor and program codes, storing medium
CN1847789A (zh) * 2005-04-06 2006-10-18 佳能株式会社 测量位置及姿态的方法和装置
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101109818A (zh) * 2006-07-20 2008-01-23 中国科学院自动化研究所 遥感影像高精度控制点自动选择方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP3244850B2 (ja) * 1993-03-22 2002-01-07 三菱重工業株式会社 ナンバープレート読み取り装置
US6903752B2 (en) 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
DE10145608B4 (de) 2001-09-15 2006-01-26 Eads Deutschland Gmbh Modellbasierte Objektklassifikation und Zielerkennung
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP4743818B2 (ja) * 2003-04-04 2011-08-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US7706601B2 (en) * 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
JP2005141655A (ja) * 2003-11-10 2005-06-02 Olympus Corp ３次元モデリング装置及び３次元モデリング方法
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
DE50308363D1 (de) 2003-12-16 2007-11-22 Siemens Ag Verfahren und Gerät zur Identifikation eines Objektes in einem Kamerabild
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7129887B2 (en) 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
JP2005326275A (ja) * 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060120568A1 (en) * 2004-12-06 2006-06-08 Mcconville Patrick J System and method for tracking individuals
JP4613617B2 (ja) 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
DE202006020299U1 (de) * 2006-05-16 2008-04-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. 3D-Vermessungsanordnung
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
CN100456300C (zh) 2006-10-27 2009-01-28 北京航空航天大学 基于二维草图的三维模型检索方法
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US9070207B2 (en) 2007-09-06 2015-06-30 Yeda Research & Development Co., Ltd. Modelization of objects in images
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2201495B1 (en) * 2007-10-12 2013-03-27 MVTec Software GmbH Computer vision cad models
US20090185746A1 (en) * 2008-01-22 2009-07-23 The University Of Western Australia Image recognition
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
CN101285686B (zh) 2008-05-29 2010-11-10 中国农业大学 一种农业机械导航分级定位的方法和系统
US8144947B2 (en) * 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US9594956B2 (en) * 2010-05-10 2017-03-14 Park Assist Llc. Method and system for managing a parking lot based on intelligent imaging
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9400941B2 (en) 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
EP2761535A1 (en) 2011-08-31 2014-08-06 metaio GmbH Method of detecting and describing features from an intensity image
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
US10477356B2 (en) 2012-07-31 2019-11-12 Ariel-University Research And Development Company Ltd. Navigation method and device
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9140555B1 (en) 2014-03-14 2015-09-22 Google Inc. Navigation using sensor fusion
US10395116B2 (en) 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700307A (en) * 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
US20040090444A1 (en) * 2001-03-06 2004-05-13 Canon Kabushiki Kaisha Image processing device and method therefor and program codes, storing medium
CN1847789A (zh) * 2005-04-06 2006-10-18 佳能株式会社 测量位置及姿态的方法和装置
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101109818A (zh) * 2006-07-20 2008-01-23 中国科学院自动化研究所 遥感影像高精度控制点自动选择方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "Distinctive Image Features from Scale-Invariant Keypoints", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, vol. 60, no. 2, 31 December 2004 (2004-12-31), pages 7, XP002377338 *
KIYOHIDE SATOH ET AL: "A hybrid registration method for outdoor augmented reality", 《IEEE AND ACM INTERNATIONAL SYMPOSIUM ON AUGMENTED REALITY, 2001. PROCEEDINGS》, 30 October 2001 (2001-10-30), pages 67 - 76, XP010568049, DOI: doi:10.1109/ISAR.2001.970516 *
TOLA ET AL: "A fast local descriptor for dense matching", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2008》, 28 June 2008 (2008-06-28), pages 1, XP031297231 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598509A (zh) * 2013-09-24 2015-05-06 彩滋公司 可定制产品的自动成像
CN104598509B (zh) * 2013-09-24 2018-02-09 彩滋公司 可定制产品的自动成像
CN113240732B (zh) * 2014-05-29 2024-04-19 株式会社高迎科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
CN113240732A (zh) * 2014-05-29 2021-08-10 株式会社高迎科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
WO2016050290A1 (en) 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
US11727661B2 (en) 2014-10-01 2023-08-15 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
CN105938614A (zh) * 2015-03-02 2016-09-14 精工爱普生株式会社 图像处理装置及显示装置
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
CN106469448B (zh) * 2015-06-26 2021-07-30 康耐视公司 利用3d视觉进行自动化工业检查
CN106469448A (zh) * 2015-06-26 2017-03-01 康耐视公司 利用3d视觉进行自动化工业检查
CN107967710A (zh) * 2016-10-20 2018-04-27 株式会社理光 一种三维物体描述方法及装置
CN107967710B (zh) * 2016-10-20 2021-05-25 株式会社理光 一种三维物体描述方法及装置
CN107145525A (zh) * 2017-04-14 2017-09-08 北京小度信息科技有限公司 用于确认搜索场景的数据处理方法、搜索方法及相应装置

Also Published As

Publication number Publication date
JP5980295B2 (ja) 2016-08-31
US9218665B2 (en) 2015-12-22
JP2014241155A (ja) 2014-12-25
US10229511B2 (en) 2019-03-12
EP3550516B1 (de) 2022-11-23
US20120219188A1 (en) 2012-08-30
EP3547256A1 (en) 2019-10-02
CN102667855A (zh) 2012-09-12
JP5905540B2 (ja) 2016-04-20
JP2013508795A (ja) 2013-03-07
US20120237085A1 (en) 2012-09-20
US20150092987A1 (en) 2015-04-02
US10062169B2 (en) 2018-08-28
CN106650723A (zh) 2017-05-10
US20180357786A1 (en) 2018-12-13
JP2013508794A (ja) 2013-03-07
EP3547256B1 (en) 2021-05-19
DE102009049849B4 (de) 2020-09-24
US20140321708A1 (en) 2014-10-30
DE102009049849A1 (de) 2011-04-21
EP2491529A1 (en) 2012-08-29
CN102612704B (zh) 2017-03-22
JP2015084229A (ja) 2015-04-30
US10580162B2 (en) 2020-03-03
EP2491530A1 (de) 2012-08-29
EP2491530B1 (de) 2019-06-26
US20160189384A1 (en) 2016-06-30
WO2011047924A1 (de) 2011-04-28
WO2011047888A1 (en) 2011-04-28
US20190172220A1 (en) 2019-06-06
EP2491529B1 (en) 2019-06-26
US8942418B2 (en) 2015-01-27
US8837779B2 (en) 2014-09-16
US10650546B2 (en) 2020-05-12
EP3550516A1 (de) 2019-10-09

Similar Documents

Publication Publication Date Title
US10650546B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
Chen et al. City-scale landmark identification on mobile devices
Bao et al. Semantic structure from motion
Drost et al. 3d object detection and localization using multimodal point pair features
Gao et al. Robust RGB-D simultaneous localization and mapping using planar point features
Rothganger et al. Segmenting, modeling, and matching video clips containing multiple moving objects
do Nascimento et al. On the development of a robust, fast and lightweight keypoint descriptor
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
Ekekrantz et al. Adaptive iterative closest keypoint
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
Thormählen et al. Robust linear auto-calibration of a moving camera from image sequences
Zahra et al. Improved descriptor for dynamic line matching in omnidirectional images
Onyango Multi-resolution automated image registration
Sun et al. Joint detection and tracking of independently moving objects in stereo sequences using scale-invariant feature transform features and particle filter
Lin et al. 3D keypoints detection from a 3D point cloud for real-time camera tracking
dos Santos Fernandes et al. Visual and inertial data fusion for Globally consistent point cloud registration
Katai-Urban et al. Stereo Reconstruction of Atmospheric Cloud Surfaces from Fish-Eye Camera Images
Li et al. Affine-invariant regions and geometric relationship constrained matching for low-altitude images of urban area
Sagüés et al. Robust line matching in image pairs of scenes with dominant planes
Lucier Automatic UAV image registration using feature detection and matching with satellite imagery
Filax et al. VIOL: Viewpoint Invariant Object Localizator
de Campos Real Time Stereo Cameras System Calibration Tool and Attitude and Pose Computation with Low Cost Cameras
Janszen et al. Master Thesis Improving robustness of pose estimation in AR using motion segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180420

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right