CN106650723A - 用于确定相机姿态以及用于识别真实环境的对象的方法 - Google Patents

用于确定相机姿态以及用于识别真实环境的对象的方法 Download PDF

Info

Publication number
CN106650723A
CN106650723A CN201610898928.5A CN201610898928A CN106650723A CN 106650723 A CN106650723 A CN 106650723A CN 201610898928 A CN201610898928 A CN 201610898928A CN 106650723 A CN106650723 A CN 106650723A
Authority
CN
China
Prior art keywords
camera
parameter
parameter values
sensing data
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610898928.5A
Other languages
English (en)
Inventor
P·迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN106650723A publication Critical patent/CN106650723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

本公开涉及用于确定相机姿态以及用于识别真实环境的对象的方法。用于确定相机相对于真实环境的姿态的方法包括以下步骤：通过相机记录真实环境的至少一个图像，其中所述图像包含真实对象的至少一个部分：执行追踪方法，该追踪方法在真实对象包含在所述真实环境的所述图像中时，评价关于与真实对象相关联的特征和所述真实对象的相应特性之间的对应关系，以便得出关于相机的姿态的结论；确定环境状况的至少一个参数；以及根据所述至少一个参数来执行所述追踪方法。该方法还可类似地应用于用于在由相机拍摄的图像中识别真实环境的对象的方法。

Description

用于确定相机姿态以及用于识别真实环境的对象的方法
本申请是申请号为201080057475.4、申请日为2010年9月16日、发明名称为“用于确定相机姿态以及用于识别真实环境的对象的方法”的发明专利申请的分案申请。
技术领域
本发明涉及用于确定相机相对于真实环境的姿态的方法，以及涉及用于在由相机拍摄的图像中识别真实环境的对象的方法。而且，本发明涉及用于提供数据模型的方法，该数据模型意图用于在用于确定相机相对于真实环境的真实目标的姿态的方法中或在用于识别真实环境的对象的方法中，与由相机拍摄的图像数据进行比较。
背景技术
增强现实(AR)是以现实覆盖虚拟数据并且由此便于数据与现实相关联的技术。在现有技术中已知有例如移动AR系统的应用。在过去的几年中，已证实高性能移动设备(例如，所谓的智能手机)适于AR应用。同时，这些设备具有相当大的彩色显示器、内置相机、良好的处理器以及诸如方位传感器和GPS的附加传感器。此外，经由无线电通信网络，可以估计设备的位置。在过去，存在各种在移动设备上利用AR实施的方案。首先，存在使用特定的光学标记，以确定设备的位置和方位。最近，还存在利用更加现代化设备的方位传感器系统和GPS的方法([1,4,10,15])。
[1]AR Wikitude.http://www.mobilizy.com/wikitude.php。
[4]在1997年关于可佩戴式计算机的第一国际研讨会的论文集中第74-81页由S.Feiner、B.MacIntyre、T.Hollerer和A.Webster的A touring machine：Prototyping 3dmobile augmented reality systems for exploring the urban environment。
[10]Sekai Camera.http://www.tonchidot.com/product-info.html。
[14]2008年第七届关于混合和增强现实的IEEE/ACM国际研讨会，2008年IEEE/ACM国际研讨会第187页-188页由Marko Heinrich,Bruce H.Thomas,Stefan Mueller的“ARWeather”，混合和增强现实。
[15]layar.com
出版商Springer柏林/海德尔于2006年4月在杂志《Machine Vision andApplications》出版的第17卷，第1号，第8页-第20页，书号为ISSN0932-8092(印刷)1432-1769(在线)。
然而，在这方面应该注意的是由于不安全的传感器数据，配准(registration)，即覆盖，的精度值得改进。对此的方法是使用混合追踪，该混合追踪通过光学方法，例如根据GPS、罗盘以及重力传感器的组合来改善相机的初始姿态。常常使用图像数据的所谓“直方图均衡化”，以便减少对于变化的光线条件的易感性。
在现有技术中，已知用于确定相机相对于真实环境的姿态的光学追踪系统的初始化和在由相机拍摄的图像中真实对象的对象识别。然而，系统的可靠性有时会随着变化的环境条件而发生极大的改变。在这方面相机姿态是空间中的相机的位置和方位。可以将现实提供为任意形式的数据模型，例如作为描述现实或部分现实的几何特性的3D模型。
公开文献US2003/0025714描述了通过增强现实来可视化气象数据的系统。公开文献US2005/0231419A1描述了通过气象独立传感器来监视空域，并通过AR显示空域信息的AR系统。
发明内容
本发明的目的在于在用于确定相机相对于真实环境的姿态的方法中以及用于在由相机拍摄的图像中识别真实环境的对象的方法中，提高对于变化的环境条件的鲁棒性。
根据第一方面，本发明涉及一种用于确定相机相对于真实环境的姿态的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；确定环境状况的至少一个第一参数；执行追踪方法，所述追踪方法在所述真实对象包含在所述真实环境的所述图像中时，评价关于所述真实对象相关联的特征和所述真实对象的相应特征之间的对应关系的信息，以获得关于所述相机的所述姿态的结论；根据所述至少一个第一参数来执行所述追踪方法；其中，在数据模型中识别并检索来自所述图像的特征，用于提供所述对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一第二参数向量或每特征一第二参数向量，其中所述第二参数向量的至少部分是至少一环境状况；以及从若干数据模型中，选择具有所述环境状况的所述至少一个第一参数和所述至少一环境状况的所述第二参数向量的至少部分之间的最小距离的数据模型。
根据本发明的另一方面，本发明涉及一种用于在由相机拍摄的图像中识别真实环境的对象的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；-执行图像识别方法，所述图像识别方法提供关于所述图像中的所述至少一个真实对象的识别的信息；确定环境状况的至少一个第一参数；根据所述至少一个第一参数执行所述图像识别方法，其中，在数据模型中识别并检索来自所述图像的特征，用于提供对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一第二参数向量或每特征一第二参数向量，其中所述第二参数向量的至少部分是至少一环境状况；以及从若干数据模型中，选择具有所述环境状况的所述至少一个第一参数和所述至少一环境状况的所述第二参数向量的至少部分之间的最小距离的数据模型。
具体来说，可以以这一方式识别当前环境状况，并且动态地配置该系统。通过匹配配置的方式，提高了相对于变化的环境条件的鲁棒性。
根据本发明的实施例，所述环境状况的至少一个参数的确定使用以下信息项目中的至少一个或多个：某日的时间；某年的时间；天气，尤其是雨、云、太阳(太阳辐射)以及雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，特别是强烈运动；交通状况；位置；世界坐标系中的方位；图像直方图；温度；维护步骤。环境状况的至少一个参数尤其可以对于这些条件或状况中的一个或多个是特有的。
如在上文中以示例性方式指出地，各种环境条件对于前述的用于对象识别和姿态确定的方法，常常具有很大的影响。在识别这些条件后，从而能够做出反应。例如，一个反应可以是针对太阳的大多数位置，准备环境的数据模型，并且对于雨天和晴天也如此做。当期望在特定的位置执行识别或初始化时，可以例如通过某天/某年的时间以及在线天气信息的查询的方式，加载和利用合适的数据模型(其中太阳辐射的向量与所计算的太阳辐射的向量之间的角度尽可能小)。通常而言，由此存在描述至少部分环境条件的一个或多个测量、仿真或确定的参数。可以分别从配置用于对象识别和姿态确定的识别或初始化系统的一个或多个参数中确定或导出。
在本发明的实施例中，追踪方法使用至少一个根据至少一个参数进行初始化的光学追踪方法。
例如，通过具有一个、两个、三个、四个、五个或六个自由度的追踪方法，来确定相机的姿态。
在本发明的实施例中，追踪方法可以使用传感器类型不同的数个追踪传感器。例如，追踪方法包括根据至少一个参数对至少一个追踪传感器进行加权。
在本发明的实施例中，追踪方法也可以包括根据至少一个参数进行方法部分步骤的优先化(prioritization)。然而，在使用与由相机拍摄的图像的数据进行比较的数据模型的方法中，作为替换或与之组合，也可以考虑当前环境状况的至少一个参数来选择数据模型。在另一实施例中，使用至少一个数据模型与真实环境的图像中的真实对象的图像数据进行比较，其中所述至少一个参数对于数据模型的准备和/或使用具有影响。
例如，至少一个参数对于数据模型的种类，尤其是所谓特征探测器和描述符的准备具有影响。在另一实施例中，从记录有至少一个参数(环境状况)或由仿真准备的多个单独模型中提取数据模型，该数据模型包含在数个环境状况中出现的信息项目的交集。
本发明还涉及一种用于提供数据模型的方法，所述数据模型意图用于在用于确定相机相对于真实环境的真实对象的姿态的方法中或用于识别真实环境的真实对象的方法中，与由相机拍摄的图像的数据进行比较，其中：确定环境状况的至少一个第一参数；查明或仿真不同的环境状况，并且确定一相应环境状况的至少一个参数；准备中性数据模型，所述中性数据模型包含所述真实对象的基本描述，设定或仿真各种环境状况，并且对于所述不同的环境状况，根据相应的至少一个第二参数来提供相应适合的数据模型；在所述数据模型内存储每数据模型一参数向量或每特征一参数向量，其描述所述数据模型或所述特征可以分别与哪些环境状况一起合理地使用，并且在所述数据模型内存储每特征一描述符，其中所述参数向量的至少部分与至少一环境状况相关，以及从若干采用的数据模型中，选择具有所述至少一个第一参数和所述相应的至少一个第二参数之间的最小距离的数据模型。
根据实施例，基本描述是环境的虚拟3D模型。
根据另一实施例，所准备的数据模型包括在数个不同环境状况中出现的信息项目的交集。
例如，当将虚拟信息混合在真实环境的景观中时，可以考虑例如经由因特网(“在线”)检索天气数据，以便相对于真实环境增加混合在虚拟信息中的真实度，并且从而提高关联性。存在在此可构想用于处理的各种的复杂度。例如，基于天气状况，可以分配与天气状况匹配的固定的照明模式或素材(例如纹理)。根据天气数据(诸如云、太阳辐射等)和/或其它数据(诸如，某日/某年的时间等)，可以计算光线条件或投射的阴影(例如，通过本领域技术人员已知的光线追踪方法)。
本发明还涉及一种用于确定相机相对于真实环境的姿态的方法，所述方法包括以下步骤：-通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；确定环境状况的至少一个参数；执行追踪方法，所述追踪方法在所述真实对象包含在所述真实环境的所述图像中时，评价关于所述真实对象相关联的特征和所述真实对象的相应特征之间的对应关系的信息，以获得关于所述相机的所述姿态的结论；根据所述至少一个参数来执行所述追踪方法；其中，在数据模型中识别并检索来自所述图像的特征，用于提供所述对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一参数向量或每特征一参数向量，其中所述参数向量的至少部分与至少一环境状况相关；以及从若干数据模型中，选择具有所述参数向量中的最小距离的数据模型，其中，所述追踪方法使用传感器类型不同的数个追踪传感器，以及其中，所述追踪方法包括根据所述至少一个参数对至少一个所述追踪传感器进行加权。
本发明还涉及一种用于确定相机相对于真实环境的姿态的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；确定环境状况的至少一个参数；执行追踪方法，所述追踪方法在所述真实对象包含在所述真实环境的所述图像中时，评价关于所述真实对象相关联的特征和所述真实对象的相应特征之间的对应关系的信息，以获得关于所述相机的所述姿态的结论；根据所述至少一个参数来执行所述追踪方法；其中，在数据模型中识别并检索来自所述图像的特征，用于提供所述对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一参数向量或每特征一参数向量，其中所述参数向量的至少部分与至少一环境状况相关；以及从若干数据模型中，选择具有所述参数向量中的最小距离的数据模型，以及其中，通过确定所述环境状况的所述至少一个参数与所述追踪方法相对于已知环境状况的已知理想参数的距离测量，计算在确定所述相机姿态中的不确定性。
本发明的附加的有利开发和实施例将在从属权利要求中指出。
附图说明
下文中将通过附图来更加详细地描述本发明，其中：
图1A和图1B示出相对于真实环境的示例性系统设置的示意性配置的平面图，该示例性系统设置可以用于执行根据本发明的方法；
图2示出相对于真实环境的示例性系统设置的示意性配置的侧视图，该示例性系统设置可以用于执行根据本发明的方法；
图3示出用于确定相机姿态或用于对象识别的数据模型的示意性示例；
图4示出根据本发明的实施例的方法的示例性流程；
图5示出根据本发明的进一步实施例的方法的示例性流程；
图6示出根据本发明的进一步实施例的方法的示例性流程；
图7示出根据本发明的进一步实施例的方法的示例性流程；
图8示出根据本发明的进一步实施例的方法的示例性流程；
图9示出根据本发明的实施例的数据结构的示例性设置；
图10示出根据本发明的实施例的示例性参数向量；
图11示出根据本发明实施例的所拍摄的图像的差异的近似的示例性值以及可能的计算。
具体实施方式
图1A和图1B示出相对于真实环境的示例性系统设置的示意性配置的平面图，该示例性系统设置可以用于执行根据本发明的方法。具体来说，图1A和图1B示出了系统设置的各种可能性。与此结合，图2示出相对于真实环境的示例性系统设置的示意性配置的侧视图，该示例性系统设置可以用于执行根据本发明的方法。
在图1A的所示中，用户佩戴作为显示设备的头戴显示系统(“头戴显示器”，简称HMD)，该头戴显示系统包括作为系统设置20的一部分的显示器21。该显示器21例如可以是通常已知的半透明数据眼镜(“光学透视显示器”)，由计算机23提供的虚拟信息可以在半透明数据眼镜中混合。随后，在通过半透明数据眼镜21观看真实世界时，用户看到增加混合有虚拟信息的真实世界40的对象(诸如与真实世界相关的POI对象)。以这种方式，系统设置20构成了普遍已知的增强现实(AR)系统的第一实施例。
显示器21可以具有诸如旋转传感器的附加传感器24，和附加传感器24上安装的用于光学追踪的相机22。显示器21可以是半透明的，或可以由相机图像来提供现实图像。在采用半透明显示器21时，眼睛25与显示器21之间的校准是必要的。在这方面，具有各种记载在现有技术中的处理方法，并且对于本领域技术人员也是已知的。有利地是，在显示器21上或用户身体上的任何地方，或者也可以在计算机单元23中，还可以安装诸如GPS传感器(GPS：全球定位系统)的位置传感器，用以确定系统设置20在真实世界40中的地理位置(例如，根据经度和纬度)。
图1B的视图示出了例如可以在现代移动电话(所谓“智能手机”)中经常发现的另一示例性系统设置30。显示设备31(例如，以显示屏或显示器的形式)、计算机33、传感器34以及相机32构成了例如容纳在移动电话的共同外壳中的系统单元。可以使用传感器类型不同的数个追踪传感器。例如，可以组合使用和评价旋转传感器34-1和GPS传感器34-2(参见，图2)。
通过示出由相机32捕获的真实环境40的相机图像50的显示器31，来提供真实环境40的景象。对于增强现实的应用，可以在显示器31上显示该相机图像50，并且可以对该相机图像增加附加的虚拟信息(诸如与真实世界相关的POI对象)。以这种方式，系统设置30构成了普遍已知的增强现实(AR)系统的另一实施例。
基本上，本发明可以方便地应用于所有形式的AR。例如，无论是实施在具有半透明HMD的所谓光学透视模式中，还是实施在具有相机和显示屏的视频透视模式中。基本上，本发明也可以结合立体显示器来使用，其中视频透视方法有利地使用两个相机，每一个相机为每个眼睛记录一个视频流。在任何情况下，能够为每个眼睛单独计算虚拟3D信息的项目。
基本上，下文描述的不同部分的步骤的处理能够经由网络分配到各种计算机。因此，客户端/服务器架构或纯粹的基于客户端的解决方案是可行的(其中例如，将可供选择的各种数据模型固定地提供在服务器上)。例如，客户端可以将图像发送到服务器，服务器基于该图像并且基于环境状况的参数，使用关于系统设置(参见，图1A和图1B)的3D方位和3D位置或其相对于真实世界的部分(参见以下的姿态)以及对于视觉或能见度范围的客户端语句。可以由客户端部分地确定关于环境状况的参数(例如位置)，并且可以由服务器部分地确定关于环境状况的参数(对于该位置的气象数据)。而且，客户端或服务器也可以包括数个计算单元,诸如数个CPU或诸如普遍已知的FPGA、ASIC、GPU或DSP的专门硬件组件。也存在相互交换例如相对于在该位置的环境状况产生的信息，或者在客户端产生环境数据的情况中相互交换信息的数个客户端。该信息的交换可以经由服务器进行，然而，也可以设想例如经由蓝牙或WLAN的直接连接而进行。
为了实现AR，空间中的相机姿态(位置和方位)是必需的。这可以通过各种不同的方式来实现。例如通过仅使用GPS和具有电子罗盘的方位传感器(例如安装在某些现代化移动电话中)能够确定在现实世界中的姿态。然而，姿态的不确定性会非常高。因此，也可以使用其它方法，诸如光学初始化和追踪，或者光学方法与GPS和方位传感器的结合。可以使用WLAN定位，或者RFID或光学标记也可以支持该定位过程。如上文中所述，在此也可以使用基于客户端/服务器的方法。然而，基本上，本发明并不仅限制于AR的使用。例如，还可以执行对象识别，并且随后在网页浏览器中启动网页或者启动应用程序。然而，也可以使用至少一个参数和照片，以便在诸如Flickr的照片站点上准确地定位图像，该图像也可以指示拍摄图像的地方。
本发明能够改善用于客户端的信息表示。然而，也能够用在远程情景中。在这种情况下，例如控制室中的维护专家在他的显示屏上可以看到经由数据网络传输的客户端的图像以及相应处理的信息。随后，专家可以对客户端发出指令或只是观察。在类似的情景中，可以设想某人观看具有根据本发明显示的交互式附加信息的捕获图像或视频素材，并且如果可能的话，能够通过类似于基于因特网的应用“谷歌街景”来导航。
此外，也可以将使用监视器、HMD或头顶显示器的本发明安装在或携载在车辆、飞机或船只中。
基本上，本发明可以用于融和所谓的感兴趣点。可以针对大量不同形式的信息设置感兴趣点(“POI”)。下文中给出的示例：可以使用GPS信息来表示多个地方的图像。可以自动提取来自因特网的信息。例如，这可以是具有地址或给出评级的网页的公司或餐馆网站。用户可以在特定的位置存放文本、图像或3D对象，并且可以将文本、图像或3D对象提供给其他人使用。可以针对地理信息检索诸如维基百科的信息网页，并且该网页可以作为POI用于访问。可以根据移动设备的用户的检索和浏览行为自动地产生POI。能够显示出其它的感兴趣地方，诸如地下交通或公交车站、医院、警察局、医生、房地产广告或健身俱乐部。
该系统也允许显示导航信息(例如，箭头)。
如图2中所示，现实可以以任意的形式呈现为数据模型，例如3D模型51，该3D模型51在该情况中限定出真实对象41的几何特性，或者将对象的点特征存储在3D点云中。因此，这样的数据模型通常可以描述现实或部分现实的几何特性。可以在用于确定相机姿态的追踪方法中或用于对象识别的方法中利用这样的数据模型。
例如，利用这样的数据模型，可以实施用于光学对象追踪的方法。在这种情况下，如本领域技术人员已知的，将诸如数据模型51的数据模型与由相机拍摄的包括真实对象41的图像的数据进行比较。
在现有技术中，已知在由相机拍摄的图像中的真实对象的对象识别以及用于确定相对于真实环境的相机姿态的光学追踪系统的初始化。具体来说，当真实对象包含在真实环境的图像中时，在此所使用的方法评价关于与真实对象相关联的特征和真实对象的相应特性之间的对应关系的信息，以获得关于相机姿态的结论。
然而，系统的可靠性有时会随着环境状况的改变而发生极大的变化。通过本发明，能够识别当前的环境状况并且动态地配置该系统。通过匹配配置的方式，提高了对于环境条件改变的鲁棒性。
根据本发明的一方面，将实施以下步骤：通过相机拍摄真实环境的至少一个图像；该图像包含真实对象的至少一部分；确定环境状况的至少一个参数；当真实对象包含在真实环境的图像中时，执行追踪方法，该追踪方法评价关于与真实对象相关联的特征和真实对象的相应特性之间的对应关系，以获得关于相机姿态的结论；以及根据该至少一个参数来执行追踪方法，尤其是根据该至少一个参数来找到对应关系。因此能够识别当前的环境状况，并且动态地配置该系统。通过匹配配置的方式，能够提高鲁棒性。
例如，追踪方法使用至少一个根据至少一个参数初始化的光学追踪方法。例如通过追踪方法采用一个、两个、三个、四个、五个或六个自由度来确定相机的姿态。预期用途例如是对象识别(例如，获得信息：“我在哪个对象的前面”)，或者用于具有六自由度的增强现实的光学追踪系统的初始化。为了确定六自由度，现有技术中已知的可能方式在于生成2D-3D对应关系并且将其输入优化方法。此外，例如，当记录设备额外装配有生成深度信息的深度相机或第二相机时，也可以使用3D-3D对应关系。为了提供对应关系，可以从图像中识别特征，并且在数据模型中检索相同的特征。为了检索，可以使用所谓的特征描述符(例如SURF或SIFT)。SUFT表示加速鲁棒特征，SIFT表示尺度不变特征变换)。然而，当相对于其它光线条件而不是当前图像所识别的特征来产生数据模型的特征和其描述符时，这常常不起作用。
例如，追踪方法使用数个传感器类型不同的追踪传感器。随后，在追踪方法中，可以以所谓的传感器融合，根据至少一个参数，相对于其它追踪传感器，对追踪传感器中的一个或多个实施加权(例如，在恶劣条件的情况下增加了光学追踪的不确定性)。也可以根据至少一个参数在追踪方法中实施方法部分步骤的优先化。例如，在良好的条件下可以首先使用更快的方法(例如，SUFT)，以及在恶劣条件的情况下首先使用更鲁棒的方法(例如，SIFT)。
不同的环境条件常常对该方法和许多特征有着很大的影响。因此在识别这些不同的环境条件时，可以由此针对该方法和许多特征做出反应。反应例如可以是对于太阳的大多数位置准备环境模型，并且对于雨天和晴天也如此做。当在特定的位置执行识别或初始化时，可以例如通过时间、日期/年和在线天气信息查询的方式，加载和使用合适的模型(其中在太阳辐射的向量和所计算的太阳辐射的向量之间的角度尽可能的小)。因此，存在描述环境条件的参数以及配置该识别或初始化系统的参数。
实施例使用以下项目信息中的一个或数个，来确定环境状况的至少一个参数：某日的时间；某年的时间；天气，尤其是雨、云、太阳和雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，并且特别是强烈运动；交通情况；位置；世界坐标系的方位；图像直方图；温度；维护步骤。因此，环境状况的至少一个参数对于这些条件或情况中的一个或多个尤其可以是特有的。在实施例中，至少一个参数并不(仅仅)是位置或并不(仅仅)是对于位置而特有的。在进一步的实施例中，至少一个参数并不(仅仅)是方位或并不(仅仅)是对于方位而特有的。在另一实施例中，至少一个参数并不(仅仅)是姿态或并不(仅仅)是对于姿态而特有的。
以下，存在根据本发明的进一步的示例和可能方式：
对于照明情况，还可以考虑月亮。在有月光的夜晚，可以使用特定的光学特征，在黑暗的夜晚，可以仅采用人造光源(例如，灯光广告)来工作，或者完全不尝试使用光学系统，而是仅使用例如GPS和罗盘。在下雪时(当前天气或最近几天的天气数据库，以及温度曲线或在线道路交通报道或在线雪崩报道)，环境又有不同，并且将有利地加载相应的模型或停用该光学追踪。
根据年的时间，在某些区域可以得出关于树木枝叶的结论，并且可以加载不同的模型。除了某年的时间以外，还可以在计算中额外考虑整个一年的气候条件。在这个方面，海拔高度也可以起到作用。
基本上，不仅可以根据特定的环境状况来加载不同的数据模型，而且还能够对于优先化(在算法中初期或后期考虑)或组合模型中特定模型部分的加权(对于结果的强大的或弱小的影响)施加影响。在组合模型中，单个模型数据(诸如点云的多个点)被补充有关于环境状况的数据。根据特定的环境状况，因此能够移出、改变或者增加部分模型数据。例如在“冬天”的环境状况中将数据模型的特定点移出(即，不考虑)，而在“夏天”的环境状况中则考虑它们。在图9中示出了对于该可能实现的可行的数据结构。该数据模型可以包含每个特征一个参数向量、诸如SURF描述符的描述符、和用于计算诸如地球坐标系中的3D位置的姿态的最优化信息，其中该参数向量描述该特征可以与哪些环境状况一起合理地使用。
相机拍摄图像的位置和方位常常还与所确定的环境条件有很大的关联性(当地天气，当地日期的时间等)。然而，例外是，识别过程会发生在全世界内(例如，可口可乐瓶的识别)，并且其中客户端可以对特定环境的特性做出反应，而不管位置在哪里(例如，移动设备上的亮度传感器或相机图像的直方图)。直方图(一种关于图像的统计方式)例如可以允许提示环境照明的一般特性，并且可以停用或切换光学方法。方法的切换例如可以是代替使用角落特征而使用边缘特征，或者代替使用SURF而使用已知的SIFT。或者可以请求用户有益地干预和向系统提供用于识别的提示。
在对象受到维护的情况下，可以根据当前维护步骤或维护状态的知识，导出关于环境的进一步信息。例如对于特定步骤是否已经拆除电机。
甚至公共事件或交通情况的知识(根据经验或在线检索)也能够提供对于以下情况的提示：特定区域不能提供可靠的信息，因为它们处于不断的运动中(例如，人群或移动车辆)。
进一步的实施例包括根据环境状况的至少一个参数与追踪方法相对于已知环境状况的已知理想参数的距离测量的确定，来计算在确定相机姿态中的不确定性。通常来说，也可以以一个向量的形式组合关于环境状况的数个参数的一部分，并且产生具有记录或准备条件的相应向量的数据模型。可以根据向量的比较来导出提供给当前环境状况的数据模型的质量，并且因此可以选择具有最小偏差的数据模型，和/或可以根据差异导出用于识别的不确定性语句。在图10中示出这方面的示例：向量包含例如用于日期的时间、云的情况以及年的时间的三个字段。椭圆形示出在特定时间拍摄的情景的环境状况。图11示出近似的示例性值和情景之间差异的可能计算。在这方面，可以对各个参数加权，因为这些可以对于数据模型产生不同程度的影响。
可以对于每个数据模型，也可以对于比较信息的每一项(例如，SURF特征)或数据模型内的每个特征存储参数向量。在这个方面，不仅可以存储固定值，也可以存储该比较信息适和的参数范围。图8示出了附加信息的可能使用。例如，如步骤6.1和6.2中所述，可以通过根据参数向量距离的排序来加速比较，随后可以更加快速地发现所期望的数量的对。作为替换，可以将当前环境参数向量放置在图像中所发现的所有特征之前，并且随后可以启动由最近的邻近搜索选择性支持的匹配算法。
在本发明的实施例中，该至少一个参数对于关于模型数据的成功检索的最小需求具有影响，尤其是确定与真实对象相关联的多个特征和在真实环境的图像中的真实对象的相应特征，该相应特征已达到一致(至少“匹配”特征的数量)。在识别和初始化中，常常存在指出假设特征或整个对象从哪里检索的所指示的测量。例如，必须重新寻找或检索至少10个特征。在当前模型良好地适应环境时，例如，可以增加测量(例如必须重新寻找20个特征)。因此，在好的条件下，所谓“误报”(对象的错误识别；即由系统进行的对象假设识别证明是错误的)(例如，这会导致准确度的提高)，然而，在恶劣条件的情况下，并不放弃可能的初始化机会。
在进一步的实施例中，环境状况的至少一个参数对于数据模型的准备和/或使用具有影响。具体来说，至少一个参数影响数据模型的准备类型，例如特征探测和特征描述符的准备。具体来说，存在不同的特征提取器和描述符。在好的环境条件下，例如，可以选择快速方法(例如，快速提取器+快速描述符)，而在困难的条件情况下，可以使用更加复杂的方法(例如，SIFT)。
在另一实施例中，从多个单独的模型中提取数据模型，其中数据模型包含数个环境状况下信息的交集。图7中的流程图示出该过程的示例性实现方式。在步骤30.0中，加载各种现有的数据模型或之前由仿真产生的数据模型。之后(步骤31.0)，执行模型之间的匹配。在这种情况下，常常检索一些比较数据，而另一些将一次也不会被检索。可以缓存检索的频率。在可选步骤32.0中，可以去除离群值，例如，当特征在数据模型的共同坐标系中的其位置处变化极大时。应当注意，数据模型基本上也可以由不同方法创建的异质性比较信息来构成(例如，SURF或SIFT或任何边缘模型或区域模型或考虑颜色的模型)。之后，可以组合经常检索的比较信息(步骤31.0)，以形成新的地图。在这种情况下，也可以选择性地确定用于空间中例如每体积的比较信息的上限。随后，进行根据最强比较信息的排序。在这方面，可以通过仅优选非常稳健且缓慢的方法的加权操作来防止它。之后，可以存储该地图，以用于进一步的使用。
在另一实施例中，具有数个执行该方法的局部系统(尤其是数个客户端，诸如数个移动设备)，并非每一个局部系统自身计算追踪情况，而是完成的情况信息对于所有的局部系统可用，有利地，甚至完成的识别或初始化模型对于局部系统可用。
例如，局部系统连续将关于情况的信息提供给所提供的服务器或对等处理。对等处理将发生在数个移动设备之间(例如，服务器与10号设备通信，10号设备与13号和17号设备邻近，并且随后，10号设备可以直接向这些设备请求信息)。另外，存在单独的设备将信息提供给服务器，并且，用户从服务器获得用于他的特定设备的信息。
在另一实施例中，将确定相机姿态用于计算相对于图像中包含的至少一个真实对象的深度信息，在显示设备中，当由被遮蔽的真实对象在情景中遮蔽叠置到真实环境上的虚拟信息时，深度信息用于融合用于遮蔽真实对象的遮蔽模型。
本发明的另一方面涉及在用于相对于真实对象确定相机的姿态的方法中或在用于识别真实环境的对象的方法中，用于准备数据模型的方法，该数据模型旨在分别与由相机拍摄的图像和其数据进行比较，其中确定或仿真环境状况，并且确定环境状况的至少一个参数，所准备的数据模型包含真实对象的基本描述，预设或仿真各种环境状况，并且根据相应的至少一个参数，可以将相应的匹配数据模型用于不同的环境状况。这可以作为对于当前参数的直接反应而发生，或作为预备，例如在预先仿真大部分情况时。因此，代替以巨大的花费提供不同情况的数个模型，一个构想包括提供中性(neutral)模型，并且通过环境效果的仿真，以动态地(或预先)匹配环境效果，并且采用相当少的花费。
例如，基本描述是环境的虚拟3D模型。例如，可以构想具有城市的3D模型。现在可以尝试通过已知的所谓3D渲染技术，来计算太阳的当前路径以及由此导致的环境模型。
例如，3D模型具有应用于其的纹理(texture)，该纹理是之前从环境状况特定特性中释放的。在采集信息时，常常也能够记录阴影。可以尝试使用对于本领域技术人员已知的方法去消除这些。
在实施例中，采用不同的光线情况，将3D模型投影到图像平面上。
有利地，所准备的数据模型包含在数个不同(尽可能的多)环境状况中提供的信息的交集。也可想象产生大量不同环境模型(通过记录或仿真)，并且从其中提取用于识别/初始化的特征。可以在环境模型中检查特定特征(例如，特定SURF特征)是否发生在尽可能多的不同模型中，并且随后将特别鲁棒的特征封装在尽可能多的情况下工作的模型中。也可以参照上文与图7相关的描述。
实施例将SLAM方法与当前环境状况的确定相结合，并且将所准备的数据模型与关于环境状况的信息一起存储。在所谓的同时定位与绘制地图(SLAM)中，在相机处于运动中或是立体相机的情况下，或还可以直接采用类似于3D方法(例如，深度相机)，产生环境的地图(数据模型)(例如，SURF特征图和其在世界中的3D位置)，并且确定相机的姿态。此外，在记录关于当前环境条件的数据或参数时(如上文所述)，可以将这些数据用于产生相对于大量的不同环境条件的更加完整的世界模型集合。例如，系统可以用于在全面的数据已经可用的特定位置处开始，并且随后可以在此基础上进行。随后，系统学习相对于特定的条件的新范围，并且在将来也可以以此为基础来开始。
在以下中，将通过图4至图8中所示的流程图的方式并结合其它附图来更加详细地阐述本发明的多个方面和实施例。
图4首先涉及根据本发明的关于模型数据的使用的方法的实施例。在步骤1.0中，记录参数向量，该参数向量基本上包括关于环境状况的一个或多个参数(例如，通过经由中心服务器查询天气情况，通过一天/地方的日期/时间的方式计算太阳的位置)。在步骤2.0中，将包含记录位置的参数向量发送至服务器。在步骤3.0中，搜索用于该位置的追踪模型。从对于该位置可能的模型中，在步骤4.0中选择具有参数向量中的最小距离的模型。之后，在步骤5.0中加载相应的模型。在步骤6.0中，根据特定的应用，执行相机图像中的对象识别或者用于相机的姿态确定的追踪初始化。
在图5中，所执行的示例性方法用于根据用户数据准备数据模型。在步骤7.0中，在使用期间(同时初始化和绘制地图)，“学习(learn)”新的模型数据。在步骤8.0中，将参数向量和新的地图(数据模型)发送至服务器。在步骤9.0中，存在数据的可选择性细化(所谓的“束调节”)，其中新的数据存储有参数向量和位置。在步骤S10.0中，补充模型中的缺口(例如，未知区域的新覆盖或采用新的参数向量的新覆盖)。在步骤5.0中，随后另一客户端可以加载之前如通过步骤7.0至步骤10.0的方式描述的，由另一用户发送到服务器的相应数据模型。代替其它的客户端，也可以让准备数据模型的相同用户或相同设备例如在稍后的时刻分别加载数据模型。
图3示意性示出可以如何准备数据模型，以用于确定相机姿态的方法或用于对象识别的方法。可以从包含真实对象(参见，图2中的对象41)的基本描述的中性模型60开始。之后，设定或仿真各种环境状况，例如来自上方的太阳辐射。对于不同的环境状况，根据相应的至少一个参数，例如图3的匹配数据模型61和62来提供相应的匹配数据模型，该匹配数据模型61和62每一个均根据环境状况来考虑投射阴影。此外，能够有利地直接根据数据模型61和62准备略微压实器形状的数据模型，该数据模型由所准备的比较数据的集合构成，例如特征点云。数据模型62以示例性的方式示出对于所产生的数据模型的现实的接近度可以由附加措施进一步提高。因此，模型62不会由阴影投射造成的环境的附加已知对象的遮蔽而受损，而是也可以结合当前的云情况，例如通过当前的降雨雷达图像查询。
图6示出根据本发明另一实施例的方法的示例性流程。在步骤20.0中，记录真实环境的数据(具体地或如步骤7.0中)，并且在这种情况下，有利地记录了环境状况的参数向量。对于特定的记录，可以有利地以HDR(所谓的“高动态范围”)进行记录。在步骤21.0中，尽可能地相对于特定参数实施数据模型的中性化(例如：去除阴影，亮度归一化等)。在步骤22.0中，针对环境条件的频谱产生参数向量。此外，在步骤23.0中，可以通过仿真(例如，光线追踪方法)产生相应的数据模型。在步骤24.0中，向根据图4的步骤4.0做出提供。
为了增加现实度并从而提高关联性，可以有利地在线查询天气数据。在这方面，存在可构想用于处理的各种复杂度。基于天气情况(例如，根据谷歌天气服务“主要多云”、“局部暴雨”、“局部降雨”)，可以分配与天气情况相匹配的固定的照明模式或素材(例如，纹理)。然而，在最高复杂度中，也可以使用当前的云或雨卫星或雷达图像，以便动态地准备云层覆盖的近似模型，并且从其中计算出阴影投射以及可选的详细的光线条件(还参照图3)。如上文所述，这可以由服务器来实施，该服务器以特定位置的方式使数据对于客户端可用。对于距离的感知有帮助的是确定由于雾、雨或霾造成的能见度。这可以被自动实施(参见，出版商Springer柏林/海德尔于2006年4月在杂志《Machine Vision and Applications》出版的第17卷，第1号，第8页-第20页的“From video image e.g.Automatic Fog Detectionand Estimation of Visibility Distance through use of an Onboard Camera”，书号为ISSN 0932-8092(印刷)1432-1769(在线))或也可以通过当前的天气数据来查询。
除了其它已知技术之外，最简单的技术实现是在三维图形处理库(OpenGL)中设定雾调节。此外，可以基于位置、日期以及一天的时间，来分别计算太阳和月亮的位置，并且使用太阳和月亮的位置来调节光源。这对于阴影特别有效(参见图3)，该阴影辅助人们更好地确定虚拟对象(例如POI)的位置。阴影可以是预先计算的纹理(有利地采用透明值)，该预先计算的纹理根据太阳或月亮的位置，位于地平面上的POI下方，其中太阳或月亮与POI之间的直线与地平面交叉(如果并非如此，则属于例外)。如果太阳或月亮同时可见，则太阳用于计算。
然而，如现有技术已知的，也可以动态地计算阴影。这可以有利地包括POI的相互阴影。在提供环境的3D模型(例如，以用于遮蔽真实对象的遮蔽模型63的形式；所谓的“遮蔽几何形状”)时，这可以额外用于阴影情况的现实计算，因为它例如在POI上(还参见图3)投射阴影。通过由POI的环境的图像来丰富素材，可以进一步增加所融合的物质的真实度。对于本领域技术人员来说，使用所谓的环境地图是已知的。
根据相机的参数位置和方位，可以采用另一个重要步骤来增强数据模型的质量。通过加载遮蔽模型(所谓的“遮蔽几何形状”)，可以确定比较数据对于相机是可见还是不可见，例如，在另一建筑物后面。可以存储深度模型，或者可以通过SLAM算法、立体相机或飞行时间相机动态产生深度模型。在这种情况下，每组比较数据(例如，SIFT特征)的深度信息的一项是足够的。在进一步的步骤中，产生用于在近范围中正确重叠的相机参数(这不必连续发生)。这些可以动态产生，例如，通过SLAM机构，或可以根据设备名称从服务器中检索，或可以存储在程序中。
根据系统的硬件能力，可以显示和计算一切。在系统硬件薄弱的情况下，也可以在部分服务器上进行正确素材表面的计算，或者可以在部分服务器上计算整个图像。采用强大的系统，现代的GPU(图像处理单元)可以承担大部分工作。对此，存在对于本领域技术人员已知的多种可能方式。
通过相对于真实环境，确定相机的位置和方位，可以计算关于至少一个包含在图像中的真实对象的深度信息，并且在由被遮蔽的真实对象在景观中遮蔽虚拟信息的情况中，深度信息可以用于在显示设备中，融合用于遮蔽真实对象的遮蔽模型。

Claims (21)

1.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括计算机可读代码，当所述计算机可读代码由一个或多个处理器执行时，使得所述一个或多个处理器：
获得由相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；
确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及
评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。
2.如权利要求1所述的非暂态计算机可读介质，还包括计算机代码以使得所述一个或多个处理器基于所述评价来确定所述相机的姿态。
3.如权利要求2所述的非暂态计算机可读介质，还包括计算机代码，该计算机代码使得所述一个或多个处理器基于所述一个或多个参数值中的至少一个参数值以及与所述一个或多个环境参数中的至少一个环境参数中的每个环境参数对应的理想值来计算所确定的姿态的不确定性。
4.如权利要求1所述的非暂态计算机可读介质，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：
捕获来自多个传感器的传感器数据，
其中所述传感器数据基于所述一个或多个参数值被加权。
5.如权利要求1所述的非暂态计算机可读介质，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：
捕获来自多个传感器的传感器数据，
其中所述多个传感器基于所述一个或多个参数值在所述评价期间被优先化。
6.如权利要求1所述的非暂态计算机可读介质，其中所述一个或多个参数值根据来自所述相机本地的一个或多个传感器的传感器数据确定。
7.如权利要求1所述的非暂态计算机可读介质，其中所述一个或多个参数值基于所述相机的背景从远程源获得。
8.一种系统，包括：
相机；
一个或多个处理器；以及
存储器，其被耦接到所述一个或多个处理器并且包括计算机代码，当所述计算机代码被执行时，使得所述一个或多个处理器：
获得由所述相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；
确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及
评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。
9.如权利要求8所述的系统，所述存储器还包括计算机代码以使得所述一个或多个处理器基于所述评价来确定所述相机的姿态。
10.如权利要求9所述的系统，所述存储器还包括计算机代码，该计算机代码使得所述一个或多个处理器基于所述一个或多个参数值中的至少一个参数值以及与所述一个或多个环境参数中的至少一个环境参数中的每个环境参数对应的理想值来计算所确定的姿态的不确定性。
11.如权利要求8所述的系统，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：
捕获来自多个传感器的传感器数据，
其中所述传感器数据基于所述一个或多个参数值被加权。
12.如权利要求8所述的系统，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：
捕获来自多个传感器的传感器数据，
其中所述多个传感器基于所述一个或多个参数值在所述评价期间被优先化。
13.如权利要求8所述的系统，其中所述一个或多个参数值根据来自所述相机本地的一个或多个传感器的传感器数据确定。
14.如权利要求8所述的系统，其中所述一个或多个参数值基于所述相机的背景从远程源获得。
15.一种方法，包括：
获得由相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；
确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及
评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。
16.如权利要求15所述的方法，还包括基于所述评价确定所述相机的姿态。
17.如权利要求16所述的方法，还包括基于所述一个或多个参数值中的至少一个参数值以及与所述一个或多个环境参数中的至少一个环境参数中的每个环境参数对应的理想值来计算所确定的姿态的不确定性。
18.如权利要求16所述的方法，其中评价对应关系还包括：
捕获来自多个传感器的传感器数据，
其中所述传感器数据基于所述一个或多个参数值被加权。
19.如权利要求15所述的方法，其中评价对应关系还包括：
捕获来自多个传感器的传感器数据，
其中所述多个传感器基于所述一个或多个参数值在所述评价期间被优先化。
20.如权利要求15所述的方法，其中所述一个或多个参数值根据来自所述相机本地的一个或多个传感器的传感器数据确定。
21.如权利要求15所述的方法，其中所述一个或多个参数值基于所述相机的背景从远程源获得。
CN201610898928.5A 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法 Pending CN106650723A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009049849.4 2009-10-19
DE102009049849.4A DE102009049849B4 (de) 2009-10-19 2009-10-19 Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
CN2010800574754A CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010800574754A Division CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Publications (1)

Publication Number Publication Date
CN106650723A true CN106650723A (zh) 2017-05-10

Family

ID=42667910

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201080046762.5A Active CN102612704B (zh) 2009-10-19 2010-05-28 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
CN201610898928.5A Pending CN106650723A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法
CN2010800574754A Pending CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080046762.5A Active CN102612704B (zh) 2009-10-19 2010-05-28 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010800574754A Pending CN102667855A (zh) 2009-10-19 2010-09-16 用于确定相机姿态以及用于识别真实环境的对象的方法

Country Status (6)

Country Link
US (7) US8942418B2 (zh)
EP (4) EP3547256B1 (zh)
JP (4) JP2013508794A (zh)
CN (3) CN102612704B (zh)
DE (1) DE102009049849B4 (zh)
WO (2) WO2011047888A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110031975A (zh) * 2017-12-12 2019-07-19 大众汽车有限公司 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜
CN110175579A (zh) * 2019-05-29 2019-08-27 北京百度网讯科技有限公司 姿态确定方法、场景图像的展示方法、装置、设备及介质

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
WO2011106520A1 (en) 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8977629B2 (en) * 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
TWI489859B (zh) * 2011-11-01 2015-06-21 Inst Information Industry 影像形變方法及其電腦程式產品
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9600744B2 (en) 2012-04-24 2017-03-21 Stmicroelectronics S.R.L. Adaptive interest rate control for visual search
CN102694963B (zh) * 2012-04-27 2014-09-17 南京航空航天大学 一种获取无阴影目标图像的方法
JP5727969B2 (ja) * 2012-06-15 2015-06-03 株式会社東芝 位置推定装置、方法、及びプログラム
CN103673990B (zh) * 2012-09-13 2016-04-06 北京同步科技有限公司 获取摄像机姿态数据的装置及其方法
CN103674011B (zh) * 2012-09-19 2017-07-25 联想(北京)有限公司 即时定位与地图构建设备、系统与方法
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
CN102928201B (zh) * 2012-10-24 2014-12-17 北京控制工程研究所 一种动态的月面成像敏感器的目标模拟系统
US20140140573A1 (en) * 2012-11-21 2014-05-22 Gravity Jack, Inc. Pose Tracking through Analysis of an Image Pyramid
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
EP2763077B1 (en) * 2013-01-30 2023-11-15 Nokia Technologies Oy Method and apparatus for sensor aided extraction of spatio-temporal features
US9058683B2 (en) 2013-02-21 2015-06-16 Qualcomm Incorporated Automatic image rectification for visual search
US9495389B2 (en) 2013-03-15 2016-11-15 Qualcomm Incorporated Client-server based dynamic search
US9426451B2 (en) 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
WO2014179745A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
DE102013009288B4 (de) 2013-06-04 2016-02-04 Testo Ag 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung
CN103327246B (zh) * 2013-06-07 2016-08-24 腾讯科技（深圳）有限公司 一种多媒体拍摄处理方法、装置及智能终端
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2015012659A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Two way local feature matching to improve visual search accuracy
US8860818B1 (en) 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
US8958663B1 (en) * 2013-09-24 2015-02-17 Zazzle Inc. Automated imaging of customizable products
DE102013016247A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
WO2015085483A1 (en) 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
EP3084719B1 (en) * 2013-12-19 2019-11-20 Apple Inc. Slam on a mobile device
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9400939B2 (en) 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9761008B2 (en) 2014-05-08 2017-09-12 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
US9280832B2 (en) * 2014-05-08 2016-03-08 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
KR101613418B1 (ko) * 2014-05-29 2016-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
DE102014008152A1 (de) 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
US11030784B2 (en) * 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2016019390A1 (en) * 2014-08-01 2016-02-04 Locuslabs Ip Image-based object location system and process
CN109388150B (zh) 2014-09-05 2022-04-29 深圳市大疆创新科技有限公司 多传感器环境地图构建
EP3399381A1 (en) 2014-09-05 2018-11-07 SZ DJI Technology Co., Ltd. Context-based flight mode selection
WO2016033795A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Velocity control for an unmanned aerial vehicle
WO2016050290A1 (en) 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
CN112102389A (zh) 2014-11-21 2020-12-18 苹果公司 确定实物至少一部分的3d重构件的空间坐标的方法和系统
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
WO2016107635A1 (en) 2014-12-29 2016-07-07 Metaio Gmbh Method and system for generating at least one image of a real environment
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10142596B2 (en) 2015-02-27 2018-11-27 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus of secured interactive remote maintenance assist
JP6524713B2 (ja) * 2015-03-02 2019-06-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
JP7037876B2 (ja) * 2015-06-26 2022-03-17 コグネックス・コーポレイション 自動工業検査における３ｄビジョンの使用
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
DE102016109628A1 (de) * 2016-05-25 2017-11-30 Deutsche Telekom Ag Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
EP3465631B1 (en) * 2016-06-07 2020-07-08 Koninklijke KPN N.V. Capturing and rendering information involving a virtual environment
CN106210450B (zh) * 2016-07-20 2019-01-11 罗轶 一种多通道多视角大数据视频剪辑方法
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
CN107967710B (zh) * 2016-10-20 2021-05-25 株式会社理光 一种三维物体描述方法及装置
US11210854B2 (en) * 2016-12-30 2021-12-28 Facebook, Inc. Systems and methods for providing augmented reality personalized content
JP6760114B2 (ja) 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN107145525B (zh) * 2017-04-14 2020-10-16 北京星选科技有限公司 用于确认搜索场景的数据处理方法、搜索方法及相应装置
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
CN106996777B (zh) * 2017-04-21 2019-02-12 合肥井松自动化科技有限公司 一种基于地面图像纹理的视觉导航方法
US9965960B1 (en) * 2017-08-07 2018-05-08 Lyft, Inc. Facilitating transportation services by generating a directional indicator between a requester and a transportation vehicle
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
US11257250B2 (en) 2017-10-31 2022-02-22 Outward, Inc. Blended physical and virtual realities
JP7149707B2 (ja) 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム
US10508913B2 (en) * 2018-02-08 2019-12-17 Raytheon Company Environment recording system using virtual or augmented reality
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
US10943401B2 (en) 2019-02-01 2021-03-09 International Business Machines Corporation Active visual recognition in mobile augmented reality
CN113874918A (zh) 2019-05-22 2021-12-31 Pcms控股公司 用于与外部显示器结合来渲染增强现实内容的方法
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US10828576B1 (en) 2019-07-29 2020-11-10 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
GB2586831A (en) * 2019-09-05 2021-03-10 Wolf In Motion Ltd Three-Dimensional Content Generation using real-time video compositing
US11023730B1 (en) 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
DE102020112300A1 (de) 2020-05-06 2021-11-11 Audi Aktiengesellschaft 6 Degree of Freedom (6DOF) Tracking von mobilen Head Mounted Displays (HMD)
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
CN111583420B (zh) * 2020-05-27 2021-11-12 上海松鼠课堂人工智能科技有限公司 基于增强现实模式的智能学习系统和方法
US11688142B2 (en) 2020-11-23 2023-06-27 International Business Machines Corporation Automatic multi-dimensional model generation and tracking in an augmented reality environment
DE102021205834A1 (de) * 2021-06-09 2022-12-15 Continental Automotive Technologies GmbH Cloudgestütztes 3D Rendering für ein Egofahrzeug
CN115493512B (zh) * 2022-08-10 2023-06-13 思看科技(杭州)股份有限公司 数据处理方法、三维扫描系统、电子装置和存储介质
CN117102856B (zh) * 2023-10-23 2024-02-13 浙江大学 一种大型舱体双平台五自由度位姿识别与调整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846232A (zh) * 2003-08-29 2006-10-11 日本电气株式会社 使用加权信息的对象姿态估计和匹配系统
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN101159014A (zh) * 2006-09-01 2008-04-09 哈曼贝克自动系统股份有限公司 在图像中识别对象的方法和图像识别设备
US20080109184A1 (en) * 2006-11-06 2008-05-08 Canon Kabushiki Kaisha Position and orientation measurement method and apparatus
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
CN101285686A (zh) * 2008-05-29 2008-10-15 中国农业大学 一种农业机械导航分级定位的方法和系统

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700307A (en) * 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP3244850B2 (ja) * 1993-03-22 2002-01-07 三菱重工業株式会社 ナンバープレート読み取り装置
JP3486613B2 (ja) * 2001-03-06 2004-01-13 キヤノン株式会社 画像処理装置およびその方法並びにプログラム、記憶媒体
US6903752B2 (en) 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
DE10145608B4 (de) 2001-09-15 2006-01-26 Eads Deutschland Gmbh Modellbasierte Objektklassifikation und Zielerkennung
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP4743818B2 (ja) 2003-04-04 2011-08-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
JP2005141655A (ja) * 2003-11-10 2005-06-02 Olympus Corp ３次元モデリング装置及び３次元モデリング方法
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
EP1544795B1 (de) 2003-12-16 2007-10-10 Siemens Aktiengesellschaft Verfahren und Gerät zur Identifikation eines Objektes in einem Kamerabild
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7129887B2 (en) 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
JP2005326275A (ja) * 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060120568A1 (en) * 2004-12-06 2006-06-08 Mcconville Patrick J System and method for tracking individuals
JP4613617B2 (ja) 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP4914019B2 (ja) 2005-04-06 2012-04-11 キヤノン株式会社 位置姿勢計測方法及び装置
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102006005044B4 (de) * 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
DE202006020299U1 (de) * 2006-05-16 2008-04-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. 3D-Vermessungsanordnung
CN100587518C (zh) 2006-07-20 2010-02-03 中国科学院自动化研究所 遥感影像高精度控制点自动选择方法
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US9070207B2 (en) 2007-09-06 2015-06-30 Yeda Research & Development Co., Ltd. Modelization of objects in images
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2201495B1 (en) * 2007-10-12 2013-03-27 MVTec Software GmbH Computer vision cad models
US20090185746A1 (en) * 2008-01-22 2009-07-23 The University Of Western Australia Image recognition
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
US8144947B2 (en) * 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
GB2535926B (en) * 2010-05-10 2016-10-12 Park Assist Llc Method and system for managing a parking lot based on intelligent imaging
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
EP2761535A1 (en) 2011-08-31 2014-08-06 metaio GmbH Method of detecting and describing features from an intensity image
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
WO2014020547A1 (en) 2012-07-31 2014-02-06 Indoorgo Navigation Systems Ltd. Navigation method and device
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9140555B1 (en) 2014-03-14 2015-09-22 Google Inc. Navigation using sensor fusion
US10395116B2 (en) 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846232A (zh) * 2003-08-29 2006-10-11 日本电气株式会社 使用加权信息的对象姿态估计和匹配系统
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
CN101159014A (zh) * 2006-09-01 2008-04-09 哈曼贝克自动系统股份有限公司 在图像中识别对象的方法和图像识别设备
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
US20080109184A1 (en) * 2006-11-06 2008-05-08 Canon Kabushiki Kaisha Position and orientation measurement method and apparatus
CN101285686A (zh) * 2008-05-29 2008-10-15 中国农业大学 一种农业机械导航分级定位的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAMBERT WIXSON等: ""Improved Illumination Assessment for Vision-based Traffic Monitoring", 《VS `98 PROCEEDINGS OF THE 1998 IEEE WORKSHOP ON VISUAL SURVEILLANCE》 *
MARK R. STEVENS等: "Precise Matching of 3-D Target Models to Multisensor Data", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
ZHIYING ZHOU等: "Robust Pose Estimation for Outdoor Mixed Reality with Sensor Fusion", 《PROCEEDING OF UNIVERSAL ACCESS IN HUMAN-COMPUTER INTERACTION. APPLICATIONS AND SERVICES, 5TH INTERNATIONAL CONFERENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110031975A (zh) * 2017-12-12 2019-07-19 大众汽车有限公司 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜
US11017745B2 (en) 2017-12-12 2021-05-25 Volkswagen Aktiengesellschaft Method, computer readable storage medium having instructions, apparatus and system for calibrating augmented reality goggles in a transportation vehicle, transportation vehicle suitable for the method, and augmented reality goggles suitable for the method
CN110031975B (zh) * 2017-12-12 2022-03-08 大众汽车有限公司 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜
CN110175579A (zh) * 2019-05-29 2019-08-27 北京百度网讯科技有限公司 姿态确定方法、场景图像的展示方法、装置、设备及介质

Also Published As

Publication number Publication date
CN102612704A (zh) 2012-07-25
US20140321708A1 (en) 2014-10-30
JP5980295B2 (ja) 2016-08-31
EP3550516A1 (de) 2019-10-09
US10062169B2 (en) 2018-08-28
US10580162B2 (en) 2020-03-03
EP2491529A1 (en) 2012-08-29
EP2491530B1 (de) 2019-06-26
US8837779B2 (en) 2014-09-16
JP2013508794A (ja) 2013-03-07
EP3547256B1 (en) 2021-05-19
WO2011047888A1 (en) 2011-04-28
EP3550516B1 (de) 2022-11-23
US20180357786A1 (en) 2018-12-13
DE102009049849A1 (de) 2011-04-21
US8942418B2 (en) 2015-01-27
US20120237085A1 (en) 2012-09-20
US20120219188A1 (en) 2012-08-30
US20150092987A1 (en) 2015-04-02
EP2491530A1 (de) 2012-08-29
CN102667855A (zh) 2012-09-12
CN102612704B (zh) 2017-03-22
US10650546B2 (en) 2020-05-12
US20190172220A1 (en) 2019-06-06
EP2491529B1 (en) 2019-06-26
JP5905540B2 (ja) 2016-04-20
US9218665B2 (en) 2015-12-22
EP3547256A1 (en) 2019-10-02
JP2013508795A (ja) 2013-03-07
US10229511B2 (en) 2019-03-12
DE102009049849B4 (de) 2020-09-24
US20160189384A1 (en) 2016-06-30
JP2015084229A (ja) 2015-04-30
WO2011047924A1 (de) 2011-04-28
JP2014241155A (ja) 2014-12-25

Similar Documents

Publication Publication Date Title
CN106650723A (zh) 用于确定相机姿态以及用于识别真实环境的对象的方法
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN108474666A (zh) 用于在地图显示中定位用户的系统和方法
EP3164811B1 (en) Method for adding images for navigating through a set of images
EP2147392A1 (en) Method and system for image-based information retrieval
CN112037314A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
Fedorov et al. A framework for outdoor mobile augmented reality and its application to mountain peak detection
CN110168615A (zh) 信息处理设备、信息处理方法和程序
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
JP2013196616A (ja) 情報端末装置、情報処理方法
Höllerer et al. “Anywhere augmentation”: Towards mobile augmented reality in unprepared environments
CN112230765A (zh) Ar显示方法、ar显示设备和计算机可读存储介质
US11030235B2 (en) Method for navigating through a set of images
US20220301129A1 (en) Condition-aware generation of panoramic imagery
Ying et al. Fully Convolutional Networks tor Street Furniture Identification in Panorama Images.
Puschmann et al. Documenting landscape change through fixed angle photography
Cagalaban et al. Projective illumination technique in unprepared environments for augmented reality applications
Roozenbeek Dutch Open Topographic Data Sets as Georeferenced Markers in Augmented Reality
Cho et al. Image-based querying of urban knowledge databases
Mashita et al. Camera Localization under a Variable Lighting Environment using Parametric Feature Database based on Lighting Simulation
CN117896509A (zh) 一种ar拍摄场景实时光照效果的预览方法和系统
CN110378905A (zh) 角点提取、匹配的神经网络和方法及设备标定方法和装置
Steinicke et al. Augmenting 3D City Models with Visualization of Real-Time Meteorological Phenomena.
CN111220156A (zh) 一种基于城市实景的导航方法
Steinicke et al. Integrating Current Weather Effects into Urban Visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180425

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

TA01 Transfer of patent application right