CN102177512A - 图像中的对象识别 - Google Patents

图像中的对象识别 Download PDF

Info

Publication number
CN102177512A
CN102177512A CN2009801399139A CN200980139913A CN102177512A CN 102177512 A CN102177512 A CN 102177512A CN 2009801399139 A CN2009801399139 A CN 2009801399139A CN 200980139913 A CN200980139913 A CN 200980139913A CN 102177512 A CN102177512 A CN 102177512A
Authority
CN
China
Prior art keywords
image
indication
user
interest
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801399139A
Other languages
English (en)
Inventor
景宇石
迈克尔·芬克
米歇尔·科维尔
舒梅特·巴卢哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN102177512A publication Critical patent/CN102177512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

响应于识别对象的提示,接收在与第一用户(102a)相关联的显示设备上展现的图像(122a)的一部分的第一指示。响应于识别所述对象的提示,接收在与第二用户(102b)相关联的显示设备上展现的所述图像(122a)的一部分的第二指示。基于第一指示和第二指示识别所述图像中的感兴趣区域。将所述感兴趣区域与所述对象的标识符相关联。将指定符与所述图像(122a)中的所述感兴趣区域相关联,所述指定符被配置为展现与所述对象有关的信息。使得在所述图像(122a)的随后展现中能够展现与所述图像(122a)中的所述感兴趣区域相关联的所述指定符。

Description

图像中的对象识别
相关申请的引用
本申请要求享有于2008年8月11日提交、题为“Object Identification In Images(图像中的对象识别)”的美国临时申请序列号No.61/188,748以及于2009年8月10日提交、题为“Object Identification in Images”的美国专利申请序列号No.12/538,283的优先权,在此通过引用整体合并所述美国申请的公开内容。
技术领域
本公开涉及对象识别。
背景技术
因特网包括大量图像,其中的部分与可显示信息相关联。例如,用户可以选择狗的图像并且接收有关该狗的信息,诸如品种、名称等。
发明内容
响应于识别对象的提示,接收在与第一用户相关联的显示设备上展现的图像的一部分的第一指示。响应于识别所述对象的提示,接收在与第二用户相关联的显示设备上展现的所述图像的一部分的第二指示。基于第一指示和第二指示识别所述图像中的感兴趣区域。将所述感兴趣区域与所述对象的标识符相关联。将指定符与所述图像中的所述感兴趣区域相关联,所述指定符被配置为展现与所述对象有关的信息。使得能够在所述图像的随后展现中展现与所述图像中的所述感兴趣区域相关联的所述指定符。
在附图和下面的描述中阐述了本发明的一个或多个实施方式的细节。本发明的其它特征、目的和优势从描述和附图、以及从权利要求将是显而易见的。
附图说明
图1是其中可以识别图像中的感兴趣区域的示例环境100的框图。
图2-4是用于提供图像的部分的指示的示例用户界面的图示。
图5是包括所识别的感兴趣区域的示例图像的图示。
图6是用于显示包括感兴趣区域的图像的示例用户界面。
图7是用于识别图像中的感兴趣区域的示例过程流程。
图8是用于识别图像中的感兴趣区域的示例过程流程。
图9是可以用于实现在此描述的系统和方法的示例计算机系统的框图。
各附图中相同的参考数字和标记指示相同的元素。
具体实施方式
图1描绘了其中图像中的感兴趣区域是用户可识别的示例环境100。总的来说,在一些实施方式中,用户能够识别特定类型的对象(诸如,狗、汽车、建筑物)在对用户可访问的显示设备上显示的图像中何处出现。对象的类型和对象的在图像内的位置可以被存储,并且使得能够基于对象的类型稍后检索图像。
在一些实施方式中,为了鼓励用户识别图像内的对象的类型,可以主办“图像寻宝”活动,以便鼓励用户查遍图像以识别特定图像内的特定对象。在一个示例中,将包括狗的特定图像选择为“图像寻宝”的目标,并且告诉正在玩该游戏的用户目标是狗。用户然后前进搜遍图像以找到为“图像寻宝”的目标的狗的特定图像。每次用户识别了带有狗的图像,用户指示狗在图像中的位置以查看图像中的该狗是否是“图像寻宝”的目标。随着用户识别各种图像中的狗,狗在各种图像中的位置被存储,使得能够基于包括在图像中的狗稍后检索每一个图像。如此,“图像寻宝”帮助对包括在图像中的对象的类型编目录。
更具体地,环境100包括被配置为通过网络115向客户端设备102a和102b提供图像的图像服务器120。
图像服务器120包括存储图像(诸如图像122a)的图像存储122。图像存储122和图像指示存储123可以使用包括例如关系数据库或分布式文件系统的各种数据存储技术来实现。在一些实施方式中,图像存储122可以是地图应用的一部分,其中图像与地图上的地址或位置相对应。额外地或替选地,图像或图像中的一些例如可以是视频内容项的帧。
图像服务器120还包括图像指示存储123,其存储在图像存储122中存储的图像内的对象的指示(诸如指示123a)。图像指示与图像存储122中的图像相关联。图像指示例如可以从在客户端设备102a和102b处查看图像的用户接收。
图像指示指示相关联的图像的一部分。在一些实施方式中,部分可以指示或表示相关联的图像中的像素位置或像素位置集。额外地或替选地,部分例如可以包括或表示部分在图像内或相对于图像的边界坐标。可以使用用于指出图像中的区域的其它技术。
图像指示与来自图像存储122中的相关联的图像的对象的标识符相关联。例如,对象的标识符可以识别图像中的所指示的部分意图要识别的特定对象。在更具体的示例中,标识符可以指示图像中的对象是狗、特定品种的狗或在特定背景中或形成特定活动的狗(诸如,在海滩的狗、在狗展的狗、玩飞盘的德国牧羊犬)。在一些实施方式中,标识符表示的内容的粒度可以更精细。
在一些实施方式中,对象的标识符可以由在客户端设备102a或102b处的用户提供。图像121a的一部分的指示可以进一步与用户标识符相关联。用户标识符可以识别进行导致对图像的一部分的特定指示的图像选择的用户。例如,可以使用户标识符匿名,使得标识符不能用于识别与用户标识符相关联的人,但是识别识别源自的国家或世界区域。
图像服务器120可以进一步包括感兴趣区域引擎125。感兴趣区域引擎125可以使用与存储在图像存储122中的图像相关联的图像的具有共同的对象指示的部分的指示来识别存储在图像存储122中的图像的感兴趣区域。在一些实施方式中,感兴趣区域引擎125可以通过组合图像的所指示的部分来识别感兴趣区域。例如,如果特定图像具有图像的一部分的具有共同对象标识符“树”的四个相关联的指示,则感兴趣区域可以通过组合、推断或使用图像的四个所指示的部分来确定或估算图像边界,来识别。
额外地或替选地,感兴趣区域引擎125可以使用图像的所识别的部分来生成包围图像的所指示的部分或与图像的所指示的部分相关联的区域或形状,来识别感兴趣区域。例如,在图像122a具有图像的部分的四个相关联的指示的情况下,感兴趣区域引擎125可以例如用诸如环形的包括图像的四个所指示的部分的形状来识别感兴趣区域。形状例如可以使用“最佳适配”或其它形状生成算法来生成。
在一些实施方式中,感兴趣区域引擎125可以在识别感兴趣区域之前识别并且移除不可靠、不准确、错误或欺诈(统称为“不可靠”)的指示。在一些实施方式中,感兴趣区域引擎125可以使用相关联的用户标识符来识别图像的一部分的不可靠指示。例如,用户标识符可以具有相关联的用户评级。用户评级可以基于多种因素,包括图像的一部分的与用户标识符相关联的指示的数量(例如,与较大数量的相关联指示相关联的用户标识符可以比与较小数量的相关联指示相关联的用户标识符更加可靠)、以及来自其它用户的反馈(例如,其它用户可以针对准确性对指示的质量评级)。感兴趣区域引擎125可以基于可靠性来考虑指示,诸如只考虑具有识别带有大于可靠性的阈值分值的用户分值的用户的相关联的用户标识符的指示。
在一些实施方式中,感兴趣区域引擎125可以通过识别显著不同于具有共同对象标识符的其它指示的指示来识别图像的一部分的不可靠指示。图像的一部分的带有共同对象标识符的指示可能聚类在一起,或在相同图像中彼此靠近。因此,如果特定指示位于图像的与其它指示不同的区域中,则该指示可能是不可靠的,并且可以不被感兴趣区域引擎125使用来识别感兴趣区域。例如,如果与图像中的树对象相关联的图像的一部分的指示的大部分大体位于图像的下象限,而异常值(outlier)指示位于上象限,则位于上象限的指示可以被认为是不可靠的。感兴趣区域引擎125然后例如可以在没有不可靠指示的情况下识别感兴趣区域。
图像服务器120可以对于用户提供图像的部分的指示和相关联的对象标识符提供动力。动力可以以找到或识别图像的定向或目标部分的竞赛的形式提供。竞赛可以与奖励相关联,尽管竞赛不一定包括奖励。在一些实施方式中,促进器服务器130可以传送将在一个或多个图像122a中的感兴趣区域作为目标或定向区域或对象的指定。例如,跑车促进器可以从图像存储122中选择包括跑车的图像122a。促进器可以识别图像中的对应于跑车的感兴趣区域,并且将该感兴趣区域指定为目标区域。促进器130可以发起诸如“图像寻宝”的竞赛,其中要求参与者指示图像存储122中的图像122a的对应于跑车的部分。例如,如果参与者提供了与图像122a中的目标区域相对应的图像的一部分的指示,则可以授予候选者奖励。从竞赛中的参与者接收的图像中的一部分的指示可以用于识别图像存储122的图像中的感兴趣区域,并且将感兴趣区域与对应于跑车的对象标识符相关联。通过竞赛,促进器130例如可以能够激励用户提供图像存储122中的与跑车相对应的图像的部分的指示。
图像服务器120和感兴趣区域引擎125每一个可以在单个计算机系统上实现,或作为包括多个计算机(例如,服务器群)和在地理上分布的计算机的分布式计算机系统实现。例如,在图9中图示了示例计算机系统实现。
客户端设备102a和102b可以包括各种具有网络功能的设备,例如包括台式和膝上型计算机、个人数字助理、蜂窝电话、智能手机、电子邮件消息便携式设备、便携式媒体播放器(诸如音乐播放器或视频播放器)、视频游戏控制台、便携式游戏设备和机顶盒或以上的组合。
客户端设备102a和102b每一个被配置为接收并且显示来自图像服务器120的图像。客户端设备102a和102b还被配置为使用户能够识别所显示的图像中的对象的指示。
例如,用户可以点击或选择在客户端设备102a或102b处显示的图像中的对应于树的对象。在选择该对象后,可以提示用户提供图像的所选择的部分与之相对应的该对象的标识符。因此,用户可以例如通过键入“树”或从所显示的描述集选择描述来提供该选择是树的标识符。
在一些实施方式中,可以在用户提供指示之前已经确定了对象的标识符。例如,作为竞赛或晋级的一部分,可以要求客户端设备102a或102b的用户识别所显示的图像中的汽车对象。因此,例如,图像的用户选择或提供其指示的任何部分可以与“汽车”对象标识符相关联。
客户端设备102a和102b每一个被配置为将所显示的图像中的对象的指示发送给图像服务器120。其它非客户端-服务器配置是可能的。
指示例如可以发送自在显示设备上查看图像的用户。图像的一部分的指示可以指示或指定所显示的图像中的用户感觉对应于对象的区域。所接收的与特定图像相关联的指示可以用于识别图像中的对应于图像中的对象的感兴趣区域。然后可以将感兴趣区域与用户可选择的链接相关联,所述用户可选择的链接被配置为当被选择时促使对与对象有关的信息的展现。当稍后用户请求图像时,将与感兴趣区域相关联的用户可选择的链接与所请求的图像一起向用户展现。如果用户然后激活了用户可选择的链接,则可以向用户展现与对象有关的信息。
例如,用户可以查看包括对象狗的图像。用户可以提供对应于狗对象的图像的部分的指示。例如,用户可以通过点击狗或追踪图像中的狗的轮廓来提供指示。可以使用图像的部分的指示来识别图像中的对应于狗的感兴趣区域。例如,可以组合或聚集所接收的指示来限定图像中的感兴趣区域。可以将被配置为促使有关狗对象的信息被展现的超链接或其它用户可选择的链接与感兴趣区域相关联。当稍后用户查看图像并且点击或选择图像中的感兴趣区域时,可以激活链接并且向用户展现有关狗的信息。例如,可以检索并且向用户显示有关狗的网页,或可以邻近图像中的感兴趣区域显示包含有关狗的信息的弹出窗口。
在一些实施方式中,客户端设备102a和102b还可以将用户标识符与图像中的对象的指示一起提供。例如,可以将用户标识符存储在客户端设备102a或102b处的cookie或其它文件中。在其它实施方式中,用户标识符可以在指示之前由用户提供。例如,用户可以在提供图像的一部分的指示之前登录到图像服务器120或以其它方式对图像服务器120识别他们自身。另外,例如,可以使用户标识符匿名,以使标识符不能用于识别与用户标识符相关联的人。
网络115可以包括各种公用和专用网络,诸如公共交换电话网络、蜂窝电话网络和/或因特网。
图2-4是被配置为使用户能够提供对图像内的对象的识别的示例用户界面200的图示。更具体地,用户界面200使用户能够提供图像的部分的指示。用户界面200可以在客户端设备(例如,客户端设备102a和102b)上显示。在图2-4中所示的示例中,三个用户:用户A;用户B;以及用户C提供图像的部分的指示。在一些实施方式中,作为诸如“图像寻宝”的竞赛或晋级的一部分,用户可以提供指示。促进器(例如,使用促进器设备130)可以将图像存储122中的特定图像122a中的感兴趣区域限定为目标区域。
竞赛中的参与者试图通过点击或选择图像存储122的图像中的对象来找到图像存储122中的许多图像之中的目标区域。如果参与者选择了在目标区域内的对象,则可以授予参与者奖励或一些其它酬劳。
在图2-4中所示的示例中,图像存储122是对应于街道地址的图像的数据库。例如,图像存储122可以是地图应用的一部分。作为竞赛的一部分,促进器130可以将对应于特定街道地址的图像122a中的一个或多个中的特定汽车的图像中的区域选择为目标区域。例如,用户A、B和C试图使用用户界面200来定位目标区域。
用户界面200包括目标显示220。目标显示220识别用户并且提供描述用户参与其中的竞赛的目标的消息。例如,在图2中,目标显示220显示了“欢迎用户A。点击下面图像中的汽车”,其指示用户的身份为用户A并且命令用户定位在窗口230中显示的图像中的汽车。例如,在一些实施方式中,用户可以通过登录、cookie或其它标识符提供凭证,允许用户针对竞赛以及在目标显示220中被识别。
用户界面200包括地址选择域210。地址选择域210被配置为接收用户输入的地址。如图2-4中所图示,用户每一个已输入了地址“加州山景城主街123号”。在使用“搜索”按钮提交了所输入的地址后,地址例如被发送给图像服务器120,并且作为响应,图像服务器120例如发送对应于所提交的地址的图像122a以供在客户端设备102a处被接收并且显示。如图2-4中所图示,对应的图像122a例如在显示窗口230中显示。
显示窗口230显示与在地址选择域210中提交的地址相关联的图像122a。另外,客户端设备102a被配置为从用户接收显示窗口230中示出的图像的部分的指示。如图2-4中所图示,用户可以使用光标240来提供图像的部分的指示。由用户A、B和C所指示的图像的部分分别在图2-4中由部分250、350和450图示。
在图2-4中所图示的示例中,三个用户正在参与定位目标区域的竞赛。如图2-4中的目标显示220中所指示的,用户试图定位对应于特定汽车的目标区域。因此,用户中的每一个选择了显示窗口230中示出的图像中的汽车对象。
由用户进行的每一个选择可以导致图像的部分的指示。例如,如图2中所示,用户A如图像的部分250所图示靠近汽车对象的顶部选择。如图3中所示,用户B如图像的部分350所图示靠近汽车对象的后备箱选择。如图4中所示,用户C如图像的部分450所图示靠近汽车对象的侧面选择。例如,将图像的部分的指示250、350和450发送给图像服务器120,其中这些部分与图像相关联并且被存储在图像指示存储121中。
另外,可以进一步将指示250、350和450与对象标识符和/或用户标识符相关联。由于用户正在参与定位对应于汽车的目标区域的竞赛,所以可以将从用户接收的指示与“汽车”对象标识符相关联。可以进一步将每一个指示与识别提供了指示的用户(例如,用户A、B或C)的用户标识符相关联。
图5是包括所识别的感兴趣区域的示例图像500的图示。继续在上面参考图2-4描述的示例,用户A、B和C已经进行了对在图像500中示出的汽车对象的选择,这导致图像的部分的指示250、350和450被发送给图像服务器120。
所接收的图像的部分的指示250、350和450可以用于识别图像500中的感兴趣区域550。例如,感兴趣区域可以由感兴趣区域引擎125来识别。在一些实施方式中,感兴趣区域可以通过组合来自对应于有关该图像的具有相同的对象标识符的所接收的指示的图像的部分的像素来识别。例如,感兴趣区域550可以通过组合与对象汽车相关联的所接收的图像的部分(即图像的部分250、350、450)所指示的像素来识别。在一些实施方式中,感兴趣区域550可以通过生成包围与相同对象相关联的图像的部分的形状或区域来识别。
如所图示,感兴趣区域550是被识别包括具有共同对象标识符汽车的图像的部分250、350和450的区域。感兴趣区域500的边界包括图像的部分250、350和450的边界,以及还包括图像的未被识别的部分。由于图像中的对象是连续的,所以图像的所指示的部分之间的区域也可能与图像中的对象相关联。
可以将所识别的感兴趣区域550与对象的指示相关联。继续上述示例,可以例如将所识别的感兴趣区域550与汽车对象的指示相关联。此外,可以将所识别的感兴趣区域550与用户可选择的链接相关联。用户可选择的链接可以被配置为展现与和感兴趣区域550相关联的对象有关的信息。例如,用户可选择的链接可以被配置为当被选择时展现与汽车对象有关的信息。
图6是用于显示包括感兴趣区域的图像的示例用户界面600。用户界面600可以包括用于指定查看与之相关联的图像的地址的地址选择域610以及用于显示与所输入的地址相关联的图像的显示窗口630。
继续参考图2-5所描述的示例,用户请求查看与输入到地址选择域610中的地址相对应的图像。对应于所输入的地址“加州山景城主街123号”的图像在显示窗口630中显示。
如在图2-5中所描述的,对应于地址的图像具有带有相关联的用户可选择的链接的相关联的感兴趣区域550。感兴趣区域使用在定位目标图像的竞赛期间接收的图像的部分的指示来识别,并且与图像和用户可选择的链接相关联。当用户通过用户界面600请求图像时,从图像服务器120检索图像以及相关联的用户可选择的链接。图像以及带有相关联的用户可选择的链接的相关联的感兴趣区域550由客户端设备120a在显示窗口630中显示。
如所示,用户点击或选择了图像中的感兴趣区域550。因此,与感兴趣区域550相关联的用户可选择的链接被激活,这导致文本框670的显示。在所示的示例中,文本框670包括指向向用户显示有关汽车的额外信息的网页的超链接。
图7是用于识别图像中的感兴趣区域的示例过程流程700。该过程流程例如可以由图像服务器120来实现。
接收在与第一用户相关联的显示设备上展现的图像的一部分的第一指示(705)。图像的一部分的第一指示例如可以由图像服务器120在用户指示了图像的一部分时从客户端设备102a接收。在一些实施方式中,指示可以指示在客户端设备的显示设备上展现的图像中的像素或像素位置。
在一些实施方式中,指示响应于识别对象的提示而接收。例如,可以提示用户定位在显示设备上展现的图像中的诸如汽车的对象。因此,用户可以点击或选择在显示设备上的图像的用户看起来是汽车的部分。所选择的部分的指示然后例如由客户端设备102a发送并且由图像服务器120接收。
接收在与第二用户相关联的显示设备上展现的图像的一部分的第二指示(710)。图像的一部分的第二指示例如可以由图像服务器120在第二用户指示了图像的一部分时从客户端设备102b接收。
基于第一指示和第二指示来确定图像中的感兴趣区域(715)。图像中的感兴趣区域例如可以由图像服务器120的感兴趣区域引擎125来识别。在一些实施方式中,感兴趣区域可以通过组合图像的所指示的部分来识别。额外地或替选地,感兴趣区域可以例如通过生成包围第一和第二所指示的部分的形状或区域来识别。
将感兴趣区域与对象的指示相关联(715)。例如可以由图像服务器120的感兴趣区域引擎125将感兴趣区域与对象的指示相关联。
可选地,可以将用户可选择的链接或其它指定符与图像中的感兴趣区域相关联(720)。例如可以由图像服务器120的感兴趣区域引擎125将用户可选择的链接与图像的感兴趣区域相关联。在一些实施方式中,用户可选择的链接被配置为当由用户选择时展现与对象有关的信息。例如,在对象是汽车的情况下,用户可选择的链接可以在用户选择了图像中的感兴趣区域时促使窗口显示有关汽车的信息。类似地,用户可选择的链接可以在用户选择了感兴趣区域时促使因特网浏览器打开与汽车相关联的网页。
在随后展现图像时显示与图像中的感兴趣区域相关联的用户可选择的链接或其它指定符(725)。例如,用户可选择的链接可以由图像服务器120提供。在客户端设备102a处的用户可以向图像服务器120请求图像。当图像服务器120向客户端设备120a提供所请求的图像时,图像服务器120还向用户设备102a提供相关联的用户可选择的链接。客户端设备102a然后可以例如在与客户端设备102a相关联的显示设备上向用户展现图像和相关联的链接。额外地或替选地,图像服务器可以将用户可选择的链接和图像(或其指示)发送给另一个服务器以供稍后展现。
在一些实施方式中,图像服务器可以确定并且忽视在识别图像中的对象时显著不同于图像中的对象的其它指示的异常值指示。
图8是用于识别图像中的感兴趣区域的另一个示例过程流程800。该过程流程例如可以由图像服务器120来实现。
从不同用户接收图像的一部分的指示(805)。图像的一部分的指示可以由图像服务器120从客户端设备(例如,客户端设备102a和102b)接收。在一些实施方式中,图像可以是存储在图像服务器120的图像存储122处的图像集合的一部分。图像集合例如可以是地图应用的一部分或可以是视频内容项。
所接收的指示还可以包括识别相关联的图像中的指示意图要识别的对象的对象标识符或与所述对象标识符相关联。在一些实施方式中,相关联的对象标识符可以由与客户端设备相关联的提供了特定指示的用户提供。在其它实施方式中,对象标识符可以由图像服务器120提供。例如,在图像的一部分的指示从参与定位描绘特定类型的对象的目标区域的竞赛或晋级的用户接收的情况下,相关联的对象标识符可以对应于由晋级所指定的对象。
基于具有共同相关联的对象标识符的图像的一部分的指示来确定图像中的感兴趣区域(810)。感兴趣区域例如可以由图像服务器120的感兴趣区域引擎125来识别。在一些实施方式中,感兴趣区域可以通过组合具有共同相关联的对象标识符的图像的部分来识别。例如,在图像的部分识别图像中的像素区域的情况下,所识别的感兴趣区域可以包括所识别的像素区域。额外地或替选地,所识别的感兴趣区域可以通过生成包围指示的形状或区域来识别。
将共同相关联的对象标识符与所识别的感兴趣区域相关联(815)。例如可以由图像服务器120的感兴趣区域引擎125将对象标识符与所识别的感兴趣区域相关联。
在过程800的实现的一个示例中,各种用户可以被注册或识别为参与识别特定图像中示出的特定猫的“图像寻宝”。当用户中的每一个浏览并且显示图像存储中的图像时,用户识别用户已浏览并且显示的图像中示出的猫的每一个描绘。当用户识别了猫的描绘时,用户的客户端设备将用户识别为描绘猫的图像的部分的指示、识别猫描绘在其中出现的图像的指示以及将图像的所识别的部分识别为描绘猫的对象标识符发送给图像服务器。图像服务器分组由不同用户提交的有关特定图像的信息,并且处理有关图像的信息,以基于针对共同对象标识符“猫”提交的图像的部分来识别感兴趣区域(在此为猫的描绘)。以那种方式,图像服务器能够存储图像包括猫的描绘的指示以及猫描绘在图像中的位置。
图9是可以用于实现在此描述的系统和方法的示例计算机系统900的框图。例如,图像服务器120可以使用系统900来实现。
系统900包括处理器910、存储器920、存储设备930以及输入/输出设备940。组件910、920、930和940中的每一个例如可以使用系统总线950互连。处理器910能够处理用于在系统900内执行的指令。在一个实施方式中,处理器910是单线程处理器。在另一个实施方式中,处理器910是多线程处理器。处理器910能够处理存储在存储器920中或存储设备930上的指令。
存储器920存储系统900内的信息。在一个实施方式中,存储器920是计算机可读介质。在一个实施方式中,存储器920是易失性存储器单元。在另一个实施方式中,存储器920是非易失性存储器单元。
存储设备930能够为系统900提供海量存储。在一个实施方式中,存储设备930是计算机可读介质。在各种不同的实施方式中,存储设备930例如可以包括硬盘设备、光盘设备或一些其它大容量存储设备。
输入/输出设备940为系统900提供输入/输出操作。在一个实施方式中,输入/输出设备940可以包括例如以太网卡的网络接口设备、例如RS-232端口的串行通信设备和/或例如802.11卡的无线接口设备中的一个或多个。在另一个实施方式中,输入/输出设备可以包括配置为接收输入数据以及将输出数据发送到例如键盘、打印机和显示设备960的其它输入/输出设备的驱动器设备。
在本专利文件中描述的装置、方法、流程图以及结构框图可以在包括包含计算机处理系统可执行的程序指令的程序代码的计算机处理系统中实现。还可以使用其它实施方式。另外,还可以利用在本专利文件中描述的流程图和结构框图来实现相应的软件结构和算法以及其等同物,所述流程图和结构框图描述了特定方法和/或支持步骤的相应动作以及支持所公开的结构性装置的相应功能。
所撰写的描述阐述了本发明的最佳模式,并且提供了描述本发明的示例,以使本领域普通技术人员能够制作和使用本发明。所撰写的描述没有将本发明限制在阐述的精确术语。因此,虽然关于在上面阐述的示例详细描述了本发明,但是本领域普通技术人员可以在不背离本发明的范围的情况下实现对示例的更改、修改和变化。

Claims (20)

1.一种计算机实现的方法,包括:
由至少一个处理器接收在与第一用户相关联的显示设备上展现的图像的一部分的第一指示,所述第一指示是响应于识别对象的提示而接收的;
由至少一个处理器接收在与第二用户相关联的显示设备上展现的所述图像的一部分的第二指示,所述第二指示是响应于识别所述对象的提示而接收的;
由至少一个处理器基于所述第一指示和所述第二指示来识别所述图像中的感兴趣区域;
由至少一个处理器将所述感兴趣区域与所述对象的标识符相关联;
由至少一个处理器将指定符与所述图像中的所述感兴趣区域相关联,所述指定符被配置为展现与所述对象有关的信息;以及
由至少一个处理器使得能够在所述图像的随后展现中展现与所述图像中的所述感兴趣区域相关联的所述指定符。
2.一种计算机实现的方法,包括:
由至少一个处理器接收图像的一部分的多个指示,其中所述图像是图像集合的一部分以及所述指示具有相关联的对象标识符;
由至少一个处理器基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域;以及
由至少一个处理器将所述共同相关联的对象标识符与所识别的感兴趣区域相关联。
3.根据权利要求2所述的方法,其中所述指示进一步与用户相关联,以及每一个用户与用户分值相关联,以及进一步其中基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域包括:基于具有共同相关联的对象标识符和具有带有高于阈值用户分值的相关联的用户分值的相关联的用户的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域。
4.根据权利要求2所述的方法,进一步包括:
限定所述图像集合中的图像中的一个或多个中的目标区域;以及
确定所接收的图像的一部分的指示是否指示目标区域的一部分。
5.根据权利要求4所述的方法,其中所述指示进一步与用户相关联,以及进一步包括:如果确定所接收的图像的一部分的指示指示目标区域的一部分,则向与所接收的指示相关联的所述用户授予奖励。
6.根据权利要求2所述的方法,进一步包括识别欺诈指示,以及进一步其中基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域包括:基于具有共同相关联的对象标识符的所述图像的一部分的非欺诈指示来识别所述图像中的感兴趣区域。
7.根据权利要求2所述的方法,进一步包括:将用户可选择的链接与所识别的感兴趣区域相关联。
8.根据权利要求2所述的方法,其中所述图像集合是视频内容项。
9.根据权利要求2所述的方法,其中所述图像集合是地图应用的一部分。
10.一种系统,包括:
数据存储,所述数据存储适于存储多个图像以及相关联的所述图像的一部分的指示,其中指示具有相关联的对象标识符和相关联的用户;以及
处理器,所述处理器适于:
识别与共同对象标识符相关联的图像的一部分的指示;
识别所述图像中的感兴趣区域,所述感兴趣区域基于所述图像的所指示的部分;以及
将所述共同对象标识符与所识别的感兴趣区域相关联。
11.根据权利要求10所述的系统,其中所述处理器进一步适于:
识别存储在所述数据存储中的欺诈指示;以及
从所述数据存储移除所述欺诈指示。
12.根据权利要求10所述的系统,其中所述处理器进一步适于:
确定与指示相关联的每一个用户的分值;以及
从所述数据存储移除具有带有小于阈值分值的确定分值的相关联用户的指示。
13.编码在计算机可读介质上、当被执行时促使计算机执行操作的指令,所述操作包括:
接收在与第一用户相关联的显示设备上展现的图像的一部分的第一指示,所述第一指示是响应于识别对象的提示而接收的;
接收在与第二用户相关联的显示设备上展现的所述图像的一部分的第二指示,所述第二指示是响应于识别所述对象的提示而接收的;
基于所述第一指示和所述第二指示来识别所述图像中的感兴趣区域;
将所述感兴趣区域与所述对象的标识符相关联;
将指定符与所述图像中的所述感兴趣区域相关联,所述指定符被配置为展现与所述对象有关的信息;以及
使得能够在所述图像的随后展现中展现与所述图像中的所述感兴趣区域相关联的所述指定符。
14.编码在计算机可读介质上、当被执行时促使计算机执行操作的指令,所述操作包括:
接收图像的一部分的多个指示,其中所述图像是图像集合的一部分以及所述指示具有相关联的对象标识符;
基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域;以及
将所述共同相关联的对象标识符与所识别的感兴趣区域相关联。
15.根据权利要求14所述的方法,其中所述指示进一步与用户相关联,以及每一个用户与用户分值相关联,以及进一步其中基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域包括:基于具有共同相关联的对象标识符和具有带有高于阈值用户分值的相关联的用户分值的相关联的用户的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域。
16.根据权利要求14所述的方法,进一步包括:
限定所述图像集合中的图像中的一个或多个中的目标区域;以及
确定所接收的图像的一部分的指示是否指示目标区域的一部分。
17.根据权利要求16所述的方法,其中所述指示进一步与用户相关联,以及进一步包括:如果确定所接收的图像的一部分的指示指示目标区域的一部分,则向与所接收的指示相关联的所述用户授予奖励。
18.根据权利要求14所述的方法,进一步包括识别欺诈指示,以及进一步其中基于具有共同相关联的对象标识符的所述图像的一部分的所述指示来识别所述图像中的感兴趣区域包括:基于具有共同相关联的对象标识符的所述图像的一部分的非欺诈指示来识别所述图像中的感兴趣区域。
19.根据权利要求14所述的方法,进一步包括:将用户可选择的链接与所识别的感兴趣区域相关联。
20.根据权利要求14所述的方法,其中所述图像集合是视频内容项。
CN2009801399139A 2008-08-11 2009-08-11 图像中的对象识别 Pending CN102177512A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US18874808P 2008-08-11 2008-08-11
US61/188,748 2008-08-11
US12/538,283 2009-08-10
US12/538,283 US20100034466A1 (en) 2008-08-11 2009-08-10 Object Identification in Images
PCT/US2009/053353 WO2010019537A2 (en) 2008-08-11 2009-08-11 Object identification in images

Publications (1)

Publication Number Publication Date
CN102177512A true CN102177512A (zh) 2011-09-07

Family

ID=41653031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801399139A Pending CN102177512A (zh) 2008-08-11 2009-08-11 图像中的对象识别

Country Status (8)

Country Link
US (1) US20100034466A1 (zh)
EP (1) EP2329402A4 (zh)
JP (1) JP2011530772A (zh)
KR (1) KR101617814B1 (zh)
CN (1) CN102177512A (zh)
AU (1) AU2009282190B2 (zh)
CA (1) CA2735577A1 (zh)
WO (1) WO2010019537A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514296A (zh) * 2013-10-16 2014-01-15 上海合合信息科技发展有限公司 数据存储方法及装置,数据查询方法及装置
CN103946837A (zh) * 2011-09-26 2014-07-23 谷歌公司 使用聚合特征标识符来管理地图元素
CN106163624A (zh) * 2014-04-11 2016-11-23 微软技术许可有限责任公司 尤其用于视频游戏的使用提示的基于感兴趣区域的视频编码
CN106716393A (zh) * 2014-09-29 2017-05-24 索尼互动娱乐股份有限公司 用于辨别和匹配图像中描画的对象的方法和设备
CN113661492A (zh) * 2019-04-08 2021-11-16 谷歌有限责任公司 带有产品源链接的媒体注释

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178777A1 (en) 2008-02-05 2015-06-25 Google Inc. Informational and Advertiser Links for Use in Web Mapping Services
US20100004995A1 (en) * 2008-07-07 2010-01-07 Google Inc. Claiming Real Estate in Panoramic or 3D Mapping Environments for Advertising
US9538714B2 (en) 2009-04-21 2017-01-10 Deere & Company Managing resource prescriptions of botanical plants
US8437879B2 (en) 2009-04-21 2013-05-07 Deere & Company System and method for providing prescribed resources to plants
US8028470B2 (en) 2009-04-21 2011-10-04 Deere & Company Robotic watering unit
US8321365B2 (en) * 2009-04-21 2012-11-27 Deere & Company Horticultural knowledge base for managing yards and gardens
US8321061B2 (en) 2010-06-17 2012-11-27 Deere & Company System and method for irrigation using atmospheric water
US9357759B2 (en) 2010-08-20 2016-06-07 Deere & Company Networked chemical dispersion system
US9076105B2 (en) 2010-08-20 2015-07-07 Deere & Company Automated plant problem resolution
US8504234B2 (en) 2010-08-20 2013-08-06 Deere & Company Robotic pesticide application
US9027048B2 (en) * 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
JP6064618B2 (ja) * 2013-01-23 2017-01-25 富士ゼロックス株式会社 情報処理装置及びプログラム
WO2014130591A1 (en) * 2013-02-19 2014-08-28 Digitalglobe, Inc. Crowdsourced search and locate platform
CN104866486A (zh) * 2014-02-21 2015-08-26 联想(北京)有限公司 一种信息处理方法及电子设备
WO2015157344A2 (en) * 2014-04-07 2015-10-15 Digitalglobe, Inc. Systems and methods for large scale crowdsourcing of map data location, cleanup, and correction
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
KR20160006909A (ko) 2014-07-10 2016-01-20 김진곤 이미지 처리 방법과 이를 저장하는 저장 매체
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
KR20160085742A (ko) 2016-07-11 2016-07-18 김진곤 이미지 처리 방법
US10264297B1 (en) 2017-09-13 2019-04-16 Perfect Sense, Inc. Time-based content synchronization
US10535006B2 (en) 2018-01-23 2020-01-14 Here Global B.V. Method, apparatus, and system for providing a redundant feature detection engine
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
US10868620B2 (en) * 2018-12-26 2020-12-15 The Nielsen Company (Us), Llc Methods and apparatus for optimizing station reference fingerprint loading using reference watermarks
US11113839B2 (en) * 2019-02-26 2021-09-07 Here Global B.V. Method, apparatus, and system for feature point detection
US11051057B2 (en) * 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
US11234049B2 (en) * 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
CN112995759A (zh) * 2019-12-13 2021-06-18 腾讯科技(北京)有限公司 互动业务处理方法、系统、装置、设备及存储介质
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11284144B2 (en) * 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
GB2597334A (en) 2020-07-17 2022-01-26 Playrcart Ltd A media player
US20220318334A1 (en) * 2021-04-06 2022-10-06 Zmags Corp. Multi-link composite image generator for electronic mail (e-mail) messages

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US6496981B1 (en) * 1997-09-19 2002-12-17 Douglass A. Wistendahl System for converting media content for interactive TV use

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2008A (en) * 1841-03-18 Gas-lamp eok conducting gas pkom ah elevated buhner to one below it
US6205231B1 (en) * 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US6070167A (en) * 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
US7577978B1 (en) * 2000-03-22 2009-08-18 Wistendahl Douglass A System for converting TV content to interactive TV game program operated with a standard remote control and TV set-top box
KR20010105634A (ko) * 2000-05-17 2001-11-29 김장태 인터넷상의 지도 정보 서비스방법
JP4139990B2 (ja) * 2002-06-06 2008-08-27 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラム格納媒体
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
US7980953B2 (en) * 2003-07-01 2011-07-19 Carnegie Mellon University Method for labeling images through a computer game
KR20050094557A (ko) * 2004-03-23 2005-09-28 김정태 정지 컨텐츠의 영역 추출 시스템
KR100609022B1 (ko) * 2004-06-09 2006-08-03 학교법인 영남학원 공간관계와 주석을 이용한 이미지 검색 방법
US7562056B2 (en) * 2004-10-12 2009-07-14 Microsoft Corporation Method and system for learning an attention model for an image
US7724954B2 (en) * 2005-11-14 2010-05-25 Siemens Medical Solutions Usa, Inc. Method and system for interactive image segmentation
US20080086356A1 (en) * 2005-12-09 2008-04-10 Steve Glassman Determining advertisements using user interest information and map-based location information
WO2007098105A2 (en) * 2006-02-21 2007-08-30 Topcoder, Inc. Internet contest
US20080059281A1 (en) * 2006-08-30 2008-03-06 Kimberly-Clark Worldwide, Inc. Systems and methods for product attribute analysis and product recommendation
JP2008165345A (ja) * 2006-12-27 2008-07-17 Rasis Software Service Co Ltd ウェブサイトの広告デザイン募集システム、広告デザイン募集方法、プログラムおよびコンピュータ読取可能記録媒体
US8206222B2 (en) * 2008-01-29 2012-06-26 Gary Stephen Shuster Entertainment system for performing human intelligence tasks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US6496981B1 (en) * 1997-09-19 2002-12-17 Douglass A. Wistendahl System for converting media content for interactive TV use

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946837A (zh) * 2011-09-26 2014-07-23 谷歌公司 使用聚合特征标识符来管理地图元素
CN103514296A (zh) * 2013-10-16 2014-01-15 上海合合信息科技发展有限公司 数据存储方法及装置,数据查询方法及装置
CN106163624A (zh) * 2014-04-11 2016-11-23 微软技术许可有限责任公司 尤其用于视频游戏的使用提示的基于感兴趣区域的视频编码
CN106716393A (zh) * 2014-09-29 2017-05-24 索尼互动娱乐股份有限公司 用于辨别和匹配图像中描画的对象的方法和设备
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN106716393B (zh) * 2014-09-29 2021-04-27 索尼互动娱乐股份有限公司 用于辨别和匹配图像中描画的对象的方法和设备
US11003906B2 (en) 2014-09-29 2021-05-11 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US11113524B2 (en) 2014-09-29 2021-09-07 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US11182609B2 (en) 2014-09-29 2021-11-23 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN113661492A (zh) * 2019-04-08 2021-11-16 谷歌有限责任公司 带有产品源链接的媒体注释

Also Published As

Publication number Publication date
AU2009282190B2 (en) 2015-02-19
JP2011530772A (ja) 2011-12-22
EP2329402A2 (en) 2011-06-08
EP2329402A4 (en) 2012-12-05
US20100034466A1 (en) 2010-02-11
WO2010019537A2 (en) 2010-02-18
KR20110044294A (ko) 2011-04-28
KR101617814B1 (ko) 2016-05-18
WO2010019537A3 (en) 2010-04-22
CA2735577A1 (en) 2010-02-18
AU2009282190A1 (en) 2010-02-18

Similar Documents

Publication Publication Date Title
CN102177512A (zh) 图像中的对象识别
US10735547B2 (en) Systems and methods for caching augmented reality target data at user devices
US11130049B2 (en) Entertainment system for performing human intelligence tasks
US20220391773A1 (en) Method and system for artificial intelligence learning using messaging service and method and system for relaying answer using artificial intelligence
KR101797856B1 (ko) 메신저 서비스를 이용한 인공지능 학습 방법 및 시스템, 그리고 인공지능을 이용한 답변 중계 방법 및 시스템
CN106446005B (zh) 因子分解模型
CN103608811B (zh) 用于所连接的设备的上下文感知应用模型
CN103635903B (zh) 基于上下文的搜索结果的排名
CN105051732B (zh) 本地应用内容的排名
US6074299A (en) Internet based search contest
US8393002B1 (en) Method and system for testing an entity
US20100030648A1 (en) Social media driven advertisement targeting
CN103430176A (zh) 搜索辅助系统和方法
US20070255702A1 (en) Search Engine
CN102483753A (zh) 搜索结果中的计算机应用数据
TWI388997B (zh) 使用動態喜好票選之網頁式競賽
US20160283585A1 (en) Method and system for providing a personalized snippet
US11048771B1 (en) Method and system for providing organized content
US20160063444A1 (en) Creating rich profiles of users from web browsing information
US20100251337A1 (en) Selective distribution of objects in a virtual universe
US9830040B1 (en) System and method for conducting a spy game on a social network
US20130137493A1 (en) Tagging Method
CN113144625B (zh) 数据处理方法及装置、设备、存储介质
US11017030B1 (en) Method, apparatus, and system for receiving and weighting non-schema data entries in spatial instances of heterogeneous databases
CN109313771A (zh) 实时拍卖的可靠性度量

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110907