CN102999630A - 基于姿势标记以观看相关内容 - Google Patents

Abstract

提供了用于使得用户能够观看与媒体内容内的项目相关的内容的计算机可读媒体、计算机系统和计算设备。在一种实施方式中，检测指示用户对在向用户显示的媒体内容中呈现的项目感兴趣的标记姿势。这样的标记姿势可定义具有该项目的显示内容的区域。响应于检测标记姿势，呈现由第三方提供的与该项目相关的广告。

Description

基于姿势标记以观看相关内容

背景技术

为了找到与呈现给用户的媒体内容中显示的项目相关的内容，用户通常使用搜索服务。示例性的互联网搜索引擎在本领域是公知的，例如，通常所知的商业引擎是由华盛顿雷德蒙的微软公司所提供的BING搜索引擎。一般来说，一旦用户观看显示的媒体内容中感兴趣的项目，为了识别任何相关内容，用户最初将打开web浏览器并导航至与特定搜索服务相关联的主页。此后，用户可例如通过由搜索服务提供的搜索框输入搜索查询以获得期望的搜索结果。 这样的搜索处理可能是耗时且低效的。

发明内容

本发明内容介绍了基于姿势(gesture)标记(tag)以观看与媒体内容中感兴趣的项目相关的内容的概念，在以下的详细描述中将对其进行进一步描述。本发明内容的目的既不是确定所要求保护主题的必要特征，也不是用来限制所要求保护的主题的范围。

本申请描述了使得观看与在媒体内容中呈现的项目相关的内容更容易的示例实施方式。在一个示例实施方式中，用户可观看具有能够被标记的项目的媒体内容。因此，与用户设备相关联的显示屏幕可显示诸如视频之类的一些媒体内容。使用姿势，用户可提供他或她对媒体内容的特定项目感兴趣的指示。响应于指示对一个项目感兴趣，可以向用户呈现关于该项目的内容，以使得用户能够容易地观看这些相关内容（例如广告、交易、项目信息、建议或推荐等）。在一些实现方式中，根据项目的上下文和/或用户数据来选择与特定项目相关的内容。

附图说明

下面参照附图来详细描述本发明的实施方式，在所述附图中：

图1是适于实现本发明的实施方式的示例计算设备的方框图；

图2是包括用于实现基于姿势标记的用户设备的示例环境的示意图；

图3是在用户设备的显示器上呈现的示例内容的示意图；

图4是根据本发明的实施方式而示出了对媒体内容中的特定项目的用户聚焦的示意图；

图5是根据本发明的一种实施方式的基于姿势标记的示例处理的示意图；

图6是根据本发明的实施方式的与项目相关联地呈现的与项目相关的内容的示意图；

图7是根据本发明的一种实施方式的项目活动的示例用户选择的示意图；

图8是根据本发明的实施方式的可在稍后时间观看的示例广告的示意图；

图9是根据本发明的实施方式的与项目相关联地呈现的由另一个实体标记的与项目相关的内容的示意图；

图10图示了根据本发明的一种实施方式生成标记使能的内容的示例方法；

图11图示了根据本发明的一种实施方式标记项目的示例方法；

图12图示了根据本发明的一种实施方式利用基于姿势的标记以观看与项目相关的内容的示例方法；

图13图示了根据本发明的一种实施方式利用基于姿势的标记以识别与项目相关的内容的示例方法；

图14图示了根据本发明的一种实施方式第三方启动项目标记以使得另外一方可观看与其相关的内容的示例方法；

图15图示了根据本发明的一种实施方式利用第三方标记以向另外一方提供与项目相关的内容的示例方法；和

图16图示了根据本发明的一种实施方式利用第三方标记以在用户设备上观看相关内容的示例方法。

具体实施方式

概述

一般来说，当用户想搜索与用户正在观看的媒体内容中的项目相关的特定信息时，用户打开web浏览器并且连接搜索服务。用户可通过输入搜索查询以查询搜索引擎。可通过与web浏览器和/或网页整合在一起的或作为工具栏和web浏览器一起运行的搜索框来输入这样的搜索查询，或者通过使用web浏览器作为平台来完成搜索的单独的应用。在任一情况下，用户通过打字或通过剪切和粘帖搜索查询来手动地输入搜索查询。其他现有技术可允许用户通过激活用户设备的语音识别功能（如果可用的话）来输入将由用户设备或搜索服务的搜索应用变换为文本的语音命令和/或语音输入而输入搜索查询。

响应于接收到搜索查询，搜索服务可返回并在结果页面中呈现搜索结果给用户。如果用户希望修改搜索，用户可输入修改的搜索查询到文本框，并且提交修改的搜索查询到搜索引擎，接着搜索引擎返回新的搜索结果给用户。一旦用户找到期望的信息，那么他或她就退出搜索服务，并且返回到观看他/她最初观看的媒体内容。如果用户需要参考搜索结果或执行另一个搜索，用户必须在观看媒体内容和执行搜索以识别与正在观看的媒体内容相关的内容之间来回切换，因此破坏他或她的媒体内容观看。

如果用户所使用的设备性能有限或者不具有同时运行多个应用的能力，所述情况变得更加糟糕。这些问题在通常不允许用户同时观看媒体内容和执行互联网搜索的移动设备中尤其严重。

例如，用户可以正在观看具有该用户感兴趣的特定帽子的视频。然而，用户可能不知道帽子的牌子或者到哪里去买这个帽子，因此可通过互联网搜索这个帽子。例如，用于可打开web浏览器，进入搜索引擎所提供的web页面，将包括关于那个帽子的信息的查询（例如戴着那个帽子的演员、提供那个帽子的视频的标题、帽子的颜色、帽子的样式等）输入到由web页面提供的搜索框，并且提交查询到搜索引擎。可替换地，用户可通过语音命令和/或语音输入向搜索应用输入相关的帽子信息。然而，移动设备只有小显示器，缺乏物理键盘和/或语音识别能力，用户可以发现很难执行该搜索处理。如果不知道与帽子相关的细节，这种情况可以变得更加糟糕。在这种情况下，用户可以猜测诸如帽子制造商等细节，从而可以获得不正确的信息。可替换地，用户可能需要执行多种搜索以获得关于那个帽子的期望的信息（诸如帽子的制造商）。

在另一个例子中，用户可能正在观看包括用户感兴趣的项目的媒体内容。用户希望实施对该项目的搜索。为了实施搜索，用户可能需要知道如何描述该项目，并且向搜索引擎提供图像的文字性描述，类似于以上描述的搜索处理。可替换地，用户可以首先找到相似的图像，并且将相似的图像保存到设备的本地存储器中，接着上传相似的图像到允许基于内容的图像检索的搜索引擎。然而，在这两种情况中，都需要用户进行若干步骤以执行搜索。

本公开描述了对媒体内容中项目的基于姿势的标记以使得用户能够观看与项目相关的内容。响应于由用户提供的姿势，这样的基于姿势的标记允许用户观看与在用户正在观看的媒体内容中呈现的感兴趣的项目相关的内容（也就是数据或信息）。一般来说，用户设备通过显示屏幕向用户显示媒体内容。这样的媒体内容可以是能够通过用户设备呈现的任何媒体内容。例如，用户设备可为用户播放视频和/或音频。用户设备随后可以检测到来自用户的姿势，其指示观看与特定项目相关的内容的意图。在一些情况下，用户设备可检测来自用户的姿势，其定义或指明显示器上显示的内容中的项目。姿势可包括但不限于：用户设备的触摸屏或触摸板的触摸输入、由用户设备的图像捕获设备检测到的身体运动，和/或由鼠标或其他用户输入设备控制的光标的运动。在一些例子中，姿势可通过定义具有项目的内容的区域来指明一个项目。例如，由姿势定义的内容的区域可以是具有由姿势（例如一般圆形的姿势）实质上划界的项目的区域，具有由姿势触摸或与之重叠的项目的区域等。在另一个例子中，姿势可通过选择项目而指明一个项目（例如光标或选择器悬停在项目上和/或选择项目）。

附加地或可替换地，姿势可包括用户设备本身的运动。例如，用户设备的运动可由加速计、姿态传感器、罗盘等来检测。用户设备的运动可指示用户想观看与由用户设备显示的项目相关的内容的意图，例如引发搜索与特定项目相关联的信息。

在一些实施方式中，用户设备可在显示的内容上显示由姿势定义的内容的区域的表示，以向用户提供关于姿势的大小和形状的视觉反馈。例如，内容的区域的表示可包括围绕内容的区域的线条、内容的区域的高亮视图和/或内容的区域的放大镜视图。在一些情况下，具有项目的内容的区域可包括由姿势定义的文本信息、图示信息、图像信息、音频信息和/或视频信息。

响应于姿势的完成，用户设备可识别与感兴趣的项目相关联的标记项目（tag-item）数据，并且可以基于标记项目数据引发执行对与标记的项目相关的内容的搜索。在一些实施方式中，上下文数据和/或用户数据可被用来搜索与标记的项目相关的内容。例如，用户数据和/或上下文数据可被参考或识别以便有系统地表达（formulate）、精炼或以其它方式生成、改变或增强相关内容的搜索。

此处描述的基于姿势的标记技术允许用户通过简单输入例如定义、指明或指示媒体内容中感兴趣的项目的姿势而无缝观看与在媒体内容中呈现的项目相关的内容。在这点上，用户可观看与感兴趣的项目相关联的信息而无需打开web浏览器、导航到搜索引擎所提供的web页面和手动输入搜索查询（例如，通过打字或语音输入），从而提高了用户的搜索和/或媒体观看体验。因此，此处描述的基于姿势的标记技术使得当用户正在观看媒体内容时启动信息搜索的处理变得高效和简化，从而提高用户的生产力。

此处描述的本发明的实施方式包括使得观看与媒体内容中的项目相关的内容更容易的计算机实现的方法。该方法包括：在用计算机可执行指令配置的一个或多个处理器的控制下，检测指示用户对在向用户显示的媒体内容中呈现的项目感兴趣的标记姿势。标记姿势定义具有项目的显示内容的区域。响应于检测标记姿势，呈现由第三方提供的与该项目相关的广告。

在第二示意实施方式中，涉及存储指令的一个或多个计算机可读媒体，当由处理器执行时，这些指令配置处理器执行动作。这些动作包括检测指示在显示的媒体内容中呈现的项目的标记姿势。识别与由标记姿势指示的项目相关联的标记项目数据。启动使用识别的标记项目数据以及用户数据和上下文项目数据中的至少一个而执行的搜索。接收与基于标记项目数据以及用户数据和上下文项目数据中的至少一个的项目相关的内容。与项目相关联地呈现相关内容。

在第三示意实施方式中，客户端设备包括处理器、可通信地耦合到处理器的存储器，以及被配置为向用户显示媒体内容的显示屏幕。显示屏幕显示与远程用户设备相关联的另一个用户已经指示对正向用户显示的相同媒体内容中呈现的项目感兴趣的指示。这样的指示在用户观看该媒体内容时被显示。

以下将描述多种不同的实现方式和实施方式。以下部分描述适于实现基于姿势的标记的示例环境。接下来的各部分描述基于姿势的标记技术的各示意方面。

示例架构

可以在计算机程序产品的一般性上下文中描述本发明的实施方式的多个不同方面，其中该计算机程序产品包括由计算机或诸如个人数据助理或其他手持设备之类的其他机器执行的计算机代码或机器可用指令（包括诸如程序模块之类的计算机可执行指令）。一般来说，包括例程、程序、对象、组件、数据结构等的程序模块是指执行特定任务或实现特定抽象数据类型的代码。可在包括专用服务器、通用计算机、膝上型电脑、更专业的计算设备等多种系统配置中实施本发明的实施方式。还可在由通过通信网络链接的多个远程处理设备执行任务的分布式计算环境中实施本发明。

计算机可读媒体包括易失性和非易失性媒体、可移除和不可移除媒体，预期包括数据库、处理器和多种其他联网计算设备可读的媒体。作为示例而非限制，计算机可读媒体包括以用于存储信息的任何方法或技术而实现的媒体。存储的信息的例子包括计算机可执行指令、数据结构、程序模块和其他数据表示。媒体例子包括但不限于：RAM、ROM、EEPROM、闪存和其他存储器技术、CD-ROM、数字多用途盘（DVD）、全息媒体和其他光盘存储装置、磁带盒、磁带、磁盘存储装置和其他磁存储设备。这些技术能够即时、暂时或永久地存储数据。

下面将描述可以在其中实现本发明的多个方面的示例操作环境以提供用于本发明的多个方面的一般上下文。首先参见图1，用于实现本发明实施方式的示例操作环境被一般性地显示和指定为计算设备100。计算设备100仅是适合的计算环境的一个例子，其并非试图暗示对本发明的使用或功能的范围的任何限制。计算设备100也不应当被解释为具有任何与所示组件中的任何一个或组合相关的依赖性或要求。

计算设备100包括直接或非直接耦合以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出（I/O）端口118、输出/输出组件120和示意性电源122。总线110代表一种或多种总线（诸如地址总线、数据总线或这些的组合）。尽管出于清楚的缘故而使用线条显示图1的多个方框，实际上，描绘多个组件并不是那么清楚，打个比方，更精确地，线条将是灰色和模糊的。例如，一个人可以认为诸如显示设备之类的呈现组件是I/O组件。同样地，处理器具有存储器。发明人认识到这是本领域的特有特性，并且反复强调图1的图仅是可以连同本发明一个或多个实施方式一起使用的示例计算设备的示意图。在诸如“工作站”、“服务器”、“膝上型电脑”、“手持设备”、“平板电脑”等种类之间没有差别，因为所有这些预期都落于图1的范围内，并且被称为“计算设备”。

存储器112包括存储在易失性和非易失性存储器中的计算机可执行指令（未示出）。存储器可以是可移除的、不可移除的或其组合。示例硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。存储器112是计算机可读媒体的一个例子。计算机可读媒体包括至少两种计算机可读媒体，也就是计算机存储媒体和通信媒体。

计算机存储媒体包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性的，可移除的和不可移除的媒体。计算机存储媒体包括但不限于：相变存储器（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存或其他存储器技术、紧凑盘只读存储器（CD-ROM）、数字多用途盘（DVD）或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备，或可被用来存储由计算设备访问的信息的任何其他非传输媒介。

相反地，通信媒体可体现为调制数据信号（诸如载波或其他传输机制）中的计算机可读指令、数据结构、程序模块或其他数据。如此处所定义的那样，计算机存储媒体不包括通信媒体。

计算设备100包括耦合到系统总线110上的一个或多个处理器114，其从诸如存储器112或I/O组件120之类的多种实体读取数据。在一个实施方式中，一个或多个处理器114执行计算机可执行指令以执行由计算机课执行指令定义的多种任务和方法。呈现组件116耦合到系统总线110，并向用户或其他设备呈现数据指示。示例性呈现组件116包括显示设备、扬声器、打印组件等。

I/O端口118允许计算设备100逻辑地耦合到包括I/O组件120的其他设备，其中的一些可以是内置的。示意组件包括麦克风、摇杆、游戏垫、卫星碟形天线、扫描仪、打印机、无线设备、键盘、笔、语音输入设备、触摸输入设备、触摸屏设备、交互显示设备或鼠标。I/O组件120还可包括使得可通信地连接计算设备100到例如诸如其他计算设备、服务器、路由器等之类的远程设备更容易的通信连接。

图2是用于使得观看与媒体内容中的项目相关的内容更容易的示例环境200的示意框图。环境200包括内容提供商202、用户设备204、广告商设备206、网络联系人(network-contact)设备208和相关内容系统210。内容提供商202、用户设备204、广告商设备206和网络联系人设备208可通过网络或多种网络的组合（未示出）进行通信，这些网络可以包括任意数量的网络（诸如局域网（LAN）、广域网（WAN）、互联网、蜂窝网络、点对点（P2P）网络、移动网络或这些网络的组合）。

如图2所示的网络环境200是一个合适的网络环境的例子，其并非试图暗示对本文档全文所公开的本发明的多种实施方式的使用或功能的范围的任何限制。示例性网络环境200也不应当被解释为具有任何与此处所示的组件中的任何一个单个组件或组件组合相关的依赖性或要求。例如，一个或多个组件相互之间可例如通过HDMI（高清多媒体接口）、DVI（数字视频接口）等直接进行通信。

内容提供商202可以是能够提供标记使能内容的任何类型的一个或多个计算设备。例如，内容提供商202可以是诸如以上参考图1所描述的计算设备100之类的计算设备。在一个实施方式中，内容提供商202是通过网络（诸如互联网）提供标记使能内容的媒体服务器或媒体服务器的网络。在另一个实施方式中，内容提供商202提供有形形式的标记使能内容，诸如DVD、蓝光盘或其他便携存储装置等。

内容提供商202被配置为提供诸如标记使能内容212之类的标记使能内容。此处使用的标记使能内容是指具有至少一个在内容中呈现的能够被标记的项目的媒体内容。也就是说，标记使能内容是包括至少一个可标记项目以使得可以观看相关内容的媒体内容。关于这一点，标记使能内容包括媒体内容中的至少一个项目，如果选择（例如通过姿势），导致显示相关内容。这样的话，在一些实现方式中，标记使能内容可包括指示可以观看相关内容的项目的元数据。例如，媒体内容可以是电视节目、电影、点播节目、实况广播节目、视频剪辑等。可标记项目是在媒体内容中呈现的可由用户标记的项目。标记提供用户对特定项目感兴趣的指示或指定。通过这样的方式，标记一个项目使得能够搜索并呈现与项目相关的内容。项目可以是在媒体内容中呈现的任意项目或多个项目的组合。例如，参见图3，帽子310可以是一个项目，衬衣312可以是第二个项目，个人（individual）314可以是第三个项目，项链316可以是第四个项目等。

可以意识到的是，在诸如视频之类的标记使能内容中的任意数量项目都可以是可标记的。例如，继续参见图3，虽然帽子310、衬衣312、个人314和项链316可以是可标记项目，但是个人318、帽子320和个人322可能不是可标记项目。也就是说，用户不能标记不可标记项目以指示对该项目感兴趣从而观看相关内容。在一些情况下，标记使能内容中的每个项目都可以是可标记的。可替换地，标记使能内容中的部分项目可以是可标记的。在多种实施方式中，可自动地选择，或者例如由作者、导演、提供商或媒体内容的创作者、广告商等来选择被视为或指定为可标记的项目。

可例如向用户设备（诸如用户设备204）、广告商设备（诸如广告商设备206）、网络联系人设备208（诸如网络联系人设备208）和/或相关内容系统（诸如相关内容系统210）提供标记使能内容。内容提供商202可通过网络（未示出）向这些设备提供标记使能内容212。可以下载、流送，或者由内容提供商202以其他方式提供这样的标记使能内容212。

在一些实施方式中，内容提供商202生成标记使能内容212。在其他实施方式中，另一个实体生成标记使能内容。在生成标记使能内容的过程中，可以识别媒体内容中的项目，并将其指定为可标记，从而导致产生标记使能内容。关于这一点，与媒体内容相关联的元数据可以包括可标记项目的指示。在一些实施方式中，与标记使能内容相关联的元数据还可指示用户可以结合可标记项目或可标记项目的集合而采取的一个或多个可能的项目动作的集合。

用户设备204可以是任何类型的能够呈现标记使能内容并使得用户能够观看与关联于标记使能内容的项目相关的内容的计算设备。例如，在一个实施方式中，用户设备204可以是诸如以上参考图1所描述的计算设备100之类的计算设备。用户设备204可被实现为多种通常的计算设备中的任意一种，诸如桌上型计算机、笔记本或膝上型计算机、上网本、平板电脑或薄板（slate）计算机、surface计算设备、电子书阅读设备、工作站、移动设备（例如智能电话、个人数字助理、车载导航设备等）、游戏操纵台、机顶盒、电视或以上这些的组合。可以意识到的是，用户设备204与显示屏幕相关联，以使得可向用户呈现标记使能内容和相关内容。这样的显示屏幕可以与用户设备204整合在一起或者与用户设备204分开。

用户设备204被配置为使得呈现包括标记使能内容的媒体内容更容易。关于这点，用户设备204呈现标记使能内容以使得用户可以观看内容。

在操作中，用户设备204播放或呈现标记使能内容（诸如标记使能内容212）。这样的话，用户设备204消费标记使能内容。作为示例而非限制，可在与用户设备204相关联的显示器上显示标记使能内容。这样的显示器可与用户设备204整合在一起或与用户设备204分离。可在诸如web浏览器、电子邮件客户端或用户设备204上的任何其他应用之类的应用中显示标记使能内容。附加地或可替换地，用户设备204的媒体播放器可以播放诸如视频和/或音频之类的标记使能内容。标记使能内容可包括文本、图像、图片、音频内容的视觉表示和/或视频。

用户设备204辨识或识别是否使能标记特征。标记特征允许用户启动标记媒体内容中的项目和/或观看与标记的项目相关的内容（例如经由用户、广告商、网络联系人等标记的项目）。关于这一点，标记特征允许用户观看与由用户或第三方标记的项目相关的内容。在一个实施方式中，用户设备204辨识是否使能了用户标记特征和/或第三方标记特征。用户标记特征允许用户启动项目标记以观看与标记的项目相关的内容。第三方标记特征允许用户观看与由第三方（诸如广告商或网络联系人）标记的项目相关的内容。

可例如通过用户选择来使能标记特征。在这样的实施方式中，用户可选择使能用户标记特征和/或第三方标记特征。例如，可在呈现媒体内容（例如标记使能内容）之前或期间使能这样的标记特征。例如，在呈现媒体内容之前或期间，用户可选择使能观看与由用户和/或与用户相关联或相关的第三方标记的项目相关的内容。

可以意识到的是，与配置用户设备的（多个）设置相关联地或根据用户的期望，用户可选择使能一个或者两个标记特征以观看媒体内容的每个实例。在其他情况下，可用缺省设置来配置用户设备，该缺省设置使能或禁止一个或两个标记特征（也就是用户标记特征和第三方标记特征）。

当用户标记特征被使能时，用户设备204使得用户能够启动标记项目和/或观看与这样的项目相关的内容。因此，当使能用户标记特征时，用户设备204可检测标记姿势。标记姿势是指由用户提供的标记用户感兴趣的可标记项目的指示。可标记项目是标记使能内容中呈现的可被标记的项目。在一些情况下，可标记项目是在显示器上显示的可被标记的项目。例如，相册标题缩略图、电影海报缩略图等在一些情况下是可标记的，而不管其是否是在媒体内容中呈现的。在任一情况下，可标记项目是可识别并呈现其相关内容的项目。可以意识到的是，在一些实施方式中，例如，用户可以视觉地或可听地辨识可标记项目。例如，在媒体内容中可被标记的项目可被高亮、加轮廓或以其它方式视觉识别，以使得正在观看媒体内容的用户可轻易地辨识可被标记的项目。

用户可直接向项目提供标记姿势。也就是说，用户可提供标记姿势以选择、指定或者以其它方式指示用户感兴趣的项目。因此，用户设备204可被配置为检测输入到用户设备204或与之相关联的组件的标记姿势。在一些例子中，单个标记姿势可选择项目和/或定义项目（例如通过定义具有项目的内容的区域），从而导致获得与指定项目相关的内容。例如，用户设备204可消费内容，例如播放视频。标记姿势可包括来自用户的一个或多个手指或诸如触针或数字笔之类的指点设备（pointing device）的触摸输入。用户设备204可通过触摸屏、触摸板或用户设备204的另一个输入/输出接口检测来自用户的触摸输入。在另一个实施方式中，标记姿势可包括用户的眼睛运动。用户设备204可通过用户设备204的图像捕获设备检测眼睛运动。

在另一个实施方式中，标记姿势可包括用户身体或身体一部分（诸如手指、手、头和/或胳膊）的运动。用户设备204可通过照相机、其他图像捕获设备或用户设备204的任何运动检测组件来检测身体运动。例如，用户设备可以是具有照相机或其他运动检测接口的游戏设备（诸如配置有Kinect^TM运动检测系统的Xbox®游戏操纵台，这两者都可从华盛顿雷蒙德的微软公司获得）。用户设备可接收并解释用户设备接收到的图像或信号以确定用户做出了什么样的运动。用户的运动可触发对相关内容的搜索和/或定义对相关内容的搜索的范围。附加地或可替换地，可参考正在播放该项目的上下文、与用户相关联的数据等来确定对相关内容的搜索的范围，以下将对其进行详细描述。

在一些实施方式中，标记姿势可包括由用户控制的远程控制器（例如指示器、摇杆、游戏控制器等）的运动或选择。用户设备204可通过临近远程控制器的检测器来检测由用户控制的远程控制器的运动，检测器传输远程控制器的运动的信息到用户设备204。

在其他实施方式中，标记姿势可包括由鼠标、轨迹球或耦合到用户设备204的输入/输出接口的其他输入设备控制的光标的运动或选择。在那种情况下，用户设备204可检测由输入设备控制的光标的运动。光标或选择器是指指示在显示屏幕上的位置的可移动符号。例如可以通过连接到计算设备的诸如鼠标、轨迹球等来控制在显示屏幕内的光标或选择器的运动或选择。

用户设备204还可包括可用来识别语音命令和/或输入，并将语音命令和输入转变为文本输入的语音识别。用户设备204接着可以使用这些文本输入以系统地表达或精炼搜索查询或数据（例如标记项目数据）。在用户设备204可以由超过一个用户使用的情况下，可以识别当前用户，并且可以检索与当前用户相关的历史信息（例如在诸如一小时内的预定的时间周期）用于系统地表达或精炼查询或数据。

用户设备204可进一步包括姿势学习以允许用户定义一个或多个姿势。例如，用户设备204可允许用户定义用于启动多种动作（诸如购买项目、搜索与项目相关的信息、搜索与项目相关的媒体内容、保存标记的项目等）的习惯姿势。用户设备204可收集这些用户定义的姿势中每一个的信息，诸如弯曲度、姿势速度等，从而相互区别用户定义的姿势。

尽管在以上实施方式中已描述了单独的标记姿势，标记姿势可包括以上所描述的一个或多个标记姿势的组合。

用户设备204可进一步包括使得能够响应于用户的标记姿势输入而在与用户设备204相关联的显示器上显示标记姿势的线条或其他表示的姿势跟踪。可根据选择器的位置或标记姿势的运动来显示标记姿势的表示。该表示向用户提供反馈，指示他/她刚输入的姿态的大小、形状和/或位置。该表示可包括但不限于：包围项目的线条、项目的高亮观看、选择器的线条跟踪路径、选择器的位置的指示和/或项目的放大镜视图。

在检测到与媒体内容中的可标记项目或显示器上显示的项目相关联的标记姿势后，用户设备204被配置为识别并标记由用户指示的适当的项目。关于这一点，在检测到指示或姿势以标记一个项目后，识别或辨识指定的项目。可使用以任意方式唯一标识或指示项目的项目标识符识别标记的项目。例如，项目标识符可以是项目的名称、主题、价值、描述或其他指示器。

在一个实施方式中，为了识别或辨识项目，可以利用与标记使能内容相关联的元数据。例如，元数据可指示与媒体内容中的特定帧、位置或时间相关联的（多个）项目。关于这一点，在标记使能内容的1小时5分钟32秒的时间处，元数据可指示“帽子”是媒体内容中的可标记项目。因此，用户设备204或其一部分可检测或识别在媒体内容的哪个点或在显示的内容中的哪个位置存在已选择的感兴趣的项目。可以意识到的是，这样的元数据可与标记使能内容整合在一起中或独立于标记使能内容。

可替换地或附加地，可通过例如由用户设备或另一个设备（例如远程服务器）来辨识项目从而辨识项目。例如，用户设备204可以自己基于项目的图像来辨识项目。这样的话，用户设备204可包括可识别由内容的区域或标记姿势定义的部分内容中的一个或多个项目的图像辨识模块（未示出）。

在另一个实施方式中，用户设备204可进一步提交项目的图像或其指示作为查询到检测和/或提供项目信息的给定网站、应用或服务。例如，用户设备204可包括可以从图像中提取由标记姿势定义的部分图像，并将提取的部分图像提交到搜索服务用于图像搜索的图像提取模块（未示出）。

在辨识或识别感兴趣的项目后（诸如通过姿势选择的项目），标记指定的项目。因此，用户设备204可辨识或指定可标记项目作为用户感兴趣的项目。标记的项目使得用户能够观看与标记的项目相关的内容。关于这一点，在标记了项目后，启动了项目标记的用户或第三方可观看与项目相关的内容。可以以提供用户对特定项目感兴趣的指示的任何方式执行项目标记。例如，可在标记的项目列表中包括项目标识符，项目标识符可与标记相关联，或者项目标识符可以以其它方式被指示为标记的或感兴趣的项目。例如，可与用户设备、用户、媒体内容标识符等相关联地保存标记的项目或其指示。因此，例如，可与用户设备、相关内容系统等联系而保存标记的项目的项目标识符（例如标记项目数据）。关于这一点，可以保存识别被标记的特定项目的项目标识符。

除了识别感兴趣的项目（例如用于标记项目的项目标识符），用户设备204可以辨识或识别其他标记项目数据。标记项目数据是指描述、指示或识别项目的与项目相关联的任何数据。因此，例如，标记项目数据可以是项目标识符、项目的描述、项目的细节、项目的概要、项目的表示、项目在媒体内容中出现的时间或位置、媒体内容的标题标识符或作者标识符、项目被标记的时间或位置、与项目相关联的图像等。关于这一点，用户设备204可执行内容分析以分析由用户选择的项目，从而识别与项目相关联的任何标记项目数据；还可执行元数据分析以分析或回顾与媒体内容相关联的元数据，从而识别与项目相关联的任何标记项目数据；还可执行姿势分析以分析姿势，从而识别与项目相关联的任何标记项目数据（例如标记姿势的位置或时间）等。

在一些实施方式中，用户设备204可参考或识别项目上下文数据（item-context data）。也就是说，用户设备204可访问、确定、识别或辨识项目上下文数据。项目上下文数据或上下文数据是指描述或指示项目（例如标记的项目）的上下文的任何数据或信息。关于这一点，用户设备204可分析提供关于例如呈现项目的上下文的信号的上下文信息。作为示例而非限制，上下文信息可包括接近项目的内容、正在呈现的媒体对象的标题、与显示的内容相关联的元数据（例如与标记的项目在相同帧中的其他项目、媒体内容中在其他帧中的其他项目、与媒体内容的其他部分相关联的元数据、与项目相关联的音频等）。通过至少部分基于上下文信息系统性地表达更相关的查询，项目上下文数据可被用来提高呈现的相关内容的相关性。

用户设备204可执行内容分析以分析由用户选择的项目的上下文，从而识别与项目相关联的任何项目上下文数据；可执行元数据分析以分析或回顾与媒体内容相关联的元数据，从而识别与项目相关联的任何项目上下文数据；可执行姿势分析以分析姿势，从而识别与项目相关联的任何项目上下文数据（例如标记姿势的位置或时间）。仅作为示例，假设用户启动“帽子”项目的标记。另外假设在媒体内容中戴着那个“帽子”的演员还穿着衬衣和鞋子。在一些情况下，用户设备204可分析场景或帧，并辨识戴着帽子的演员还穿着具有与帽子相同品牌的衬衣和鞋子。在其他情况下，用户设备204可以根据元数据回顾与演员戴着被标记的“帽子”的场景或帧相关联的元数据，辨识出帽子、衬衣和鞋是相同品牌。

附加地或可替换地，用户设备204可参考或识别用户数据。也就是说，用户设备204可访问、确定、识别或辨识用户数据。用户数据是指关于用户或与用户相关联的任何数据或信息。用户数据包括但不限于：用户标识符、诸如GPS数据之类的用户设备204的位置、一个或多个历史标记、动作和/或用户的会话（例如先前标记的项目或具有标记项目的媒体内容）、由用户发起的动作、用户设备的参数或属性（例如是否是移动设备、移动设备的类型、设备的性能等）、与设备相关联的家庭地理位置、用户人口统计特征、用户偏好等。用户数据可以进一步包括从社交网络、联系人、电话记录、文本消息记录、用户的从属关系和成员关系等处收集的社交数据。用户数据还可包括文档、文件、图像、照片、电子邮件或存储在用户设备上的任何其他内容或数据。

用户设备204可将用户数据并入以便系统地表达或精炼的搜索查询或传输数据，从而提高相关内容的相关性。在一些情况下，在使用任何个人信息以系统地表达搜索查询之前，可提示用户他/她希望分享该信息，并给予总是分享该信息、从不分享该信息，或每次在分享该信息之前都提示的选项。

作为示例而非限制，用户设备204可基于最近标记的项目确定用户对于与R&B风格相关联的衣服感兴趣，因此可以推断出用户将更愿意观看与R&B风格相关的即时标记的相关内容。作为另一个例子，在用户设备处于特定地理区域的情况下，可以推断出用户很可能对与用户设备的地理区域相关联的即时标记的相关内容（例如本地音乐商店）感兴趣。

在识别与标记的项目相关联的数据（诸如标记项目数据、上下文项目数据和/或用户数据）后，这些数据可被传输到相关内容系统210（例如以查询的形式）。如同以下将更完全地描述的那样，相关内容系统210可利用这些数据以识别并提供与（多个）项目相关的内容用于向用户显示。关于这一点，相关内容系统210可使用标记项目数据、上下文项目数据和/或用户数据以识别并提供与即时标记的项目相关的内容。

虽然此处描述的多种实施方式描述了用户设备204可响应于接收到标记姿势，通过相关内容系统210启动远程搜索（例如互联网搜索），但是本公开并不限于远程搜索。在一个实施方式中，响应于接收到定义内容或项目的区域的标记姿势，用户设备204可附加地或可替换地启动本地搜索。在其他实施方式中，本地搜索可包括在整个用户设备204的本地存储器中，或用户设备204的指定存储器或文件夹中进行搜索。

当用户设备204接收到与标记的（多个）项目相关的内容（例如来自相关内容系统210的相关内容）时，相关内容数据可与正呈现给用户的标记使能内容一起通过用户设备204向用户呈现。此处使用的相关内容数据或相关内容是指与标记的项目相关的任何信息。例如，相关内容数据可以是描述或详述项目的信息、与项目相关联的广告、与项目相关的建议等。在一个实施方式中，相关内容数据覆盖标记使能内容以使得相关内容数据与媒体内容整合出现。在另一个实施方式中，可以修改标记使能内容以将相关内容数据与媒体内容整合到一起。

可以意识到的是，可在相对于标记的项目的任何位置显示相关内容数据。在一个实施方式中，相关内容数据显示在标记的项目的旁边、之上或附近。在另一个实施方式中，相关内容数据显示在显示屏幕上的特定位置，诸如右下角等。在另一个实施方式中，基于媒体内容将相关内容数据显示在最佳位置。因此，在一些情况下，用户设备可确定在哪里显示相关内容数据和/或项目动作的位置。

在一些实施方式中，可与相关内容数据相关联地呈现一个或多个项目动作。关于这一点，可与相关内容数据同时呈现（多个）项目动作。可替换地，可在刚一呈现相关内容数据就呈现项目动作。例如，假设最初与媒体内容中的项目联合地呈现与项目相关的内容。现在假设用户选择项目或相关内容数据。在这种情况下，现在可以呈现（多个）项目动作。

项目动作是指可以与项目联系而采取的任何动作的指示。项目动作包括但不限于：保存标记项目用于稍后观看或购买、购买标记项目、观看关于标记项目的更多信息、电子邮寄标记项目、张贴标记项目、收听关于标记项目的音频（例如广告或信息）、分享项目等。

要与相关内容数据相关联地显示的特定项目动作可基于呈现的缺省项目动作。关于这一点，尽管标记了特定项目，但是仍然可以与项目相关联地呈现一个或多个项目动作的特定集合。在另一个实施方式中，可通过指示用于标记项目的可用动作的标记使能内容的元数据来确定将要显示的项目动作。在这样的实施方式中，用户设备204可识别（多个）动作以基于用于标记使能内容的元数据进行显示。例如，与特定项目或项目集合相关联的元数据可指定用户可采取的可能项目动作。在再其它的实施方式中，要显示的项目动作可通过相关内容系统或其他计算设备来确定或识别或者基于用户历史的用户偏好。

在与相关内容数据相关联地呈现项目动作的实施方式中，用户设备204可识别、辨识或确定用户想要启动的动作。这样的动作指示可以是用户使用任意方法（诸如以上描述的用于姿势标记的方法）输入的。例如，用户可执行姿势以选择或者以其它方式指示要启动的特定动作。根据项目动作的选择，用户设备可启动该动作。例如，假设用户选择“购买”项目动作。在这样的情况下，用户设备可使得项目的购买更容易（例如，链接到销售该项目的网站）。

可以意识到的是，在一些实施方式中，可以与标记项目和/或观看相关内容相联系地暂停正向用户呈现的标记使能内容。可以基于暂停标记使能内容的用户指示暂停标记使能内容，从而使得用户可以标记项目和/或观看相关内容。在其他情况下，自动地暂停标记使能内容，例如，在检测到标记姿势的启动时。

图2的相关内容系统210被配置为识别或确定与项目有关的内容以用于与项目相关联地呈现。相关内容或相关内容数据可以是任意内容或数据，诸如广告、描述项目的信息、识别项目的信息、产品信息、与项目有关的建议、第三方标记信息等。相关内容系统210可使用任意数量的计算设备、服务或引擎以识别相关内容。图2示出了推荐引擎220、搜索引擎222、广告引擎224和社交网络引擎226的使用。根据多个实施方式，每个这样的引擎可被实现为服务器系统、程序模块、虚拟机、一个或多个服务器的组件、网络等。为了清楚的说明，我们将描述推荐引擎、搜索引擎、广告引擎和社交网络引擎分离的实施方式，但可以理解的是，在预期处于本发明范围内的多种配置中并不一定都是这样的。

根据用户标记特征，用户设备204与相关内容系统210或其一部分进行通信，以使得响应于标记姿势对相关内容数据的搜索更加容易。推荐引擎220、搜索引擎222和广告引擎224起到接收或参考标记项目数据、用户数据和/或上下文项目数据，并且利用这些数据以识别并提供与标记项目相关的内容的作用。在一个实施方式中，可从诸如用户设备204的用户设备处接收标记项目数据、用户数据和/或上下文项目数据。例如，可以以搜索查询的形式接收标记项目数据、用户数据和/或上下文项目数据以启动对与标记项目有关的内容的搜索。在另一个实施方式中，可从另一个源参考标记项目数据、用户数据和/或上下文项目数据。作为示例，在一些情况下，可从用户设备204传送诸如项目标识符之类的部分标记项目数据和诸如用户设备位置之类的部分用户数据。可以参考附加标记项目数据、上下文项目数据和/或用户数据。例如，相关内容系统210或其一部分可以存储并访问与用户标识符相关联的历史标记数据。此外，项目标识符可被用来参考与标记项目相关联的附加信息。

在一些情况下，可参考来自用户数据存储器228的用户数据。例如，在一些情况下，从用户设备预先发送用户数据，并在用户数据存储器228内捕获用户数据。在这样的情况下，可以参考并利用用户数据以识别相关内容。可以意识到的是，可参考来自用户数据存储器228的用户数据，即使用户数据可以是与被标记的项目相关联地从用户设备204传送的。例如，在标记了项目后，可从用户设备传送一些用户数据（诸如设备位置），并参考来自用户数据存储器228的诸如用户标记历史之类的其他用户数据。同样，尽管未示出，可参考来自与包括关联于媒体上下文的数据的相关内容系统210相关联的数据存储器的标记项目数据和/或上下文项目数据。

如上所述，推荐引擎220、搜索引擎222和/或广告引擎224可使用标记项目数据、用户数据和/或项目上下文数据（例如以查询的形式）以提供更相关的相关内容。例如，基于用户设备的位置，可提供特定用于本地商店的广告以完成购买或观看的动作。作为另一个例子，可以辨识并使用当前正在使用的设备的参数以使用最适当的格式选择和发送相关内容数据（例如HD质量广告、HDTV、移动设备等）。

在一些实施方式中，相关内容系统210或其一部分接收标记项目的指示（例如项目标识符）和/或其他数据（例如标记项目数据、项目上下文数据和/或用户数据）。可通过相关内容系统210存储这样的数据以供随后使用。例如，这样的数据可存储在用户数据存储器228中以供用户以后使用，和/或存储在网络数据存储器230中以供第三方使用，以下将对其做详细描述。此外，在一些实施方式中，传输到用户设备204的用于呈现的相关内容还可以存储到相关内容系统210中。例如，这样的相关内容或其指示可存储在用户数据存储器228中以供用户以后使用，和/或存储在网络数据存储器230中以供第三方使用。

推荐引擎220基于标记项目向用户提供推荐或建议的相关内容。因此，推荐引擎220可基于基于项目的数据、项目上下文数据或用户数据等推荐或建议例如类似的媒体内容、产品或服务。在一个实施方式中，推荐引擎220利用从用户设备204接收到的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式）以识别或确定与标记项目相关的推荐或建议内容。可替换地或附加地，推荐引擎220使用从用户设备204接收到的数据（例如以查询的形式）以识别或辨识附加数据（例如标记项目数据、项目上下文数据和/或用户数据）。例如，推荐引擎220可接收项目标识符和用户标识符，接着使用这些标识符以分别参考或查找其他标记项目数据和用户数据。推荐引擎220参考的数据接着可被用来识别与标记项目相关的推荐或建议内容。

仅作为示例，推荐引擎220可利用用户观看标记使能内容的时间、正被用来观看标记使能内容的设备的类型和/或用户正在观看标记使能内容时设备的位置以识别与标记项目相关的推荐。基于观看与标记项目相关联的标记使能内容的时间和位置，推荐引擎220可建议或推荐用户可能感兴趣的诸如电影之类的另一个媒体内容。关于这一点，建议的媒体内容可以是本地电影院在特定时间播放的特定电影。

可以意识到的是，推荐引擎220可参考诸如内容数据存储器236之类的数据存储器以识别、参考或查找建议的或推荐的内容。因此，推荐引擎220可利用与内容数据存储器236相关联的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式接收到的）以识别用于用户设备204的用户的推荐的或建议的内容（例如媒体内容和相关数据）。

搜索引擎222提供与标记项目相关的数据或信息。关于这一点，搜索引擎222可基于基于项目的数据、项目上下文数据、用户数据等提供与标记项目相关联的任何细节。在一个实施方式中，搜索引擎222利用从用户设备204接收到的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式）以识别或确定与标记项目相关的内容。可替换地或附加地，搜索引擎222使用从用户设备204接收到的数据（例如以查询的形式）以识别或辨识附加数据（例如标记项目数据、项目上下文数据和/或用户数据）。例如，搜索引擎222可接收项目标识符和用户标识符，并且接着使用这些标识符以分别参考或查找其他标记项目数据和用户数据。搜索引擎222参考的数据接着可被用来识别与标记项目相关的内容。

仅作为示例，搜索引擎222可利用即时标记项目的标识和由用户以前标记的项目一起以识别与即时标记项目相关的内容。基于当前标记的项目和用户之前标记的项目，搜索引擎222可识别包括在其中的与即时标记项目相关的搜索结果或信息。关于这一点，由搜索引擎222识别的相关内容数据可以是标记项目的品牌、包括关于标记项目的信息的网站的URL、标记项目所处的位置或商店、标记项目的价格、标记项目的描述、标记项目的细节、标记项目的图像、与标记项目相关联的音频等。

可以意识到的是，搜索引擎222可参考诸如搜索数据存储器234之类的数据存储器以识别、参考、查找相关内容。因此，搜索引擎222可利用与搜索数据存储器234相关联的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式接收到的）以识别用于用户设备204的用户的相关内容（例如搜索结果或其一部分）。可以意识到的是，搜索引擎222可采取互联网搜索引擎的形式。例如，通常所知的商业引擎是华盛顿雷蒙德的微软公司提供的BING搜索引擎。

广告引擎224提供广告形式的相关内容数据。关于这一点，广告引擎224可提供与推销产品或服务的广告相关联的任意信息。例如，广告包括提供产品和/或服务的实体的指示、优惠劵、交易或推销产品和/或服务的激励等。可以意识到的是，广告可由诸如广告实体之类的第三方提交。因此，广告引擎224可提供与相应于标记项目的广告相关联的细节。在一个实施方式中，搜索引擎222利用从用户设备204接收到的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式）以识别或确定与标记项目相关联的广告内容。可替换地或附加地，广告引擎224使用从用户设备204接收到的数据（例如以查询的形式）以识别或辨识附加数据（例如标记项目数据、项目上下文数据和/或用户数据）。例如，广告引擎224可接收项目标识符和用户标识符，接着使用这些标识符以分别参考或查找其它标记项目数据和用户数据。广告引擎224参考的数据接着可被用来识别与标记项目相关的内容。

仅作为示例，广告引擎224可利用即时标记项目的标识和由用户以前标记的项目一起以识别与即时标记项目相关的广告。基于当前标记的项目和用户之前标记的项目，广告引擎224可识别与即时标记的项目相关的一个或多个广告。关于这一点，广告引擎224识别的广告可以是可以购买项目的商店的指示、项目的促销、项目的优惠劵等。

可以意识到的是，广告引擎224可参考诸如广告数据存储器232之类的数据存储器以识别、参考或查找相关广告。因此，广告引擎224可利用与广告数据存储器232相关联的标记项目数据、项目上下文数据和/或用户数据（例如以查询的形式接收到的）以识别用于用户设备204的用户的相关内容（例如搜索结果或其一部分）。

可以意识到的是，可以利用任意数量的引擎以搜索相关内容。例如，用户设备204可发送查询和/或数据到任意引擎或引擎的组合（例如推荐引擎220、搜索引擎222、广告引擎224等）。在一些情况下，用户设备204可确定要向其请求相关内容的引擎或引擎的集合。在其他情况下，相关内容系统可确定要向其请求相关内容的引擎或引擎的集合。例如，可基于项目或项目类型或与其相关联的元数据作出这样的确定。

转到以上所讨论的第三方标记特征，第三方标记特征可应用到用户设备204。这种特征的使能可由用户设备204的用户指示或自动地应用（例如缺省设置）。第三方标记特征的实现允许用户辨识第三方标记的项目（也就是不同于用户的个人或实体）。一般来说，第三方使用与用户设备分离的设备来标记项目。在一些情况下，第三方是广告商。在其他情况下，第三方是网络联系人。网络联系人是指通过网络或联系服务成为用户联系人的个人。例如，联系人可通过诸如电子邮件、地址本、即时消息、社交网络等的应用与用户连接起来。在一些实施方式中，用户可指示用户感兴趣的（多个）特定第三方。例如，用户可指示他或她喜欢观看来自广告商、来自网络联系人、来自（多个）特定广告商、来自（多个）特定网络联系人、来自任何广告商或（多个）网络联系人等的标记项目。

在该实现方式中，第三方可通过计算设备启动标记媒体内容中的项目。关于这一点，向与第三方关联的计算设备提供诸如标记使能内容212之类的标记使能内容。例如，内容提供商202可提供标记使能内容212到广告商设备206和/或网络联系人设备208，以使得相应的第三方能够标记标记使能内容中的项目。作为示例，广告商通过广告商设备206启动标记使能内容中的项目标记，网络联系人通过网络联系人设备208启动标记使能内容中的项目标记。例如，第三方可通过任何方式标记项目，诸如以上关于用户设备204的用户提供的标记姿势更完全地描述的。在另一个例子中，第三方可提供标记项目或指示偏好以标记特定项目，而不使用标记使能内容。例如，广告商可提供指示以标记特定媒体内容中的任何“帽子”，和标记任何媒体内容中的任何“帽子”等。

在第三方启动项目的标记后，项目被标记以具体指示对该项目感兴趣。在一个实施方式中，识别与标记项目相关联的标记项目数据并提供给相关内容系统210。在另一个实施方式中，向相关内容系统210提供标记项目或其指示，然后将其用于识别与项目相关联的标记项目数据。同样地，可以识别与由第三方和/或第三方数据标记的项目相关联的项目上下文数据（例如在第三方设备或相关内容系统210中）。第三方数据是指相应于第三方的任意数据。例如，第三方数据可以是第三方标识符；诸如GPS数据之类的第三方设备的位置；第三方的一个或多个历史动作和/或会话（例如先前标记的项目或具有标记项目的媒体内容）；第三方设备的参数或属性（例如其是否是移动设备、移动设备的类型、设备的性能等）；与设备相关联的家庭地理位置；第三方人口统计特性；第三方偏好；从社交网络，联系人，电话记录，文本消息记录，第三方的隶属关系和成员关系收集的社交数据；存储在第三方设备中的文档，文件，图像，照片，电子邮件或任何其他内容或数据；由第三方采取的（多个）动作；标记项目的时间或位置；标记项目的第三方收视率；向第三方提供的任何相关内容等。正如以上关于用户设备更完全地论述的，可以识别标记项目数据、项目上下文数据和/或第三方数据。

标记项目的指示和/或标记项目数据、第三方数据和项目上下文数据可被传输到相关内容系统210并与之相关联地存储。例如，包括与网络联系人相关联的（多个）标记项目的指示的标记项目数据可被存储到网络数据存储器230中，包括与广告商相关联的（多个）标记项目的指示的标记项目数据可被存储到广告数据存储器232中。可与标记特定项目的第三方的指示关联地存储这样的数据。在一些情况下，可以保存与第三方设备收集的项目相关联的所有数据。在其他情况下，可以保存与第三方设备收集的项目相关联的数据的一部分。例如，相关内容系统210可简单地保存标记项目的指示。在其他例子中，相关内容系统210可保存标记项目的指示、第三方数据等。

再次参见用户设备204，要观看或正在观看的媒体内容的指示可被传输到相关内容系统210。例如，当用户指示第三方标记特征的使能和/或选择媒体内容以观看时，可以传输该媒体内容的指示。在这样的情况下，相关内容系统210可识别用户感兴趣的任意相应的第三方是否与用户设备204中用户正在观看的媒体内容中的任意标记项目相关联。例如，假设用户设备的用户期望观看由网络联系人标记的项目。在这样的情况下，社交网络引擎226可识别任意网络联系人（或（多个）特定网络联系人）是否与用户正在观看的媒体内容中的任意标记项目相关联。关于这一点，社交网络引擎226可访问网络数据存储器230以识别由网络联系人标记的任意项目。同样地，假设用户设备的用户期望观看由广告商标记的项目。在这样的情况下，广告引擎224可识别是否任意广告商已在用户正在观看的媒体内容中标记了任意项目。关于这一点，广告引擎224可访问广告数据存储器232以识别由广告商标记的任意项目。

在识别出感兴趣的第三方已标记了至少一个项目后，相关内容系统210可向用户设备204提供适当的信息。关于这一点，相关内容系统210可向用户设备204提供相关内容。这样的相关内容数据可以是与第三方标记的项目相应的任意数据。例如，相关内容数据可以是标记项目的指示、标记项目的时间、第三方关于标记项目采取的动作、推荐、搜索结果、广告、标记项目的第三方的指示等。在一个实施方式中，与提供给用户设备204的标记项目相关的内容可以是与呈现给第三方的内容相同的内容。例如，假设网络联系人通过网络联系人设备208标记了第一媒体内容中的项目，并且作为响应，观看与标记项目相关的广告。在这样的情况下，可以保存相关内容（例如广告或广告的指示）以使得当用户设备204的用户指示期望观看由（多个）第三方标记的项目时，向用户设备204提供用户将观看的与第三方标记的项目相关联的相同广告。

在另一个实施方式中，与提供给用户设备204的标记项目相关的内容可以与呈现给第三方的内容无关。作为示例，假设网络联系人通过网络联系人设备208标记了第一媒体内容中的项目，并且作为响应，观看与标记项目相关的广告。现在假设用户设备204的用户希望观看（多个）第三方标记的项目。在这样的情况下，通过用户设备204呈现给用户的与由第三方标记的项目相关联的广告或其他数据可以不同于呈现给第三方的广告。呈现给用户设备204的用户的广告可能与用户设备204的用户更恰当或更相关。关于这一点，相关内容系统210可利用与用户设备204的用户相关联的用户数据来识别更特定于用户的相关内容（例如通过推荐引擎、搜索引擎、广告引擎等），而呈现给第三方的广告可能基于第三方的用户数据（例如第三方设备的位置、第三方设备的类型等）。

因此，在这样的实施方式中，除了传输观看第三方标记的意图或请求，还可从用户设备204传输用户数据或其他数据到相关内容系统210。可替换地，相关内容系统210可参考这些数据（例如来自用户数据存储器228的用户数据）。

提供给用户设备204的第三方标记数据可以是任意数据。例如，可向用户设备204提供由第三方标记的项目的指示（例如项目标识符）。在这样的情况下，可在通过用户设备204播放的媒体内容中视觉识别“帽子”项目，以使得用户可选择“帽子”，并且可能观看“网络联系人”标记了该项目的通知。在另一个例子中，在选择了视觉识别的“帽子”后，可向用户呈现相关内容，这样的相关内容可以与向第三方显示的相同，或者与用户设备204的用户更相关（例如利用诸如设备的位置、设备的标记历史等用户的用户数据）。在另一个例子中，可以显示标记了项目的多个朋友或（多个）特定朋友的指示。在再另一个例子中，可以呈现由第三方执行的与项目相关的动作（例如“Adam购买了该项目”或“Adam于2011年9月22号下午12:15发布了这个帽子到Facebook®”）。这些例子并非试图限制本发明的范围，发明人认识到可向用户呈现任意数量的数据。

因此，用户设备204接收这样的相关内容数据后，用户设备204可与正在观看的媒体内容相联系地显示适当的信息。这样的信息可以覆盖到媒体内容上或者与媒体内容整合到一起。可在显示屏幕上的任何位置呈现这些信息。例如，可在缺省位置、确定的位置、靠近或邻近由第三方标记的项目的位置等呈现这些信息。

可以意识到的是，用户设备204的用户可实时地认识到由第三方标记的项目。通过这种方式，当相关内容系统210辨识用户设备204正在观看特定媒体内容时，并且在接收到与第三方相关联地标记了相同媒体内容的项目的指示后，可以立刻向用户设备204提供第三方启动的标记的指示。

在可替换的实现方式中，在接收到第三方标记的指示后，相关内容系统210可向用户设备204提供适当的数据而无需评估该标记项目是否适用于用户设备204。在这样的实现方式中，用户设备204可接收相关内容数据（例如标记项目的指示），并且存储数据和/或识别这样的数据当前是否适用于当前播放的媒体内容。

示例使用场景

图3-9图示了使用基于姿势标记项目以观看相关内容的示例性可能场景。为了简便将参考图2的示例环境200描述使用场景。然而，使用场景并不限于与图2的示例环境200一起使用。

图3图示了用户302正在通过与显示屏幕308相关联的客户端设备306观看标记使能内容304的例子。呈现的内容可包括文本、图像、音频内容和/或视频的表示。在一些实施方式中，可通过web使能应用（诸如web浏览器、电子邮件应用、新闻应用等）显示媒体内容。在其他实施方式中，应用可以是非web使能的应用。此处描述的基于姿势标记技术适用于向用户显示或以其他方式呈现内容的任何应用。

在以前，如果用户302有兴趣得知更多关于显示的内容的信息，用户将不得不退出或最小化他们当前正在观看的内容，并且打开web浏览器以执行搜索，或利用另一台计算设备执行搜索。此处描述的基于姿势标记技术允许用户启动项目的标记，以使得用户或第三方可观看与标记项目相关的信息。

如图4所示，用户402对媒体内容404中的特定项目410感兴趣。图5图示了基于姿势标记的示例处理，并且图示了定义具有在显示器500上呈现的特定项目510的内容514的区域的示例标记姿势512。在所示的例子中，用户502的标记姿势512包括界定或实质上界定项目的形状，诸如椭圆形运动或一般椭圆形的运动、圆形运动或一般圆形的运动或自由界定的运动。

在所示例子中，用户设备的姿势跟踪模块可响应于用户502的标记姿势512的输入而在显示器500上再现标记姿势的内容514的区域的线条表示。标记姿势的表示近似于由用户502输入的标记姿势512的运动，并且向用户提供他/她刚输入的姿势的大小和形状的视觉反馈。如上所述，还可使用诸如高亮和/或放大镜之类的其他类型的视觉表示来识别将被标记的项目。

具有项目510的内容514的区域可定义搜索的范围，并可被用来系统地表达搜索查询。即使形状没有形成围绕区域的完全边界，但形状实质上界定了区域（例如，在形状的开始和结束点之间有间隙，使得该形状至少部分未界定）。在一个例子中，如果边界中的间隙小于姿势的总长度的一个分数，则形状被视为实质上界定了区域。在其他实施方式中，标记姿势可包括任意形状的运动。在标记姿势没有界定或实质上界定区域的情况下，姿势可定义内容的区域为由标记姿势触摸的、临近标记姿势的、与标记姿势重叠的、或与标记姿势相关联的区域。

在所选择的内容514的区域中显示的项目510可以与相关的标记项目数据一起被识别（例如，使用与内容相关联的元数据），并被用来系统地表达查询。响应于系统地表达搜索查询和/或识别标记项目数据的完成，用户设备可自动地提交搜索查询和/或标记项目数据到搜索引擎或搜索服务。附加地或可替换地，用户设备可在显示器上向用户呈现搜索查询，并询问用户以便确认和/或修改搜索查询。在其他实施方式中，用户设备可向用户呈现多个潜在搜索查询，并且允许用户选择多个搜索查询中的一个来使用以实施搜索。在一些实施方式中，用户设备可以进一步允许用户修改在显示器上呈现的搜索查询或潜在搜索查询。用户设备可提交所选择的搜索查询或修改后的搜索查询到搜索引擎或搜索服务。

在一个实施方式中，相关内容系统（例如图2的搜索引擎222、图2的推荐引擎220、图2的广告引擎224）可返回与选择的项目510相关的内容到用户设备，该用户设备接着可以向用户呈现相关内容。在从相关内容系统210接收到相关内容数据后，用户设备204可以在显示器上呈现相关内容。因此，如图6所示，用户设备606可显示作为与标记使能内容604相关的内容的相关内容数据616。在图6中，相关内容数据616包括广告，但可以是任何类型的数据。例如，相关内容可以是建议的产品、服务、项目；与项目有关的信息等。

在一些实现方式中，可以在接收到图5的标记姿势512后立刻显示相关内容。在一个实施方式中，用户设备606可将相关内容数据616覆盖到显示的内容604的一部分之上。这允许用户观看相关内容而无需退出或最小化用户之前着手的应用或任务。作为示例而非限制，包括相关内容数据的滑出窗口可覆盖到显示的内容的一部分之上。在一些实施方式中，用户设备可将相关内容覆盖到显示的内容的一部分之上（不包括由标记姿势定义的内容的区域）。在一个实施方式中，呈现给用户的相关内容可以是从相关内容系统接收到的搜索结果的简化版本。例如，呈现的相关内容数据可仅包括标题或者包括标题和有限数量的字符。

在观看相关内容后，用户可以希望拓宽、缩窄、精炼、重聚焦或者以其它方式改变搜索范围。例如，用户可确定原始标记姿势没有包围用户期望有相关信息的项目。在那种情况下，用户可希望拓宽搜索以包括期望的项目。

仅作为示例，可响应于除了原始标记姿势之外还检测到一个或多个新的标记姿势而改变搜索的范围。例如，用户可执行第二标记姿势，其定义了内容的第二区域以捕获期望的项目。姿势检测模块检测第二姿势，并且指令姿势跟踪模块输出以显示内容的第二区域的第二表示。用户设备接着可以至少基于内容的第一区域和/或内容的第二区域来系统地表达搜索查询和/或标记项目数据。在一些实施方式中，在系统地表达新的搜索查询的过程中，包括在内容的第一区域中的信息和包括在内容的第二区域中的信息可以被给予相同的权值或不同的权值。在其他实施方式中，用户设备可使用包括在内容的第二区域中的信息通过搜索来自原始搜索结果中的结果子集来精炼搜索。

如图6所示，可与一个或多个项目动作618的集合一起显示相关内容数据616。项目动作618向用户提供可与选择项目相关联地启动或执行的可用动作。仅作为示例，与选择的项目610相关联的项目动作618包括保存动作项目620，如果选择它，可保存项目的指示以供以后使用（例如以后购买项目、以后观看项目等）。如果选择了发送动作项目622，其可以发送项目的指示或与之相关联的相关内容。例如，在选择了发送动作项目622后，对项目的“喜欢”可以发布到Facebook®上，或者可以将项目通过电子邮件发送到用户或其他联系人等。在这样的实施方式中，图2中的相关内容系统210或用户设备204可解释搜索查询或标记项目数据，并识别用户可能想要完成的任务（例如进行预定、购买项目等）。相关内容系统或用户设备可进一步解释搜索查询，并基于与具有项目的内容的区域相关的上下文信息和/或基于用户数据来识别用户可能想要完成的任务。例如，相关内容系统210可基于识别搜索查询中的餐馆的名字和/或识别上下文信息而识别用户正在查找该餐馆的位置。作为另一个例子，用户设备可基于历史动作或用户启动的标记来接收和/或提供推荐和/或广告。

图7图示了对保存动作项目的用户选择，其被示为参考标记724。可以通过任意方式来执行这样的选择。例如，用户可使用以上参考标记姿势所描述的任意方法来选择动作项目。在保存了项目或与其相关联的信息后，稍后用户可观看项目或与该项目相关联地执行动作。

例如，如图8所示，可以观看和/或稍后使用诸如优惠劵或交易之类的广告826（例如用户观看了具有该项目的媒体内容之后）。可以意识到的是，在多个实施方式中，用户可使用任何用户设备（例如移动设备）访问、观看或使用保存的项目或与其相关联的信息。

继续该例子，在检测到图5中的用户502的标记姿势512以及之后标记与标记姿势512相关联的项目510时，另一个个人或实体可观看与项目相关的内容。参见图9，假设另一个用户928（也就是不同于执行标记姿势512的用户502的用户）正在观看相应于用户502正在观看或之前观看过的媒体内容的媒体内容904。进一步假设由图5中的用户502标记的项目510在媒体内容904中向用户928呈现为项目910。在辨识出图5中的用户502（其是用户928的网络联系人）标记了媒体内容504中的项目510之后，用户设备906可呈现与项目910相关的内容930以供用户928观看。尽管图9将这样的相关内容932图示为启动标记项目的用户的指示，这样的相关内容930可以是任意类型的信息。例如，基于图5中的用户502选择的项目510而呈现给用户928的相关内容930可以是项目根据标记姿势被标记了的视觉指示（例如项目的高亮），与呈现给用户502的内容相同的与项目相关的内容（例如相同的广告、推荐、搜索结果或其他相关信息）、不同于呈现给用户502的内容的与项目相关的内容（例如不同的广告、推荐、搜索结果或其他相关信息）等。

示例方法

现在参考图10-16描述用于执行基于姿势的搜索的示例方法。这些示例方法可在计算机可执行指令的一般上下文中描述。一般来说，计算机可执行指令可包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块、功能等。还可在其中由通过通信网络或通信云链接的远程处理设备执行这些功能的分布式计算环境中实施这些方法。在分布式计算环境中，计算机可执行指令可位于本地和包括存储器存储设备的远程计算机存储媒体中。

示例方法被图示为代表操作顺序的逻辑流程图的方框的集合，可以通过硬件、软件、固件或其组合来实现这些操作。描述方法的顺序并非试图解释为限制，并且可以通过任何顺序来组合任意数量的所描述的方法方框以实现这些方法或代替这些方法。附加地，可从这些方法中省略个别操作而不脱离此处所描述的主题的精神和范围。在软件的上下文中，方框代表计算机指令，当由一个或多个处理器执行时，这些指令执行所记载的操作。

图10图示了生成标记使能内容的示例方法1000。为了方便图示，方法1000在图2的示例内容提供商202的上下文中描述，但其并非限于在这样的上下文中执行。

在方框1002，参考具有项目的媒体内容。要参考的特定媒体内容例如可基于观看特定媒体内容的用户选择、特定媒体内容的自动选择等。媒体内容可以是具有项目的任意媒体内容，诸如视频。在方框1004，至少一个项目被指定为可标记项目。在方框1006，生成具有（多个）可标记项目的标记使能内容。可以通过任何方式生成标记使能内容。例如，在一个实施方式中，与媒体内容相关联的元数据可被配置为包括可标记项目的指示。在方框1008，提供标记使能内容用于供用户观看。在一些实施方式中，通过网络向用户设备提供标记使能内容，以使得用户设备的用户可以观看标记使能内容。可在任意时间提供这样的标记使能内容。例如，标记使能内容可与内容提供商相关联地存储，并基于来自用户设备的传输标记使能内容的请求将其提供给用户设备。可在用户设备中的诸如web浏览器或媒体播放器之类的应用内显示标记使能内容。

图11图示了标记项目的示例方法1110。为了便于图示，方法1100在图2的示例用户设备204的上下文中描述，但其并不限于在这样的上下文中执行。

在方框1102，呈现标记使能媒体内容。关于这一点，用户可观看标记使能内容。在一些情况下，标记使能内容可视觉地或可听地指示可用于标记的项目。例如，标记使能内容中的可标记项目可被高亮显示以指示可呈现与这样的项目相关的内容。在方框1104，检测指示要标记的项目的标记姿势。在实施方式中，标记姿势可定义具有用户感兴趣的项目的内容的区域。标记姿势可包括在触摸屏或触摸板上的触摸输入、由图像捕获设备检测的身体运动和/或由用户输入设备控制的光标的运动。由标记姿势定义的项目或内容的区域可包括由标记姿势界定或实质界定的区域、由标记姿势触摸的、临近标记姿势的或与标记姿势重叠的区域。在一个例子中，标记姿势可包括界定或实质上界定感兴趣的项目的运动或基本圆形的运动。

在方框1106，响应于检测到标记姿势，可以在显示的内容上显示由标记姿势定义的内容的区域的表示。内容的区域的表示可包括环绕内容的区域的线条、内容的区域的高亮视图和/或内容的区域的放大镜视图。

在方框1108，识别与标记姿势相关联的至少一个项目。关于这一点，可使用与标记使能媒体内容相关联的元数据识别感兴趣的项目。这样的元数据可指示在媒体内容内的特定位置（例如帧、时间、位置等）的可标记项目。关于这一点，标记姿势的位置可与元数据中所指示的项目的位置相匹配。在另一个实施方式中，可使用图像识别模块（例如位于用户设备中或与用户设备分离）来识别项目。

在方框1110，标记识别的（多个）项目。关于这一点，指示或指定用户对选择项目感兴趣的指示。例如，在一个实施方式中，与媒体内容相关联的元数据可指示对特定项目感兴趣。在另一个实施方式中，项目可被指示为与元数据分离的标记。标记的（多个）项目可被用来观看与标记项目相关的内容。关于这一点，启动标记项目的用户或第三方可以观看与标记项目相关的内容。尽管在媒体内容中标记项目的上下文中描述了方法1110，如之前讨论过的，标记项目可以是在显示器上显示的用户感兴趣的任意项目，诸如相册标题缩略图、电影海报缩略图等。

图12图示了利用基于姿势的标记以观看与项目相关的内容的示例方法1200。为了便于图示，方法1200在图2的示例用户设备204的上下文中描述，但其并不限于在这样的上下文中执行。

在方框1210，接收观看媒体内容的指示。在方框1212，辨识使能用户标记特征的指示。用户标记特征使得用户能够观看与用户感兴趣的项目相关的内容。在一些实施方式中，用户可提供观看媒体内容的指示和/或使能用户标记特征的指示。

在方框1214，接收标记使能内容。在方框1216，例如通过用户设备向用户呈现标记使能内容。在一些情况下，标记使能内容可以视觉地或可听地分辨媒体内容中的哪个或哪些项目是可标记的。随后，在方框1218，检测标记姿势。标记姿势指示标记使能内容中用户感兴趣的项目。关于这一点，标记姿势可指示用户想要观看更多信息或执行动作（例如购买项目）的项目。

在方框1220，识别用户感兴趣的项目。可以通过任意方式识别这样的项目，这些方式包括但不限于：利用与呈现的标记使能内容相关联的元数据、使用图像检测辨识图像等。在方框1222，标记由用户选择或指定的项目。因此，选择的项目被指定为是用户感兴趣的。

在方框1224，参考与标记项目相关联的标记项目数据。例如，可从与呈现的标记使能内容相关联的元数据等参考这种标记项目数据。在方框1226，参考与标记项目相关联的上下文数据。上下文数据可以是指示标记项目的上下文的任意数据。在方框1228，参考与用户相关联的用户数据。例如，这样的用户数据可包括：用户的指示、用户设备的指示、用户设备位置的指示等。

在方框1230，利用标记项目数据、上下文数据和用户数据来系统地表达搜索查询以获得与标记项目相关的内容。在一些实施方式中，搜索查询是参考的数据（例如标记项目数据、上下文数据和用户数据）或其一部分。可基于标记姿势定义的内容的区域来系统地表达搜索查询。搜索查询可基于区域内的内容，以及可能还基于与搜索相关的上下文信息和/或用户数据。上下文信息可包括临近内容的区域的上下文、与显示的内容相关联的元数据等。

在方框1232，将搜索查询传输到一个或多个搜索引擎以获得相关内容。在一个实施方式中，将搜索查询传输到图2的相关内容系统210，该相关内容系统210能够利用一个或多个搜索引擎来识别与项目相关的内容。在另一个实施方式中，将搜索查询传输到一个或多个特定引擎中，例如基于与对期望信息的用户偏好相关联的（多个）搜索引擎、（多个）特定引擎的确定、缺省引擎等。响应于标记姿势的完成，可以自动的引发执行使用搜索查询的搜索。搜索查询可被发送到与用户的用户设备分离的远程搜索引擎。附加地或可替换地，可在用户设备本地执行搜索。

在方框1234，接收与标记项目相关的内容。可从例如推荐引擎、搜索引擎、广告引擎等提供这样的相关内容。

随后，在方框1236，与标记项目相关联地呈现相关内容。这样的话，可以与标记使能内容相关联地在客户端设备的显示器上显示相关内容。在一些情况下，可以确定相关内容的位置。例如，用户偏好或缺省位置（例如显示屏幕的中央或上方）可被用来确定搜索结果的位置。在另一个例子中，用于放置搜索结果的优选位置可以在相关内容所关联的项目附近。

可显示相关内容直到经过一段时间和/或发生了事件。作为示例而非限制，相关内容可以保持活动或在显示屏幕上显示，直到经过了预定时间段而没有使用相关内容（例如用户观看、选择等）、直到用户启动与相关内容相关联的动作（例如选择诸如购买项目、保存项目等的项目动作）。作为另一个例子，可以接收隐藏或折叠（collapse）指示，其有效地导致原始内容的显示而不会中断用户的观看。

在一些实施方式中，与一个或多个项目动作相关联地显示相关内容。可以在用户设备或相关内容系统中识别这样的项目动作。项目动作使得用户能够启动与标记项目或相关内容相关联的动作。

图13图示了利用基于姿势的标记以识别与项目相关的内容的示例方法1300。方法1300在诸如图2的推荐引擎220、搜索引擎222或广告引擎224之类的示例搜索引擎或搜索服务的上下文中描述，但其并不限于在这样的上下文中执行。

最初在方框1310，从用户设备接收指示用户感兴趣的项目的搜索查询。这样的搜索查询可以包括标记项目数据、上下文数据和/或用户数据或从中系统地表达。在方框1312，参考与用户相关联的用户数据。例如，包括用户数据的数据存储器可被用来识别与用户相关联的用户数据。在方框1314，利用至少一部分搜索查询和用户数据以识别与感兴趣的项目相关的内容。关于这一点，可以利用包括数据的数据存储器以识别与感兴趣的项目相关的内容。在方框1316，识别可以与项目或相关内容相关联地执行的一个或多个动作。在方框1318，将相关内容和一个或多个动作传输到用户设备。

图14图示了第三方启动项目标记以使得另一方可以观看与其相关的内容的示例方法1400。为了便于图示，方法1400在图2的示例网络联系人设备208的上下文中描述，但其并不限于在这样的上下文中执行。

在方框1410，呈现标记使能媒体内容。关于这一点，第三方可观看标记使能内容。在一些情况下，标记使能内容可以视觉地或可听地指示可用于标记的项目。例如，在标记使能内容中的可标记项目可被高亮显示以指示可以呈现与这样的项目相关的内容。在方框1412，检测指示要标记的项目的标记姿势。在一些实施方式中，标记姿势可定义具有用户感兴趣的项目的内容的区域。标记姿势可包括触摸屏幕或触摸板上的触摸输入、由图像捕获设备检测的身体运动、和/或由用户输入设备控制的光标的运动。由标记姿势定义的项目或内容的区域可包括由标记姿势界定的或实质上界定的区域、由标记姿势触摸的，临近标记姿势的或与标记姿势重叠的区域。在一个例子中，标记姿势可包括界定或实质上界定感兴趣的项目的运动或基本圆形的运动。

在方框1414，识别与标记姿势相关联的至少一个项目。关于这一点，可使用与标记使能媒体内容相关联的元数据识别感兴趣的项目。这样的元数据可指示在媒体内容内的特定位置（例如帧、时间、位置等）的可标记项目。在另一个实施方式中，可使用图像识别模块（例如位于用户设备中或与用户设备分离）来识别项目。

在方框1416，标记被识别的（多个）项目。关于这一点，指示或指定第三方对选择项目感兴趣的指示。例如，在一个实施方式中，与媒体内容相关联的元数据可指示对特定项目感兴趣。在另一个实施方式中，项目可被指示为与元数据分离的标记。

在方框1418，参考与标记项目相关联的数据。因此，可以参考、识别或确定标记项目数据、项目上下文数据、第三方数据（例如标记项目的第三方的标识）等。在方框1420，将标记项目的指示和与标记项目相关联的参考数据传输到相关内容系统以供处理，以使得另一方可以观看与标记项目相关的内容。

图15图示了利用第三方标记以向另一方提供与项目相关的内容的示例方法1500。方法1500在诸如图2的社交网络引擎226、推荐引擎220、搜索引擎222和/或广告引擎224之类的示例搜索引擎或搜索服务的上下文中描述，但其并不限于在这样的上下文中执行。

最初在方框1510，接收媒体内容中第一用户感兴趣的项目的指示。在方框1512，接收与感兴趣的项目相关的数据。例如，这样的数据可以是第三方数据（例如第一用户的标识、第一用户启动的有关感兴趣的项目的动作）、标记项目数据（例如第一用户的标识）、项目上下文数据等。在方框1514，例如与第一用户和/或包括项目的媒体内容相关联地存储或捕获第一用户感兴趣的项目的指示和与感兴趣的项目相关的数据。

在方框1516，接收由第二用户正在观看的媒体内容的指示。此后，如在方框1518所指示的，确定与第二用户相关联的另一个实体是否已标记了媒体内容中的项目。在一些情况下，可基于相关时间帧来作出这样的确定，例如，自从第二用户观看媒体内容的先前时间以来，另一个实体是否已在预定时间帧（例如一周）内标记了项目等。此外，在一些实现方式中，可以作出与第二用户相关联的适当的实体的确定。例如，执行标记姿势的实体是否是第二用户感兴趣的优选实体。这样的偏好可基于缺省数据或用户提交的偏好。

如果与第二用户相关联的另一个实体没有标记媒体内容中的项目，就在方框1520确定第二用户是否继续观看媒体内容。如果不观看的话，该方法结束于方框1522。如果观看的话，该方法返回方框1518以继续确定与第二用户相关联的另一个实体是否已标记了媒体内容中的项目。这样的处理使得能够实时通知第二用户另一个实体标记的项目。

在另一方面，如果与第二用户相关联的另一个实体已标记了媒体内容中的项目，其指示被提供给第二用户的用户设备。这在方框1524被指示。在方框1526，识别与由其他实体标记的项目相关的内容。这样的内容可包括从与其他实体相关联的设备传输来的数据（例如第三方数据、标记项目数据、项目上下文数据）和/或在相关内容系统确定的数据。例如，相关内容系统可搜索与第二用户可能感兴趣的标记项目相关的内容。这样的话，相关内容系统可利用与第二用户相关联的用户数据以获得可能与第二用户有关的与标记项目相关的内容。如在方框1528所指示的，向第二用户的用户设备提供与标记项目相关的内容。例如，这样的相关内容是标记项目的指示、启动项目标记的第三方的指示、与项目相关联的推荐或建议、与项目相关联的广告等。

图16图示了利用第三方标记以在用户设备上观看相关内容的示例方法1600,。方法1600在诸如图2的用户设备204之类的示例用户设备的上下文中描述，但其并不限于在这样的上下文中执行。

最初在方框1610，接收要观看媒体内容的指示。在方框1612，向相关内容系统提供这样的指示。在方框1614，接收观看与由（多个）第三方标记的项目相关的内容的指示。随后，在方框1616，向相关内容系统提供这样的指示。在方框1618，参考用户数据，并将其提供给相关内容系统。这样的用户数据可包括用户的指示、用户正在使用的设备的指示、用户正在使用的设备的位置的指示、与用户相关联的偏好、之前由用户标记的项目等。

如在方框1620指示的呈现媒体内容。在方框1622，接收由第三方标记的媒体内容中的项目的指示。此后，在用户正在观看的媒体内容中视觉地指示由第三方标记的项目。这在方框1624中指示。例如，标记项目可以是高亮的、闪烁的、着色的、半透明的等。在方框1626，接收观看与项目相关的信息的指示。这样的指示可以例如通过用户在项目上悬停光标或选择器，或者以其它方式项目相关联地提供选择或姿势而提供。在方框1628，响应于这样的指示，接收与项目相关的内容。随后，如在方框1630中所指示的，通过用户设备显示相关内容。例如，接收和显示的相关内容可以是标记项目的第三方的指示、标记项目的时间、与标记项目相关的信息、由第三方与项目相联系地执行的动作等。

尽管方法1600描述了接收观看与项目相关的内容的指示，可以意识到的是，可自动地呈现任何相关内容而无需最初接收观看这样的信息的用户指示。例如，最初不是视觉识别标记项目，最初相关内容可以与项目相关联地显示，这样对用户来说更简单而无需用户做进一步动作。在一些情况下，可显示相关内容的第一部分，基于观看附加相关内容的用户指示，可显示相关内容的第二部分。仅作为示例，最初可以显示标记项目的特定第三方的指示（例如“Dan标记了这个帽子”）。当用户在项目上悬停时，呈现相关内容或者以其它方式作出选择，可以显示关于这个帽子的更多细节（例如那个帽子的广告、有关该帽子的细节（诸如成本、品牌、可用颜色等）、哪里去买该帽子的推荐、包括相同或相似帽子的媒体内容的推荐等）。

可至少部分地由处理器或其他电子设备基于存储在一个或多个计算机可读媒体中的指令来实现此处描述的任何方法的任何动作。可以意识到的是，可以采用此处描述的方法的多种实施方式。此处描述的方法的目的仅是示例性的而非要限制本发明的范围。

结论

尽管已经使用特定于结构特征和/或方法动作的语言来描述本发明，但是应当理解，本发明不必局限于所描述的特定特征或动作。相反，所述特定特征和动作都是作为实现本发明的示例形式而被公开的。

Claims (16)

1.一种使得观看与媒体内容内的项目相关的内容更容易的计算机实现的方法，所述方法包括：

在一个或多个由计算机可执行指令配置的处理器的控制下：

检测（1218）指示用户对向用户显示的媒体内容中呈现的项目感兴趣的标记姿势，所述标记姿势定义具有所述项目的显示内容的区域；和

响应于检测所述标记姿势，呈现（1236）由第三方提供的与所述项目相关的广告。

2.根据权利要求1所述的方法，其中检测所述标记姿势包括检测触摸屏或触摸板上的触摸输入。

3.根据权利要求1所述的方法，其中检测所述标记姿势包括使用图像捕获设备检测身体运动。

4.根据权利要求1所述的方法，其中检测所述标记姿势包括检测由用户输入设备控制的光标的运动，或检测所述用户设备的运动。

5.根据权利要求1所述的方法，其中由所述标记姿势定义的显示内容的区域包括由所述标记姿势实质上界定的区域。

6.根据权利要求1所述的方法，其中所述标记姿势包括界定或实质上界定所述媒体内容中的所述项目的运动。

7.根据权利要求1所述的方法，其中由所述标记姿势定义的内容的区域包括由所述标记姿势触摸的、临近所述标记姿势的或所述标记姿势重叠的区域。

8.根据权利要求1所述的方法，进一步包括在显示的内容上显示由所述标记姿势定义的内容的区域的表示，所述内容的区域的表示包括至少实质上围住所述内容的区域的线条、所述内容的区域的高亮视图、所述内容的区域的放大镜视图，或以上的组合。

9.根据权利要求1所述的方法，其中通过将广告覆盖在邻近所述项目的显示的内容上而呈现所述广告。

10.根据权利要求9所述的方法，进一步包括：

与所述广告一起呈现一个或多个项目动作；

接收对一个或多个动作中的一个动作的选择；和

启动所选择的动作的执行。

11.一种使得观看与媒体内容内的项目相关的内容更容易的计算机实现的方法，所述方法包括：

检测（1218）指示在显示的媒体内容中呈现的项目的标记姿势；

识别（1224）与由所述标记姿势指示的所述项目相关联的标记项目数据；

启动（1232）将要使用所述识别的标记项目数据以及用户数据和上下文项目数据中的至少一个来执行的搜索；

接收（1234）与所述项目相关的，基于所述标记项目数据以及所述用户数据和所述上下文项目数据中的至少一个的内容；和

与所述项目相关联地呈现（1236）相关内容。

12.根据权利要求11所述的方法，其中所述标记姿势包括实质上界定在显示的媒体内容中呈现的所述项目的运动。

13.一种用户设备，其包括：

处理器（114）；

可通信地耦合到所述处理器的存储器（112）；

被配置为向用户显示媒体内容的显示屏幕（116），所述显示屏幕显示表明与远程用户设备相关联的另一个用户已经指示了对正显示给所述用户的相同的媒体内容中呈现的项目感兴趣的指示，其中所述指示在所述用户观看媒体内容时被显示。

14.根据权利要求13所述的用户设备，其进一步包括：

特征使能组件，其使得用户设备能够显示表明与远程设备相关联的其他用户已经指示了对在所述媒体内容中呈现的项目感兴趣的指示。

15.根据权利要求14所述的用户设备，其中基于从所述用户接收观看第三方感兴趣的项目的指示，所述用户设备被使得能够显示表明与远程设备相关联的其他用户已经指示了对所述媒体内容中呈现的项目感兴趣的指示。

16.一种或多种存储指令的计算机可读存储媒体，当被处理器执行时，所述指令配置所述处理器执行如权利要求1-12中任何一项所述的方法。

Images