CN106462640A - 对多媒体内容进行的场境搜索 - Google Patents

对多媒体内容进行的场境搜索 Download PDF

Info

Publication number
CN106462640A
CN106462640A CN201580034359.3A CN201580034359A CN106462640A CN 106462640 A CN106462640 A CN 106462640A CN 201580034359 A CN201580034359 A CN 201580034359A CN 106462640 A CN106462640 A CN 106462640A
Authority
CN
China
Prior art keywords
multimedia
inquiry
content
candidate
query rewrite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580034359.3A
Other languages
English (en)
Other versions
CN106462640B (zh
Inventor
高坎·哈桑·巴基尔
卡罗伊·乔洛加尼
贝沙德·贝扎迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202010483818.9A priority Critical patent/CN111753104A/zh
Publication of CN106462640A publication Critical patent/CN106462640A/zh
Application granted granted Critical
Publication of CN106462640B publication Critical patent/CN106462640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/191—Automatic line break hyphenation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了对多媒体内容进行场境搜索的技术。一种示例方法包括：提取与多媒体内容关联的实体，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；基于所提取的实体和与多媒体内容相关的查询中的一个或多个词项，生成一个或多个查询重写候选；向搜索引擎提供所述一个或多个查询重写候选；对所述一个或多个查询重写候选进行评分；基于经评分的所述一个或多个查询重写候选的相应评分，将经评分的一个或多个查询重写候选排名；基于特定排名的查询重写候选，重写与所述多媒体内容相关的查询；以及响应于与所述多媒体内容相关的查询，提供基于经重写的查询的来自所述搜索引擎的结果集合以显示。

Description

对多媒体内容进行的场境搜索
技术领域
本公开总体上涉及多媒体内容，并且特别地，涉及对此内容进行的场境搜索。
背景技术
用户越来越多地消费web上可得的多媒体内容，诸如流视频，并且会提出与多媒体内容相关的问题。
发明内容
所公开的主题涉及对多媒体内容进行的场境搜索。
在一些创新的实现方式中，所公开的主题可在一种方法中实施。所述方法包括：提取与多媒体内容关联的实体，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；基于所提取的实体和与所述多媒体内容相关的查询中的一个或多个词项，生成一个或多个查询重写候选，其中，当从用户接收到与所述多媒体内容相关的查询时，执行生成；向搜索引擎提供所述一个或多个查询重写候选；基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；基于经评分的一个或多个查询重写候选的相应评分，将经评分的一个或多个查询重写候选排名；基于特定排名的查询重写候选，重写与所述多媒体内容相关的查询；以及响应于与所述多媒体内容相关的查询，提供基于经重写的查询的来自所述搜索引擎的结果集合以显示。
在一些创新的实现方式中，所公开的主题可在一种机器可读介质中实施。所述机器可读介质包括指令，所述指令在由处理器执行时使得所述处理器执行包括以下的操作：接收与多媒体内容相关的查询；识别所述查询中的一个或多个词项；基于与所述多媒体内容关联的实体和所述查询中的一个或多个词项，生成一个或多个查询重写候选，其中，所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；向搜索引擎提供所述一个或多个查询重写候选；基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；基于经评分的所述一个或多个查询重写候选的相应评分，将经评分的一个或多个查询重写候选排名；基于特定排名的所述查询重写候选，重写与所述多媒体内容相关的查询；以及响应于与所述多媒体内容相关的查询，提供基于经重写的查询的来自所述搜索引擎的结果集合以显示。
在一些创新的实现方式中，所公开的主题可在一种系统中实施。所述系统包括：存储器，其包括指令；以及处理器，其被配置成执行所述指令，以接收与流多媒体内容相关的查询，其中所述查询包括一个或多个词项；基于与所述多媒体内容关联的实体和所述查询中的一个或多个词项，生成一个或多个查询重写候选，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；向搜索引擎提供所述一个或多个查询重写候选；基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；基于经评分的所述一个或多个查询重写候选的相应评分，将经评分的一个或多个查询重写候选排名；基于特定排名的查询重写候选，重写与所述多媒体内容相关的查询；以及在不中断所述多媒体内容的消费的情况下，提供基于经重写的查询的来自所述搜索引擎的结果集合。
要理解，对于本领域的技术人员而言，根据以下的具体实施方式，主题技术的其他配置将变得显而易见，其中，通过例示的方式，示出和描述了主题技术的各种配置。如将实现的，主题技术能够具有其他和不同配置并且其许多细节能够在各种其他方面有修改，所有这些都不脱离主题技术的范围。因此，附图和具体实施方式将被视为本质是例示性的，而非限制性的。
附图说明
在随附权利要求书中阐述了主题技术的新颖特征。然而，出于说明的目的，在以下总结的附图中阐述了主题技术的一些配置。
图1是适于实践主题技术的一些实现方式的示例装置和网络环境的示图。
图2A是使用图1的示例装置实践主题技术的实现方式的示例过程。
图2B是更详细地图示出使用图1的示例装置实践主题技术的实现方式的图2A的框的示例过程。
图3图示出使用图1的示例装置实践主题技术的实现方式的另一个示例过程。
图4图示出使用图1的示例装置实践主题技术的实现方式的又一个示例过程。
具体实施方式
以下阐述的具体实施方式旨在描述主题技术的各种配置并且不旨在只表现可实践主题技术的配置。附图被并入其中，并构成具体实施方式的部分。主题技术不限于本文中阐述的具体细节并且可在没有这些具体细节的情况下实践。
当观看特定视频时，用户提出与视频中出现的对象相关的查询。例如，在观看视频时，当在视频中出现人时，用户会想要知道在该视频中出现的该人的名称。在另一个示例中，用户会想要识别视频中出现的汽车的型号。为了尝试得到回答，用户会需要将与视频关联的标题和附加场境键入基于web的搜索引擎界面中。然后，用户会需要通过得自搜索引擎的结果进行进一步搜索，以识别包括对用户关于视频的提问的回答的网页。这个过程耗时，使用户的注意力从视频转移，并且因此使用户体验变差。所公开的实现方式修改(例如，重写)用户的查询，使得修改后(或重写后)的查询可自动地包括查询所涉及内容的场境并且还在用户正在消费内容的同时提供查询的相关结果。在一些实现方式中，可提取与多媒体内容(例如，视频内容)关联的实体。这些实体可包括表征多媒体内容中表现的一个或多个对象(例如，人、物品等)的值。可基于所提取的实体和与多媒体内容相关的查询中的一个或多个项来生成一个或多个查询重写候选。可在从用户接收到与多媒体内容相关的查询时执行该生成。例如，用户可在观看流传送的视频内容时经由搜索框提出查询。用户还可经由语音来提出查询。查询可与视频内容中出现的人或物品相关。通过非限制的示例，用户可在观看视频内容的同时提出询问“Who is this person(这个人是谁)？”的查询，而在该查询中没有提供任何附加场境。以下，讨论用户查询的另外示例。
可向搜索引擎提供查询重写候选。可基于因向搜索引擎提供查询重写候选、与搜索引擎关联的之前搜索查询或与查询关联的时间而得到的各个结果集合的特性中的一个或多个，对查询重写候选进行评分。可基于经评分的查询重写候选的相应评分，将一个或多个查询重写候选排名。可使用特定排名(例如，最高排名)的查询重写候选来重写查询。例如，查询可被特定排名的查询重写候选替换。响应于与多媒体内容相关的查询，向用户提供(例如，显示)基于经重写的查询的结果集合。
可在用户正在消费多媒体内容时，实时向用户提供结果集合。可在不中断向用户提供多媒体内容的情况下提供结果集合。因此，用户不需要在单独的搜索引擎上执行搜索，并且然后通过得自搜索引擎的结果进行进一步搜索，以识别包括对用户关于多媒体内容的查询的回答的网页。因此，用户的注意力不需要从多媒体内容转移。这样提升了用户体验。
主题技术的一些方面包括存储关于向搜索引擎提供的查询的信息。用户具有防止此信息被存储的选项。用户还可被提供控制程序或特征是收集或共享用户信息(例如，关于用户搜索查询、用户偏好等的信息)的机会。因此，用户可控制如何收集关于用户的信息以及服务器如何使用该信息。
图1是图示出根据主题技术的一些实现方式的用于对多媒体内容进行场境搜索的示例构造的示图。服务器180包括处理器112、存储器120、存储器126、总线124、输入/输出模块128、输入装置116、输出装置114和通信模块118。存储器120包括实体提取器132、候选生成器134、评分和排名引擎138、查询重写引擎140、结果管理器142和查询重写候选144。服务器180另外可包括输出装置(例如，触摸屏显示器、非触摸屏显示器)、用于接收用户输入的输入装置(例如，键盘、触摸屏、或鼠标)。在一些实现方式中，服务器180包括经由浏览器或在客户端计算装置190上执行的专用应用促进用户交互或者处理存储在社交数据存储库110中的数据一个或多个模块。服务器180可被实现为具有单个处理器的单个机器、多处理器机、或包括具有多个处理器的多个机器的服务器群。通信模块118可使服务器180能够通过网络150与搜索引擎110、查询存储库192、社交数据服务器194、多媒体服务器196和客户端计算装置190进行数据的发送和接收。
在一些实现方式中，服务器180可与搜索引擎110关联并且可通过网络150与搜索引擎110进行数据的发送和接收。搜索引擎110可以是web搜索引擎。web搜索引擎是被设计成搜索万维网上的信息的软件系统。搜索结果可被呈现为多行结果，这多行结果经常被称为搜索引擎结果页(SERP)。信息可包括网页、图像、信息和其他类型的文件。搜索引擎110可通过使用web爬虫来保持实时信息。作为示例操作，不旨在限制实施例，搜索引擎110可存储关于搜索引擎110可从定义网页的标记语言检索的许多网页的信息。通过web爬虫(有时也被称为“蜘蛛”)检索这些页面。
随后，搜索引擎110可分析每个页面的内容，以确定应该如何对网页编索引(例如，可从题目、页面内容、标题、或被称为元标签的特定字段中提取词语)。关于网页和其他web内容的数据可被存储在索引数据库中，供后续查询使用。可从服务器180接收查询。索引帮助搜索引擎110寻找与查询相关的信息。当搜索引擎110(通常，使用关键词)接收到查询时，搜索引擎110可检验索引并且提供最佳匹配网页和web内容的列表，常常连同包含内容题目和有时内容的部分文本的短摘要。在一些实现方式中，查询存储库192可存储搜索引擎110随时间推移接收到的一个或多个查询。可从用户或访问搜索引擎110的其他web服务接收查询。
在一些实现方式中，多媒体服务器196可包括数据，该数据包括但不限于视频、音频、文本、图像或其任何组合。可提供存储在多媒体服务器196中的数据，以在网页和任何其他web内容区域中进行显示。例如，存储在多媒体服务器196中的视频可被流传送至网页，以经由客户端计算装置190向用户176进行显示。在另一个示例中，存储在多媒体服务器196中的音频可被流传送至网页，以经由客户端计算装置190向用户176进行回放。
在一些实现方式中，服务器180可与包括社交数据的社交数据服务器194关联并且可通过网络150与社交数据服务器194进行数据的发送和接收。在一些实现方式中，社交数据服务器194可存储与社交网络服务关联的社交内容项(例如，发布的内容项)。社交数据服务器194还可存储与用户账户相关的数据和与用户账户关联的内容项。例如，社交数据服务器194可包括指示与用户关联的用户账户已经观看、共享、评论、赞成或不赞成的内容项的数据。社交数据服务器194可存储指示与社交网络服务关联的用户账户之间的社交连接的社交连接数据结构。社交数据服务器194还可存储针对用户消费的并且存储在多媒体服务器196中的多媒体内容作出的用户评论(或注释)。
在一些实现方式中，搜索引擎110、多媒体服务器196、社交数据服务器194和服务器180可经由网络150相互通信并且与客户端计算装置190通信。网络150可包括互联网、内联网、局域网、广域网、有线网络、无线网络、或虚拟专用网络(VPN)。虽然只示出了一个搜索引擎110、多媒体服务器196、社交数据服务器194、服务器180和客户端计算装置190，但主题技术可结合任何数量的搜索引擎110、多媒体服务器196、社交数据服务器194、服务器180和客户端计算装置190来实现。在一些非限制实现方式中，单个计算装置可实现图1中示出的搜索引擎110、多媒体服务器196、社交数据服务器194、服务器180和其他组件的功能。
客户端计算装置190可以是便携式计算机、台式计算机、移动电话、个人数字助理(PDA)、平板计算机、上网本、具有内置于其中或耦接到其的处理器的电视、物理机、或虚拟机。客户端计算装置190均可包括键盘、鼠标、显示器、或触摸屏中的一个或多个。客户端计算装置190均可包括被配置成显示网页的浏览器。例如，浏览器可显示包括来自多媒体服务器196的多媒体内容的网页。可供选择地，客户端计算装置190可包括用于访问多媒体内容的专用应用(例如，移动电话或平板计算机应用)。
如以上讨论的，服务器180的存储器120可包括实体提取器132、候选生成器134、评分和排名引擎138、查询重写引擎140、结果管理器142和查询重写候选144。在一些实现方式中，实体提取器132提取与多媒体内容关联的实体。该实体可包括表征多媒体内容中表示的一个或多个对象的值。例如，实体可包括视频中出现的人、地点、对象的名称等。可从与多媒体内容(例如，文件名称、媒体性质等)关联的元数据中提取实体。还可从与多媒体内容关联的其他数据中提取实体。其他数据可包括例如与多媒体内容相关的用户评论和注释。多媒体内容可包括用户176正在观看的流视频。多媒体内容还可包括存储在多媒体服务器196中的内容。多媒体内容可以是目前在计算装置190处显示的内容。
在一些实现方式中，实体提取器132在多媒体内容中提取在特定时间(或时间范围)在多媒体内容中出现的实体。例如，如果多媒体内容是用户176正在观看的视频并且用户在视频中的十分钟(或十分钟标记)处，则实体提取器132可提取十分钟标记处或在包括十分钟标记的时间范围内的视频中出现的实体。在一些实现方式中，实体提取器132提取用户176经由客户端计算装置190处的界面提供查询时的内容中出现的实体。例如，如果用户176视频中的十五分钟处提供查询，则实体提取器132可提取十五分钟标记处或在包括十五分钟标记的时间范围内的视频中出现的实体。该时间范围可以是预定(或预设)的时间范围(例如，两分钟范围、二十秒范围等)。在一些实现方式中，实体提取器132提取与实体关联的时间戳，该时间戳可指示实体何时出现在多媒体内容中。
在一些实现方式中，实体提取器132可转换多媒体内容的所有元数据(或元数据的子集)。实体提取器132可读取与多媒体内容关联的用户评论(例如，评论文本)和注释并且提取与此用户生成的数据关联的实体。例如，实体提取器132可读取与多媒体内容关联并且存储在社交数据服务器194中的评论和注释。在一些实现方式中，实体提取器132标记文本(例如，文本或元数据或评论)中的词序列，这些词序列是诸如人的物品的名称、公司名称、对象和在多媒体内容中出现的任何其他人和非人表示。
在一些实现方式中，实体提取器132可定位文本并且将文本分类成预定义的类别，诸如，人的名称、组织、对象、地点、时间表达、数量、货币值、百分比等)。例如，当实体提取器132解析诸如“Jim bought a red SUV in 2007(Jim在2007年买了一辆红色SUV)”的文本框时，实体提取器132可生成突出显示了实体名称的带注释文本框[Jim]Person bought a[red]color[SUV]Vehicle in[2007]Time。举例来说，该实体提取器132的输出可被表示为P＝{p_1,p_2,…}，其中，p_1、p_2等表示所提取的实体。参照以上示例，[Jim]Person可以是实体p_1，[red]color可以是另一个实体p_2，等等。候选生成器可以使用实体提取器132所提取的实体来生成查询重写候选144。
在一些实现方式中，候选生成器134基于所提取的实体和用户176提供的查询中的一个或多个词项来生成一个或多个查询重写候选144。用户176提供的查询可与用户可经由客户端计算装置190消费的多媒体内容相关。在一些实现方式中，当从用户176接收到与多媒体内容相关的查询时，候选生成器134可执行查询重写候选144的生成。在一些情况下，查询可不包括任何场境。例如，当观看视频时，在视频中出现人时用户可能想要知道在视频中出现的该人的名称。在这个示例中，用户176可提供查询“Who is this person？”。当在视频中出现人时，用户176可提供查询。在另一个示例中，用户可能想要识别视频中出现的汽车的型号。在这个示例中，用户176可提供查询“Which car is this？(这是什么汽车？)”或“Which car？(什么汽车？)”。查询还可包括诸如“What is the price of this car？(该汽车多少钱？)”、“Where is this car made？(该汽车是哪产的？)”、“who is the persondriving this car？(开车的人是谁？)”、“Show me other videos that have this car(向我示出有该汽车的其他视频)”等查询。在这些查询中，用户没有提供场境，诸如，视频的名称、汽车或人的特性或任何其他场境。
用户176提供的查询可包括一个或多个查询词项(例如，which(哪个)、car(车)、made(产)、color(颜色)等)。在一些实现方式中，候选生成器134可针对所提取的实体集合P＝{p_1,p_2,…}中的每个元素和用户查询q，限定取输入对(p,q)并且生成N_p重写候选的函数C(p,q)->{(p,q,r_l),..,(p,q,r_{N_p})}。此生成的非限制示例是可生成N_p重写的p和q的串接。使用替代信息或自然语言语法，候选生成器134可生成另外的查询重写候选144。替代信息可包括存储在查询存储库192中的查询。例如，候选生成器134可考虑包括类似于p(例如，p_1)和q的、之前提供到搜索引擎110并且存储在查询存储库192中的词项的查询。在一些实现方式中，候选生成器134可串接不同的输入对p和q以生成输出集合Q＝{C(p_l,q)+C(p_2,q)...}，其中，Q表示查询重写候选144的集合。
在一些实现方式中，查询重写候选144可以基于查询词项和实体提取器132所提取的实体的不同组合。例如，当观看视频时，在视频中出现人时用户可能想要知道在视频中出现的汽车的名称。在这个示例中，用户176可提供查询“Who is the manufacturer of thiscar？(该汽车的制造商是谁？)”。该查询中的查询词项是“Who、is、the、manufacturer、of、this、car”。实体提取器132可提取查询时视频中出现的实体作为“CarC、Red、Italy”，其中，CarC是与该汽车关联的名称、Red是汽车的颜色并且Italy是来源国家。候选生成器134可生成包括“Who is the manufacturer of CarC(CarC的制造商是谁？)”、“Who is CarCmanufacturer(CarC制造商是谁？)”、“CarC manufacturer who is(谁是CarC的制造商？)”的一个或多个查询重写候选144。以此方式，候选生成器134生成查询重写候选144，以自动地包括用户176提供的查询中的场境，其中，该场境是通过实体提取器132所提取的实体提供的。
在另一个示例中，当观看视频时，用户可能想要知道某人参演的电影的名称。在这个示例中，用户176可在视频中出现该人时提供查询“Which films has he acted in？(他演过什么电影？)”。该查询中的查询词项是“Which、films、has、he、acted、in”。实体提取器132可提取查询时在视频中出现的实体作为“John Doe,Deep Space(John Doe，外太空)”，其中，“John Doe”是与人关联的名称并且Deep Space是电影的名称。候选生成器134生成包括“Films acted John Doe Deep Space(John Doe演的电影Deep Space)”、“Acted JohnDoe Deep Space(John Doe演的电影Deep Space)”、“Films John Doe(电影John Doe)”、“Which films has John Doe acted in(John Doe演过什么电影)”等的一个或多个查询重写候选144。以此方式，查询重写候选144可以基于查询词项和实体提取器132所提取的实体的不同组合。
要理解，所公开的实施例不限于查询词项和所提取实体的组合(或串接)。在一些实现方式中，候选生成器134基于其他启发来生成查询重写候选。其他启发可包括类似于所生成的查询候选中的一个或多个的查询(或包括类似词项)。可根据查询存储库192确定与所生成的查询候选中的一个或多个类似的查询。例如，如果“Films acted John Doe DeepSpace”是候选查询，则候选生成器134可读取查询存储库192并且识别另一个查询，例如，与候选查询类似的“Which films has John Doe acted in”(例如，包括一个或多个类似词项)。因此，例如，可基于初始候选查询“Films acted John Doe Deep Space”确定“Whichfilms has John Doe acted in”是另一个候选查询。因此，对于用户176已经提供的查询“Which films has he acted in？”，查询重写候选144可以是“Films acted John DoeDeep Space”和“Which films has John Doe acted in”。
在一些实现方式中，评分和排名引擎138可基于与用户176初始提供的查询关联的时间和所提取实体的时间戳和性质，对一个或多个所提取实体进行评分。例如，评分和排名引擎138可检验可与一个或多个所提取实体关联的时间戳信息。如果用户176在视频中提供查询的时间T处注释实体p_i，则实体p_i可从评分和排名引擎138接收正评分并且如果在时间T时或接近时间T时没有提到p_i，则实体p_i可接收罚分。例如，考虑到用户将十分钟时的查询“When is the next game？(下一场比赛什么时候？)”提供到流视频中。如果例如在10分钟时或基本上在10分钟(或9-12分钟)时注释了实体“athlete(运动员)”或“sportsteams(体育队)”，则评分和排名引擎138可相对于其他实体为实体“athlete”或“sportsteams”赋予更高评分。随后，候选生成器134可使用与相对于其他所提取实体的更高评分关联的所提取实体来生成查询重写候选144。
在一些实现方式中，评分和排名引擎138可基于可存储在查询存储库192中的n-gram的同现评分一个或多个所提取实体。n-gram可以是来自文本或语音的给定序列中的n个词项的连续序列。换句话讲，例如，n-gram可被视为词项的组合。这些词项可以是例如音素、音节、字母、词语或基对。n-gram通常是从文本或语音语料库(例如，查询存储库192)中收集的。大小为1的n-gram被称为“unigram”；大小为2的是“bigram”(或，不太普遍地，“digram”)；大小为3是“trigram”。有时通过n的值(例如，“four-gram”、“five-gram”等)来表示较大大小。
在一些实现方式中，评分和排名引擎138可读取查询存储库192，以识别针对查询q的给定n-gram而言有可能的实体类型。对于实体提取器132所提取的每个实体p_i，如果所提取实体是基于检验查询存储库192中的n-gram的最有可能实体中的一个，则评分和排名引擎138可向所提取实体赋予正评分和否则赋予罚分。例如，对于查询“When is the nextgame”，评分和排名引擎138将增加是类型“sport teams”和“athlete”的实体p_i的评分。然后，可通过候选生成器134使用与相对于其他所提取实体的较高评分关联的所提取实体来生成查询重写候选144。
以此方式，基于诸如之前查询或查询日志、提供查询并且注释实体的时间和n-gram的同现的启发，候选生成器134可生成一个或多个查询重写候选144。可通过评分和排名引擎138对通过候选生成器134确定的查询重写候选144进行评分和排名。
在一些实现方式中，评分和排名引擎138可向搜索引擎110提供一个或多个查询重写候选144。随后，评分和排名引擎138可基于向搜索引擎110提供查询重写候选144而得到的相应结果集合的特性，对一个或多个查询重写候选144进行评分。在一些非限制实现方式中，评分和排名引擎138还可基于与搜索引擎110关联的之前搜索查询(例如，存储在查询存储库192中的查询)或与用户176初始提供的查询关联的时间，对查询重写候选144进行评分。
在一些实现方式中，结果质量可以是向搜索引擎110提供查询重写候选144而得到的结果集合的特性。结果集合的结果质量可以基于以查询重写候选作为基础从搜索引擎检索的数量或搜索结果。例如，如果结果集合具有比其他结果集合更多的结果，则该结果集合的质量可被确定为相对于另一个结果集合更高。质量还可以基于搜索结果的多样性。例如，如果结果集合具有与音频、视频、文本相关的结果而其他结果集合可具有与仅仅文本相关的结果，则该结果集合的质量可被确定为相对于另一个结果集合更高。质量还可以基于以查询重写候选为基础的搜索结果的相关性。例如，如果结果集合具有包括与查询词项类似或相同的词项的结果，则该结果集合的质量可被确定为相对于另一个结果集合更高。
可基于结果集合的任一种其他性质或特性来确定结果集合的质量。在一些实现方式中，在给定查询重写候选集合“Q”的情况下，评分和排名引擎138限定在给定输入p和q的情况下赋予重写评分的函数S(p,q,r)->R_+。例如，向搜索引擎110提供查询重写候选“r”而得到的高质量搜索结果的数量可以是质量评分。这些示例仅仅是例示的，而不旨在限制所公开的实现方式。
在一些实现方式中，评分和排名引擎138基于经评分的一个或多个查询重写候选144相应的评分，将查询重写候选144排名。例如，相比于另一个查询重写候选具有较低数量的结果，与较高数量的结果关联的查询重写候选可具有更高排名。参照以上指出的示例，查询重写候选“Which is CarC manufacturer”可得到来自搜索引擎110的100个结果。然而，查询重写候选“CarC manufacturer which is”可生成80个结果。在这个示例中，评分和排名引擎138可将查询重写候选“Which is CarC manufacturer”相对于查询重写候选“CarCmanufacturer Which is”排名更高。
参照以上提出的另一个示例，查询候选“Which films has John Doe acted in”可得到来自搜索引擎110的音频、视频和文本结果。然而，查询候选“Films acted John DoeDeep Space”可只得到文本结果。在这个示例中，评分和排名引擎138可将查询重写候选“Which films has John Doe acted in”相对于查询重写候选“Films acted John DoeDeep Space”排名更高，因为“Which films has John Doe acted in”已经产生了相对于查询重写候选“Films acted John Doe Deep Space”的更多样性的结果集合。在一些实现方式中，查询重写候选144的最高排名的候选可被确定为：argmax_{x elt of Q)S(x)。argmax表示最大值的参数，也就是说，给定函数获得其最大值的给定参数的点的集合。换句话讲，f(x)的arg max可以是f(x)获得其最大值M的x的值的集合。
如以上指出的，评分和排名引擎138可基于经评分的一个或多个查询重写候选144相应的评分，将查询重写候选144排名。查询重写引擎140随后可基于特定排名的查询重写候选来重写与多媒体内容相关的查询。在一些实现方式中，特定排名的查询重写候选可以是最高排名的查询重写候选。例如，如果用户176提供的查询是“Which films has heacted in？”，则查询重写引擎140可自动地将查询重写为“Which films has John Doeacted in”。然后，查询重写引擎可向搜索引擎110提供经重写的查询。然后，结果管理器142可响应于与多媒体内容相关的查询，基于经重写的查询提供来自搜索引擎110的结果集合进行显示。举例来说，结果集合可包括电影的名称(例如，“Deep Space,Galaxy Travel,Mysteries of Jupiter(外太空，星系旅行，木星之谜)”)。在用户176正在消费多媒体内容时，结果管理器142实时向用户176提供该结果集合。可在不中断向用户176提供多媒体内容的情况下，提供该结果集合。因此，用户176不需要对单独搜索引擎执行搜索，并且然后通过得自搜索引擎的结果进行进一步搜索来识别包括对用户176关于多媒体内容的查询的回答的网页。以此方式，用户176的注意力不需要从多媒体内容转移。这样提升了用户体验。
可在客户端计算装置192的用户界面处显示结果集合。在一些实现方式中，结果集合可被显示为靠近多媒体内容的弹出框。例如，用户可通过语音输入来提供与视频内容相关的查询并且可在靠近视频内容显示的弹出界面中查看查询的结果。可显示这些结果，而不中断视频或挂起视频的回放。结果集合中包括的结果可包括对用户查询的相关响应。例如，如果用户176提供查询“Which films has John Doe acted in？”，则结果集合可被显示为包括“Deep Space,Galaxy Travel,Mysteries of Jupiter”的弹出框。结果集合还可包括音频、视频和任何其他多媒体内容。在一些实现方式中，可经由与计算装置190关联的扬声器将结果集合成为语音使得用户可以听到结果。
图2A是使用图1的示例构造来实践主题技术的实现方式的示例过程200。虽然参照图1的元素描述图2A，但图2A的过程不限于此并且可应用于其他系统内。
过程200开始于提取与多媒体内容关联的实体(框202)。实体包括表征多媒体内容中表示的一个或多个对象的值。如以上指出的，在一些实现方式中，实体提取器132提取与多媒体内容关联的实体。实体可包括表征多媒体内容中表示的一个或多个对象的值。例如，实体可包括视频中出现的人、地点、对象的名称等。可从与多媒体内容关联的元数据(例如，文件名称、媒体性质等)中提取实体。还可从与多媒体内容关联的其他数据中提取实体。
基于所提取实体和与多媒体内容相关的查询中的一个或多个词项，生成一个或多个查询重写候选(框204)。当从用户接收到与多媒体内容相关的查询时，可以执行生成。举例来说，候选生成器134基于所提取实体和用户176提供的查询中的一个或多个词项来生成一个或多个查询重写候选144。用户176提供的查询可与用户可能正经由客户端计算装置190消费的多媒体内容相关。在一些实现方式中，当从用户176接收到与多媒体内容相关的查询时，可执行候选生成器134进行的查询重写候选144的生成。
一个或多个查询重写候选被提供到搜索引擎(框206)并且可基于通过该提供而得到的相应结果集合的特性进行评分(框208)。举例来说，评分和排名引擎138可向搜索引擎110提供查询重写候选144。然后，评分和排名引擎138可基于通过向搜索引擎110提供查询重写候选144而得到的相应结果集合的特性，对一个或多个查询重写候选144进行评分。
可基于经评分的一个或多个查询重写候选相应的评分，将一个或多个查询重写候选排名(框210)。例如，相比于另一个查询重写候选具有较低数量的结果，与较高数量的结果关联的查询重写候选可具有更高排名。在另一个示例中，相比于具有较少多样性结果(例如，仅文本)的另一个查询重写候选，与相对于查询重写候选的更多样性结果(例如，音频、视频和文本)集合关联的查询重写候选可具有更高排名。
可基于特定排名的查询重写候选来重写与多媒体内容相关的查询(框212)。举例来说，查询重写引擎140随后可基于特定排名的查询重写候选，重写与多媒体内容相关的查询。在一些实现方式中，特定排名的查询重写候选可以是最高排名的查询重写候选。例如，如果用户176提供的查询是“Which films has he acted in？”，则查询重写引擎140可自动地将查询重写为“Which films has John Doe acted in？”。然后，查询重写引擎可将经重写的查询提供到搜索引擎110。
可响应于与多媒体内容相关的查询，提供基于经重写的查询的来自搜索引擎的结果集合进行显示(框214)。举例来说，结果管理器142可响应于与多媒体内容相关的查询，提供基于重写请求来自搜索引擎110的结果集合进行显示。举例来说，结果集合可包括电影的名称(例如，“Deep Space,Galaxy Travel,Mysteries of Jupiter”)。当用户176正在消费多媒体内容时，结果管理器142实时向用户176提供结果集合。可在不中断向用户176提供多媒体内容的情况下，提供结果集合。因此，用户176不需要在单独搜索引擎上执行搜索，并且然后进一步通过来自搜索引擎的结果进行搜索来识别包括对用户176关于多媒体内容的查询的回答的网页。以此方式，用户176的注意力不需要从多媒体内容转移。这样提升了用户体验。
图2B是更详细图示出使用图1的示例装置来实践主题技术的实现方式的图2A得框204的示例过程。虽然参照图1的元素描述图2B，但图2B的过程不限于此并且可应用于其他系统内。
基于以下中的一个或多个，对一个或多个所提取实体进行评分：在多媒体内容中注释所提取实体的时间或者基于查询存储库中的n-gram的同现(框224)。举例来说，评分和排名引擎138可以基于以下中的一个或多个，对所提取实体进行评分：在多媒体内容中注释所提取实体的时间或者基于查询存储库192中的n-gram的同现或存储在查询存储库192中的查询的任何其他特性。然后，可基于评分将经评分的实体排名(框226)。经评分的所提取实体可与一个或多个查询词项组合，以生成一个或多个查询重写候选(框228)。
图3是使用图1的示例装置来实践主题技术的实现方式的示例过程300。虽然参照图1的元素描述图3，但图3的过程不限于此并且可应用于其他系统内。
过程300开始于接收与多媒体内容相关的查询(框302)。举例来说，可在服务器180处从客户端计算装置190接收查询。用户176可经由在客户端计算装置190处显示的用户界面(例如，web浏览器界面)向客户端计算装置190提供查询。在用户正在消费(例如，观看)多媒体内容的同时，用户176可在不中断多媒体内容的回放或流传送的情况下提供查询。换句话讲，用户不需要暂停或停止多媒体内容或导航离开显示多媒体内容的内容区域。
可从查询中识别一个或多个词项(框304)。举例来说，实体提取器132可识别从客户端计算装置190接收的查询中的一个或多个词项。
可基于与多媒体内容关联的实体和查询中的一个或多个词项，生成一个或多个查询重写候选(框306)。实体可包括表征多媒体内容中表示的一个或多个对象的值。如以上指出的，在一些实现方式中，实体提取器132提取与多媒体内容关联的实体。实体可包括表征多媒体内容中表示的一个或多个对象的值。例如，实体可包括视频中出现的人、地点、对象的名称等。可从与多媒体内容关联的元数据(例如，文件名称、时间戳、媒体性质等)中提取实体。还可从与多媒体内容关联的其他数据中提取实体。当从用户接收到与多媒体内容相关的查询时，可以执行生成。举例来说，候选生成器134基于所提取的实体和用户176提供的查询中的一个或多个词项，生成一个或多个查询重写候选144。用户176提供的查询可与用户可能正经由客户端计算装置190消费的多媒体内容相关。在一些实现方式中，当从用户176接收到与多媒体内容相关的查询时，可执行候选生成器134进行的查询重写候选144的生成。
一个或多个查询重写候选被提供到搜索引擎(框308)并且可基于通过该提供而得到的相应结果集合的特性进行评分(框310)。举例来说，评分和排名引擎138可向搜索引擎110提供一个或多个查询重写候选144。然后，评分和排名引擎138可基于通过向搜索引擎110提供查询重写候选144而得到的相应结果集合的特性，对一个或多个查询重写候选144进行评分。
可基于经评分的一个或多个查询重写候选相应的评分，将一个或多个查询重写候选排名(框312)。例如，相比于另一个查询重写候选具有较低数量的结果，与较高数量的结果关联的查询重写候选可具有更高排名。在另一个示例中，相比于具有较少多样性结果(例如，仅文本)的另一个查询重写候选，与相对于查询重写候选的更多样性结果(例如，音频、视频和文本)集合关联的查询重写候选可具有更高排名。
可基于特定排名的查询重写候选来重写与多媒体内容相关的查询(框314)。举例来说，查询重写引擎140随后可基于特定排名的查询重写候选，重写与多媒体内容相关的查询。在一些实现方式中，特定排名的查询重写候选可以是最高排名的查询重写候选。例如，如果用户176提供的查询是“Which films has he acted in？”，则查询重写引擎140可自动地将查询重写为“Which films has John Doe acted in？”。然后，查询重写引擎可将经重写的查询提供到搜索引擎110。
可响应于与多媒体内容相关的查询，提供基于经重写的查询的来自搜索引擎的结果集合进行显示(框316)。举例来说，结果管理器142可响应于与多媒体内容相关的查询，提供基于重写请求来自搜索引擎110的结果集合进行显示。举例来说，结果集合可包括电影的名称(例如，“Deep Space,Galaxy Travel,Mysteries of Jupiter”)。当用户176正在消费多媒体内容时，结果管理器142实时向用户176提供结果集合。可在不中断向用户176提供多媒体内容的情况下，提供结果集合。因此，用户176不需要在单独搜索引擎上执行搜索，并且然后进一步通过来自搜索引擎的结果进行搜索来识别包括对用户176关于多媒体内容的查询的回答的网页。以此方式，用户176的注意力不需要从多媒体内容转移。这样提示了用户体验。
图4是使用图1的示例装置来实践主题技术的实现方式的示例过程400。虽然参照图1的元素描述图4，但图4的过程不限于此并且可应用于其他系统内。
过程400开始于接收与多媒体内容相关的查询(框402)。举例来说，可在服务器180处从客户端计算装置190接收查询。用户176可经由在客户端计算装置190处显示的用户界面(例如，web浏览器界面)向客户端计算装置190提供查询。查询可包括一个或多个查询词项。在用户正在消费(例如，观看、收听、互动等)多媒体内容的同时，用户176可在不中断多媒体内容的回放或流传送的情况下提供查询。换句话讲，用户不需要暂停或停止多媒体内容或导航离开显示多媒体内容的内容区域。
可基于与多媒体内容关联的实体和查询中的一个或多个词项，生成一个或多个查询重写候选(框404)。实体可包括表征多媒体内容中表示的一个或多个对象的值。如以上指出的，在一些实现方式中，实体提取器132提取与多媒体内容关联的实体。实体可包括表征多媒体内容中表示的一个或多个对象的值。例如，实体可包括视频中出现的人、地点、对象的名称等。可从与多媒体内容关联的元数据(例如，文件名称、时间戳、媒体性质等)中提取实体。还可从与多媒体内容关联的其他数据中提取实体。当从用户接收到与多媒体内容相关的查询时，可以执行生成。举例来说，候选生成器134基于所提取的实体和用户176提供的查询中的一个或多个词项，生成一个或多个查询重写候选144。用户176提供的查询可与用户可能正经由客户端计算装置190消费的多媒体内容相关。在一些实现方式中，当从用户176接收到与多媒体内容相关的查询时，可执行候选生成器134进行的查询重写候选144的生成。
一个或多个查询重写候选被提供到搜索引擎(框406)并且可基于通过该提供而得到的相应结果集合的特性进行评分(框408)。举例来说，评分和排名引擎138可向搜索引擎110提供一个或多个查询重写候选144。然后，评分和排名引擎138可基于通过搜索引擎110提供查询重写候选144而得到的相应结果集合的特性，对一个或多个查询重写候选144进行评分。
可基于经评分的一个或多个查询重写候选相应的评分，将一个或多个查询重写候选排名(框410)。例如，相比于另一个查询重写候选具有较低数量的结果，与较高数量的结果关联的查询重写候选可具有更高排名。在另一个示例中，相比于具有较少多样性结果(例如，仅文本)的另一个查询重写候选，与相对于查询重写候选的更多样性结果(例如，音频、视频和文本)集合关联的查询重写候选可具有更高排名。
可基于特定排名的查询重写候选来重写与多媒体内容相关的查询(框412)。举例来说，查询重写引擎140随后可基于特定排名的查询重写候选，重写与多媒体内容相关的查询。在一些实现方式中，特定排名的查询重写候选可以是最高排名的查询重写候选。例如，如果用户176提供的查询是“Which films has he acted in？”，则查询重写引擎140可自动地将查询重写为“Which films has John Doe acted in？”。然后，查询重写引擎可将经重写的查询提供到搜索引擎110。
可在不中断多媒体内容的消费的情况下，提供基于经重写的查询的来自搜索引擎的结果集合进行显示(框414)。举例来说，结果管理器142可响应于与多媒体内容相关的查询，提供基于重写请求来自搜索引擎110的结果集合进行显示。举例来说，结果集合可包括电影的名称(例如，“Deep Space,Galaxy Travel,Mysteries of Jupiter”)。当用户176正在消费多媒体内容时，结果管理器142实时向用户176提供结果集合。当用户正在消费多媒体内容时，可将结果集合叠加在多媒体内容上或与多媒体内容相邻地显示。可在不中断向用户176提供(例如，流传送)多媒体内容的情况下，提供结果集合。用户176可持续消费多媒体内容并且在消费期间的任何时间自然地提出问题。因此，用户176不需要在单独搜索引擎上执行搜索，并且然后进一步通过来自搜索引擎的结果进行搜索来识别包括对用户176关于多媒体内容的查询的回答的网页。以此方式，用户176的注意力不需要从多媒体内容转移。这样提高了用户体验。
返回图1，在某些方面，可使用专用服务器中的、或集成到另一个实体中的、或分配到多个实体的硬件或软件和硬件的组合来实现服务器180。
服务器180包括总线124或用于传达信息的其他通信机构和与总线124耦接用于处理信息的处理器112。处理器112可以是通用微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、选通逻辑、分立硬件组件、或可执行对信息的计算和其他操纵的任何其他合适的实体。
除了硬件之外，服务器180还可包括创建所考虑计算机程序的执行环境的代码，例如，构成处理器固件、协议堆栈、数据库管理系统、操作系统、或存储在存储器120中的它们中的一个或多个的组合的代码。存储器120可包括耦接到总线124用于存储将由处理器112执行的信息和指令的随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除PROM(EPROM)、寄存器、硬盘、可去除盘、CD-ROM、DVD、或任何其它合适存储装置。处理器112和存储器120可用专用逻辑电路作为补充或者被并入专用逻辑电路中。
指令可被存储在存储器120中并且实现为一个或多个计算机程序产品，即，编码在计算机可读介质上的计算机程序指令的一个或多个模块，这些计算机程序指令由服务器180执行或者控制服务器180的操作，并且根据本领域的技术人员熟知的任何方法，包括但不限于以下计算机语音，诸如面向数据的语言(例如，SQL、dBase)、系统语言(例如，C、Objective-C、C++、汇编)、体系结构语言(例如，Java、.NET)和应用语言(例如，PHP、Ruby、Perl、Python)的计算机语言。还可用诸如阵列语言、面向方面语言、汇编语言、创作语言、命令行界面语言、编译语言、并发语言、波形括号语言、数据流语言、数据结构语言、声明语言、秘教语言、扩展语言、第四代语言、功能语言、交互模式语言、翻译语言、迭代语言、基于列表的语言、小语言、基于逻辑的语言、机器语言、宏语言、元编程语言、多范例语言、数值分析、非基于英语的语言、面向对象的基于类的语言、面向对象的基于原型的语言、缩排语言(off-side rule language)、过程化语言、反思性语言、基于规则的语言、脚本语言、基于堆栈的语言、同步语言、语法操纵语言、视觉语言、wirth语言、可嵌入语言和基于XML的语言。存储器120还可用于在执行指令期间存储临时变量或其它中间信息以由处理器112。
本文中讨论的计算机程序不一定对应于文件系统中的文件。程序可被存储在文件的保持其它程序或数据的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，专用于所考虑程序的单个文件中，或者多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中。计算机程序可被部署为在一个计算机上或位于一个站点或分布于多个站点并且通过通信网络互连的多个计算机上执行。本说明书中描述的过程和逻辑流可由一个或多个可编程处理器执行，这些处理器执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能。
服务器180还包括耦接到总线124用于存储信息和指令的诸如磁盘或光盘的数据存储装置126。服务器180可经由输入/输出模块128耦接到各种装置。输入/输出模块128可以是任何输入/输出模块。示例输入/输出模块128包括诸如USB端口的数据端口。输入/输出模块128被配置成连接到通信模块118。示例通信模块118(例如，通信模块118和238)包括诸如Ethernet(以太网)卡和调制解调器的联网接口卡。在某些方面，输入/输出模块128被配置成连接到诸如输入装置116和/或输出装置114的多个装置。示例输入装置114包括键盘和指点装置(例如，鼠标或跟踪球)，用户可通过输入装置114向服务器180提供输入。也可使用其它类型的输入装置114(诸如，触觉输入装置、视觉输入装置、音频输入装置、或人脑-计算机接口装置)与用户交互。例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或触觉反馈；并且可接收包括声学、语言、触觉、或脑电波输入的任何形式的来自用户的输入。示例输出装置116包括用于向用户显示信息的诸如LED(发光二极管)、CRT(阴极射线管)、或LCD(液晶显示)屏的显示装置。
根据本公开的一个方面，服务器180可响应于处理器112执行存储器120中包含的一个或多个指令的一个或多个序列使用服务器180实现。这些指令可从诸如数据存储装置126的另一个机器可读介质读入存储器120中。执行主存储器120中包含的指令序列使得处理器112执行本文中描述的处理块。还可采用多处理布置的一个或多个处理器来执行存储器120中包含的指令序列。在替代方面，可使用硬连线电路来替换软件指令或者与软件指令相组合来实现本公开的各种方面。因此，本公开的这些方面不限于硬件电路和软件的任何特定组合。
本说明书中描述的主题的各种方面可用计算系统实现，该计算系统包括作为例如数据服务器的后端组件，或者包括例如应用服务器的中间件组件，或者包括前端组件(例如，具有用户可通过其与本说明书中描述的主题的实施方式交互的图形用户界面或web浏览器的客户端计算机)，或一个或多个这种后端、中间件、或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络(例如，网络170)可包括例如个域网(PAN)、局域网(LAN)、校园网(CAN)、城域网(MAN)、广域网(WAN)、宽带网(BBN)、互联网等中的任一个或多个。另外，通信网络可包括但不限于例如以下网络拓扑中的任一个或多个，包括总线网、星型网、环型网、网状网、星型-总线网、树型或层级网等。通信模块可以是例如调制解调器或Ethernet卡。
服务器180可以是例如而不限于台式计算机、膝上型计算机、或平板计算机。服务器180还可被嵌入例如而不限于移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器、视频游戏控制台、和/或电视机顶盒的另一个装置中。
本文中使用的术语“机器可读存储介质”或“计算机可读介质”是指参与向处理器112提供供执行的指令或数据的任一个或多个介质。这种介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘、磁盘、或诸如数据存储装置126的闪存存储器。易失性介质包括诸如存储器120的动态存储器。传输介质包括同轴电缆、铜线和光纤，包括含总线124的布线。机器可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其它磁性介质、CD-ROM、DVD、任何其它光学介质、穿孔卡、纸带、带有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH EPROM、任何其它存储器芯片或盒、或计算机可从中读取的任何其它介质。机器可读存储介质可以是机器可读存储装置、机器可读存储基板、存储器装置、实现机器可读传播信号的物质的组成、或其中一个或多个的组合。
如本文中使用的，在任一项被术语“和”或“或”分开的一系列项之前的短语“至少一个”修饰整体的列表，而非列表中的每个成员(即，每个项)。短语“至少一个”不需要选择至少一个项；确切地，该短语允许包括项中的任一个中的至少一个、和/或项的任何组合中的至少一个、和/或项中的每个中的至少一个的意思。举例来说，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”均表示唯有A、唯有B或唯有C；A、B和C的任何组合；和/或A、B和C中的每个中的至少一个。
此外，就在说明书或权利要求中使用术语“包含”、“具有”等而言，此术语旨在以与术语“包括”类似的方式是包括性的，因为“包括”在被采用时被理解为是权利要求中的过渡词。
除非特别阐述，否则引用单数形式的元素不旨在意味着“一个且仅一个”，而是“一个或多个”。本领域普通技术人员已知的或以后将得知的贯穿本公开中描述的各种配置的元素的所有结构和功能等同物以引用方式明确并入本文中并且旨在被主题技术涵盖。此外，本文中公开的任何内容都不旨在奉献给公众，而不管以上说明书中是否明确记载了此公开。
虽然本说明书包含了许多细节，但这些不应该被理解为是对于可要求保护的范围的限制，而是被理解为对主题的特定实现方式的描述。在单独方面的背景下的本说明书中描述的某些特征还可在单个方面中以组合来实现。相反地，在单个方面的背景下描述的各种特征还可单独地在多个方面中实现或以任何合适的子组合来实现。此外，尽管特征可在以上被描述为作用于某些组合并甚至如此初始被要求保护，但在一些情况下，要求保护的组合中的一个或多个特征可从组合中被删除，并且要求保护的组合可涉及子组合或子组合的变形形式。
类似地，虽然操作在附图中是以特定次序描绘的，但这不应该被理解为要求这些操作以示出的特定次序或以顺序次序执行，或者要求执行所有图示操作，以实现期望的结果。在某些情形下，多任务和并行处理可以是有利的。此外，上述方面中的各种系统组件的分开不应该被理解为要求在所有方面分开，而是应该理解所描述的程序组件和系统可通常被一起集成在单个软件产品中或者封装到多个软件产品中。
本说明书的主题是依据特定方面描述的，但可实现其它方面并且这些方面在随附权利要求书的范围内。例如，权利要求书中阐述的动作可用不同次序执行并且仍然实现所需结果。作为一个示例，附图中描绘的过程不一定需要示出的特定次序、或顺序次序来实现所需结果。在某些实现方式中，多任务和并行处理可以是有利的。其它变形形式在随附权利要求书的范围内。
这些和其它实现方式在随附权利要求书的范围内。

Claims (20)

1.一种方法，包括：
提取与多媒体内容关联的实体，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；
为了重写与所述多媒体内容相关的查询，基于所提取的实体和所述查询中的一个或多个词项，生成一个或多个查询重写候选，其中，当从用户接收到与所述多媒体内容相关的所述查询时，执行所述生成；
向搜索引擎提供所述一个或多个查询重写候选；
基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；
基于经评分的一个或多个查询重写候选的相应评分，将所述经评分的一个或多个查询重写候选排名；
基于特定排名的查询重写候选，重写与所述多媒体内容相关的所述查询；以及
响应于与所述多媒体内容相关的所述查询，提供基于经重写的查询的来自所述搜索引擎的结果集合以显示。
2.根据权利要求1所述的方法，其中，生成所述一个或多个查询重写候选包括：
基于以下中的一个或多个对一个或多个所提取的实体进行评分：在所述多媒体内容中注释所提取的实体的时间或者基于查询存储库中的n-gram的同现；
基于所述评分，将所提取的实体排名；以及
将所述一个或多个查询词项与一个或多个经评分的所提取的实体组合，以生成所述一个或多个查询重写候选。
3.根据权利要求1所述的方法，其中，基于通过所述提供而得到的相应结果集合的特性来对所述一个或多个查询重写候选进行评分包括：
确定所述结果集合中的每个结果集合中的结果的数量；
确定所述结果集合中的每个结果集合中的结果与所述查询中的所述一个或多个词项的相关性；以及
确定所述结果集合中的每个结果集合中的结果的多样性，其中，所述查询重写候选中的每个查询重写候选的评分基于所述数量、所述相关性或所述多样性中的一个或多个。
4.根据权利要求1所述的方法，其中，重写与所述多媒体内容相关的查询包括用所述特定排名的查询重写候选来替换所述查询。
5.根据权利要求1所述的方法，其中，所述特定排名的候选具有相对于其他排名的查询重写候选的最高评分。
6.根据权利要求1所述的方法，其中，所述多媒体内容是流视频。
7.根据权利要求1所述的方法，其中，所述对象包括所述多媒体内容中出现的人或非人表示。
8.根据权利要求1所述的方法，其中，表征所述多媒体内容中包括的所述一个或多个对象的所述值包括与所述对象关联的名称或日期。
9.根据权利要求1所述的方法，其中，所述提取包括：
读取与所述多媒体内容关联的元数据，其中所述元数据包括用户生成的内容。
10.根据权利要求1所述的方法，其中，所述评分基于所述查询中的所述词项和在所述查询时所述多媒体内容中表示的实体之间的对应性。
11.一种机器可读介质，所述机器可读介质包括存储在其中的指令，所述指令在由处理器执行时使得所述处理器执行包括以下的操作：
接收与多媒体内容相关的查询；
识别所述查询中的一个或多个词项；
为了重写与所述多媒体内容相关的所述查询，基于与所述多媒体内容关联的实体和所述查询中的一个或多个词项来生成一个或多个查询重写候选，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；
向搜索引擎提供所述一个或多个查询重写候选；
基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；
基于经评分的一个或多个查询重写候选的相应评分，将所述经评分的一个或多个查询重写候选排名；
基于特定排名的查询重写候选，重写与所述多媒体内容相关的所述查询；以及
响应于与所述多媒体内容相关的所述查询，提供基于经重写的查询的来自所述搜索引擎的结果集合以显示。
12.根据权利要求8所述的机器可读介质，其中，重写与所述多媒体内容相关的查询包括用所述特定排名的查询重写候选替换所述查询。
13.根据权利要求8所述的机器可读介质，其中，所述特定排名的候选具有相对于其他排名的查询重写候选的最高评分。
14.根据权利要求8所述的机器可读介质，其中，所述多媒体内容是流视频。
15.根据权利要求8所述的机器可读介质，其中，所述对象包括所述多媒体内容中出现的人或非人表示。
16.根据权利要求8所述的机器可读介质，其中，表征所述多媒体内容中包括的所述一个或多个对象的所述值包括与所述对象关联的名称或日期。
17.根据权利要求8所述的机器可读介质，其中，所述评分基于所述查询中的所述词项和在所述查询时所述多媒体内容中表示的实体之间的对应性。
18.一种系统，包括：
存储器，所述存储器包括指令；以及
处理器，所述处理器被配置成执行所述指令，以：
接收与流多媒体内容相关的查询，其中，所述查询包括一个或多个词项；
为了重写与所述流多媒体内容相关的所述查询，基于与所述多媒体内容关联的实体和所述查询中的所述一个或多个词项，生成一个或多个查询重写候选，其中所述实体包括表征所述多媒体内容中表示的一个或多个对象的值；
向搜索引擎提供所述一个或多个查询重写候选；
基于通过所述提供而得到的相应结果集合的特性，对所述一个或多个查询重写候选进行评分；
基于经评分的一个或多个查询重写候选的相应评分，将所述经评分的一个或多个查询重写候选排名；
基于特定排名的查询重写候选，重写与所述多媒体内容相关的所述查询；以及
在不中断所述多媒体内容的消费的情况下，提供基于经重写的查询的来自所述搜索引擎的结果集合。
19.根据权利要求8所述的系统，其中，重写与所述多媒体内容相关的所述查询包括用所述特定排名的查询重写候选替换所述查询。
20.根据权利要求8所述的系统，其中，所述特定排名的候选具有相对于其他排名的查询重写候选的最高评分。
CN201580034359.3A 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索 Active CN106462640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483818.9A CN111753104A (zh) 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/312,630 2014-06-23
US14/312,630 US9852188B2 (en) 2014-06-23 2014-06-23 Contextual search on multimedia content
PCT/US2015/031362 WO2015199842A1 (en) 2014-06-23 2015-05-18 Contextual search on multimedia content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010483818.9A Division CN111753104A (zh) 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索

Publications (2)

Publication Number Publication Date
CN106462640A true CN106462640A (zh) 2017-02-22
CN106462640B CN106462640B (zh) 2020-06-30

Family

ID=53284576

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580034359.3A Active CN106462640B (zh) 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索
CN202010483818.9A Pending CN111753104A (zh) 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010483818.9A Pending CN111753104A (zh) 2014-06-23 2015-05-18 对多媒体内容进行的场境搜索

Country Status (6)

Country Link
US (4) US9852188B2 (zh)
EP (1) EP3161674A1 (zh)
JP (2) JP6419858B2 (zh)
CN (2) CN106462640B (zh)
RU (2) RU2693915C2 (zh)
WO (1) WO2015199842A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852188B2 (en) * 2014-06-23 2017-12-26 Google Llc Contextual search on multimedia content
US20160162582A1 (en) * 2014-12-09 2016-06-09 Moodwire, Inc. Method and system for conducting an opinion search engine and a display thereof
US10282466B2 (en) * 2015-12-31 2019-05-07 Samsung Electronics Co., Ltd. Machine processing of search query based on grammar rules
US10558861B2 (en) * 2017-08-02 2020-02-11 Oracle International Corporation Supplementing a media stream with additional information
ES2828355T3 (es) 2018-06-19 2021-05-26 Borealis Ag Composición de poliolefina que proporciona marcado por fluorescencia
US10936819B2 (en) 2019-02-19 2021-03-02 International Business Machines Corporation Query-directed discovery and alignment of collections of document passages for improving named entity disambiguation precision
US11132358B2 (en) 2019-02-19 2021-09-28 International Business Machines Corporation Candidate name generation
US11226972B2 (en) 2019-02-19 2022-01-18 International Business Machines Corporation Ranking collections of document passages associated with an entity name by relevance to a query
US10997459B2 (en) * 2019-05-23 2021-05-04 Webkontrol, Inc. Video content indexing and searching
CN113268618B (zh) * 2020-02-17 2023-07-25 北京百度网讯科技有限公司 一种搜索信息评分方法、装置和电子设备
CN112818103B (zh) * 2020-03-11 2024-02-06 蚂蚁财富(上海)金融信息服务有限公司 智能对话的交互方法、装置和电子设备
CN112307183B (zh) * 2020-10-30 2024-04-19 北京金堤征信服务有限公司 搜索数据识别方法、装置、电子设备以及计算机存储介质
CN113377976B (zh) * 2021-08-16 2022-09-09 北京达佳互联信息技术有限公司 资源搜索方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
US20100076840A1 (en) * 2003-09-30 2010-03-25 Jeremy Bem Increasing a number of relevant advertisements using a relaxed match
CN101842787A (zh) * 2007-09-14 2010-09-22 谷歌公司 在查询结果中建议替选查询
CN102521321A (zh) * 2011-12-02 2012-06-27 华中科技大学 基于检索词歧义性和用户偏好的视频搜索方法

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL61801A (en) * 1980-12-24 1984-08-31 Brekke Carroll Ellerd Solar heating system
JPS58129065A (ja) 1982-01-27 1983-08-01 Nippon Paint Co Ltd 塗料組成物
JP2753736B2 (ja) * 1989-08-08 1998-05-20 富士通株式会社 領域指定による文脈処理方式
US6182069B1 (en) 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
JP3457405B2 (ja) * 1994-03-09 2003-10-20 日本電信電話株式会社 情報検索装置、情報検索方法及び知識獲得システム
US5548754A (en) * 1995-02-07 1996-08-20 International Business Machines Corporation Optimization of SQL queries using early-out join transformations
US5794189A (en) * 1995-11-13 1998-08-11 Dragon Systems, Inc. Continuous speech recognition
US6064959A (en) * 1997-03-28 2000-05-16 Dragon Systems, Inc. Error correction in speech recognition
US5819286A (en) 1995-12-11 1998-10-06 Industrial Technology Research Institute Video database indexing and query method and system
JPH1066008A (ja) 1996-08-23 1998-03-06 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像検索編集装置
US6006241A (en) 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6173317B1 (en) 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
WO1998048360A1 (en) * 1997-04-22 1998-10-29 Greg Hetherington Method and apparatus for processing free-format data
US6081801A (en) * 1997-06-30 2000-06-27 International Business Machines Corporation Shared nothing parallel execution of procedural constructs in SQL
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US7050110B1 (en) 1999-10-29 2006-05-23 Intel Corporation Method and system for generating annotations video
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US9805032B2 (en) * 2002-06-14 2017-10-31 Koninklijke Philips N.V. Client-server protocol
US7120626B2 (en) * 2002-11-15 2006-10-10 Koninklijke Philips Electronics N.V. Content retrieval based on semantic association
AU2003291022A1 (en) * 2002-11-18 2004-06-15 Internal Machine Industries, Inc. Method and system for facilitating interactive multimedia experiences
US20040210443A1 (en) * 2003-04-17 2004-10-21 Roland Kuhn Interactive mechanism for retrieving information from audio and multimedia files containing speech
US7334186B2 (en) 2003-04-30 2008-02-19 Hewlett-Packard Development Company, L.P. System and method for creation of video annotations
US7827254B1 (en) * 2003-11-26 2010-11-02 Google Inc. Automatic generation of rewrite rules for URLs
US7158966B2 (en) * 2004-03-09 2007-01-02 Microsoft Corporation User intent discovery
US10526219B2 (en) * 2004-08-26 2020-01-07 King Technology, Inc. Drinking water purification device
US8122103B2 (en) * 2005-08-05 2012-02-21 France Telecom Method for controlling a multimedia device from a mobile terminal, corresponding computer programs, multimedia device and server
US20070061317A1 (en) * 2005-09-14 2007-03-15 Jorey Ramer Mobile search substring query completion
WO2007081682A2 (en) * 2006-01-03 2007-07-19 The Navvo Group Llc Distribution of multimedia content
US9177124B2 (en) * 2006-03-01 2015-11-03 Oracle International Corporation Flexible authentication framework
US7840590B2 (en) * 2006-12-18 2010-11-23 Oracle International Corporation Querying and fragment extraction within resources in a hierarchical repository
US8972875B2 (en) * 2007-04-24 2015-03-03 Google Inc. Relevance bar for content listings
US7856429B2 (en) * 2007-05-03 2010-12-21 Magix Ag System and method for a digital representation of personal events enhanced with related global content
EP2153356A4 (en) * 2007-05-15 2011-03-16 Tivo Inc MEDIA DATA CONTENT SEARCH SYSTEM
GB2442818B (en) * 2007-06-11 2008-11-05 Cvon Innovations Ltd Methodologies and systems for determining mobile device capabilities
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US20090113475A1 (en) * 2007-08-21 2009-04-30 Yi Li Systems and methods for integrating search capability in interactive video
US10346854B2 (en) * 2007-11-30 2019-07-09 Microsoft Technology Licensing, Llc Feature-value attachment, reranking and filtering for advertisements
US9344666B2 (en) * 2007-12-03 2016-05-17 International Business Machines Corporation System and method for providing interactive multimedia services
JP4909946B2 (ja) 2008-06-17 2012-04-04 ヤフー株式会社 クエリ置換検索サーバ、検索方法及びプログラム
US8290989B2 (en) * 2008-11-12 2012-10-16 Sap Ag Data model optimization
US20100145971A1 (en) * 2008-12-08 2010-06-10 Motorola, Inc. Method and apparatus for generating a multimedia-based query
US20100205203A1 (en) * 2009-02-09 2010-08-12 Vitamin D, Inc. Systems and methods for video analysis
US20100228776A1 (en) * 2009-03-09 2010-09-09 Melkote Ramaswamy N System, mechanisms, methods and services for the creation, interaction and consumption of searchable, context relevant, multimedia collages composited from heterogeneous sources
US8650210B1 (en) * 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US9015043B2 (en) * 2010-10-01 2015-04-21 Google Inc. Choosing recognized text from a background environment
US8959071B2 (en) * 2010-11-08 2015-02-17 Sony Corporation Videolens media system for feature selection
US8521672B2 (en) * 2010-11-22 2013-08-27 Microsoft Corporation Dependency-based query expansion alteration candidate scoring
US8726349B2 (en) * 2010-11-24 2014-05-13 Oracle International Corporation Optimizing interactions between co-located processes
US9483557B2 (en) * 2011-03-04 2016-11-01 Microsoft Technology Licensing Llc Keyword generation for media content
US8620897B2 (en) * 2011-03-11 2013-12-31 Microsoft Corporation Indexing and searching features including using reusable index fields
US8839303B2 (en) 2011-05-13 2014-09-16 Google Inc. System and method for enhancing user search results by determining a television program currently being displayed in proximity to an electronic device
US20120323897A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Query-dependent audio/video clip search result previews
US9098533B2 (en) * 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
US9002069B2 (en) * 2012-09-24 2015-04-07 International Business Machines Corporation Social media event detection and content-based retrieval
WO2014054052A2 (en) * 2012-10-01 2014-04-10 Parag Kulkarni Context based co-operative learning system and method for representing thematic relationships
US9348895B2 (en) * 2013-05-01 2016-05-24 International Business Machines Corporation Automatic suggestion for query-rewrite rules
US10579652B2 (en) * 2014-06-17 2020-03-03 Microsoft Technology Licensing, Llc Learning and using contextual content retrieval rules for query disambiguation
US9852188B2 (en) 2014-06-23 2017-12-26 Google Llc Contextual search on multimedia content
US10049132B2 (en) * 2014-06-26 2018-08-14 Excalibur Ip, Llc Personalizing query rewrites for ad matching
US9547690B2 (en) * 2014-09-15 2017-01-17 Google Inc. Query rewriting using session information
US20160125028A1 (en) * 2014-11-05 2016-05-05 Yahoo! Inc. Systems and methods for query rewriting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100076840A1 (en) * 2003-09-30 2010-03-25 Jeremy Bem Increasing a number of relevant advertisements using a relaxed match
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN101842787A (zh) * 2007-09-14 2010-09-22 谷歌公司 在查询结果中建议替选查询
CN102521321A (zh) * 2011-12-02 2012-06-27 华中科技大学 基于检索词歧义性和用户偏好的视频搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRIENGKRAI PORKAEW等: "Query Reformulation for Content Based Multimedia Retrieval in MARS", 《PROCEEDINGS IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA COMPUTING AND SYSTEMS》 *

Also Published As

Publication number Publication date
WO2015199842A1 (en) 2015-12-30
US9852188B2 (en) 2017-12-26
CN111753104A (zh) 2020-10-09
US20180075111A1 (en) 2018-03-15
RU2726864C2 (ru) 2020-07-16
RU2019119697A (ru) 2019-08-09
RU2016150419A3 (zh) 2018-11-22
US11847124B2 (en) 2023-12-19
RU2016150419A (ru) 2018-07-24
US11204927B2 (en) 2021-12-21
US20150370859A1 (en) 2015-12-24
JP2019032876A (ja) 2019-02-28
US20220075787A1 (en) 2022-03-10
JP2017519304A (ja) 2017-07-13
JP6419858B2 (ja) 2018-11-07
US20240104104A1 (en) 2024-03-28
RU2693915C2 (ru) 2019-07-05
RU2019119697A3 (zh) 2020-01-31
CN106462640B (zh) 2020-06-30
JP6896690B2 (ja) 2021-06-30
EP3161674A1 (en) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106462640A (zh) 对多媒体内容进行的场境搜索
US10635696B2 (en) Keyword search queries on online social networks
US10096145B2 (en) Method and system for assembling animated media based on keyword and string input
US10127316B2 (en) Identifying and processing recommendation requests
Chuang et al. “Without the clutter of unimportant words” Descriptive keyphrases for text visualization
CA2921916C (en) Filtering suggested structured queries on online social networks
US20170316105A1 (en) Blending by Query Classification on Online Social Networks
JP2021522561A (ja) 補助システムとのユーザ対話のための個人化されたジェスチャー認識
CN109196496A (zh) 未知词预测器和内容整合的翻译器
US20160357872A1 (en) Event networks and event view construction and display
US11822868B2 (en) Augmenting text with multimedia assets
US11379518B2 (en) Detecting musical references in natural language search input
CN110073349A (zh) 考虑频率和格式化信息的词序建议
US20220067077A1 (en) Generating structured data for rich experiences from unstructured data streams
WO2015198112A1 (en) Processing search queries and generating a search result page including search object related information
WO2015198113A1 (en) Processing search queries and generating a search result page including search object related information
US20150235243A1 (en) Engagement tool for a website
US20160335365A1 (en) Processing search queries and generating a search result page including search object information
US10909112B2 (en) Method of and a system for determining linked objects
Baldoni et al. Sentiment analysis in the planet art: A case study in the social semantic web
JP2011043908A (ja) 番組検索装置および番組検索プログラム
Sameera et al. Text Analytics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant