CN105518661A - 经由挖掘的超链接文本的片段来浏览图像 - Google Patents

Abstract

对存储在信息存储库中的图像进行准备以用于浏览。针对存储库中的每个图像，对存储库中的文本进行挖掘以提取与图像有关的文本的片段，该文本的片段语义上与图像相关，并且针对这些文本的片段中的每个，检测文本的片段中的关键项，该关键项表示与图像有关的概念或与图像有关的实体，并且该文本的片段和关键项与图像相关联。与存储库中的每个图像相关联的每个关键项被超链接到存储库中的与该关键项相关联的每个其他图像。图形化用户界面允许用户通过使用其相关联的文本的片段和超链接的关键项来浏览存储库中的图像。

Description

经由挖掘的超链接文本的片段来浏览图像

背景技术

互联网是服务全世界数十亿用户的全球数据通信系统。互联网为用户提供对广泛在线信息资源和服务(包括由万维网、基于内联网的企业、及其类似提供的那些资源和服务)的访问。万维网被组织为网站的集合，网站中的每个被组织为网页的集合。给定的网页可以包括广泛的各种类型的在线信息，例如，文本、图像、图形、音频和视频。万维网当前承载数十亿的网页，这些网页当前共同承载约一万亿的图像并且这些数量继续快速地增长。现今存在许多不同的搜索引擎，这些搜索引擎给用户提供了搜索特定计算设备上的或者诸如互联网或专用网络等网络上的期望的在线信息的能力。由于现今存在的各种类型的个人计算设备(例如，个人计算机、膝上/笔记本计算机、智能电话和平板计算机)的普遍性以及互联网的普遍性，用户通常使用一个或多个搜索引擎来定位他们感兴趣的特定图像。

发明内容

提供本概述以便以简要的形式引入一系列概念，这些概念在下文的具体实施方式中被进一步描述。本概述既不是要标识要求保护的主题的关键特征或必要特征，也不是要用于帮助确定要求保护的主题的范围。

本文描述的图像浏览框架实施例一般适用于允许用户浏览存储在包括多个图像和文本的信息存储库(repository)中的图像。在一个示例性实施例中，按照如下来准备图像以用于浏览。对存储库中的图像中的每个，对存储库中的文本进行挖掘以提取与该图像有关的文本的一个或多个片段，这些一个或多个文本的片段中的每个在语义上与该图像相关。然后，对提取的与图像有关的文本的片段中的每一个，检测该片段中的一个或多个关键项(keyterm)，其中，关键项中的每个表示与图像有关的概念或与图像有关的实体，并且该片段和这些一个或多个关键项与图像相关联。与存储库中的图像中的每个相关联的关键项中的每个随后被超链接到存储库中的与该关键项相关联的每个其他图像。

在另一个示例性实施例中，其中，信息存储库中的图像和文本以网页的形式存储，网页中的每个使用超文本标记语言(HTML)被结构化，对该存储库进行挖掘以提取与存储库中的特定图像有关的文本的片段。识别出存储库中的包括该特定图像的所有网页。随后生成三元组的列表，在该列表中，每个三元组与被识别的网页中的不同的一个相对应，并且包括该特定图像的统一资源定位符(URL)、被识别的网页的URL、以及针对被识别的网页的HTML代码。随后，从该三元组的列表中随机选择规定数量的三元组，这样的随机选择生成三元组的随机子集。随后，针对该三元组的随机子集中的被识别的网页中的每个，进行下文的动作。对针对被识别的网页的HTML代码进行解析，产生解析树。随后，找到解析树中的图像节点和文本节点。随后确定这些节点在被识别的网页中的线性排序。随后，识别包括特定图像的URL的图像节点中的一个，其中，这样的识别包括每当没有图像节点包括该特定图像的URL或者一个以上的图像节点包括该特定图像的URL时，从三元组的随机子集中删除识别的网页。随后将文本节点中的每个划分成一个或多个句子，对这些句子进行过滤以去除不以大写字母开始和不以合适的标点符号结束的任何句子。随后计算从过滤后的句子中的每个句子到被识别的图像节点的字符中的距离。随后生成过滤后的句子中的每个句子的句子字向量。随后，对与三元组的随机子集中的被识别的网页中的每个中的被识别的图像节点相关联的文本进行聚合，并且针对该聚合的文本来生成图像词向量。随后，针对三元组的随机子集中的被识别的网页中每个网页的过滤后的句子的每个，进行以下动作。生成过滤后的句子的相关性分数，该相关性分数表示该过滤后的句子与特定图像如何相关的估计，并且生成过滤后的句子的兴趣度分数，该兴趣分数度表示该过滤后的句子如何令用户感兴趣的估计。随后根据这些相关性分数和兴趣度分数，生成过滤后的句子的总分数，其中，该总分数指示该过滤后的句子如何相关和令人感兴趣。选择组合的相关分数和兴趣分数大于规定分数阈值的任一个过滤后的句子，并且这些被选择的过滤后的句子被分配成与特定图像有关的文本的片段。

在又一个示例性实施例中，在显示设备上显示图像浏览图形化用户界面(GUI)，其中，该GUI包括当前图像部分。随后，接收来自用户的查看信息存储库中的期望图像的请求。随后，在当前图像部分中显示该期望图像，并且在该期望图像上显示一个或多个热点，其中，热点中的每个被超链接到与该期望图像有关的文本的不同片段，所述文本的片段在语义上与期望图像相关并且包括一个或多个关键项，关键项中的每个表示与期望图像有关的概念或与期望图像有关的实体，并且关键项中的每个被超链接到存储库中的与该关键项相关联的每个其他图像。

附图说明

参照以下的描述、所附的权利要求、以及附图，将更好地理解本文描述的图像浏览框架实施例的特定特征、方面和优点，在附图中：

图1是以简化的形式示出了用于对存储在信息存储库中的图像进行准备以用于浏览的过程的示例性实施例的流程图。

图2是以简化的形式示出了用于对信息存储库中的文本进行挖掘以提取与存储库中的给定图像有关的文本的一个或多个片段的过程的示例性实施例的流程图。

图3A和图3B是以简化的形式示出了用于从信息存储库中的被识别为包括图像的网页提取完整句子，并且针对被提取的完整句子中的每个来计算组合的相关性和兴趣度分数的过程的示例性实施例的流程图。

图4是以简化的形式示出了用于选择组合的相关性和兴趣度分数大于规定的分数阈值的被提取的完整句子中的任何一个的过程的示例性实施例的流程图。

图5是以简化的形式示出了用于对分数最高的被提取的完整句子的排序列表进行过滤的过程的示例性实施例的流程图。

图6是以简化的形式示出了用于允许用户浏览准备的图像的过程的示例性实施例的流程图。

图7-图15是以简化形式示出了用于允许用户语义地浏览存储在信息存储库中的图像的图形化用户界面(GUI)的一般化布局的示例性实施例的图。

图16是示出了可以在其上实现本文描述的图像浏览框架的各种实施例和元素的通用计算机系统的简化示例的图。

图17是以简化形式示出了用于允许用户语义地浏览存储在信息存储库中的图像的GUI的一般化布局的可替换的实施例的图。

具体实施方式

在图像浏览框架实施例的下文描述中，参照形成该描述一部分的附图，并且在下文描述中，以说明方式示出了其中可以实现图像浏览框架的特定实施例。应该理解的是，可以利用其他实施例并且可以进行结构改变，而不偏离图像浏览框架实施例的范围。

还应注意到，出于清楚的原因，将借助特定的术语来描述本文描述的图像浏览框架实施例，并且这并不是要将这些实施例限制于如此选择的特定术语。此外，应该理解，每个术语包括以广泛地相似的方式操作以实现相似目的的所有技术等价物。本文中提到的“一个实施例”、或“另一个实施例”、或“示例性实施例”、或“可替换的实施例”、或“一个实现”、或“另一个实现”、或“示例性实现”、或“可替换的实现”表示结合实施例或实现描述的特定结构、或特定特征可以被包括在图像浏览框架的至少一个实施例中。在说明书的各种地方出现的短语“在一个实施例中”、“在另一个实施例中”、“在示例性实施例中”、“在可替换实施例中”、在一个实现中”、“在另一个实现中”、“在示例性实现中”、“在可替换实现中”不一定都指代同一个实施例或实现，单独的或可替换的实施例/实现也不与其他实施例/实现相互排斥。还有此外，表示图像浏览框架的一个或多个实施例或实现的处理流程的顺序不固有地指示任何特定顺序，不暗示图像浏览框架的任何限定。

本文使用术语“图像”来指代可以在计算机显示设备(其中例如，计算机显示器)上查看的数字图像。本文中使用术语“用户”来指代正在使用计算机(本文中也称为计算设备)来浏览图像的个人。本文中使用“部分”来指代计算机显示设备的显示屏幕的分段区域，在该区域中可以显示特定类型的图形化用户界面(GUI)和/或信息(其中例如，一个或多个图像和文本)，或者可以由用户执行的特定类型的动作，其中，所述GUI/信息/动作一般与在计算机上运行的特定应用程序相关联。如在计算机操作环境的领域中所认识到的，给定的计算机显示设备可以包括可以层叠地分层或重叠的多个不同部分。

1.0经由挖掘的超链接文本的片段来浏览图像

一般而言，本文描述的图像浏览框架实施例对准备用于浏览的图像，其中，图像存储在包括多个图像和文本的信息存储库中。一旦已经准备了用于浏览的图像，则图像浏览框架实施例还允许用户以语义上有意义的方式来浏览图像。在本文描述的图像浏览框架的示例性实施例中，信息存储库是万维网(下文中简称为网络(Web))，并且存储库中的图像和文本以网页的形式存储，其中，网页中的每个使用超文本标记语言(HTML)代码来进行结构化。然而，应该认识到，图像浏览框架的可替换实施例也是可能的，其中，信息存储库可以是存储图像和文本的任何其他类型的数据库机制并且还可以存储其他类型的信息，其中，该数据库机制可以是分布式的或集中式的。

出于包括但不限于下文的原因，本文中描述的图像浏览框架实施例是有利的。如将要从下文的更详细描述中认识到的，图像浏览框架实施例为正在搜索图像的用户(例如，正在使用搜索引擎来在网络上进行图像搜索的用户)提供了与由用户查看的图像有关的语义上令人感兴趣的文本信息。图像浏览框架实施例还建议其他语义上相关的图像，以供用户查看。图像浏览框架实施例还允许用户语义地浏览网上的图片(例如，用户可以以语义上有意义的方式从一个图像转换到下个图像)。图像浏览框架实施例还提供给用户直观的并且易于使用的用户界面。图像浏览框架实施例由此优化了图像搜索过程的效率和有效性，并且缩短了用户定位与其兴趣匹配、满足其要求、或使其受教、或使其娱乐、或其组合的特定图像所花费的时间量。

1.1过程框架

图1以简化的形式示出了用于对存储在信息存储库中的图像进行准备以用于浏览的过程的示例性实施例，其中，所述存储库包括多个图像和文本。如上文描述的，在本文描述的图像浏览框架的示例性实施例中，信息存储库是网络并且存储库中的图像和文本以网页的形式存储，网页中的每个使用HTML代码来进行结构化。如在图1中例示的，在块100中，过程开始于对存储库中的图像中的每个进行以下动作。对存储库中的文本进行挖掘以提取与图像有关的文本的一个或多个片段，其中，这些一个或多个片段中的每个在语义上与图像相关，并且对于阅读该片段的用户而言是语义上有兴趣的(块102)。这是有利的，因为当用户浏览存储在存储库中的图片时，用户通常希望被娱乐或教育。随后，针对被提取的与图像有关的文本的片段的每个进行以下动作(块104)。在被提取的与图像有关的文本的片段中检测一个或多个关键项，其中，关键项中的每个表示与图像相关的语义上有意义的概念，或与图像相关的语义上有意义的实体(块106)。随后将被提取的与图像有关的文本的片段以及在该片段中检测到的一个或多个关键项与图像相关联(块108)。在块100的动作已经完成后，与存储库中的图像中的每个相关联的关键项中的每个被超链接到存储库中的与该关键项相关联的每个其他图像(块110)。在图像浏览框架的示例性实施例中，关键项到其他图像的这样的超链接可以使用反向索引数据结构来实现。

应该认识到，刚刚描述的对信息存储库中的文本进行挖掘以提取与存储库中的图像的每个有关的文本的一个或多个片段可以使用各种数据挖掘方法来执行。在下文中更加详细地描述一种这样的数据挖掘方法的示例性实施例。还应该认识到，可以使用各种传统方法来执行刚刚描述的关键项检测。作为示例而非限制，在本文描述的图像浏览框架的示例性实施例中，关键项是维基百科中的文章标题或标题的变形，并且刚刚描述的关键项检测使用传统的语义相关计算方法来执行，该语义相关计算方法使用基于维基百科的显式语义分析。因此，以及将从下文的更加详细的描述认识到的，刚刚描述的关键项到存储库中的图像的超链接基于关键项与图像的相关性的度量。

图2以简化的形式示出了用于对信息存储库中的文本进行挖掘以提取与存储库中的给定图像有关的文本的一个或多个片段的过程的示例性实施例。在图2中例示的特定数据挖掘方法实施例适用于本文描述的图像浏览框架的上述实施例，其中，该信息存储库是网络，并且存储库中的图像和文本以网页的形式存储，网页中的每个使用HTML代码来进行结构化。如在图2中例示的，在块200，过程开始于识别存储库中的包括该图像的所有网页。随后，从被识别的网页提取完整句子，并且针对提取的完整句子中的每个，计算组合的相关和性兴趣度分数(块202)。然后，选择组合的相关性和兴趣度分数大于规定的分数阈值的被提取的完整句子中的任一个(例如，过滤后的句子中的任一个)。随后，将被选择的句子分配作为提取的与图像有关的文本的片段(块206)。

图3A和图3B以简化的形式示出了用于从信息存储库中的被识别为包括给定图像的网页中提取完整句子并且计算提取的完整句子中的每个的组合的相关性和兴趣度分数的过程的示例性实施例。如在图3A中所例示的，在块300中，过程开始于生成三元组的列表，其中，列表中的每个三元组与被识别的网页中的不同的一个网页相对应，并且包括图像的统一资源定位符(URL)、被识别的网页的URL、以及被识别的网页的HTML代码。随后，可以可选地对三元组的列表进行过滤以去除被识别的网页存在于特定网站域中的任何三元组(块302)。在本文描述的图像浏览框架的示例性实施例中，可以在被识别的网页的URL上执行这样的过滤，并且被滤除的网站域包括社交网站、图片共享网站、以及任何商业网站。将会认识到，可以基于给定的搜索引擎的需求来修改被滤除的网站域。这样的过滤还可以可选地包括一个或多个其他类型的网站过滤，包括但不限于以下内容。可以对三元组的列表进行过滤以去除被识别的网页不是一个或多个规定语言的任何三元组(例如，可以对三元组的列表进行过滤以去除任何的非英语网页)。除了别的类型的内容之外，还可以对三元组的列表进行过滤以去除被识别的网页包括诸如成人(例如色情)内容等的特定类型的内容的任何三元组。

再次参照图3A，在三元组的列表已经被过滤(块302)后，随后从过滤后的三元组列表中随机地选择规定数量的三元组，这样的随机选择生成三元组的随机子集(块304)。在图像浏览框架的示例性实施例中，该规定的数量是200。将会认识到，这种三元组的随机选取仅在针对图像的要处理的被识别网页的数量上设置了最大值，并且由此用于限制针对很普通的图像(其中的很多是不令人感兴趣的，例如公司图标及其类似)执行的处理。还将认识到，在过滤后的列表中的三元组的数量小于规定数量的情况下，过滤后的列表中的所有的三元组都被选择。

再次参照图3A，在已经生成了三元组的随机子集(块304)后，随后对三元组的随机子集中的被识别的网页中的每个进行以下动作(块306)。对被识别的网页的HTML代码进行解析，产生解析树，在解析树中找到图像节点和文本节点，并且确定这些节点在被识别的网页中的线性排序(块308)。在给定的网页的HTML代码不能被解析的情况下，可以简单地将该网页从三元组的随机子集中删除。随后，识别包括图像的URL的图像节点中的一个节点(块310)，其中，该识别包括，每当没有图像节点包括图像的URL(如果由于前述的HTML代码聚合，被识别的网页已经发生变化，这可能发生)时，或者图像节点中的一个以上节点包括图像的URL(如果在被识别的网页多次涉及该图像，这可能发生)时，从三元组的随机子集中删除被识别的网页。随后，将文本节点中的每个划分成一个或多个句子(块312)，随后对这些句子进行过滤以去除不是以大写字母开始或者不是以合适的标点符号结束的任何句子(块314)。这种过滤由此确保句子是完整的句子(例如，丢弃任何句子片段)。随后，计算从过滤后的句子中的每一个到被识别的图像节点的字符距离(块316)，其中，当句子出现在被识别的图像节点之后时，赋予该字符距离一个符号(例如，使其为正的)，并且当句子出现在被识别的图像节点之前时，赋予该字符距离相反的符号(例如，使其为负的)。随后针对过滤后的句子中的每个，生成句子字向量(块318)，其中，从句子的词向量中排除停用词并且执行词干操作(stemming)。

将认识到，刚刚描述的HTML代码解析(块308)可以以各种方式来执行。作为示例而非限制，在本文描述的图像浏览框架的示例性实施例中，使用传统的HTML解析器来执行该解析。还将认识到，刚刚描述的图像节点识别(块310)可以以各种方式执行，作为示例而非限制，在图像浏览框架的示例性实施例中，使用各种字符串处理规范化来执行该识别。还将认识到，可以使用各种传统方法来执行刚刚描述的句子划分(块312)。

再次参照图3A，在已经完成块306的动作后，将与三元组的随机子集中的每个被识别的网页中的被识别的图像节点相关联的文本进行聚合(块320)。随后，针对聚合文本生成图像词向量(块322)。将认识到，该图像词向量用作图像内容的整体模型。如在图3B中例示的，随后对三元组的随机子集中的每个被识别网页的每个被识别的句子进行以下动作(块324)。生成过滤后的句子的相关性分数(块326)，其中，该相关性分数表示过滤后的句子与图像语义上如何相关的估计。随后，生成过滤后的句子的兴趣度分数(块328)，其中，该兴趣度分数表示过滤后的句子在语义上如何令用户感兴趣的估计。随后，根据这些相关性和兴趣度分数，生成过滤后的句子的总分数，其中，该总分数指示过滤后的句子如何相关和令人感兴趣(块330)。在本文描述的图像浏览框架的示例性实施例中，该总分数等于相关性分数乘以兴趣度分数。因此，并且如将要从下文的更加详细的描述中认识到的，高的总分数指示过滤后的句子既是相关的也是令人感兴趣的，并且低的总分指示过滤后的句子不是相关的也不是令人感兴趣的。

在本文描述的图像浏览框架的示例性实施例中，使用学习的回归函数来生成过滤后的句子中的每个的相关性和兴趣度分数二者，该回归函数基于对过滤后的句子的不同特征的计算。在本文描述的图像浏览框架的示例性实施例中，该学习的回归函数采用规范化的线性回归和使用亚马逊土耳其机器人(MTurk)获取的训练数据。更特别地，需要MTurk用户在从0.0到3.0的范围上对大量的句子的相关性和兴趣度分数进行评分，其中0.0与给定的句子不相关/不令人感兴趣相对应，并且3.0与该句子非常相关/令人该兴趣相对应。将会认识到，可以计算过滤后的句子中的每个的许多不同特征。在图像浏览框架的示例性实施例中，这些特征包括但不限于数据项特征、各种上下文特征、复制特征、距离特征、以及各种语言特征。现在将对这些特征中的每个进行更加详细的描述。

对给定的过滤后的句子的数据项特征的计算涉及计算过滤后的句子的句子字向量与图像词向量之间的匹配分数。在本文描述的图像浏览框架的示例性实施例中，以下面的方式来计算该匹配分数。首先，将图像的词向量标准化为单位向量。随后，计算该标准化的图像的词向量与句子的词向量的点积。随后，可以可选地在该点积上设置规定的最大值，以便于避免过度地支持句子的大量重叠。

上下文特征实质上是数据项特征的概念扩展。在本文描述的图像浏览框架的示例性实施例中，针对过滤后的句子中的每个，计算两个不同的上下文特征，即局部上下文特征和页面上下文特征。局部上下文特征的计算涉及在过滤后的句子周围的局部窗口上对数据项特征进行平均。局部上下文特征后的直观是，如果给定的过滤后的句子周围的其他的过滤后的句子也与图像语义上相关并且语义上令用户感兴趣，则给定的过滤后的句子更可能与图像语义上相关并且语义上令用户感兴趣。页面上下文特征的计算涉及在大于局部窗口的扩展窗口(例如，在图像浏览框架的示例性实施例中，该扩展的窗口包含从中提取过滤后的句子的整个被识别的网页)上对数据项特征进行平均。可以可选地对每个计算出的上下文特征设置规定的最大值，以便于避免过度地支持句子的大量重叠。

对给定的过滤后的句子的复制上下文的计算涉及计算该给定的过滤后的句子与离从中提取出该句子的被识别的网页中的该给定的过滤后的句子一规定距离内的其他过滤后的句子之间的重叠。复制特征后的直观是大量的重复通常指示垃圾类的内容。给定的过滤后的句子的距离特征的计算涉及计算过滤后的句子与从中提取出该句子的被识别的网页中的图像之间的距离，以字符为量度。可以可选地对计算出的距离设置上限和下限以避免极端情况。距离特征背后的直观是接近图像的句子更可能与该图像相关。可以计算给定的过滤后的句子的各种语言特征，包括但不限于以下中的一个或多个。可以计算过滤后的句子的长度(例如，该过滤后的句子中的字数)。应该认识到，较长的句子一般比较短的句子更令用户感兴趣。还可以计算过滤后的句子的各种布尔特征，例如，过滤后的句子是否以指示词开始，过滤后的句子是否是明确的，以及除了其他布尔特征，过滤后的句子是否以第一人称代词(例如，我、或我们)开始。

图4以简化的形式示出了用于选择组合的相关性和兴趣度分数大于规定的分数阈值的被提取的完整句子中的任一个的过程的示例性实施例。如在图4中例示的，在块400，过程开始于针对前述的三元组的随机子集中的被识别的网页中的每个执行以下动作。来自被识别的网页的过滤后的句子按照它们的总分数来进行排序(块402)。随后选择规定数量的最高分数的过滤后的句子(块404)，其中，这样的选择消除了具有大于规定的百分比的词语重叠的任何过滤后的句子对。在本文描述的图像浏览框架的示例性实施例中，该规定的数量是三，并且该规定的百分比是85％。应该认识到，对具有大于85％的词语重叠的任何过滤后的句子对的消除用于消除几乎相同的任何分数最高的过滤后的句子对。在块400的动作已经完成后，将从三元组的随机子集中的所有被识别网页中的选择的所有最高分数的过滤后的句子合并成最高分数的句子的列表，并且按照这些句子的总分对该列表进行排序(块406)。随后对最高分句子的排序列表进行过滤，以便于确保高级的句子质量(块408)。下文中详细描述示例性的过滤操作。随后将过滤后的最高分句子的排序列表与该列表中每个句子的总分数以及从中提取出句子的被识别的网页的URL一起输出(块408)。

图5以简化的形式示出了用于对最高分句子的排序列表进行过滤的过程的示例性实施例。如在图5中例示的，在框500中，过程开始于对排序列表进行过滤以去除该列表中总分小于或等于前述的规定分数阈值的任何句子。在本文描述的图像浏览框架的前述示例性实施例中，其中，在从0.0到3.0的范围上对句子的相关性和兴趣度进行评分，3.0的分数与非常相关/令人感兴趣相对应，规定的分数阈值是2.75。还可以可选地对排序列表中的句子数量设置最大值(块502)。更特别地，在图像浏览框架的示例性实施例中，只从排序列表中选择分数最高的20个句子。随后，将在排序列表中剩余的句子分组成彼此近似重复的句子的子集(例如，给定的子集中的每个句子之间的词语重叠在规定的重叠阈值以上)(块504)。每当满足质量条件的集合时(块506，是)，将在排序列表中剩余的句子分配作为过滤后的最高分句子的排序列表(块508)。每当不满足质量条件的集合时(块506，不)，从排序列表中去除所有在排序列表中剩余的句子，以使得空列表被分配作为过滤后的最高分句子的排序列表(块510)。

在本文描述的图像浏览框架的示例性实施例中，刚刚描述的质量条件的集合包括以下三个条件。在最高分句子的排序列表中至少剩余第一规定数量的句子。剩余在排序列表中的句子来自至少第二规定数量的不同的被识别的网页。与排序列表中的另一个句子近似重复的剩余在排序列表中的句子的百分比小于规定的百分比。在该实施例的示例性实现中，第一规定数量是三，第二规定数量是二，并且规定的百分比是40％。

如将从以下更详细地描述中认识到的，在与信息存储库中的每个图像有关的每个被提取的文本的片段中检测到的每个关键项是关键词或关键短语(例如，形成要素并且作用为单个单元的两个或更多词语的序列)。再次参照图1，在块108的动作中建立的文本的片段与图像之间的关联允许搜索引擎访问与存储库中的每个图像有关的每个文本的片段。同样在块108的动作中建立的关键项与图像之间的关联允许搜索引擎同样访问在与存储库中的每个图像有关的每个文本的片段中检测到的每个关键项。这些片段/图像和关键项/图像的关联还允许在用户查看图像时，将提取的与给定图像有关的文本的片段、以及在这些文本的片段的每个中检测出的关键项显示给用户。在本文描述的图像浏览框架的示例性实施例中，其中，存储库包括针对存储在存储库中的每个图像的元数据，块108中的动作可以被如下实现。对于存储库中的每个图像，将每个被提取的与该图像有关的文本的片段以及在该文本的片段中检测出的一个或多个关键项添加到该图像的元数据上。

图6以简化的形式示出了用于允许用户浏览存储在信息存储库中的图像的过程的示例性实施例。图6中例示的过程实施例假定已经如上文描述的对存储在存储库中的图像进行准备以用于浏览。如在图6中例示的，在块600中，过程开始于在用户用来浏览图像的计算机的显示设备上显示图像浏览GUI。如将在下文更加详细地描述的，该GUI包括当前图像部分，并且还可以可选地包括关键项部分和图像历史部分。在用户生成查看存储库中的期望图像的请求后，接收该请求(块602)，并且在当前图像部分内显示该期望图像(块604)。可以随后在该期望图像上方显示一个或多个热点，其中，将热点中的每个超链接到与该期望图像有关的文本的不同的片段，所述文本的不同的片段在语义上与期望图像相关并且包括前述的关键项中的一个或多个(块606)。

如在在线信息管理领域中认识到的，热点可以是当前正在显示的信息(例如图像及其类似)的给定项的用户可选择的、定义的区域。应该认识到，可以以各种方式来显示热点。在本文描述的图像浏览框架的示例性实施例中，可以将热点中的每个显示为半透明的阴影框。

再次参照图6，在用户选择热点中的一个后，检测到用户选择(块608)，并且在图像浏览GUI中显示被超链接到选择的热点文本的片段，其中，以允许用户将关键项与文本的显示的片段中的其余文本进行区别的方式来突出显示文本的所显示的片段中的关键项中的每个(块610)。如下文将更加详细地描述的，可以以各种方式并且在GUI的各种位置中显示该文本的片段。下文还更加详细地描述了示例性的关键项突出显示方法。当用户选择文本的显示的片段中的关键项中的一个后，检测到该用户选择(块612)，并且从信息存储库中选择也与被选择的关键项相关联的另一个图像(块614)。随后，在图像浏览GUI的当前图像部分内显示该被选择的其他图像(块616)。换言之，由被选择的关键项表示的概念或实体也与显示给用户的从信息存储库中选择的其他图像相关。因此，用户被提供了与他们之前查看的期望图像在语义上相关的另一个图像。随后，在选择的其他图像上显示一个或多个热点，其中，热点中的每个被超链接到与选择的其他图像有关的文本的不同片段，所述文本的不同的片段在语义上与选择的其他图像相关并且包括一个或多个关键项(块618)。

应该认识到，用户可以以包括但不限于以下的多种方式来选择给定的热点，或被超链接到该热点的文本的显示的片段中的给定关键项(或在下文中更加详细描述的图像浏览GUI的图像历史部分中的给定缩略图，或该GUI的关键项部分中的给定关键项)。在显示设备的显示屏是触摸敏感的情况中，用户可以通过使用一个或多个手指、或笔类的设备物理触摸显示屏来手动地选择热点/关键词/缩略图。在用户的计算机包括诸如计算技术鼠标或类似的GUI选择设备的情况下，用户可以使用该GUI选择设备来手动地指向热点/关键项/缩略图，并且随后手动地按下该GUI选择设备上的按钮(例如，用户可以使用GUI选择设备来手动地点击热点/关键项/缩略图)；用户还能够使用GUI选择设备来手动地在热点/关键项/缩略图上悬停规定的时间段。在用户的计算机包括语音输入和识别子系统的情况下，用户还能够通过说出关键项来在文本的显示的片段中口头地选择给定的关键项。

再次参照图6，还将认识到，可以以各种方式来实现块614中的动作。作为示例而非限制，在本文描述的图像浏览框架的示例性实施例中，从信息存储库选择另一个图像包括从信息存储库中选择与被选择的关键项关联最多次数的另一个图像(例如，选择在提取的与其相关联的文本的片段中检测到该关键项最多次数的另一个图像)。从存储库中选择另一个图像还可以可选地包括考虑用户图像浏览历史，以便于避免将相同的图像再次显示给用户。

在刚刚描述的用于允许用户浏览存储在信息存储库中的图像的过程中，当给定的图像第一次在当前图像部分内显示时，只有被超链接到与该图像有关的文本的片段的热点显示在该图像上。如上文描述的，用户随后可以选择给定的热点来查看与该图像有关的给定的文本的片段。在本文描述的图像浏览框架的可替换实施例中，当给定的图像第一次在当前图像部分内显示时，除了显示在图像上的热点，与该图像有关的文本的片段中的默认片段可以自动地在图像浏览GUI中显示。在该可替换实施例的一个实现中，自动显示的文本的片段中的默认片段是与图像有关的具有最大组合相关性和兴趣度分数的文本的片段。在该可替换实施例的另一个实现中，自动显示的文本的片段中的默认的片段是与图像相关的文本的片段，在所述图像中用户最近选择的特定关键项(由此使得该图像被显示在当前图像部分内)或者用户最初用来搜索图像的特定查询语出现最多次数的。在该可替换实施例的又一个实现中，自动显示的文本的片段中的默认片段是基于用户已经选择的关键项的历史而进行选择的。还可以使用这些刚刚描述的实现的任何组合。

1.2用户界面框架

图7-图15以简化的形式示出了允许用户浏览存储在信息存储库中的图像的GUI的一般化布局的示例性实施例。在图7-图15中例示的图像浏览GUI700假定存储在存储库中的图像已经如上文描述的被准备以用于浏览。因此并且如将从下文的更加详细的描述中认识到的，图7-图15中例示的GUI700以允许用户语义上浏览存储在存储库中的图像的方式来利用上文提到的在关键项与图像之间建立的超链接结构(例如，GUI700利用这样的事实，即与信息存储库中的图像中的每个相关联的关键项中的每个被超链接到存储库中的与该关键项相关联的每个其他图像)。如在图7-图15中例示的，GUI700包括当前图像部分702，并且还可以可选地包括关键项部分704以及图像历史部分706。下文更加详细地描述使用这些不同部分702/704/706的示例性实施例。

如在图7中例示的，在接收到用户的查看存储在信息存储库中的卢瑟福的图像的请求之后，在当前图像部分702内显示所请求的卢瑟福的图像724。还在所请求的图像724上显示四个热点708/710/712/714，其中热点708/710/712/714中的每个被超链接到与图像724有关的文本的不同片段(例如，片段716)，所述文本的不同的片段与图像724语义上相关。在检测到对热点708的用户选择后，在图像浏览GUI700中显示超链接到被选择的热点708的文本的片段716。应该理解，可以以各种方式并且在GUI700的各种位置中显示该文本的片段716(以及下文讨论的文本的其他片段)，这些方式和位置包括但不限于下文内容。在图7-图15中例示的特定GUI实施例中，每一个文本的片段在当前显示在当前图像部分的图像上被弹出并且邻近该片段被超链接到的热点。在可替换的GUI实施例(未示出)中，每个文本的片段可以在图像的边上弹出，以使得该片段不使图像模糊。在另一个可替换的GUI实施例(未示出)中，GUI可以包括片段部分并且每个文本的片段可以显示在该片段部分内。在又一个可替换的GUI实施例(未示出)中，可以在图像上的规定的固定位置(例如，除了其他固定位置，图像的底部)中弹出每个文本的片段。文本的片段716包括以允许用户将其从片段716的其余文本中区分出来的方式来突出显示的一个关键项(卢瑟福)。可以以各种方式执行这样的关键项的突出显示，包括但不限于将关键项的字符加粗、或改变关键项的颜色、或对关键项的字符加下划线、或这些方式的任何组合。

如在图8中例示的，在检测到对热点710的用户选择后，将与超链接到选择的热点710的文本的片段718显示在图像浏览GUI700中。文本的片段718包括被突出显示的一个关键项(卢瑟福)。如在图9中例示的，在检测到对热点712的用户选择后，将超链接到选择的热点712的文本的片段720显示在GUI700中。文本的片段720包括被突出显示的一个关键项(原子)。如在图10中例示的，在检测到对热点714的用户选择后，将超链接到选择的热点714的文本的片段722显示在GUI700中。文本的片段722包括被突出显示的四个关键项(英国、物理、曼彻斯特和剑桥)。

如在图11中例示的，并且再次参照图10，在检测到对显示的文本的片段722中的关键项剑桥的用户选择后，在当前图像部分702中显示也与关键项剑桥相关联的来自信息存储库的另一个图像728，并且将先前显示的图像724的缩略图726(例如，缩小的表示)显示在图像历史部分706内。四个热点730/732/734/736也显示在该另一个图像728上，其中热点730/732/734/736中的每个被超链接到与图像728有关的文本的不同的片段(例如，片段738)，所述文本的不同的片段与图像728语义上相关。在检测到对热点730的用户选择后，将超链接到选择的热点730的文本的片段738显示在图像浏览GUI700中。文本的片段738包括被突出显示的一个关键项(剑桥)。如在图12中例示的，在检测到对热点732的用户选择之后，将超链接到选择的热点732的文本的片段740显示在GUI700中。文本的片段740包括被突出显示的两个关键项(金星和地球)。

如在图13中例示的，并且再次参照图12，在检测到用户对显示的文本的片段740中的关键项金星的选择之后，在当前图像部分702中显示也与关键项金星相关联的来自信息存储库的另一个图像744，并且将先前显示的图像728的缩略图742显示在图像历史部分706内的缩略图726上方。还在该另一个图像744上显示四个热点746/748/750/752，其中，热点746/748/750/752中的每个被超链接到与图像744有关的文本的不同的片段(例如，片段754)，所述文本的不同的片段语义上与图像744相关。在检测到对热点746的用户选择后，将超链接到选择的热点746的文本的片段754显示在图像浏览GUI700中。文本的片段754包括被突出显示的三个关键项(金星、轨道和地球)。如在图14中例示的，在检测到对热点750的用户选择后，将超链接到选择的热点750的文本的片段756显示在GUI700中。文本的片段756包括突出显示的两个关键项(金星和大气)。

如在图15中例示的，并且再次参照图14，在检测到在文本的显示的片段756中对关键项大气的用户选择之后，在当前图像部分702中显示也与关键项大气相关联的来自信息存储库的另一个图像760，并且将先前显示的图像744的缩略图758显示在图像历史部分706内的缩略图742和缩略图726上方。还在该另一个图像760上显示三个热点762/764/766，其中热点762/764/766中的每个被超链接到与图像760有关的文本的不同的片段(例如，片段768)，所述文本的不同的片段语义上与图像760相关联。在检测到对热点762的用户选择之后，将超链接到选择的热点762的文本的片段768显示在图像浏览GUI700中。文本的片段768包括被突出显示的两个关键项(外行星和大气)。

再次参照图11-图14，应该认识到，图像历史部分706向用户提供了该用户先前查看的图像的按时间顺序组织的历史。在要在图像历史部分706内显示的缩略图(例如，726/742/758)的数量超过图像历史部分706内的可用空间的事件中，可以在图像历史部分上添加滚动条(未示出)，由此允许用户滚动缩略图。在检测到对图像历史部分706中的给定缩略图的用户选择后，将由被选择的缩略图表示的图像重新显示在当前图像部分702内，并且在该图像上重新显示一个或多个热点(热点中的一个或多个被超链接到与该图像有关的不同的文本的片段)。作为示例而非限制，在检测到对缩略图742的用户选择之后，将图像728和热点730/732/734/736重新显示在当前图像部分702中。还应该认识到，可以以各种其他方式来组织图像历史部分706。作为示例而非限制并且如图13-图15中例示的，不是将之前最近显示的图像的缩略图置于可能已经存在于图像历史部分706内的任何缩略图之上，而是将之前最近显示的图像的缩略图置于可能已经存在于图像历史部分内的任何缩略图之下。

再次参照图7-图15，现在将更加详细地描述关键项部分704的操作和功能。在图7-图15中例示的图像浏览GUI700中，将关键项列表显示在关键项部分704内，其中关键项列表包括与存储在信息存储库中的所有图像相关联的所有关键项的按字母顺序组织的列表。在关键项列表中的关键项的数量超出关键项部分704内的可用空间的事件中，可以在关键项部分上添加滚动条(未示出)，由此允许用户滚动关键项列表。当给定图像显示在当前图像部分702内之后，可以自动地滚动关键项列表，以使得当前显示在关键项部分704内的关键项列表的部分包括与用户刚刚选择的图像有关的给定的显示的文本的片段中的特定的关键项(由此，使得图像显示在当前图像部分内)，并且该刚刚选择的关键项在关键项部分中被突出显示。作为示例而非限制，在检测到对与显示在图10中所示的当前图像部分702内的图像724有关的显示文本的片段722中的关键项剑桥的用户选择之后，该关键项列表自动滚动，以使得当前显示在关键项部分704内的关键项列表的部分包括刚刚选择的关键项剑桥，并且如图11中所示的，该关键项剑桥在关键项列表中被突出显示。

应该认识到，关键项部分的各种可替换实施例还可能包括但不限于以下内容。在关键项部分的一个可替换实施例中，当用户开始新的图像浏览会话时，关键项部分中的关键项列表开始是空的，并且，随后被递增地填充有会话期间用户选择的不同的关键项(例如，将用户选择的每个关键项添加到关键项列表)。在关键项部分的另一个可替换实施例中，当用户开始新的图像浏览会话时，关键项部分中的关键项列表开始是空的，并且随后被递增地填充有与会话期间显示在当前图像部分内的不同图像相关联的所有关键项(例如，当新的图像显示在当前图像部分内时，与该新的图像相关联的所有关键项被添加到关键项列表)。在关键项部分的又一个可替换实施例中，当用户开始新的图像浏览会话时，关键项部分中的关键项列表开始是空的，并且随后被递增地填充有与显示在当前图像部分内的每个不同图像最多次数相关联的关键项(例如，当新的图像被显示在当前图像部分内时，与该新的图像相关联最多次数的关键项被添加到关键项列表)。在关键项部分的又一个可替换实施例中，关键项部分包括文本输入框，其允许用户对与存储在信息存储库中的所有图像相关联的所有关键项进行搜索以得到期望的关键项(例如，用户可以对存储库进行搜索以得到与期望的概念或实体有关的图像)。文本输入框可以可选地包括自动完成功能，该功能将用户定向到与存储库中的图像相关联的关键项。还可以使用这些刚刚描述的可替换实施例的任何组合。

在本文描述的图像浏览框架的示例性实施例中，在检测到对显示在关键项部分内的刚刚描述的关键项列表中的关键项中的给定的一个的用户选择之后，进行以下动作。检测到该用户选择。然后选择也与选择的关键项相关联的来自信息存储库的另一个图像，其中，该另一个图像的选择可以以前述方式中的任何一个来实现。该被选择的另一个图像随后显示在当前图像部分内。

2.0额外的实施例

尽管已经特别参照图像浏览框架的实施例描述了图像浏览框架，但应该理解的是，可以进行实施例的变形和修改而不偏离图像浏览框架的真实精神和范围。作为示例而非限制，不是如上文描述的在用户的图像浏览动作前对存储在信息存储库中的图像中的每个进行准备以用于浏览，本文描述的图像浏览框架的以下的可替换实施例是可能的。可以对存储库中存储的文本进行挖掘以提取前述的与给定图像有关的文本的片段，可以在这些提取的文本的片段的每个中检测前述的关键项，并且在接收到显示图像用户的请求之后，可以实时地将这些提取的片段和检测的关键项与图像相关联。

此外，在检测到对与当前显示在图像浏览GUI的当前图像部分中的给定图像有关的给定的显示的文本的片段中的给定关键项的用户选择之后，不是如上文描述的在当前图像部分中显示也与选择的关键项相关联的来自信息存储库中的另一个图像，而可以发生以下的不同事情。在本文描述的图像浏览框架的一个可替换实施例中，可以将存储在存储库中的也与被选择的关键项相关联的其他图像的缩略图的集合显示在当前图像部分内，其中，该缩略图的集合可以包括存储库中的也与选择的关键项相关联的所有图像、或存储在存储库中的也与选择的关键项相关联的规定数量的最高分数的其他图像。当用户在缩略图集合中选择特定的缩略图时，可以检测到该选择并且可以将由被选择的缩略图表示的图像显示在当前图像部分内。在图像浏览框架的另一个可替换实施例中，可以将与选择的关键项有关的信息显示给用户。

此外，在检测到对与当前显示在图像浏览GUI的当前图像部分中的给定图像有关的给定的显示的文本的片段中的给定关键项的用户选择之后，可以发生以下的额外的不同事情。在本文描述的图像浏览框架的又一个可替换实施例中，可以生成对搜索引擎的查询，其中该查询可以包括被选择的关键项或从中选择关键项的整个的显示的文本的片段。搜索引擎随后可以对存储库进行搜索以得到与该查询有关的信息，并且可以从搜索引擎接收搜索结果并将其显示在当前图像部分内。注意到，这些搜索结果可以包括各种不同类型的信息，例如，与查询有关的图像的页，以及其它。在用户选择被包括在搜索结果中的图像之后，可以在GUI的当前图像部分内显示选择的图像并且可以在选择的图像上显示一个或多个热点，其中，热点中的每个被超链接到与选择的图像有关的不同的文本的片段。应该认识到，该特定的可替换实施例是有利的，这是因为，其中考虑了用户的最近浏览历史并且还可以考虑其他用户已经查看了什么的近期趋势，以及其它。在图像浏览框架的又一个实施例中，可以将当前趋向的话题和与被选择的关键项有关的图像显示在当前图像部分内。

此外，图像浏览GUI的以下可替换实施例也是可能的。不是如上文描述的将上文提到的期望图像或选择的其他图像(下文中简单地统称为给定图像)显示在GUI的当前图像部分内，可以将图像的图形显示在当前图像部分内，其中该图形包括给定图像的缩略图和信息存储库中的超链接到与给定图像相关联的关键项的图像(或这些超链接图像的规定的子集)的缩略图。图像的图形还包括图形中的不同缩略图对之间的图形化连接，其中，给定的缩略图对之间的给定的图形连接指示由给定的缩略图对表示的存储库中的图像对共同具有一个或多个关键项。由此，应该认识到，图像的图像显示了存储库中的由图形中的缩略图表示的图像之间的语义关系。

图17以简化的形式示出了刚刚描述的图像的图形的示例性实施例。如在图17中例示的，图像的图形1700包括六个不同图像1701-1706的缩略图，其中，缩略图1706表示刚刚描述的给定图像，并且缩略图1701-1705表示信息存储库中的超链接到与该给定图像相关联的关键项的图像。图形1700还包括图形中的不同缩略图对之间的各种图形化连接(例如，连接1707和1708)，其中，给定的缩略图对之间的给定的图形化连接(例如，缩略图1706与缩略图1703之间的连接1707)指示存储库中的由该给定的缩略图对表示的图像对共同具有一个或多个关键项(例如，由缩略图1706和1703表示的图像共同具有一个或多个关键项)。用户可以以各种方式交互地浏览图形1700，包括但不限于以下方式。在检测到对缩略图1702的用户选择后，可以在当前图像部分中显示图像的新的图形(未示出)，其中，该新的图形包括被选择的缩略图1702，以及超链接到与存储库中的由被选择的缩略图1702表示的图像相关联的关键项的存储库中的图像的缩略图。在检测到对连接1707的用户选择之后，可以将与由缩略图1706和1703表示的图像之间的语义关系有关的各种信息(例如，这些图像共同具有的关键项)显示给用户。

还注意到，可以以任何期望的组合来使用上文提到的实施例中的任一个或全部以形成额外的混合实施例。尽管已经以特定于结构特征和/或方法动作的语言描述了图像浏览框架实施例，但是应该理解，在所附的权利要求中定义的主题不必限制于上文描述的特定特征或动作。确切地说，上文描述的特定特征和动作是作为实现权利要求的示例形式被公开的。

3.0示例性操作环境

本文描述的图像浏览框架实施例可以在各种类型的通用或专用计算系统环境或配置中操作。图16示出了可以在其上实现本文描述的图像浏览框架的各种实施例和元件的通用计算机系统的简化示例。注意到，图16中由折线或虚线表示的任何框表示该简化的计算设备的可替换实施例，并且如下文描述的这些可替换实施例中的任一个或全部可以结合在整个本文件中描述的其他可替换实施例来使用。

例如，图16示出了示出简化的计算设备1600的一般系统图。这样的计算设备通常可以在至少具有一些最低的计算能力的设备中找到，包括但不限于，个人计算机(PC)、服务器计算机、手持式计算设备、膝上型或移动计算机、诸如蜂窝电话或个人数字助理(PDA)等的通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子设备、网络PC、迷你计算机、主机计算机、以及音频或视频媒体播放器。

为了允许设备实现本文描述的图像浏览框架实施例，设备应该具有使得能够进行基本计算操作的足够的计算能力和系统存储器。特别地，如在图16中示出的，计算能力通常由一个或多个处理器单元1610来示出，并且计算能力还可以包括一个或多个图形处理单元(GPU)1615，处理单元1610和图形处理单元1615中的一个或两者与系统存储器1620进行通信。注意到，简化的计算设备1600的处理单元1610可以是专用的微处理器(例如，数字信号处理器(DSP)、超长指令字(VLIW)处理器、现场可编程门阵列(FPGA)、或其他微控制器)或可以是具有一个或多个处理核心的传统中央处理单元(CPU)，包括但不限于多核CPU中的专用的基于GPU的核心。

此外，图16的简化的计算设备1600还可以包括其他部件，例如，通信接口1630。图16的简化的计算设备1600还可以包括一个或多个传统计算机输入设备1640(例如，定点设备、键盘、音频(例如，语音)输入设备、视频输入设备、触觉输入设备、姿势识别设备、用于接收有线或无线数据传输的设备、及其类似)。图16的简化的计算设备1600还可以包括其他可选部件，例如一个或多个传统计算机输出设备1650(例如，显示设备1655、音频输出设备、视频输出设备、用于发送有线或无线数据传输的设备、及其类似)。注意到，用于通用计算机的典型通信接口1630、输入设备1640、输出设备1650、以及存储设备1660是本领域人员熟知的，并且将不在本文中详细描述。

图16的简化的计算设备1600还可以包括各种计算机可读介质。计算机可读介质可以是能够由计算机1600经由存储设备1660访问的任何可用的介质，并且可以包括是易失性和非易失性介质二者(可移动设备1670和/或不可移动设备1680)，以用于信息的存储，例如，计算机可读或计算机可执行指令、数据结构、程序模块、或其他数据。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质指的是有形的计算机可读或机器可读介质或存储设备，例如，数字多功能盘(DVD)、压缩盘(CD)、软盘、磁带驱动器、硬盘驱动器、光学驱动器、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其他存储器技术；磁带盒、磁带、磁盘存储或其他磁性存储设备；或可以用于存储期望的信息并且可以由一个或多个计算设备访问的任何其他设备。

诸如计算机可读或计算机可执行指令、数据结构、程序模块以及类似的信息的保留还可以通过使用各种前述通信介质中的任何一个对一个或多个调制的数据信号或载波进行编码、或使用其他传输机制或通信协议来实现，并且还可以包括任何有线或无线的信息交付机制。注意到术语“调制的数据信号”或“载波”一般指的是使其特征中的一个或多个以一定方式被改变以便于对信号中的信息进行编码的信号。例如，通信介质可以包括诸如承载一个或多个调制的数据信号的有线网络或直接有线连接等的有线介质，以及诸如声、射频(RF)、红外、激光、和用于传输和/或接收一个或多个调制的数据或载波的其他无线介质之类的无线介质。以上的任何一个的组合也应该被包括在通信介质的范围内。

此外，实现本文描述的各种图像浏览框架实施例的一些或全部的、或实施例的一部分的软件、程序、和/或计算机程序产品可以以计算机可执行指令或其他数据结构的形式被存储、接收、传送，或者从计算机可读或机器可读介质或存储设备以及通信介质的任何期望组合中读取。

最后，本文描述的图像浏览框架实施例可以在由计算设备执行的计算机可读指令(例如程序模块)的一般上下文中被进一步描述。一般地，程序模块包括执行特定任务或实现特定抽象数据结构类型的例程、程序、对象、部件、数据结构及其类似。还可以在分布式计算环境中实现图像浏览框架实施例，在所述分布式计算环境中任务由一个或多个远程处理设备执行的，或可以在通过一个或多个通信网络链接的一个或多个设备的云中实现图像浏览框架实施例。在分布式计算环境中，程序模块可以位于包括介质存储设备的本地和远程的计算机存储介质两者中。此外，前述的指令可以被部分或全部地实现为可以包括或可以不包括处理器的硬件逻辑电路。

Claims (10)

1.一种用于对存储在信息存储库中的图像进行准备以用于浏览的计算机实现的过程，所述存储库包括多个图像和文本，所述过程包括：

使用计算机来执行以下过程动作：

针对所述存储库中的所述图像中的每个图像，

对所述存储库中的所述文本进行挖掘以提取与所述图像有关的文本的一个或多个片段，所述一个或多个片段中的每个片段在语义上与所述图像相关，以及

针对与所述图像有关的文本的提取的片段中的每个片段，

检测所述片段中的一个或多个关键项，所述关键项中的每个关键项表示与所述图像相关的概念或与所述图像相关的实体，以及

将所述片段和所述一个或多个关键项与所述图像相关联；以及

将与所述存储库中的所述图像中的每个图像相关联的关键项中的每个关键项超链接到所述存储库中的与所述关键项相关联的每个其他图像。

2.根据权利要求1所述的过程，其中，所述存储库中的所述图像和所述文本以网页形式存储，并且对所述存储库中的所述文本进行挖掘以提取与所述图像有关的文本的一个或多个片段的过程动作包括以下动作：

识别所述存储库中的包括所述图像的所有网页；

从识别的网页提取完整句子并且针对提取的完整句子中的每个，计算组合的相关性和兴趣度分数；

选择其组合的相关性和兴趣度分数大于规定的分数阈值的所述提取的完整句子中的任一个；以及

将选择的句子分配为与所述图像有关的文本的提取的片段。

3.在包括包含了显示设备的用户界面的计算机系统中，一种用于允许用户浏览存储在信息存储库中的图像的计算机实现的过程，包括：

使用所述计算机来执行以下过程动作：

在所述显示设备上显示图像浏览图形化用户界面(GUI)，所述GUI包括当前图像部分；

接收来自所述用户的查看所述存储库中的期望图像的请求；

在所述当前图像部分内显示所述期望图像；以及

在所述期望图像上显示一个或多个热点，所述热点中的每个热点被超链接到与所述期望图像有关的文本的不同片段，所述文本的不同片段在语义上与所述期望图像相关并且包括一个或多个关键项，所述关键项中的每个关键项表示与所述期望图像相关的概念或与所述期望图像相关的实体，所述关键项中的每个关键项被超链接到所述存储库中的与所述关键项相关联的每个其他图像。

4.根据权利要求3所述的过程，还包括以下动作：

检测对所述热点中的一个热点的用户选择；

在所述GUI中显示被超链接到选择的热点的所述文本的片段；以及

以允许所述用户在文本的显示的片段中将所述关键项与所述文本的其余部分区分出的方式来突出显示所述文本的显示的片段中的关键项中的每个关键项。

5.根据权利要求4所述的过程，还包括以下动作：

检测对所述文本的显示的片段中的所述关键项中的一个关键项的用户选择；

从所述信息存储库中选择也与选择的关键项相关联的另一个图像；

在所述当前图像部分内显示选择的另一个图像；以及

在所述选择的另一个图像上显示一个或多个热点，所述热点中的每个热点被超链接到与所述选择的另一个图像有关的文本的不同片段，所述文本的不同片段在语义上与所述选择的另一个图像相关并且包括一个或多个关键项，所述关键项中的每个关键项表示与所述选择的另一个图像相关的概念或与所述选择的另一个图像相关的实体，所述关键项中的每个被超链接到所述存储库中的与所述关键项相关联的每个其他图像。

6.根据权利要求5所述的过程，其中，从所述信息存储库中选择也与所述选择的关键项相关联的另一个图像的过程动作包括从所述存储库中选择与所述选择的关键项相关联次数最多的另一个图像的动作。

7.根据权利要求5所述的过程，其中，所述GUI还包括图像历史部分，所述图像历史部分向所述用户提供所述用户先前查看的图像的按时间顺序组织的历史，所述过程还包括以下动作：

在所述图像历史部分内显示所述期望图像的缩略图；

检测对所述缩略图的用户选择；

在所述当前图像部分内重新显示所述期望图像；以及

在所述期望图像上重新显示所述一个或多个热点。

8.根据权利要求4所述的过程，还包括以下动作：

检测对所述文本的显示的片段中的所述关键项中的一个关键项的用户选择；

生成对搜索引擎的查询，所述查询包括所述选择的关键项、或文本的整个显示的片段；

从所述搜索引擎接收搜索结果；以及

在所述当前图像部分内显示所述搜索结果。

9.根据权利要求4所述的过程，还包括以下动作：

检测对所述文本的显示的片段中的所述关键项中的一个关键项的用户选择；以及

在所述当前图像部分内显示所述信息存储库中的也与所述选择的关键项相关联的其他图像的缩略图。

10.根据权利要求3所述的过程，其中，与所述期望图像有关的文本的每个不同片段包括组合的相关性和兴趣度分数，所述过程还包括在所述GUI中显示与所述期望图像相关的文本的默认片段的动作，所述文本的默认片段包括以下中的一个：

包括最高的组合的相关性和兴趣度分数的与所述期望图像有关的文本的片段；或

在其中所述用户最近选择的特定关键项出现最多次数的与所述期望图像有关的文本的片段；或

在其中所述用户最初用来搜索所述期望图像的特定查询项出现最多次数的与所述期望图像有关的文本的片段。