CN101019121A - 对存储在数据库中的文档编制索引和进行检索的方法和系统 - Google Patents

Abstract

提供了一种为存储在数据库中的文档编制索引和检索存储在数据库中的文档的方法。从每一个文档中提取文档特征矢量，然后，根据特征矢量给文档编制索引。将口头查询转换为代表口头查询中的项的可能连续组合的可能性的中间表示形式。根据所述中间表示形式生成查询确定性矢量。获取其他信息。将其他信息与查询确定性矢量组合。然后，将所述查询矢量以及所述其他信息与每一个文档特征矢量进行比较，以检索文档的分等级的结果集。

Description

对存储在数据库中的文档编制索引 和进行检索的方法和系统

技术领域

一般而言，本发明涉及给文档编制索引和从数据库中检索文档，以及多媒体内容，具体来说，涉及使用口头查询从数据库中检索。

背景技术

借助于因特网，可以在全球范围内访问大量的存储了可以公开地访问的多媒体内容和文档的数据库。许多内容是以音频和视频记录的形式存在的。通常，使用在台式机系统上运行的浏览器和搜索引擎，通过让用户指定文本查询或跟随链接，检索存储的文档。键入的查询通常包括关键字或短语，输出也是文本或图像。

诸如蜂窝电话和个人数字助理(PDA)之类的便携式通信设备也可以被用来访问因特网。然而，这样的设备具有有限的文本输入和输出功能。例如，蜂窝电话的小键盘不特别适合键入输入查询，许多PDA根本没有字符键。这些设备的显示器的大小也比较有限，难以阅读。这种设备更加适合语音输入和输出，特别是在文档包括诸如语音或音乐之类的音频信号的情况下。因此，有时使用口头查询。

现有技术的对于口头查询的文档检索系统通常使用语音识别引擎，将口头查询转换为查询的文本抄本形式。然后，查询被当做文本，可以使用信息检索过程来检索匹配该查询的相关的文档。

然而，该方法丢弃了可以用来改善检索系统的性能的有价值的信息。最严重的是，丢弃了整个音频频谱信号(口头查询)，所剩余的只是原始文本内容，常常被曲解。

当通过语音指定文档或查询时，必须提供新技术，以优化系统的性能。在使用文本查询来检索文档的常规信息检索系统中使用的技术对口头查询和口头文档执行得较差，因为语音识别引擎的文本输出常常包含错误。口头查询常常包含可以以许多不同的方式解释的多义现象。经过转换的文本甚至可能包含在口头查询的上下文内完全不一致的单词，并包括对任何听者来说显而易见的错误。语音识别引擎的简单文本输出丢弃了许多有价值的信息，如可能已经说了什么其他的单词，或者，查询听起来像什么。音频信号通常比较丰富，并包含许多特征，如音量和音高的变化，比较难以区别诸如重音或着重点之类的特征。所有这些信息都丢失。

因此，需要改善使用口头查询的信息检索系统。此外，还需要在搜索可能匹配口头查询的文档时保持口头查询的确定性信息。具体来说，如果在搜索多媒体数据库时说了什么或没有说什么的概率是已知的，将改善文档检索。

发明内容

提供了一种给存储在数据库中的文档编制索引和检索存储在数据库中的文档的系统和方法。文档被定义为具有关联的文本的任何项目组，例如，艺术家、专辑，以及歌曲的标题。为每一个待编制索引的文档提取完全的文档特征矢量。可选地，将文档特征矢量投射到低维文档特征矢量。不论是哪一种情况，都根据完全或者低维文档特征矢量给文档编制索引。

语音识别引擎将口头查询转换为中间表示形式。中间表示形式保留了音频信号的某些特征。中间表示形式可以是单词网格；单词的组成部分的网格、语音网格，或单词、单词的组成部分或音素的n-最佳列表。单词的组成部分可以是音节或其他单词段。笼统地，单词、单词的组成部分、音节以及音素这里被定义为“项”。

在任何情况下，中间表示形式都表示口头查询中的项的可能连续组合。应该注意，中间表示形式与常规的经转换的文本字符串不同，后者表示语音识别引擎在将口头查询解释为单一文本字符串时已经尽了最大努力。已知，到文本的直接转换很可能出错。

中间表示形式被转换为查询确定性矢量，该矢量可以可选地被投射到低维查询确定性矢量。将查询矢量与每一个文档特征矢量进行比较，以检索匹配的结果文档集。可以对结果文档集进行分级。

此外，也可以使用其他信息来产生结果文档集并进行分级，例如，使用用户偏爱或位置。此外，可以使用诸如AND、OR以及NOT之类的布尔运算符，将多个口头查询合并到单一查询中。如此，可以近似为形式“X和Y，或Z，但不是Q”的逻辑查询。

附图说明

图1是根据本发明的使用口头查询的信息检索系统的方框图；

图2是使用位置作为其他信息产生一组结果文档的检索系统的方框图；

图3是使用多个逻辑查询作为其他信息产生一组结果文档的检索系统的方框图；以及

图4是使用偏好作为其他信息产生一组结果文档的检索系统的方框图。

具体实施方式

本发明提供了用于使用口头查询从多媒体数据库检索文档的系统和方法。本发明的概念是保持在口头查询中所说的内容的确定性信息，并在搜索数据库中的匹配文档时使用此信息。确定性信息表示项是什么的概率以及它们出现的顺序。确定性信息也可以使用音频信号的其他频谱特征，如音量和音高的变化，以判断口头查询中的某些项是否比其它的项更加重要。类似地，也可以根据保留了被索引的文档中的项的确定性的模型，对数据库中存储的文档进行索引。

根据本发明的系统和方法判断和比较从语音或文本生成的特征矢量。比较特征矢量提供了用于在给定特定口头查询的情况下判断文档的相关性的度量。给定了记录的语音或文本的查询的情况下，使用度量来检索记录的语音和文本的相关的文档。

对文档编制索引

本发明提供了下列对文档编制索引的实施例。第一个实施例使用完全的维文档特征矢量来编制文档索引和检索文档。第二个实施例使用低维文档特征矢量来编制文档索引和检索文档。

图1显示了根据本发明的文档索引和检索系统100。对系统的输入是文档101。为每一个文档提取110文档特征矢量102。文档特征矢量102是文档中的所有单词的加权列表。文档特征矢量也可以包括如下面定义和详细描述的“项”。每一个项的权重等于其在文档中出现的频率。比较频繁地出现的项可以被视为更加重要。

每一个文档特征矢量被可选地投射120到较低的维，以产生低维(LD)文档特征矢量103。投影可以使用奇异值分解(SVD)以从常规矢量空间表示形式转换为低维投影。SVD技术已为大家所熟知。或者，可以使用潜在的语义分析(LSA)投影。LSA类似于SVD，只是它基于项频率的统计属性。

其他低维投影表示形式也是可以的。与所有这些技术通用的是，每个文档都可以通过与在该文档中出现的项关联的值的低维矢量来表示。与项关联的值是该项对文档来说的估计的相对重要性的度量。也可以应用过滤器，以忽视常见的项，如冠词，例如，“the”和连接符。可以作为一个单独的列表维护待过滤和忽视的项，该列表也许可以由用户进行编辑。

然后，使用文档特征矢量，完全或者低维的，对数据库140中的文档编制索引130。

解释口头查询

本发明提供了用于从口头查询判断查询确定性矢量的下列各项。第一个实施例使用完全维查询确定性特征矢量。第二个实施例使用低维查询确定性特征矢量。

按如下方式处理口头查询105以搜索180数据库140。向语音识别引擎150提供口头查询。然而，不是如在现有技术中那样将口头查询直接转换为文本，根据本发明的系统生成中间表示形式106。中间表示形式106保留了音频语音信号的某些特征，并不是如在现有技术中那样简单地向文本字符串转换。

中间表示形式可以呈现单词、单词的组成部分、音节、单词段或音素。笼统地，单词、单词的组成部分、单词段、音节，以及音素这里被定义为“项”。例如，日语口语短语“jamanasi ken no kijosatogendai bizjucukan”转换为项“ja ma na si ke n no ki jo sa to ge n da ibi zju cu ka n”。将口头查询转换为项的优点是，基于项的语音识别器需要的词汇量比大词汇量单词识别器需要的小得多。因此，基于项的识别器可以比大词汇量单词识别器小得多和快得多。

项可以作为网格或n-最佳列表来组织。

网格可以以两种方式表示中间结果：1)节点代表项，连接项的有向边代表以关联的确定性说出的项的可能顺序，2)边代表项，而连接边的节点代表以关联的确定性说出的项的可能顺序。一般而言，确定性信息包括统计学的可能性或概率。

n-最佳列表代表中间结果，作为每一个抄本的具有关联的确定性的抄本系列和抄本中的单个单词。

一般而言，网格和n-最佳列表是等效的。网格可以被转换为n-最佳列表，并且n-最佳列表也可以被转换为网格，而不会造成信息损失。

如此，中间表示形式保留有关与口头查询中的多义性关联的确定性信息。这与语音识别的常规用法不同，常规用法利用单一的可能错误的文本字符串。即，中间表示形式106表示具有关联的概率分数的可能已经说出的项的可能连续组合。

典型的采用现有技术的语音识别引擎的输出通常是对应于口头查询的最大努力解释的字符串文本。由于语音识别引擎常常产生错误，因此，并非假设的抄本中的所有的单词都将始终是正确的。这可能会产生不包括对于检索十分重要的单词的抄本。另一方面，文本可能包含伪造的单词，或被转换得完全超出上下文之外的产生错误的检索的单词。

为了补偿这些错误，本发明将口头查询表示为确定性矢量。此矢量的每一个元素都表示可能已经说出的项，其值表示项被实际说出的项的确定性或概率，以及项被说出的顺序。

有多种确定170查询确定性矢量107的方式。通过将穿过网格中的节点与的所有路径的分数与网格中的所有路径的总分数进行比较，可以确定网格中的每个节点的概率。这会产生可能说出的具有关联的概率的所有项的列表。

另一个实施例从n-最佳列表确定查询确定性矢量。根据n-最佳结果中的每一个抄本选择和关联的置信度值来计算查询矢量值。

分类器可以考虑网格中的节点的各种属性，包括频率分数，如上面所产生的，并可以产生与节点关联的置信度。分类器方法包括高斯分类法、基于增强(boosting)的分类，以及基于规则的基于网格的属性的启发式。示例包括网格中的各个点处的网格密度。如上所述，概率也可以考虑音频信号的其他特征来判断在语音中是否强调了某些项。也可以使用上下文信息。例如，似乎在上下文之外的识别的项可以被给予较低的确定性分数。

中间表示形式中的任何项的最后的确定性值是中间表示形式106中的可能的项的所有实例的上述方法产生的置信度或确定性的组合。

查询确定性矢量的每个元素与文档或查询中的对应的项的实例的数量的估计值成正比。此确定性矢量是文档101的文档特征矢量空间表示102的模拟，并可以可选地接受施加于文档特征矢量102的相同的投影(SVD，LSA等等)，以产生低维查询确定性矢量。在任何情况下，使用查询确定性矢量，来对数据库140编制索引，以产生满足口头查询105的结果文档集109。

检索文档

给定了口头查询，从数据库中检索相关的文档109是简单的。步骤是：使用语音识别器将口头查询映射到中间表示形式；确定利用关联的权重说出的可能的项的集；从具有关联的权重的可能的项的集生成确定性矢量，以及将查询确定性矢量与每一个映射的文档特征矢量进行比较，以获得适当分数。然后，可以按照适当分数的等级顺序，将结果文档集109中的文档呈现给用户。可以丢弃分数小于预先确定的阈值的文档。

组合口头查询与其他信息

在许多应用程序中，系统100可以访问超出了口头查询的音频以外的补充信息。此信息可以用来改善结果文档集109。此信息可以是一维的，例如，位置；多维的，例如，用户偏爱；或多查询，例如，由逻辑运算符组合起来的查询。

组合口头查询与位置

为项目所特有的位置是单维段的补充信息的示例。例如，用户可以搜索导航数据库，以查找位于用户的当前位置附近的兴趣点(POI)。可以从GPS信息或其他导航系统获取位置，如目前在汽车中经常使用的那样。用户也可以说出位置，要么是地理位置，要么是地址形式，例如，“at mile 300 Route 66 West”或“123 Main Street。”

在此情况下，系统100将所需要的POI的口头描述与数据库中的每一个POI的位置进行比较。然后，根据用户和兴趣点之间的距离，对结果文档集109进行等级排序。

如图2所示，如上文所描述的，口头查询201被语音识别引擎210转换为中间表示形式211。从中间表示形式生成220查询确定性矢量221。确定240用户位置241和存储在数据库中的兴趣点(POI)的位置242之间的距离243。然后，比较230查询确定性矢量221、文档特征矢量222，以及距离243，以产生分等级的结果文档集231。

在逻辑上组合多个口头查询

如图3所示，多个口头查询201可以被转换为多个中间表示形式，以及对应的查询确定性矢量。多个口头查询通过表示布尔运算符的项(如，“and”，“or”，以及“not”)链接起来。然后，根据逻辑运算符，在逻辑上将多个查询矢量与文档特征矢量进行比较，以产生分等级的结果文档集。

组合口头查询与偏好

如图4所示，用户可以说出被转换为中间表示形式的偏好401。从中间表示形式生成420偏好矢量421。然后，将文档、查询，以及偏好矢量进行比较430，以产生分等级的结果文档集。

给偏好提供权重。例如，一个非常强的偏好可以得到比适度的偏好更高的权重。偏好也可以呈现不喜欢的形式，这将被给予负的权重。在此情况下，作为比较430的一部分，将查询确定性矢量乘以偏好矢量。乘法可以是按元素进行的。

应该理解，也可以组合其他信息的各种形式。例如，最后向数据库查询文档的结果集可以指定位置、布尔运算符，以及偏好。

虽然通过优选实施例的示例描述了本发明，但是，应该理解，可以在本发明的精神和范围内作出其他修改。因此，所附的权利要求的目标涵盖所有这样的变化和修改，并在本发明的真正的精神和范围内。

Claims (13)

1.一种计算机实现的用于对存储在数据库中的文档编制索引以及进行检索的方法，包括下列步骤：

从多个文档中的每一个文档中提取文档特征矢量；

根据关联的文档特征矢量给多个文档中的每一个文档编制索引；

将口头查询转换为代表所述口头查询中的项的可能连续组合的中间表示形式；

根据所述中间表示形式生成查询确定性矢量；

获取其他信息；

将所述其他信息与所述查询确定性矢量组合；以及

将所述查询矢量以及所述其他信息与每一个文档特征矢量进行比较，以检索文档的分等级的结果集。

2.根据权利要求1所述的方法，进一步包括：

将所述文档特征矢量以及所述查询确定性矢量投射到低维。

3.根据权利要求1所述的方法，其中，所述中间表示形式是项的网格。

4.根据权利要求1所述的方法，其中，所述项是单词。

5.根据权利要求1所述的方法，其中，所述项是单词的组成部分。

6.根据权利要求1所述的方法，其中，所述中间表示形式是项的n最佳列表。

7.根据权利要求1所述的方法，其中，所述项是音素。

8.根据权利要求1所述的方法，其中，所述文档描述了兴趣点，每一个兴趣点都具有位置，并进一步包括：

确定生成所述口头查询的用户的位置；

确定所述用户的位置与匹配所述口头查询的每一个兴趣点之间的距离，以产生其他信息；以及

根据所述距离给所述结果文档集分等级。

9.根据权利要求1所述的方法，进一步包括：

将多个口头查询转换为多个中间表示形式，所述多个口头查询由逻辑运算符链接起来；

根据所述多个查询确定性矢量生成多个查询确定性矢量，以产生所述其他信息；以及

根据逻辑运算符，将所述多个查询矢量以及所述其他信息与每一个文档特征矢量进行比较，以检索文档的分等级的结果集。

10.根据权利要求1所述的方法，进一步包括：

将口头偏好转换为对应的中间表示形式；

从对应的中间表示形式生成偏好矢量，以产生其他信息；以及

根据所述偏好矢量给所述结果文档集分等级。

11.根据权利要求10所述的方法，其中，按权重对偏好矢量分配权重，并进一步包括：

将所述查询矢量乘以所述偏好矢量。

12.根据权利要求11所述的方法，其中，权重可以是正的和负的，并进一步包括：

将所述查询矢量以及所述偏好矢量与每一个文档特征矢量进行比较，以检索文档的分等级的结果集。

13.一种给文档编制索引以及检索文档的系统，包括：

多个文档，每一个文档都具有关联的文档特征矢量；

根据关联的文档特征矢量给多个文档中的每一个文档编制索引的数据库；

将口头查询转换为代表所述口头查询中的项的可能连续组合的中间表示形式的语音识别引擎；

用于根据所述中间表示形式生成查询确定性矢量的装置；

用于获取其他信息的装置；

用于将所述其他信息与所述查询确定性矢量组合的装置；以及

比较器，被配置为将所述查询矢量以及所述其他信息与每一个文档特征矢量进行比较，以检索文档的分等级的结果集。

Images