CN101523338A - 应用来自用户的反馈来改进搜索结果的搜索引擎 - Google Patents
应用来自用户的反馈来改进搜索结果的搜索引擎 Download PDFInfo
- Publication number
- CN101523338A CN101523338A CNA2006800172707A CN200680017270A CN101523338A CN 101523338 A CN101523338 A CN 101523338A CN A2006800172707 A CNA2006800172707 A CN A2006800172707A CN 200680017270 A CN200680017270 A CN 200680017270A CN 101523338 A CN101523338 A CN 101523338A
- Authority
- CN
- China
- Prior art keywords
- document
- user
- search
- results
- inquiry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
- G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Abstract
本发明针对用于对由搜索引擎返回的结果进行排序的方法和系统。根据本发明的方法包括:确定具有变量和参数的公式,其中所述公式用于计算文献与搜索查询的相关性分数;并且基于所述相关性分数对所述文献进行排序。优选地,确定所述公式包括基于用户输入调整所述参数。优选地,使用机器学习技术来确定所述参数,比如包括某种形式的统计分类的机器学习技术。
Description
相关申请
本申请根据35 U.S.C.§119(e)要求2005年3月18日提交的、顺序号为60/663,361、以及标题为“Search Engine that Applies Feedback fromUsers to Improve Search Results”的同时待审的美国临时申请的优先权,该申请被结合于此以作参考。
发明领域
本发明涉及一种用于搜索因特网的应用,更具体而言,涉及这样一种用于搜索因特网的应用,其应用来自使用该搜索应用的人的反馈来提高搜索结果的质量。
发明背景
因特网搜索引擎被设计成从在因特网中包含的大量信息中定位所期望的信息。用户通过输入包含搜索项目的查询来描述他们所寻找的信息。所述搜索引擎利用多种相关性计算把所述搜索项目与Web页面的索引相匹配,其目的是识别出最有可能与用户所寻求的信息相关的那些Web页面。随后,所述搜索引擎返回到这些Web页面的超链接的有序列表,其中到被认为是最相关的那些页面的链接更靠近该列表的顶部。
搜索引擎的目的是对于给定查询提供最相关的Web页面。早期的搜索引擎利用在每个页面内包含的信息来确定Web页面的相关性,所述信息比如是所述搜索项目在文献内的存在、密度和近似。更高级的搜索引擎在确定相关性时考虑与Web页面之间的链接相关的信息。
确定哪些Web页面最相关的过程是非常困难的,因为因特网上的Web页面的数量非常巨大而且不断增长,并且常常有大量名义上满足用户的查询的Web页面。对于相同的或相似的项目可能会提到许多不同的概念。大多数用户并不精于创建及输入合适的查询的过程,因此在其正在寻求的信息类型方面存在模糊性。
可以对由搜索引擎返回的结果进行操纵。Web站点运营商可以在其Web页面中添加来自其他Web站点的内容或元数据或超链接,其目的是让搜索引擎返回在所述有序结果列表中排序高的到其Web页面的链接。这样做的结果是不包含用户所寻求的信息的一些Web页面在该结果列表中的排序高,从而降低了搜索结果的总体感知精度。这种实践常常被称作搜索引擎优化(或者“SEO”)。搜索引擎必须花费不断增加的努力来仅仅在SEO方面保持一致的相关性水平。期望的将是搜索引擎能够直接从用户收集反馈,以便确定哪些Web页面满足或者不满足其查询,从而为由相同或不同用户进行的后续查询提供更相关的结果。
搜索引擎的运营商随着时间对用来确定相关性的方法进行调节,并且对应用于每种所述方法的权重进行调节,以便保持或者提高其搜索引擎的精度。这种过程通常涉及到进行实验,比如让测试用户对于由所述搜索引擎为不同查询提供的结果进行打分。可以对所述分数进行编辑和分析,以便判定将使用什么方法或者将应用什么权重。这一过程耗时、不精确、没有代表性并且不灵活。期望的将是使用反馈机制,所述反馈机制直接从真实用户取得输入并且调节所述搜索相关性方法和权重,以便提高搜索引擎的精度。
另外,用户在其输入查询时具有不同的意图,这是因为他们对于搜索项目可能具有不同的理解,具有不同的品位和兴趣,或者处在不同的搜索“模式”下。例如,如果三个不同的用户输入查询“iPod”,第一个用户可能是想要购买iPod,第二个用户可能是想要搜索关于iPod的新闻,而第三个用户可能正在搜索关于iPod的信息或评论。用户在进行搜索时可以给出关于其兴趣和目的的某种指示。因此,期望的将是开发出这样一种搜索引擎,其能够在确定哪些结果与用户查询相关时考虑不同的搜索模式以及用户兴趣之间的差异。
发明概要
本发明针对用于预测文献与搜索查询的相关性的方法和系统,由此向执行所述搜索的用户返回更相关的结果。在一个优选实施例中,根据本发明的方法使用公式来预测多个文献与搜索查询的相关性,基于每个文献的相关性对所述文献进行排序,并且响应于搜索查询而向用户返回该有序列表。优选地,使用用户输入来调整所述公式的参数,以便提高所返回的文献与所述搜索查询相关的可能性。
在本发明的第一方面中,一种响应于搜索查询而对文献进行排序的方法包括:(a)确定具有变量和参数的公式,其中所述公式用于计算文献和搜索查询的相关性分数;并且(b)基于所述相关性分数对所述文献进行排序。优选地,该方法还包括响应于所述搜索查询而返回结果列表。该结果列表包含到所述文献的链接,所述文献基于所述相关性分数被排序在该结果列表内。
在一个实施例中,确定所述公式包括基于用户输入调整所述参数。所述公式是从以下的任何一个或多个特征导出的,比如标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本以及概要。可选择地或另外,所述特征包括用户表示、用户输入的时间、阻绝、用户标识符或者用户对文献的评分。
在一个实施例中,所述公式对应于用户模型和组模型。该用户模型用于确定一个用户的文献与搜索查询的相关性分数。该组模型用于确定一组用户的文献与搜索查询的相关性分数。所述方法还包括把该用户模型与该组模型进行比较,以便确定对所述文献的偏向(bias)。
优选地,利用机器学习技术来确定所述参数。在一个实施例中,所述机器学习技术包括某种形式的统计分类,比如逻辑斯谛回归分析、支撑矢量机、神经网络、提升树(boosted tree)、随机森林、朴素贝叶斯、或者图形模型。在另一个实施例中,所述机器学习技术使用共轭梯度下降。
在另一个实施例中,从用户输入生成所述公式的一个或多个变量。所述用户输入是给文献加标签、对文献的相关性进行评分、阻绝文献、或者这些的任何组合。
在一个实施例中,所述相关性分数对应于在搜索引擎站点上注册的用户,并且该相关性分数被用来为没有在该搜索引擎站点上注册的用户确定文献与搜索查询的相关性分数。
在本发明的第二方面中,一种组织搜索结果列表的方法包括:(a)更新包括变量和参数的相关性公式,其中该相关性公式用于为响应于搜索查询而返回的多个结果当中的每一个确定相关性分数;并且(b)响应于所述搜索查询而返回包含所述多个结果的搜索结果列表,其中利用对应于所述多个结果当中的每一个的相关性分数对所述多个结果进行排序。在一个实施例中,更新所述相关性公式包括更新所述参数。优选地,利用用户输入来更新所述参数,比如通过给文献加标签、响应于搜索查询而对文献的相关性进行评分、以及阻绝文献。
优选地,利用机器学习技术来导出所述相关性公式,比如包括某种形式的统计分类的技术。优选地,所述统计分类是逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、或者图形模型。在另一个实施例中,所述机器学习技术使用共轭梯度下降。
在本发明的第三方面中,一种对由第一搜索引擎返回的结果进行排序的方法包括:响应于搜索查询而接收包含由第一搜索引擎排序的文献的第一结果列表;响应于该搜索查询而接收包含由第二搜索引擎排序的文献的第二结果列表;确定具有变量和参数的公式,该公式用于响应于该搜索查询而为文献确定相关性分数;并且响应于该搜索查询而返回第三结果列表,该第三结果列表包含利用对应于每个文献的相关性分数进行了排序的第一结果列表和第二结果列表中的文献。因此,本发明的实施例能够利用由一个或多个搜索引擎返回的结果来运行。优选地,利用用户输入来确定所述公式。
在一个实施例中,利用所述文献在第一结果列表中的顺序以及所述文献在第二结果列表中的顺序来确定所述公式。利用机器学习技术来确定所述参数,比如包括某种形式的统计分类的技术。在可选实施例中,所述统计分类是逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、或者图形模型。
在本发明的第四方面中,一种用于响应于搜索查询而返回有序结果列表的系统包括耦合到相关性模型的第一数据库。该第一数据库用于存储用户输入,以用于响应于第一搜索查询而对所述多个结果当中的结果进行排序。该相关性模型用于使用所述用户输入为对应于第二搜索查询的多个结果当中的每个结果计算相关性分数。
在一个实施例中,所述系统还包括耦合到第一数据库的搜索引擎。该搜索引擎用于接收搜索查询,基于对应于每个结果的相关性分数对所述多个结果进行排序,以及返回包含所述经过排序的多个结果的搜索结果列表。优选地,所述相关性模型被配置成利用用户输入来更新。在另一个实施例中,该相关性模型被配置成使用机器学习技术,比如包括某种形式的统计分类的技术。在可选实施例中,所述统计分类是逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、或者图形模型。在另一个实施例中,所述机器学习技术使用共轭梯度下降。
在一个实施例中,所述相关性模型用于确定一组特定于用户的参数,以便为特定用户确定搜索查询与文献的相关性分数。在另一个实施例中,该相关性模型还用于确定组模型的参数,以便为一组用户确定搜索查询与文献的相关性分数。
在一个实施例中,所述系统还包括第二数据库,其用于存储用于更新所述相关性模型的一个或多个特征。所述特征包括以下各项当中的任何一个或多个:标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本、概要、用户表示、用户输入的时间、阻绝、用户标识符以及用户对文献的评分。
在本发明的第五方面中,一种用于在搜索结果列表中组织多个结果的系统包括耦合到搜索引擎的相关性模型以及耦合到该搜索引擎和该相关性模型的数据库。该相关性模型用于使用用户输入来确定文献与搜索查询的相关性分数。该搜索引擎用于接收搜索查询并且返回搜索结果列表,所述搜索结果列表包含根据每个文献与所述搜索查询的相关性分数进行了排序的结果。该数据库用于存储一组特征,该组特征被该相关性模型使用来确定文献与搜索查询的相关性分数。
在一个实施例中,所述数据库包括耦合到所述搜索引擎的用户数据库以及耦合到所述相关性模型的用户输入数据库。该用户数据库用于存储关于所述搜索结果列表的用户输入,并且所述用户输入数据库用于存储所述一组特征。该组特征包括以下各项当中的任何一个或多个:标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本、概要、用户表示、用户输入的时间、阻绝、用户标识符以及用户对文献的评分。
优选地,所述系统还包括耦合到所述数据库的Web服务器以及耦合到所述相关性模型和所述搜索引擎的文献索引。
优选地,所述相关性模型被配置成使用机器学习技术,比如包括某种形式的统计分类的技术。在可选实施例中,所述统计分类是逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、或者图形模型。在另一个实施例中,所述机器学习技术使用共轭梯度下降。
附图简述
图1是显示搜索结果列表的示例性图形用户界面的示意图,其中结合了用户反馈以及用于使用户提供反馈的机制。
图2是说明能够对于排序文献的过程应用用户反馈的示例性因特网搜索应用的操作的流程图。
图3是说明根据本发明的示例性因特网搜索应用流程图的组件的示意图。
图4是说明根据本发明利用用户反馈数据计算在结果列表中包含的结果的步骤的流程图。
图5是说明根据本发明的示例性因特网搜索应用的组件的硬件图。
优选实施例的详细描述
与传统的搜索引擎不同,本发明的实施例利用用户反馈来为正在搜索因特网的用户提供更相关的信息。例如,根据本发明,执行搜索的第一用户能够对该搜索的结果进行评分。第一用户可以基于所述结果与他的搜索的相关性、在结果列表中返回的特定Web页面中所包含的信息的丰富程度或者任何其他标准来为所述结果进行评分。于是,执行类似的或相关的搜索的第二用户能够观看基于第一用户的评分或者受到第一用户的评分的影响、从而显示出更有可能与第二用户最相关的搜索结果的结果列表。该第二用户也能够对搜索结果进行评分。因此,一个用户团体能够提供反馈,所述反馈帮助用户接收到与他们所寻求的信息尽可能相关的搜索结果。在顺序号为XX/XXX,XXX的美国专利申请中描述了使用用户反馈的系统和方法,该申请的标题为“Methods of and Systemsfor Searching by Incorporating User-Entered Information”,其代理人案号为No.MPS-00101并且于2006年2月27日提交,这里合并该申请以作参考。
根据本发明的其他实施例,存在几种用于对搜索结果进行评分的方法,其中包括但不限于:(1)用于提供关于所述结果列表中的链接的相关性的反馈的机制;(2)用于保存可以被显示在个人搜索页面上的链接或者用于针对相关链接进行投票的机制;以及(3)用于“阻绝”到与所述搜索结果无关或者本质上是冒犯性的Web页面的链接的机制。其他实施例包括显示并且链接到相关的搜索项目和赞助商链接。
根据本发明的其他实施例,搜索结果页面还可以包括用于显示的所选项目,其中包括但不限于:(1)来自与所述搜索相关的Web页面的文本;(2)对于与所述查询项目相关的不同概念的描述;(3)所建议的查询项目;(4)到其他概念的“See also(另见)”链接;以及(5)赞助商链接。
在下面的整个描述中,术语“搜索引擎”被用来指代一种取得作为输入的查询并且返回到电子文献或Web页面的超链接的结果列表的设备(或者在通用计算机上运行的程序)。该搜索引擎包括文献本体的索引、确定每个文献的相关性的代码和算法、以及向用户提供结果列表的图形用户界面。
在下面的整个描述中,术语“查询”指代被提交给搜索引擎的一组项目,而不管其是被键入的、说出的、通过已经嵌入一组搜索项目的“链接”提交的还是通过任何其他接口提交的。一个查询可以包括单个单词、多个单词、或者短语。所述查询可以被措辞为一个问题(例如“自然语言”查询)、一组松散项目、或者一个结构化布尔表达式。实际上,一个查询可以包括由搜索引擎使用来搜索包含搜索字符或者与搜索字符相关的电子文献或Web页面的符号或任何其他字符。
在下面的整个描述中,术语“Web站点”被用来指代被链接在一起的并且可以在万维网上获得的Web页面的集合。术语“Web页面”指代可以通过万维网从任何数目的主机访问并且包括但不限于文本、视频、图像、音乐和图形的公开物。
在下面的整个描述中,术语“结果列表”指代一个超链接的列表,所述超链接索引可以利用超文本传输协议(HTTP)或用于访问Web页面或其他电子文献的任何其他协议来访问的文献或Web页面、以及对应于每个链接的其他相关联的信息,其中包括但不限于文献的标题、文献的概要、到文献的高速缓存的拷贝的链接、最后一次索引或者最后一次修改文献的日期、与文献相关联或者位于文献内的图像、以及从文献提取的信息。
这里所使用的术语“文献”的定义很广泛,并且除了其普通的含义之外,还包括计算机文件和Web页面,而不管这些页面是被实际存储的还是响应于显示请求而被动态生成的。术语“文献”不限于包含文本的计算机文件,而且还包括含有图形、音频、视频和其他多媒体数据的计算机文件。
这里使用的术语“机器学习”指代软件系统可以通过其来使它的行为适于通过观察某些事件或者分析特定信息来产生最佳结果的过程和算法。
这里使用的术语“统计模型”指代在给定一组输入的情况下计算分数的数学公式(例如数值的或解析的)。所述公式的参数可以利用机器学习过程来获得。用在本发明中的统计模型可以基于用户反馈、来自搜索事件的其他信息、或者二者的组合,并且可以利用多种数学技术当中的任何一种来生成。
如下面将更详细地描述的那样,搜索引擎取得由用户输入的查询,并且利用多种相关性计算把所述搜索项目与Web页面的索引相匹配,其目的是识别出最有可能与用户所寻求的信息相关的Web页面。搜索引擎随后返回到这些Web页面的有序超链接列表,其中被认为最相关的链接更靠近所述列表的顶部。根据本发明,搜索引擎基于用户输入返回结果列表,并且用户能够对所述结果进行评分,以便例如影响在该结果列表中列出的文献或链接的顺序。根据本发明,能够响应于用户对他们认为相关的站点加标签来对搜索结果进行排序,即使当他们访问在搜索的上下文之外的站点或者利用不同于被用来生成所述搜索结果的项目对所述站点加标签时也是如此。
如下面将更详细地描述的那样,搜索引擎取得由用户输入的查询,并且利用多种相关性计算把所述搜索项目与Web页面的索引相匹配,其目的是识别出最有可能与用户所寻求的信息相关的Web页面。搜索引擎随后返回到这些Web页面的有序超链接列表,其中被认为最相关的链接更靠近所述列表的顶部。在典型的搜索中,所述搜索引擎主要返回结果列表,并且用户不能向所述系统输入信息。
根据本发明,当向用户提供包含结果列表的页面时,他可以选择关于该页面上的结果提供反馈,所述反馈将被提交给一个模型,该模型分析所述反馈并且调节所述相关性方法和权重,以便提高被提供给随后通过输入相同的或不同的查询来访问该搜索引擎的用户的结果的相关性。
图1是图形用户界面(GUI)的截屏图,其显示根据本发明响应于查询而返回的结果页面100。该GUI允许用户对单独的搜索结果进行评分、阻绝单独的搜索结果或者保存单独的搜索结果。另外,用户可以添加、编辑和观看关于查询项目的一个或多个概念的描述,以及添加、编辑或观看关于如何搜索与所述概念相关的信息的建议。
结果页面100包括用于插入查询项目的框110以及包含由搜索引擎返回的结果列表的区域160。该区域160还包含用于输入用户反馈的机制170以及用于保存与由所述搜索引擎返回的每个结果相关联的链接的机制190。该结果页面100还包括用于显示对于与所述查询项目相关的概念的描述的区域120、包含对于与该查询项目相关的不同概念的描述的区域130、包含到与其他查询项目相关的概念的“See also(另见)”链接的区域140、包含将导致执行相关的查询项目的链接列表的区域150、以及赞助商链接的区域180。如下面将更详细地描述的那样,在一个优选实施例中,可以基于对链接进行评分或阻绝170或者保存链接190以用于随后显示来对于其他用户的后续查询修改区域160中的结果。
如图1的例子中所示,当用户在框110中输入查询项目“U2”并且请求搜索时,结果页面100被返回给该用户。区域120显示对于与查询项目“U2”相关的一个概念的描述,在这里是对乐队“U2”的描述,如用户所输入的那样。区域130显示对应于查询“U2”的不同概念的描述,在这里是U2侦察机,如用户所输入的那样。区域150显示对应于相关的搜索的查询项目,用户在执行搜索引擎时可能还对所述相关的搜索感兴趣,比如“U2音乐会门票”或“U2 iPod”,如用户所输入的或者通过算法所导出的那样。区域140包含到与其他查询项目相关的概念的“See also(另见)”超链接,如用户所输入的或者通过算法所导出的那样,比如对应于“U2乐队”的概念的“Bono”或者对应于“U2侦察机”的概念的“Dragon Lady”。
区域160包含搜索结果以及用户反馈机制170。利用该用户反馈机制170,用户可以针对相应的Web页面与他所寻找的内容的匹配程度来进行评分。换句话说,如果在区域160中列出的第一Web页面包含用户所寻求的关于摇滚乐队U2的相关信息,则该用户可以使用用户反馈机制170来给该链接评高分(例如五星)。专用于称为“U2”的时装品牌的名称的第二Web页面与用户所寻求的概念无关但是也被列在区域160中,可以给该第二Web页面评低分(例如1星)。根据本发明,当同样对“U2”乐队感兴趣的稍后的用户利用查询“U2”进行搜索时,被返回给他的结果列表将包含更靠近该结果列表的顶部的第一Web页面(被评为5星)以及更靠近该结果列表的底部或者甚至根本没有被列出的第二Web页面(被评为1星)。这样,将向用户呈现首先仅列出最相关的结果的结果列表。顺序地访问该结果列表中的站点的用户有更大的机会看到与其所寻求的概念最相关的站点。因此,除了元数据和用户没有输入的其他信息之外,结果列表中的各项目的顺序还基于用户反馈。
用户可以添加关于与查询项目相关的一个或多个概念的描述120和130,从而提供关于该查询所提到的概念的一些背景信息,或者提供关于如何搜索关于该概念的信息的建议。用户还可以修改、增强或者除去由他们自己或者其他用户先前添加或修改的关于与查询项目相关的概念的描述。用户可以添加、修改或删除链接到与不同查询项目相关的概念的超链接或“See also(另见)”索引140。用户可以添加针对某一概念的所建议的查询150,当其被点击时,导致把所述查询提交给搜索引擎。该搜索引擎还可以利用计算机算法来生成所建议的查询项目。
用户能够添加或保存到他们认为与所述概念高度相关的文献的链接。用户可以保存到他们认为与所述概念高度相关的文献的链接。这可以通过点击被标记为“Save(保存)”的超链接或图标190来实现,或者可以由诸如“Bookmark(书签)”、“Tag(标签)”或“Add to Favorites(添加到收藏夹)”之类的其他项目来指代。由于不同的用户对于哪些站点是最相关的将具有不同的想法,因此根据本发明的算法确定所列出的站点的顺序。在一个实施例中,所述算法使用民主过程,从而使得接收到最多“投票”(例如被数目最多的用户“保存”)的文献被放置在结果列表中的更高位置处。
如果到被“保存”的文献的链接还出现在由搜索引擎生成的结果列表中,则可以使用图标165来表明该链接还是已经由用户投了票的链接。此外,在每个搜索结果下面有一个“By(由)”条目167,其示出添加该链接的用户的姓名,从而其可以作为该结果列表的一部分而被返回,并且在每个搜索结果下面还有一个“Tags(标签)”条目168,其列出用户用来对所述链接加标签的项目或者由先前搜索生成的项目。
根据本发明,到Web站点的链接可以按照两种方式被列出,或者是两个单独的列表:结果列表(算法的)和用户输入的链接,或者是被集成到一个列表中,其中如上所述地用图标来标记用户输入的链接。
将会认识到,可以根据本发明进行许多修改。例如,可以从文件中读取用户生成的反馈,而不是由用户直接从终端输入。此外,虽然结果页面100示出了诸如“See also(另见)”链接140之类的区域,但是将会认识到,根据本发明,可以利用任何区域组合来显示包含用户输入的信息的结果页面,其中包括图1中示出的组合或者作为对图1中示出的组合的补充。该信息被用来使得搜索结果更加全面、精确以及有意义。
图2是说明根据本发明的因特网搜索应用200的操作的流程图。该因特网搜索应用200能够让用户向系统提供反馈,从而基于对所述用户反馈的分析来允许其他用户接收到更相关的搜索结果。所述信息被用来调节由所述搜索引擎使用来在响应于特定查询而生成的结果列表中对文献进行排序的方法和权重。因此可以响应于用户反馈而对搜索引擎进行“调整”,以便返回更相关的结果。
在步骤210中,用户向搜索引擎提交查询。该过程随后继续到步骤220,在该步骤中,该搜索引擎对该查询进行匹配,以便组合出最相关结果的列表。步骤220继续到步骤230,在该步骤中,向用户发送结果页面(例如图1中的100)。步骤230继续到步骤240或步骤250。
在步骤240中,用户遵循一个或多个所述链接以访问结果列表中的各Web页面。可选择地,在步骤250中,用户能够与反馈机制(例如图1的区域170)交互,以便向搜索引擎提供反馈。在步骤250中,用户能够点击用来保存链接的机制(例如图1的区域190),以便用搜索引擎来记录链接。用户可以从访问Web站点的步骤240继续到步骤250以给出反馈,以及可选择地,用户可以从步骤250继续到步骤240。步骤240和250都通向步骤260,在该步骤中,搜索引擎记录来自用户的反馈。步骤260通向步骤270,在该步骤中,更新用于搜索相关性的模型以用在后续搜索中。步骤270循环回到步骤220,在该步骤中,搜索引擎利用由更新后的模型提供的值来确定哪些链接对于后续查询是相关的。
将会认识到,本发明的实施例能够用于一个或多于一个的搜索引擎。作为一个例子,第一搜索引擎根据由该第一搜索引擎采用的相关性因素返回文献列表。根据本发明,第二搜索引擎随后能够单独对上述结果进行排序,或者能够把上述结果与由该第二搜索引擎生成的结果相组合地进行排序。根据本发明,随后能够使用所有的或者任何的结果组合来更新相关性模型。因此,根据本发明的搜索能够运行在元搜索引擎上。
根据一个实施例的系统是基于具有注册用户和未注册访客的Web搜索引擎入口站点。与所有搜索引擎一样,对于每个用户查询,从最高相关性分数到最低相关性分数对文献的统一资源定位符(urls)进行排序,并且按照该顺序将其呈现回给用户。所述相关性分数是文献d关于在X中包含的给定特征(或所观察到的证据)与查询q相关的概率p(R|X),其中为了清楚起见在这里和后面略去了下标。通过函数μ(X)=1/[1+e-θ*X]来近似p(R|X),其中X是特征的矢量,以及θ是参数的矢量,其包括乘以1.0的常数输入的截距项;取负的θ,从而使得正系数表示肯定的相关性证据。假设使用逻辑斯谛回归来对该概率进行建模,X由特定于文献的特征(例如文献长度等等)以及查询-文献特征(比如文献标题中的查询出现)构成,文献从搜索引擎E等等得到排序K,并且随后将被U增强,其中U是一组稀疏指标变量,其对应于查询与文献间的用户评分。
在所述引擎上观察到查询的结果之后,用户被允许按照某种序数形式关于与该查询对应的文献给出反馈,其中最低等级(例如一星)意味着完全谬误,而最高等级(例如五星)表示完全相关或者接近完全相关。随后作为新的查询-文献特征来记录反馈(q,d,u)=s,其中s是用户u所分配的星数。在任何给定时刻,该值就是用户u对于文献d与查询q的当前评分。重要的是,该特征不取决于用户执行该查询的次数,而仅仅存储他或她的后来的评分。通过收集对应于给定的查询-文献对的所有用户反馈,如果用户u对于给定查询q为文献d分配了5星,则获得新的一组稀疏指标变量U(q,d)u,s=1:随后利用U中的特征来增强该特征组,并且利用矢量θ来对完整的模型进行参数化。在收集用户反馈之前,不知道或者不清楚所述星数,从而表明用户尚未明确评估文献的相关性。这是重要的,因为将纯粹由已经被用户评过分的文献形成数据集。
所述系统采用用户反馈来执行三个基本功能。首先,所述系统使用反馈来按照对θ中的全局模型参数的添加的形式开发特定于用户的参数矢量ψ。其次,所述系统能够在用户ψ矢量的总体空间上对用户进行聚类。可以使用诸如K均值聚类之类的简单技术,可以预期所述技术能够良好地工作,这是因为各维度是具有非常纯的数值属性(比如完全相同的尺度、独立性等等)的回归系数。这可以被用来建立一组特定于群集的参数矢量,比如可以按照与特定于用户的ψ类似的方式被添加到矢量θ的γ。第三,所述系统能够在建模过程中作为数据点结合用户反馈事件以便估计θ,以及结合用户的ψ矢量的属性以便对特定事件的重要性进行加权。
当用户对于某一查询-文献对公布一个星数时,在特定于用户的数据集中创建一个数据点。把值1.0与高度相关的评分相关联,并且把0.0与谬误的或者不相关的评分相关联。在五星系统中,五星被用于高度相关,而一星被用于不相关。所述系统使用其他评分作为对应于其他用户参数和全局参数的特征。在技术上,如果期望对完全分布进行建模,则将需要把输出变量作为从多项式分布中抽取的来对待。随后把所述数据点添加到更新数据库,该更新数据库由在所述系统中追溯到某一确立时间段或者到某一最大数据集尺寸的所有评分事件数据点构成。可以在数百万个数据点上执行稀疏逻辑斯谛回归。在到达该极限之后,针对最后N个数据点执行所述回归,其中可以预期N是以百万计。对于任何给定的查询-文献对,在每用户评分事件的基础上如下指定所估计的模型:
其中θ被取为固定的,并且在ψ中的用户参数上执行所述回归。U中的用户评分指标也被结合,从而ψu潜在地包含对应于V中的其他用户的指标U(q,d)v,s=1的系数。例如,如果用户v对于查询q为某一文献评了五星,则这可以具有一个正系数,从而表明其是该文献对于用户u高度相关的肯定证据。所述增强的特征组包括对应于高度相关的自指标变量U(q,d)u,5,因为这是通过其把该实例包括在所述数据集中的机制。这样包括非常稀疏的自指标将允许所述回归移动经过潜在的矛盾并且在所述模型中前进,以便确保所述文献对于该查询和用户将得到高分。另一方面,如果用户u正在寻找大体效果,则该稀疏自指标将不被赋予重的权重。在所述过程的结尾,提交了评分事件的每个用户u将具有可以被检查、被用于聚类等等的唯一的ψu,其为该用户个人化所述相关性打分模型。
一旦在所述系统中有了对应于每个所识别的用户的ψ矢量之后,就可以把所述矢量组织成一个坐标空间并且执行聚类。这样做可能是有帮助的,因为可能期望隔离将具有古怪的参数以反映其对于自身内容或相关内容的任意偏向的搜索引擎优化器或者兜售器(spammer)。另外,所识别的用户的硬群集能够被用来为未识别的用户(即未注册的“访客”)提供更好的默认参数。例如,基于发出查询q的未识别的用户,可以通过如下计算p(c|q)来形成该用户由群集c表示的概率:
p(c|q)=p(q|c)p(c)/[∑c∈Cp(q|c)p(c)]
对于所述该组用户群集C使用贝叶斯法则。随后所述相关性分数p(R|X)将等于每个群集成员概率乘以相关性分数或者对应于给定群集成员的概率pc(R|X)的加权和:
p(R|X)=∑c∈Cp(c|q)pc(R|X) 等式(2)
其中,对应于每个群集γc的参数将被计算为对于全局参数θ的添加。以下描述这样的过程。
在估计了特定于用户的参数γc之后,对于以θ参数化的原始模型执行更新。这是通过使用被开发来估计ψu的相同的用户评分数据集合来实现的,但是这次ψ参数是固定的。因此,尝试以交替的方式从所有用户的累积体验估计大体效果——第一用户特定效果以及随后的全局效果。在对于每个用户估计ψ参数(通过单个大尺度回归实现)的过程中所学习到的东西是适当地对于每种情况有区别地过加权及欠加权。例如,假设ψ中的系数的独立性,则能够利用在由用户u提交的数据上的内核函数把每个数据点的值计算为所述用户与用户群体的平均值的相似性:
K(u)=e-α‖ψ u-ψavg‖2
该函数将取得最大值1.0,并且对于其ψ矢量更加远离所有ψ矢量的形心的用户将以速率α衰减。利用该方法,所述回归的形式将是在给定θ的情况下最大化数据的对数似然的和:
max 1(θ)=∑ ωi[yilog(μ(θ+ψu(i))i)+(1-yi)log(1-μ(θ+ψu(i))i) 等式(3)
其中,在θ上取得所述最大值,并且求和是从i=1到N,其中N是数据集D中的数据点的数目,如果数据点被评为高度相关,则yi是1.0,以及如果数据点被评为不相关,则yi是0.0,ωi是基于提交者的ψu参数的属性的数据集中的每次观测i的权重,并且为了清楚起见略去对于数据D的依赖性。
可选择地,通过使用前面讨论的硬聚类步骤的结果,参数γc能够是适合的,其根据哪个群集被分配给提交所述评分数据点的用户来修改θ。硬聚类指的是把每个用户分配给单个群集,其与软聚类相对,软聚类是把用户分配给多个群集,在每个群集中具有某种程度的成员性。在这种情况下,利用等式(3)执行回归,但是在θ以及其中指定了μ的γc上联合执行优化:
μ(X;θ,γc)=1/[1+e-(θ+γc+ψu)*X]
基于提交特定数据点的用户的群集成员性来分配γc,所述特定数据点被用来生成特征X以及计算μ(θ,γ)i。如早前对于特定于用户的ψ回归所示出的那样,对于在γc中包含的每个参数,在评分行为中的任何冲突都可以被吸收到特定于群集的修改器中。
作为使用所述γ的一个具体例子,假设由200个用户在从几个到数百个评分事件中提交的数据集,其中对于每个用户从群集组C中进行群集分配c。当估计θ(比如θ(EngineRankE,4))时,还估计相应的γc,比如γk(EnginerankE,4),其中假设所述用户在群集k中。在另一个数据点中估计θ(EngineRankE,4),但是这一次对于群集m确定γm(EnginerankE,4),其中假设文献对于所述查询具有EngineRankE,4,并且所述两个用户分别来自群集k和m。结果,现在θ(EngineRankE,4)是所述变量的平均效果,并且γ(EnginerankE,4)包含所述变量的特定于群集的效果,例如一个SEO群集可能具有负系数,这是因为它们将很有可能没有平均到良好的变量那么敏感,但是它们的有害影响被有效地从全局模型中除去。在所述模型拟合过程内,从根据用户的群集分配来填充特征矢量那时以来就都是相同的。
在对于全局更新所描述的两种方案中,用户的评分确定每个用户对全局参数的拟合的影响。在每种情况下,基于用户的评分行为的用户输入的效果被自动限制。
通过对于所述用户优化第一组参数以及随后对于所述全局和/或群集效果优化另一组参数,所述拟合过程的焦点在两个不同的分析级别之间交替。并不完全清楚应当在建模过程中顺序地执行所述优化还是交替优化的单独迭代。
图3说明根据本发明的系统300的组件。该系统300包括用户客户端305,其连接到Web服务器310。Web服务器310被耦合到搜索引擎320、用户数据库330和反馈数据库340。搜索引擎320被耦合到包含文献索引的数据存储库350。用户数据库330也被耦合到搜索引擎320。反馈数据库340被耦合到机器学习模型360以便计算新的相关性因子。反馈模型360也被耦合到包含文献索引的数据存储库350,该数据存储库350又被耦合到索引器370。索引器370被耦合到Web内容数据库380,其被耦合到Web爬虫(crawler)390。Web爬虫390通过因特网395被耦合到一个或多个Web站点399。
在操作中,web爬虫390在因特网395上进行导航,从而访问Web站点399,并且利用其所访问的Web页面的内容来填充Web内容数据库380。索引器370使用Web内容数据库380来创建文献索引350。当用户在用户客户端305上生成查询时,Web服务器310把该搜索请求传送到搜索引擎320。搜索引擎320使用相关性算法以及从上述用户反馈导出的因子来确定哪些Web页面可能与该查询最相关,并且创建结果列表,该结果列表被发送到Web服务器310。Web服务器310随后把结果页面提供给用户客户端以进行显示。
此外,当用户实施搜索时,他利用用户客户端305输入查询,该查询被提交给Web服务器310。Web服务器310把该查询提交给搜索引擎320,该搜索引擎320把该查询与文献索引350进行匹配以便确定最相关的文献,并且把结果列表返回到Web服务器310。此外,响应于该查询,用户数据库330记录关于该用户的搜索的信息,比如使用所述保存链接机制(例如图1中的区域190)保存的链接、后面的链接(例如图1中的区域160)、以及利用所述反馈机制(例如图1中的区域170)给出的反馈。该信息被Web服务器310和搜索引擎320使用来定制对应于该用户的后续搜索结果。此外,响应于查询,还在反馈数据库340中记录来自所述反馈机制(例如图1中的区域170)的反馈。在本发明的一个实施例中,在用户数据库330和反馈数据库340中存储的反馈信息可以被实施为两个单独的数据库,或者它们可以被实施在同一个数据库内。
在适时的基础上(但是不必在执行查询时),在反馈数据库340中包含的反馈信息被发送到机器学习模型360,在那里所述反馈信息被处理以便生成由搜索引擎使用来确定对应于查询的最相关的Web页面的方法和权重。机器学习模型360在文献索引350中记录该反馈信息,以便在后续搜索中使用。
反馈数据库340把各特征发送到机器学习模型360,其中包括但不限于查询项目、用户标识符、文献ID、文献链接、结果列表中的位置、用户评分、以及用户点击。机器学习模型360还可以对于给定文献查找其他特征,其中包括但不限于项目分数、段信息、链接结构、锚文本概要、标签、文献内的项目、项目在文献内的位置、文献的结构、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、用户表示、用户输入的时间、阻绝。
机器学习模型360使用这些特征开发出具有对全局模型参数的添加的形式的特定于用户的参数组。这些参数被如下导出:每个反馈事件构成一个数据点,该数据点被添加到反馈数据库340中的所有数据点的数据库。使用一个模型在每个用户评分事件上对于任何给定的查询-文献对进行估计,如上面的等式(1)所给出的那样。
如前面所提到的那样,对输入数据执行回归。一旦找到了最佳参数,这些参数就被使用来更新全局模型和特定于用户的模型。一般来说,所述最佳参数将具有最佳的预测能力,这转换为关于未见过的数据的更好的结果。在本发明的一个实施例中,执行使用共轭梯度下降的逻辑斯谛回归,以作为所述建模过程的一部分。将会认识到,可以利用其他形式的回归以及其他方法来执行根据本发明的建模过程。
将会认识到,能够根据本发明使用许多类型的机器学习技术,其中包括使用某种形式的统计分类的那些技术。所述统计分类包括但不限于逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、图形模型、以及最大后验。在其他实施例中,所述机器学习技术使用共轭梯度下降。
图4是说明根据本发明一个实施例的利用用户反馈数据来计算结果的步骤400的流程图。在图4以及附随文字中提到的等式号指代所述等式。
参考图4,在步骤410中,用户输入反馈数据,以及在步骤420中,该输入数据被规范化,这包括提取全局和每个用户的数据并且对其进行规范化。在步骤430中,使用等式(1)为各数据点打分,以及在步骤440中,利用上面的等式(3)计算目的函数。等式(1)可以包括许多形式,其中包括利用聚类来进行打分。在步骤450中,计算共轭梯度,以及在步骤460中,使用新的梯度来更新参数。在步骤470中,确定是否满足一个或多个标准。如果尚未满足所述一个或多个标准,则所述过程循环回到步骤430;否则,该过程继续到步骤480,在该步骤中更新全局和用户模型。
任何数目和类型的标准都可以在步骤470中被用作停止标准。例如,所述停止标准可以包括但不限于:执行了预定的最大次数的迭代;(2)交叉验证失败(例如测试数据不同于试验数据);以及(3)解收敛,也就是,在前一次迭代与下一次迭代中的参数之间的差小于预定值。
图5说明根据本发明的供用户510使用的因特网搜索应用系统500的硬件组件。该系统500包括通过因特网530耦合到Web服务器540的客户端设备520。客户端设备520是用来访问Web服务器540的任何设备,其被配置成利用因特网协议进行通信,所述协议包括但不限于http(超文本传输协议)和WAP(无线应用协议)。优选地,客户端设备520是个人计算机,但是它也可以是另一设备,其中包括但不限于诸如蜂窝电话或个人数字助理(PDA)之类的手持设备,并且它能够使用诸如HTML(超文本标记语言)、HDML(手持设备标记语言)、WML(无线标记语言)等等之类的标准来呈现信息。
Web服务器540被耦合到搜索服务器550和反馈数据存储装置560。该反馈数据存储装置560被耦合到机器学习服务器570,并且搜索服务器550被耦合到索引数据存储装置580。另外,机器学习服务器570被耦合到索引数据存储装置580。
本领域技术人员将容易显而易见的是,在不背离由所附权利要求书限定的本发明的精神和范围的情况下可以对实施例做出其他修改。
Claims (51)
1、一种响应于搜索查询而对文献进行排序的方法,包括:
a.确定具有变量和参数的公式,所述公式用于计算文献与搜索查询的相关性分数;并且
b.基于所述相关性分数对所述文献进行排序。
2、权利要求1所述的方法,还包括:响应于所述搜索查询而返回结果列表,其中该结果列表包含到基于所述相关性分数而被排序的所述文献的链接。
3、权利要求1所述的方法,其中,确定所述公式包括基于用户输入调整所述参数。
4、权利要求3所述的方法,其中,所述公式是从包括以下各项的一组中选择的任何一个或多个特征导出的:标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本、以及概要。
5、权利要求3所述的方法,其中,所述公式是从包括以下各项的一组中选择的任何一个或多个特征导出的:用户表示、用户输入的时间、阻绝、用户标识符以及用户对文献的评分。
6、权利要求3所述的方法,其中,所述公式对应于用户模型和组模型,其中该用户模型用于确定一个用户的文献与搜索查询的相关性分数,以及该组模型用于确定一组用户的文献与搜索查询的相关性分数。
7、权利要求6所述的方法,还包括:把所述用户模型与所述组模型进行比较,以便确定对所述文献的偏向。
8、权利要求3所述的方法,其中,利用机器学习技术来确定所述参数。
9、权利要求8所述的方法,其中,所述机器学习技术包括某种形式的统计分类。
10、权利要求9所述的方法,其中,所述统计分类是以下各项当中的任何一个:逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、以及图形模型。
11、权利要求8所述的方法,其中,所述机器学习技术使用共轭梯度下降。
12、权利要求3所述的方法,其中,从所述用户输入生成所述公式的一个或多个变量。
13、权利要求12所述的方法,其中,所述用户输入是以下各项当中的一个或多个:给文献加标签、对文献的相关性进行评分、以及阻绝文献。
14、权利要求1所述的方法,其中,所述相关性分数对应于在搜索引擎站点上注册的用户,并且该相关性分数被用来为没有在该搜索引擎站点上注册的用户确定文献与搜索查询的相关性分数。
15、一种组织搜索结果列表的方法,包括:
a.更新包括变量和参数的相关性公式,其中该相关性公式用于为响应于搜索查询而返回的多个结果当中的每一个确定相关性分数;并且
b.响应于所述搜索查询而返回包含所述多个结果的搜索结果列表,其中利用对应于所述多个结果当中的每一个的相关性分数对所述多个结果进行排序。
16、权利要求15所述的方法,其中,更新所述相关性公式包括更新所述参数。
17、权利要求16所述的方法,其中,利用用户输入来更新所述参数。
18、权利要求17所述的方法,其中,所述用户输入是以下各项的其中之一:给文献加标签、响应于搜索查询而对文献的相关性进行评分、以及阻绝文献。
19、权利要求15所述的方法,其中,利用机器学习技术来导出所述相关性公式。
20、权利要求19所述的方法,其中,所述机器学习技术包括某种形式的统计分类。
21、权利要求16所述的方法,其中,所述统计分类是以下各项当中的任何一个:逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、以及图形模型。
22、权利要求15所述的方法,其中,所述机器学习技术使用共轭梯度下降。
23、一种对由第一搜索引擎返回的结果进行排序的方法,包括:
a.响应于搜索查询而接收包含由第一搜索引擎排序的文献的第一结果列表;
b.响应于该搜索查询而接收包含由第二搜索引擎排序的文献的第二结果列表;
c.确定具有变量和参数的公式,该公式用于响应于该搜索查询而为文献确定相关性分数;并且
d.响应于该搜索查询而返回第三结果列表,该第三结果列表包含利用对应于每个文献的相关性分数进行了排序的第一结果列表和第二结果列表中的文献。
24、权利要求23所述的方法,其中,利用用户输入来确定所述公式。
25、权利要求23所述的方法,其中,利用所述文献在第一结果列表中的顺序以及所述文献在第二结果列表中的顺序来确定所述公式。
26、权利要求23所述的方法,其中,利用机器学习技术来确定所述参数。
27、权利要求26所述的方法,其中,所述机器学习技术包括某种形式的统计分类。
28、权利要求27所述的方法,其中,所述统计分类是以下各项当中的任何一个:逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、以及图形模型。
29、一种用于响应于搜索查询而返回有序结果列表的系统,包括:
a.第一数据库,用于存储用户输入,以用于对响应于第一搜索查询的多个结果当中的结果进行排序;以及
b.耦合到第一数据库的相关性模型,该相关性模型用于使用所述用户输入为对应于第二搜索查询的多个结果当中的每个结果计算相关性分数。
30、权利要求29所述的系统,还包括耦合到第一数据库的搜索引擎,该搜索引擎用于接收搜索查询,基于对应于每个结果的相关性分数对所述多个结果进行排序,以及返回包含所述经过排序的多个结果的搜索结果列表。
31、权利要求29所述的系统,其中,所述相关性模型被配置成利用所述用户输入来更新。
32、权利要求29所述的系统,其中,所述相关性模型被配置成使用机器学习技术。
33、权利要求32所述的系统,其中,所述机器学习技术包括某种形式的统计分类。
34、权利要求33所述的系统,其中,所述统计分类是以下各项当中的任何一个:逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、以及图形模型。
35、权利要求33所述的系统,其中,所述机器学习技术使用共轭梯度下降。
36、权利要求28所述的系统,其中,所述相关性模型用于确定一组特定于用户的参数,以便为特定用户确定搜索查询与文献的相关性分数。
37、权利要求36所述的系统,其中,所述相关性模型还用于确定组模型的参数,以便为一组用户确定搜索查询与文献的相关性分数。
38、权利要求28所述的系统,还包括第二数据库,其用于存储用于更新所述相关性模型的一个或多个特征。
39、权利要求38所述的系统,其中,所述特征是从包括以下各项的一组中选择的:标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本、以及概要。
40、权利要求38所述的系统,其中,所述特征是从包括以下各项的一组中选择的:用户表示、用户输入的时间、阻绝、用户标识符、以及用户对文献的评分。
41、权利要求38所述的系统,其中,所述特征包括以下各项当中的任何一个或多个:到文献的超链接、文献在搜索结果列表中的位置、用户对文献的评分、以及从搜索结果列表访问文献的次数。
42、一种用于在搜索结果列表中组织多个结果的系统,包括
a.相关性模型,用于使用用户输入来确定文献与搜索查询的相关性分数;
b.耦合到该相关性模型的搜索引擎,该搜索引擎用于接收搜索查询并且返回搜索结果列表,所述搜索结果列表包含根据每个文献与所述搜索查询的相关性分数进行了排序的结果;以及
c.耦合到该搜索引擎和该相关性模型的数据库,该数据库用于存储一组特征,该组特征被该相关性模型使用来确定文献与搜索查询的相关性分数。
43、权利要求42所述的系统,其中,所述数据库包括耦合到所述搜索引擎的用户数据库以及耦合到所述相关性模型的用户输入数据库,其中该用户数据库用于存储关于所述搜索结果列表的用户输入,并且该用户输入数据库用于存储所述一组特征。
44、权利要求43所述的系统,其中,所述一组特征包括以下各项当中的任何一个或多个:标签、文献内的项目、项目在文献内的位置、文献的结构、到文献的链接、文献在搜索结果列表中的位置、从搜索结果列表访问文献的次数、项目分数、段信息、链接结构、锚文本、以及概要。
45、权利要求43所述的系统,其中,所述一组特征包括以下各项当中的任何一个或多个:用户表示、用户输入的时间、阻绝、用户标识符、以及用户对文献的评分。
46、权利要求42所述的系统,还包括耦合到所述数据库的Web服务器。
47、权利要求42所述的系统,还包括耦合到所述相关性模型和所述搜索引擎的文献索引。
48、权利要求42所述的系统,其中,所述相关性模型被配置成使用机器学习技术。
49、权利要求48所述的系统,其中,所述机器学习技术包括某种形式的统计分类。
50、权利要求49所述的系统,其中,所述统计分类是以下各项当中的任何一个:逻辑斯谛回归分析、支撑矢量机、神经网络、提升树、随机森林、朴素贝叶斯、以及图形模型。
51、权利要求48所述的系统,其中,所述机器学习技术使用共轭梯度下降。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66336105P | 2005-03-18 | 2005-03-18 | |
US60/663,361 | 2005-03-18 | ||
PCT/US2006/009800 WO2006102122A2 (en) | 2005-03-18 | 2006-03-17 | Search engine that applies feedback from users to improve search results |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101523338A true CN101523338A (zh) | 2009-09-02 |
CN101523338B CN101523338B (zh) | 2016-10-19 |
Family
ID=37024438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200680017270.7A Active CN101523338B (zh) | 2005-03-18 | 2006-03-17 | 应用来自用户的反馈来改进搜索结果的搜索引擎 |
Country Status (8)
Country | Link |
---|---|
US (4) | US8185523B2 (zh) |
EP (1) | EP1866738A4 (zh) |
JP (2) | JP5632124B2 (zh) |
KR (2) | KR101374651B1 (zh) |
CN (1) | CN101523338B (zh) |
CA (1) | CA2601768C (zh) |
TW (1) | TWI351619B (zh) |
WO (1) | WO2006102122A2 (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236677A (zh) * | 2010-04-28 | 2011-11-09 | 北京大学深圳研究生院 | 一种基于问答系统的信息匹配方法及系统 |
CN102508831A (zh) * | 2010-04-09 | 2012-06-20 | 微软公司 | 改进购物搜索引擎 |
CN103020322A (zh) * | 2013-01-11 | 2013-04-03 | 曙光信息产业(北京)有限公司 | 查询方法 |
CN103646092A (zh) * | 2013-12-18 | 2014-03-19 | 孙燕群 | 基于用户参与的搜索引擎排序方法 |
CN103714174A (zh) * | 2014-01-02 | 2014-04-09 | 武汉大学 | 用于互联网中加速经验知识积累的信息采集方法及系统 |
CN104598611A (zh) * | 2015-01-29 | 2015-05-06 | 百度在线网络技术(北京)有限公司 | 对搜索条目进行排序的方法及系统 |
CN105224959A (zh) * | 2015-11-02 | 2016-01-06 | 北京奇艺世纪科技有限公司 | 排序模型的训练方法和装置 |
TWI550420B (zh) * | 2015-02-12 | 2016-09-21 | 國立雲林科技大學 | 資訊取得系統與方法、以及儲存裝置 |
CN106339383A (zh) * | 2015-07-07 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种搜索排序方法及系统 |
CN103902705B (zh) * | 2014-03-31 | 2017-05-10 | 华中科技大学 | 一种基于元数据的跨机构云端数字内容集成系统和方法 |
CN106919702A (zh) * | 2017-02-14 | 2017-07-04 | 北京时间股份有限公司 | 基于文档的关键词推送方法及装置 |
CN107533683A (zh) * | 2015-04-28 | 2018-01-02 | 微软技术许可有限责任公司 | 相关组建议 |
CN107660284A (zh) * | 2014-05-30 | 2018-02-02 | 苹果公司 | 基于机器学习的搜索改进 |
CN107908662A (zh) * | 2017-10-18 | 2018-04-13 | 北京京东尚科信息技术有限公司 | 搜索系统的实现方法和实现装置 |
CN108182186A (zh) * | 2016-12-08 | 2018-06-19 | 广东精点数据科技股份有限公司 | 一种基于随机森林算法的网页排序方法 |
CN108874842A (zh) * | 2017-09-08 | 2018-11-23 | 上海晓筑教育科技有限公司 | 一种建筑规范全文智能搜索设备及系统 |
CN109219811A (zh) * | 2016-05-23 | 2019-01-15 | 微软技术许可有限责任公司 | 相关段落检索系统 |
CN109952613A (zh) * | 2016-10-14 | 2019-06-28 | 皇家飞利浦有限公司 | 用于使用pacs日志文件来确定相关的先前放射学研究的系统和方法 |
CN110110001A (zh) * | 2019-05-10 | 2019-08-09 | 八戒科技服务有限公司 | 服务成果数据处理方法、装置、存储介质及系统 |
RU2721159C1 (ru) * | 2018-12-13 | 2020-05-18 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и сервер генерирования мета-признака для ранжирования документов |
CN113449212A (zh) * | 2021-06-25 | 2021-09-28 | 北京百度网讯科技有限公司 | 针对搜索结果的质量评估、优化方法和装置、设备 |
Families Citing this family (191)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7617197B2 (en) * | 2005-08-19 | 2009-11-10 | Google Inc. | Combined title prefix and full-word content searching |
US7206780B2 (en) * | 2003-06-27 | 2007-04-17 | Sbc Knowledge Ventures, L.P. | Relevance value for each category of a particular search result in the ranked list is estimated based on its rank and actual relevance values |
US7505964B2 (en) | 2003-09-12 | 2009-03-17 | Google Inc. | Methods and systems for improving a search ranking using related queries |
US7606793B2 (en) | 2004-09-27 | 2009-10-20 | Microsoft Corporation | System and method for scoping searches using index keys |
US7761448B2 (en) | 2004-09-30 | 2010-07-20 | Microsoft Corporation | System and method for ranking search results using click distance |
US7827181B2 (en) * | 2004-09-30 | 2010-11-02 | Microsoft Corporation | Click distance determination |
US7739277B2 (en) * | 2004-09-30 | 2010-06-15 | Microsoft Corporation | System and method for incorporating anchor text into ranking search results |
US7716198B2 (en) * | 2004-12-21 | 2010-05-11 | Microsoft Corporation | Ranking search results using feature extraction |
US20060184517A1 (en) * | 2005-02-15 | 2006-08-17 | Microsoft Corporation | Answers analytics: computing answers across discrete data |
US9092523B2 (en) * | 2005-02-28 | 2015-07-28 | Search Engine Technologies, Llc | Methods of and systems for searching by incorporating user-entered information |
US20060200460A1 (en) * | 2005-03-03 | 2006-09-07 | Microsoft Corporation | System and method for ranking search results using file types |
US7792833B2 (en) * | 2005-03-03 | 2010-09-07 | Microsoft Corporation | Ranking search results using language types |
KR101374651B1 (ko) | 2005-03-18 | 2014-03-17 | 써치 엔진 테크놀로지스, 엘엘씨 | 서치 결과를 향상시키기 위해 사용자로부터의 피드백을 적용하는 서치 엔진 |
US7962462B1 (en) | 2005-05-31 | 2011-06-14 | Google Inc. | Deriving and using document and site quality signals from search query streams |
US20070005679A1 (en) * | 2005-06-21 | 2007-01-04 | Bui Richard T | Server-client hybrid search systems, methods, and apparatuses |
US8086605B2 (en) * | 2005-06-28 | 2011-12-27 | Yahoo! Inc. | Search engine with augmented relevance ranking by community participation |
US9715542B2 (en) | 2005-08-03 | 2017-07-25 | Search Engine Technologies, Llc | Systems for and methods of finding relevant documents by analyzing tags |
US7599917B2 (en) * | 2005-08-15 | 2009-10-06 | Microsoft Corporation | Ranking search results using biased click distance |
US20070124283A1 (en) * | 2005-11-28 | 2007-05-31 | Gotts John W | Search engine with community feedback system |
TW200729003A (en) * | 2006-01-25 | 2007-08-01 | Bridgewell Inc | Conceptual keyword function generation method, adjustment method, system, search engine, and calculation method for keyword related value |
US8874591B2 (en) * | 2006-01-31 | 2014-10-28 | Microsoft Corporation | Using user feedback to improve search results |
US7844603B2 (en) * | 2006-02-17 | 2010-11-30 | Google Inc. | Sharing user distributed search results |
US8862572B2 (en) * | 2006-02-17 | 2014-10-14 | Google Inc. | Sharing user distributed search results |
US8122019B2 (en) * | 2006-02-17 | 2012-02-21 | Google Inc. | Sharing user distributed search results |
US7996396B2 (en) * | 2006-03-28 | 2011-08-09 | A9.Com, Inc. | Identifying the items most relevant to a current query based on user activity with respect to the results of similar queries |
US8799106B2 (en) * | 2006-05-06 | 2014-08-05 | Travelzoo, Inc. | System and method for assisting online product research by consumers |
US7603350B1 (en) | 2006-05-09 | 2009-10-13 | Google Inc. | Search result ranking based on trust |
EP1862916A1 (en) * | 2006-06-01 | 2007-12-05 | Microsoft Corporation | Indexing Documents for Information Retrieval based on additional feedback fields |
US20080016061A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Using a Core Data Structure to Calculate Document Ranks |
US20080016072A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Enterprise-Based Tag System |
US7873641B2 (en) * | 2006-07-14 | 2011-01-18 | Bea Systems, Inc. | Using tags in an enterprise search system |
US20080016052A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Using Connections Between Users and Documents to Rank Documents in an Enterprise Search System |
US20080016071A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Using Connections Between Users, Tags and Documents to Rank Documents in an Enterprise Search System |
US20080016053A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Administration Console to Select Rank Factors |
US8589869B2 (en) | 2006-09-07 | 2013-11-19 | Wolfram Alpha Llc | Methods and systems for determining a formula |
US20080065621A1 (en) * | 2006-09-13 | 2008-03-13 | Kenneth Alexander Ellis | Ambiguous entity disambiguation method |
US9110975B1 (en) | 2006-11-02 | 2015-08-18 | Google Inc. | Search result inputs using variant generalized queries |
US8661029B1 (en) | 2006-11-02 | 2014-02-25 | Google Inc. | Modifying search result ranking based on implicit user feedback |
KR100881668B1 (ko) * | 2006-11-09 | 2009-02-06 | 삼성전자주식회사 | 웹 페이지 프리페치 장치 및 방법 |
US20080114753A1 (en) * | 2006-11-15 | 2008-05-15 | Apmath Ltd. | Method and a device for ranking linked documents |
US8635203B2 (en) * | 2006-11-16 | 2014-01-21 | Yahoo! Inc. | Systems and methods using query patterns to disambiguate query intent |
WO2008074150A1 (en) | 2006-12-20 | 2008-06-26 | Ma, Gary Manchoir | Method and apparatus for scoring electronic documents |
US7987185B1 (en) * | 2006-12-29 | 2011-07-26 | Google Inc. | Ranking custom search results |
US7801885B1 (en) | 2007-01-25 | 2010-09-21 | Neal Akash Verma | Search engine system and method with user feedback on search results |
US20080208836A1 (en) * | 2007-02-23 | 2008-08-28 | Yahoo! Inc. | Regression framework for learning ranking functions using relative preferences |
US8938463B1 (en) | 2007-03-12 | 2015-01-20 | Google Inc. | Modifying search result ranking based on implicit user feedback and a model of presentation bias |
US8694374B1 (en) | 2007-03-14 | 2014-04-08 | Google Inc. | Detecting click spam |
CN101286150B (zh) * | 2007-04-10 | 2010-09-15 | 阿里巴巴集团控股有限公司 | 生成更新参数的方法和装置、展示相关关键词的方法和装置 |
US8977631B2 (en) | 2007-04-16 | 2015-03-10 | Ebay Inc. | Visualization of reputation ratings |
US9092510B1 (en) | 2007-04-30 | 2015-07-28 | Google Inc. | Modifying search result ranking based on a temporal element of user feedback |
US7898394B2 (en) * | 2007-05-10 | 2011-03-01 | Red Hat, Inc. | Systems and methods for community tagging |
US8356048B2 (en) * | 2007-05-31 | 2013-01-15 | Red Hat, Inc. | Systems and methods for improved forums |
US8266127B2 (en) * | 2007-05-31 | 2012-09-11 | Red Hat, Inc. | Systems and methods for directed forums |
US7966319B2 (en) | 2007-06-07 | 2011-06-21 | Red Hat, Inc. | Systems and methods for a rating system |
US8694511B1 (en) | 2007-08-20 | 2014-04-08 | Google Inc. | Modifying search result ranking based on populations |
US8037009B2 (en) * | 2007-08-27 | 2011-10-11 | Red Hat, Inc. | Systems and methods for linking an issue with an entry in a knowledgebase |
US20090063416A1 (en) * | 2007-08-31 | 2009-03-05 | Norman Lee Faus | Methods and systems for tagging a variety of applications |
US10417586B2 (en) * | 2007-08-31 | 2019-09-17 | Red Hat, Inc. | Attaching ownership to data |
US8065619B2 (en) * | 2007-09-04 | 2011-11-22 | Yahoo! Inc. | Customized today module |
US8122015B2 (en) * | 2007-09-21 | 2012-02-21 | Microsoft Corporation | Multi-ranker for search |
US20090089275A1 (en) * | 2007-10-02 | 2009-04-02 | International Business Machines Corporation | Using user provided structure feedback on search results to provide more relevant search results |
US8909655B1 (en) | 2007-10-11 | 2014-12-09 | Google Inc. | Time based ranking |
US9348912B2 (en) | 2007-10-18 | 2016-05-24 | Microsoft Technology Licensing, Llc | Document length as a static relevance feature for ranking search results |
US7734633B2 (en) * | 2007-10-18 | 2010-06-08 | Microsoft Corporation | Listwise ranking |
US7840569B2 (en) * | 2007-10-18 | 2010-11-23 | Microsoft Corporation | Enterprise relevancy ranking using a neural network |
US8332411B2 (en) * | 2007-10-19 | 2012-12-11 | Microsoft Corporation | Boosting a ranker for improved ranking accuracy |
US8180780B2 (en) * | 2007-12-06 | 2012-05-15 | International Business Machines Corporation | Collaborative program development method and system |
US8099417B2 (en) * | 2007-12-12 | 2012-01-17 | Microsoft Corporation | Semi-supervised part-of-speech tagging |
US8775416B2 (en) * | 2008-01-09 | 2014-07-08 | Yahoo!Inc. | Adapting a context-independent relevance function for identifying relevant search results |
CA2716062C (en) * | 2008-02-25 | 2014-05-06 | Atigeo Llc | Determining relevant information for domains of interest |
US20090216563A1 (en) * | 2008-02-25 | 2009-08-27 | Michael Sandoval | Electronic profile development, storage, use and systems for taking action based thereon |
US20090216639A1 (en) * | 2008-02-25 | 2009-08-27 | Mark Joseph Kapczynski | Advertising selection and display based on electronic profile information |
KR100918361B1 (ko) * | 2008-02-26 | 2009-09-22 | 엔에이치엔(주) | 고속화 검색 모델링 시스템 및 방법 |
US8412702B2 (en) * | 2008-03-12 | 2013-04-02 | Yahoo! Inc. | System, method, and/or apparatus for reordering search results |
US9477717B2 (en) * | 2008-03-31 | 2016-10-25 | Yahoo! Inc. | Cross-domain matching system |
US8566256B2 (en) * | 2008-04-01 | 2013-10-22 | Certona Corporation | Universal system and method for representing and predicting human behavior |
US20090254529A1 (en) * | 2008-04-04 | 2009-10-08 | Lev Goldentouch | Systems, methods and computer program products for content management |
US8812493B2 (en) | 2008-04-11 | 2014-08-19 | Microsoft Corporation | Search results ranking using editing distance and document information |
US8086590B2 (en) * | 2008-04-25 | 2011-12-27 | Microsoft Corporation | Product suggestions and bypassing irrelevant query results |
US8250637B2 (en) * | 2008-04-29 | 2012-08-21 | International Business Machines Corporation | Determining the degree of relevance of duplicate alerts in an entity resolution system |
US8015137B2 (en) | 2008-04-29 | 2011-09-06 | International Business Machines Corporation | Determining the degree of relevance of alerts in an entity resolution system over alert disposition lifecycle |
US8326788B2 (en) * | 2008-04-29 | 2012-12-04 | International Business Machines Corporation | Determining the degree of relevance of alerts in an entity resolution system |
US20090271394A1 (en) * | 2008-04-29 | 2009-10-29 | Allen Thomas B | Determining the degree of relevance of entities and identities in an entity resolution system that maintains alert relevance |
US20100082808A1 (en) * | 2008-09-29 | 2010-04-01 | Red Aril, Inc. | System and method for automatically delivering relevant internet content |
US8396865B1 (en) | 2008-12-10 | 2013-03-12 | Google Inc. | Sharing search engine relevance data between corpora |
CA2746675C (en) | 2008-12-12 | 2015-03-31 | Atigeo Llc | Providing recommendations using information determined for domains of interest |
US8799279B2 (en) | 2008-12-31 | 2014-08-05 | At&T Intellectual Property I, L.P. | Method and apparatus for using a discriminative classifier for processing a query |
US8175189B2 (en) | 2009-03-11 | 2012-05-08 | Hitachi, Ltd. | Fast generalized decision feedback equalizer precoder implementation for multi-user multiple-input multiple-output wireless transmission systems |
US9009146B1 (en) | 2009-04-08 | 2015-04-14 | Google Inc. | Ranking search results based on similar queries |
US8788524B1 (en) | 2009-05-15 | 2014-07-22 | Wolfram Alpha Llc | Method and system for responding to queries in an imprecise syntax |
US8447760B1 (en) | 2009-07-20 | 2013-05-21 | Google Inc. | Generating a related set of documents for an initial set of documents |
KR101072691B1 (ko) * | 2009-07-23 | 2011-10-11 | 포항공과대학교 산학협력단 | 연관성 피드백을 이용한 데이터베이스 검색 방법 및 이를 수행하는 프로그램을 기록한 기록매체 |
US9727842B2 (en) * | 2009-08-21 | 2017-08-08 | International Business Machines Corporation | Determining entity relevance by relationships to other relevant entities |
US8498974B1 (en) | 2009-08-31 | 2013-07-30 | Google Inc. | Refining search results |
US8972391B1 (en) | 2009-10-02 | 2015-03-03 | Google Inc. | Recent interest based relevance scoring |
US7716205B1 (en) | 2009-10-29 | 2010-05-11 | Wowd, Inc. | System for user driven ranking of web pages |
US8874555B1 (en) | 2009-11-20 | 2014-10-28 | Google Inc. | Modifying scoring data based on historical changes |
US8311792B1 (en) * | 2009-12-23 | 2012-11-13 | Intuit Inc. | System and method for ranking a posting |
US20110191327A1 (en) * | 2010-01-31 | 2011-08-04 | Advanced Research Llc | Method for Human Ranking of Search Results |
US8615514B1 (en) * | 2010-02-03 | 2013-12-24 | Google Inc. | Evaluating website properties by partitioning user feedback |
US8924379B1 (en) | 2010-03-05 | 2014-12-30 | Google Inc. | Temporal-based score adjustments |
US8959093B1 (en) * | 2010-03-15 | 2015-02-17 | Google Inc. | Ranking search results based on anchors |
US8560528B2 (en) * | 2010-03-17 | 2013-10-15 | Microsoft Corporation | Data structures for collaborative filtering systems |
US10956475B2 (en) * | 2010-04-06 | 2021-03-23 | Imagescan, Inc. | Visual presentation of search results |
CN102971738A (zh) | 2010-05-06 | 2013-03-13 | 水宙责任有限公司 | 用于配置文件利用系统中的安全性的系统、方法和计算机可读介质 |
US9298818B1 (en) * | 2010-05-28 | 2016-03-29 | Sri International | Method and apparatus for performing semantic-based data analysis |
US8738635B2 (en) | 2010-06-01 | 2014-05-27 | Microsoft Corporation | Detection of junk in search result ranking |
US9623119B1 (en) | 2010-06-29 | 2017-04-18 | Google Inc. | Accentuating search results |
US8832083B1 (en) | 2010-07-23 | 2014-09-09 | Google Inc. | Combining user feedback |
US20120078952A1 (en) * | 2010-09-24 | 2012-03-29 | Rovi Technologies Corporation | Browsing hierarchies with personalized recommendations |
US9805022B2 (en) * | 2010-12-09 | 2017-10-31 | Apple Inc. | Generation of topic-based language models for an app search engine |
US9002867B1 (en) | 2010-12-30 | 2015-04-07 | Google Inc. | Modifying ranking data based on document changes |
US9449093B2 (en) * | 2011-02-10 | 2016-09-20 | Sri International | System and method for improved search experience through implicit user interaction |
US20130054591A1 (en) * | 2011-03-03 | 2013-02-28 | Brightedge Technologies, Inc. | Search engine optimization recommendations based on social signals |
US8645394B1 (en) * | 2011-04-15 | 2014-02-04 | Google Inc. | Ranking clusters and resources in a cluster |
US8645393B1 (en) * | 2011-04-15 | 2014-02-04 | Google Inc. | Ranking clusters and resources in a cluster |
US11841912B2 (en) * | 2011-05-01 | 2023-12-12 | Twittle Search Limited Liability Company | System for applying natural language processing and inputs of a group of users to infer commonly desired search results |
US9734252B2 (en) | 2011-09-08 | 2017-08-15 | Wolfram Alpha Llc | Method and system for analyzing data using a query answering system |
US20130110815A1 (en) * | 2011-10-28 | 2013-05-02 | Microsoft Corporation | Generating and presenting deep links |
US8990700B2 (en) * | 2011-10-31 | 2015-03-24 | Google Inc. | Rating and review interface |
US9851950B2 (en) | 2011-11-15 | 2017-12-26 | Wolfram Alpha Llc | Programming in a precise syntax using natural language |
US9495462B2 (en) | 2012-01-27 | 2016-11-15 | Microsoft Technology Licensing, Llc | Re-ranking search results |
US20130212173A1 (en) * | 2012-02-13 | 2013-08-15 | Robert William Carthcart | Suggesting relationship modifications to users of a social networking system |
US8843488B1 (en) * | 2012-02-28 | 2014-09-23 | The Boeing Company | Nested display of contextual search results |
US9514186B1 (en) * | 2012-05-29 | 2016-12-06 | Google Inc. | User-list management |
CN102708384B (zh) * | 2012-06-04 | 2014-01-29 | 西南交通大学 | 一种基于随机蕨的自举弱学习方法及其分类器 |
US9710543B2 (en) * | 2012-08-08 | 2017-07-18 | Intelliresponse Systems Inc. | Automated substitution of terms by compound expressions during indexing of information for computerized search |
US9537706B2 (en) | 2012-08-20 | 2017-01-03 | Plentyoffish Media Ulc | Apparatus, method and article to facilitate matching of clients in a networked environment |
US10108704B2 (en) * | 2012-09-06 | 2018-10-23 | Microsoft Technology Licensing, Llc | Identifying dissatisfaction segments in connection with improving search engine performance |
US9436765B2 (en) | 2012-10-15 | 2016-09-06 | Wix.Com Ltd. | System for deep linking and search engine support for web sites integrating third party application and components |
CN103020164B (zh) * | 2012-11-26 | 2015-06-10 | 华北电力大学 | 一种基于多语义分析和个性化排序的语义检索方法 |
FR2998998A1 (fr) * | 2012-11-30 | 2014-06-06 | France Telecom | Selection de documents dans une base de donnees |
US9398104B2 (en) * | 2012-12-20 | 2016-07-19 | Facebook, Inc. | Ranking test framework for search results on an online social network |
US9852223B2 (en) | 2012-12-20 | 2017-12-26 | Ebay Inc. | Enhancing search results with social networking data |
US20150242930A1 (en) * | 2013-01-31 | 2015-08-27 | Alexander Greystoke | Purchasing Feedback System |
US11568008B2 (en) | 2013-03-13 | 2023-01-31 | Plentyoffish Media Ulc | Apparatus, method and article to identify discrepancies between clients and in response prompt clients in a networked environment |
US9875237B2 (en) * | 2013-03-14 | 2018-01-23 | Microsfot Technology Licensing, Llc | Using human perception in building language understanding models |
US9122681B2 (en) | 2013-03-15 | 2015-09-01 | Gordon Villy Cormack | Systems and methods for classifying electronic information using advanced active learning techniques |
US9183499B1 (en) | 2013-04-19 | 2015-11-10 | Google Inc. | Evaluating quality based on neighbor features |
CN103235821B (zh) * | 2013-04-27 | 2015-06-24 | 百度在线网络技术(北京)有限公司 | 原创内容的搜索方法和搜索服务器 |
US9542473B2 (en) * | 2013-04-30 | 2017-01-10 | Microsoft Technology Licensing, Llc | Tagged search result maintainance |
US20140365453A1 (en) * | 2013-06-06 | 2014-12-11 | Conductor, Inc. | Projecting analytics based on changes in search engine optimization metrics |
US9672289B1 (en) | 2013-07-23 | 2017-06-06 | Plentyoffish Media Ulc | Apparatus, method and article to facilitate matching of clients in a networked environment |
US9612996B1 (en) * | 2013-09-11 | 2017-04-04 | Google Inc. | Providing suggestions to a user based on social activity patterns |
US9870465B1 (en) | 2013-12-04 | 2018-01-16 | Plentyoffish Media Ulc | Apparatus, method and article to facilitate automatic detection and removal of fraudulent user information in a network environment |
US10540607B1 (en) | 2013-12-10 | 2020-01-21 | Plentyoffish Media Ulc | Apparatus, method and article to effect electronic message reply rate matching in a network environment |
US20150169760A1 (en) * | 2013-12-18 | 2015-06-18 | International Business Machines Corporation | Using Social Communities to Improve Search Results |
US10387795B1 (en) * | 2014-04-02 | 2019-08-20 | Plentyoffish Media Inc. | Systems and methods for training and employing a machine learning system in providing service level upgrade offers |
USD784400S1 (en) * | 2014-11-04 | 2017-04-18 | Workplace Dynamics, LLC | Display screen or portion thereof with rating scale graphical user interface |
USD784401S1 (en) * | 2014-11-04 | 2017-04-18 | Workplace Dynamics, LLC | Display screen or portion thereof with rating scale graphical user interface |
US9870394B2 (en) | 2014-12-09 | 2018-01-16 | Lg Cns Co., Ltd. | Query routing method, query routing server performing the same and storage medium storing the same |
US10423704B2 (en) * | 2014-12-17 | 2019-09-24 | International Business Machines Corporation | Utilizing hyperlink forward chain analysis to signify relevant links to a user |
US11675795B2 (en) * | 2015-05-15 | 2023-06-13 | Yahoo Assets Llc | Method and system for ranking search content |
EP3096241A1 (de) * | 2015-05-18 | 2016-11-23 | Carsten Kraus | Verfahren zum durchsuchen einer datenbasis mit datensätzen |
US10445374B2 (en) | 2015-06-19 | 2019-10-15 | Gordon V. Cormack | Systems and methods for conducting and terminating a technology-assisted review |
US10586156B2 (en) | 2015-06-25 | 2020-03-10 | International Business Machines Corporation | Knowledge canvassing using a knowledge graph and a question and answer system |
WO2017002132A1 (en) * | 2015-06-29 | 2017-01-05 | Nowfloats Technologies Pvt. Ltd. | System and method for optimizing and enhancing visibility of the website |
US11803918B2 (en) | 2015-07-07 | 2023-10-31 | Oracle International Corporation | System and method for identifying experts on arbitrary topics in an enterprise social network |
JP6174099B2 (ja) * | 2015-10-28 | 2017-08-02 | ヤフー株式会社 | 検索装置、及び検索方法 |
US20170147652A1 (en) * | 2015-11-19 | 2017-05-25 | Institute For Information Industry | Search servers, end devices, and search methods for use in a distributed network |
US10229210B2 (en) * | 2015-12-09 | 2019-03-12 | Oracle International Corporation | Search query task management for search system tuning |
US11847095B1 (en) * | 2015-12-30 | 2023-12-19 | EMC IP Holding Company LLC | Managing truncation of files of file systems |
US10360224B2 (en) * | 2016-03-28 | 2019-07-23 | International Business Machines Corporation | Image and data capture and machine learning for automatic generation of search queries |
US11042574B2 (en) * | 2016-10-05 | 2021-06-22 | International Business Machines Corporation | Contextual enhancing of content participation in search results |
US11093511B2 (en) * | 2016-10-12 | 2021-08-17 | Salesforce.Com, Inc. | Ranking search results using hierarchically organized coefficients for determining relevance |
JP6635624B2 (ja) * | 2016-11-10 | 2020-01-29 | 株式会社オプティム | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
US10698960B2 (en) | 2016-12-08 | 2020-06-30 | MetaSense Digital Marketing Management Inc. | Content validation and coding for search engine optimization |
JP6783133B2 (ja) * | 2016-12-13 | 2020-11-11 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10909371B2 (en) | 2017-01-19 | 2021-02-02 | Samsung Electronics Co., Ltd. | System and method for contextual driven intelligence |
KR102585234B1 (ko) | 2017-01-19 | 2023-10-06 | 삼성전자주식회사 | 전자 기기를 위한 비전 인텔리전스 관리 |
US11698936B2 (en) | 2017-10-09 | 2023-07-11 | Home Depot Product Authority, Llc | System and methods for search engine parameter tuning using genetic algorithm |
US10922696B2 (en) * | 2017-11-14 | 2021-02-16 | Sap Se | Smart agent services using machine learning technology |
US11645277B2 (en) * | 2017-12-11 | 2023-05-09 | Google Llc | Generating and/or utilizing a machine learning model in response to a search request |
CN108170684B (zh) * | 2018-01-22 | 2020-06-05 | 京东方科技集团股份有限公司 | 文本相似度计算方法及系统、数据查询系统和计算机产品 |
KR102055747B1 (ko) * | 2018-04-02 | 2019-12-13 | 주식회사 클래스큐브 | 수식을 포함하는 문서를 검색하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
AU2018202382A1 (en) | 2018-04-04 | 2019-10-24 | ADEVI lP HOLDING COMPANY PTY LTD | Methods and systems for resolving user interface features, and related applications |
JP7165389B2 (ja) | 2018-06-07 | 2022-11-04 | 株式会社三好キカイ | 自在継手 |
JP6879983B2 (ja) * | 2018-09-11 | 2021-06-02 | Kddi株式会社 | 情報抽出装置、情報抽出方法及び情報抽出プログラム |
WO2020092670A2 (en) | 2018-11-02 | 2020-05-07 | Walmart Apollo, Llc | Systems and methods for search modification |
WO2020118432A1 (en) * | 2018-12-13 | 2020-06-18 | Element Ai Inc. | Data set access for updating machine learning models |
US11328238B2 (en) * | 2019-04-01 | 2022-05-10 | Microsoft Technology Licensing, Llc | Preemptively surfacing relevant content within email |
US11669624B2 (en) * | 2019-04-24 | 2023-06-06 | Google Llc | Response-hiding searchable encryption |
WO2021039372A1 (ja) * | 2019-08-29 | 2021-03-04 | 株式会社Nttドコモ | リランキング装置 |
RU2019128026A (ru) | 2019-09-05 | 2021-03-05 | Общество С Ограниченной Ответственностью «Яндекс» | Способ и система для ранжирования множества цифровых документов |
JP7363929B2 (ja) | 2020-01-29 | 2023-10-18 | 日本電信電話株式会社 | 学習装置、検索装置、学習方法、検索方法及びプログラム |
US11455346B2 (en) | 2020-03-31 | 2022-09-27 | International Business Machines Corporation | Advanced search and document retrieval for development and verification system prototypes |
US11238113B2 (en) * | 2020-04-01 | 2022-02-01 | Grand Rounds Inc. | Systems and methods for machine learning models for search engine performance optimization |
US10885436B1 (en) * | 2020-05-07 | 2021-01-05 | Google Llc | Training text summarization neural networks with an extracted segments prediction objective |
US20220253470A1 (en) * | 2021-02-05 | 2022-08-11 | SparkCognition, Inc. | Model-based document search |
KR20230148995A (ko) | 2022-04-19 | 2023-10-26 | 인하대학교 산학협력단 | 개인화된 리뷰를 제공하는 방법 및 시스템 |
US11868358B1 (en) | 2022-06-15 | 2024-01-09 | Microsoft Technology Licensing, Llc | Contextualized novelty for personalized discovery |
Family Cites Families (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US112761A (en) * | 1871-03-14 | Improvement in portable steam-generators | ||
US33771A (en) * | 1861-11-26 | Improvement in variable cams | ||
US5321833A (en) * | 1990-08-29 | 1994-06-14 | Gte Laboratories Incorporated | Adaptive ranking system for information retrieval |
US6029195A (en) * | 1994-11-29 | 2000-02-22 | Herz; Frederick S. M. | System for customized electronic identification of desirable objects |
US5680511A (en) | 1995-06-07 | 1997-10-21 | Dragon Systems, Inc. | Systems and methods for word recognition |
JP3284832B2 (ja) | 1995-06-22 | 2002-05-20 | セイコーエプソン株式会社 | 音声認識対話処理方法および音声認識対話装置 |
US6026388A (en) * | 1995-08-16 | 2000-02-15 | Textwise, Llc | User interface and other enhancements for natural language information retrieval system and method |
JP3674119B2 (ja) * | 1995-11-29 | 2005-07-20 | 株式会社日立製作所 | 類似文書検索方法 |
US6314420B1 (en) * | 1996-04-04 | 2001-11-06 | Lycos, Inc. | Collaborative/adaptive search engine |
US5848396A (en) | 1996-04-26 | 1998-12-08 | Freedom Of Information, Inc. | Method and apparatus for determining behavioral profile of a computer user |
US5835712A (en) | 1996-05-03 | 1998-11-10 | Webmate Technologies, Inc. | Client-server system using embedded hypertext tags for application and database development |
US6070176A (en) * | 1997-01-30 | 2000-05-30 | Intel Corporation | Method and apparatus for graphically representing portions of the world wide web |
US6012053A (en) | 1997-06-23 | 2000-01-04 | Lycos, Inc. | Computer system with user-controlled relevance ranking of search results |
US6256622B1 (en) * | 1998-04-21 | 2001-07-03 | Apple Computer, Inc. | Logical division of files into multiple articles for search and retrieval |
US6212522B1 (en) * | 1998-05-15 | 2001-04-03 | International Business Machines Corporation | Searching and conditionally serving bookmark sets based on keywords |
US6006225A (en) | 1998-06-15 | 1999-12-21 | Amazon.Com | Refining search queries by the suggestion of correlated terms from prior searches |
US6360215B1 (en) * | 1998-11-03 | 2002-03-19 | Inktomi Corporation | Method and apparatus for retrieving documents based on information other than document content |
US7032030B1 (en) | 1999-03-11 | 2006-04-18 | John David Codignotto | Message publishing system and method |
US6327590B1 (en) * | 1999-05-05 | 2001-12-04 | Xerox Corporation | System and method for collaborative ranking of search results employing user and group profiles derived from document collection content analysis |
US7110993B2 (en) * | 1999-05-28 | 2006-09-19 | Overture Services, Inc. | System and method for influencing a position on a search result list generated by a computer network search engine |
BR0012591A (pt) | 1999-07-19 | 2002-04-09 | Sankyo Co | Agente profilático ou terapêutico para câncer |
JP2001052003A (ja) | 1999-08-04 | 2001-02-23 | Matsushita Electric Ind Co Ltd | インターネット情報閲覧装置 |
US6785671B1 (en) * | 1999-12-08 | 2004-08-31 | Amazon.Com, Inc. | System and method for locating web-based product offerings |
US7428505B1 (en) | 2000-02-29 | 2008-09-23 | Ebay, Inc. | Method and system for harvesting feedback and comments regarding multiple items from users of a network-based transaction facility |
US6718365B1 (en) * | 2000-04-13 | 2004-04-06 | International Business Machines Corporation | Method, system, and program for ordering search results using an importance weighting |
JP2001350794A (ja) | 2000-06-08 | 2001-12-21 | Gram Design:Kk | データベース検索用キーワードに基づくコミュニケーション装置及び方法並びに記録媒体 |
US6601075B1 (en) * | 2000-07-27 | 2003-07-29 | International Business Machines Corporation | System and method of ranking and retrieving documents based on authority scores of schemas and documents |
KR100378240B1 (ko) * | 2000-08-23 | 2003-03-29 | 학교법인 통진학원 | 엔트로피와 사용자 프로파일을 적용한 문서순위 조정방법 |
US6823491B1 (en) | 2000-08-31 | 2004-11-23 | International Business Machines Corporation | System and method for a dynamically integrated search engine |
TW548557B (en) | 2000-09-13 | 2003-08-21 | Intumit Inc | A method and system for electronic document to have fast-search category and mutual link |
JP3934325B2 (ja) | 2000-10-31 | 2007-06-20 | 株式会社日立製作所 | 文書検索方法、文書検索装置及び文書検索プログラムの記憶媒体 |
US6845374B1 (en) * | 2000-11-27 | 2005-01-18 | Mailfrontier, Inc | System and method for adaptive text recommendation |
US7356530B2 (en) * | 2001-01-10 | 2008-04-08 | Looksmart, Ltd. | Systems and methods of retrieving relevant information |
US7089237B2 (en) * | 2001-01-26 | 2006-08-08 | Google, Inc. | Interface and system for providing persistent contextual relevance for commerce activities in a networked environment |
JP2002230224A (ja) | 2001-02-05 | 2002-08-16 | Masafumi Sawara | 評価装置、情報処理方法、評価サーバシステム |
JP3964630B2 (ja) | 2001-03-07 | 2007-08-22 | 日本電信電話株式会社 | 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 |
US6714929B1 (en) * | 2001-04-13 | 2004-03-30 | Auguri Corporation | Weighted preference data search system and method |
US20020165856A1 (en) * | 2001-05-04 | 2002-11-07 | Gilfillan Lynne E. | Collaborative research systems |
JP3845553B2 (ja) * | 2001-05-25 | 2006-11-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データベースにおけるドキュメントのリトリーブ・ランク付けを実行するコンピュータ・システム、およびプログラム |
US6728704B2 (en) * | 2001-08-27 | 2004-04-27 | Verity, Inc. | Method and apparatus for merging result lists from multiple search engines |
US20030046098A1 (en) | 2001-09-06 | 2003-03-06 | Seong-Gon Kim | Apparatus and method that modifies the ranking of the search results by the number of votes cast by end-users and advertisers |
US20020156779A1 (en) | 2001-09-28 | 2002-10-24 | Elliott Margaret E. | Internet search engine |
US6944609B2 (en) * | 2001-10-18 | 2005-09-13 | Lycos, Inc. | Search results using editor feedback |
TW530224B (en) | 2001-12-07 | 2003-05-01 | Inst Information Industry | Relation establishment system and method for key words in search engine |
US7986672B2 (en) | 2002-02-25 | 2011-07-26 | Qualcomm Incorporated | Method and apparatus for channel quality feedback in a wireless communication |
US6832491B2 (en) * | 2002-03-21 | 2004-12-21 | Ritchie Engineering Company, Inc. | Compressor head, internal discriminator, external discriminator, manifold design for refrigerant recovery apparatus |
US20030212663A1 (en) * | 2002-05-08 | 2003-11-13 | Doug Leno | Neural network feedback for enhancing text search |
US7188117B2 (en) * | 2002-05-17 | 2007-03-06 | Xerox Corporation | Systems and methods for authoritativeness grading, estimation and sorting of documents in large heterogeneous document collections |
JP2004013323A (ja) * | 2002-06-04 | 2004-01-15 | Nippon Telegraph & Telephone East Corp | 情報検索方法、情報検索システム、情報検索プログラム、情報評価プログラム、情報検索プログラムおよび情報評価プログラムをそれぞれ記録した記録媒体 |
US20040030697A1 (en) * | 2002-07-31 | 2004-02-12 | American Management Systems, Inc. | System and method for online feedback |
US7599911B2 (en) | 2002-08-05 | 2009-10-06 | Yahoo! Inc. | Method and apparatus for search ranking using human input and automated ranking |
US20040024755A1 (en) * | 2002-08-05 | 2004-02-05 | Rickard John Terrell | System and method for indexing non-textual data |
US6829599B2 (en) * | 2002-10-02 | 2004-12-07 | Xerox Corporation | System and method for improving answer relevance in meta-search engines |
US20040083127A1 (en) | 2002-10-29 | 2004-04-29 | Lunsford Joseph R. | Web site and method for search engine optimization by prompting, recording and displaying feedback of a web site user |
US20040117354A1 (en) * | 2002-12-16 | 2004-06-17 | Azzaro Steven Hector | Process for tagging and measuring quality |
WO2004099900A2 (en) | 2002-12-20 | 2004-11-18 | Banker Shailen V | Linked information system |
US7197497B2 (en) | 2003-04-25 | 2007-03-27 | Overture Services, Inc. | Method and apparatus for machine learning a document relevance function |
US20040215608A1 (en) * | 2003-04-25 | 2004-10-28 | Alastair Gourlay | Search engine supplemented with URL's that provide access to the search results from predefined search queries |
US20050033771A1 (en) | 2003-04-30 | 2005-02-10 | Schmitter Thomas A. | Contextual advertising system |
US7283997B1 (en) * | 2003-05-14 | 2007-10-16 | Apple Inc. | System and method for ranking the relevance of documents retrieved by a query |
US7401072B2 (en) * | 2003-06-10 | 2008-07-15 | Google Inc. | Named URL entry |
US8666983B2 (en) * | 2003-06-13 | 2014-03-04 | Microsoft Corporation | Architecture for generating responses to search engine queries |
WO2005026902A2 (en) | 2003-09-11 | 2005-03-24 | Levi Ronald M | A rental system, method and apparatus |
US20050071328A1 (en) * | 2003-09-30 | 2005-03-31 | Lawrence Stephen R. | Personalization of web search |
US7647242B2 (en) | 2003-09-30 | 2010-01-12 | Google, Inc. | Increasing a number of relevant advertisements using a relaxed match |
US7523096B2 (en) * | 2003-12-03 | 2009-04-21 | Google Inc. | Methods and systems for personalized network searching |
US7523109B2 (en) * | 2003-12-24 | 2009-04-21 | Microsoft Corporation | Dynamic grouping of content including captive data |
US20050160107A1 (en) | 2003-12-29 | 2005-07-21 | Ping Liang | Advanced search, file system, and intelligent assistant agent |
US20050149499A1 (en) * | 2003-12-30 | 2005-07-07 | Google Inc., A Delaware Corporation | Systems and methods for improving search quality |
US8375048B1 (en) | 2004-01-20 | 2013-02-12 | Microsoft Corporation | Query augmentation |
US8788492B2 (en) | 2004-03-15 | 2014-07-22 | Yahoo!, Inc. | Search system and methods with integration of user annotations from a trust network |
US7590619B2 (en) | 2004-03-22 | 2009-09-15 | Microsoft Corporation | Search system using user behavior data |
US8631001B2 (en) * | 2004-03-31 | 2014-01-14 | Google Inc. | Systems and methods for weighting a search query result |
US7689585B2 (en) * | 2004-04-15 | 2010-03-30 | Microsoft Corporation | Reinforced clustering of multi-type data objects for search term suggestion |
US7231405B2 (en) | 2004-05-08 | 2007-06-12 | Doug Norman, Interchange Corp. | Method and apparatus of indexing web pages of a web site for geographical searchine based on user location |
US7349901B2 (en) | 2004-05-21 | 2008-03-25 | Microsoft Corporation | Search engine spam detection using external data |
US7788260B2 (en) * | 2004-06-14 | 2010-08-31 | Facebook, Inc. | Ranking search results based on the frequency of clicks on the search results by members of a social network who are within a predetermined degree of separation |
US7730012B2 (en) | 2004-06-25 | 2010-06-01 | Apple Inc. | Methods and systems for managing data |
US20060047643A1 (en) | 2004-08-31 | 2006-03-02 | Chirag Chaman | Method and system for a personalized search engine |
US8109765B2 (en) | 2004-09-10 | 2012-02-07 | Scientific Learning Corporation | Intelligent tutoring feedback |
US7761448B2 (en) * | 2004-09-30 | 2010-07-20 | Microsoft Corporation | System and method for ranking search results using click distance |
US20060129324A1 (en) * | 2004-12-15 | 2006-06-15 | Biogenesys, Inc. | Use of quantitative EEG (QEEG) alone and/or other imaging technology and/or in combination with genomics and/or proteomics and/or biochemical analysis and/or other diagnostic modalities, and CART and/or AI and/or statistical and/or other mathematical analysis methods for improved medical and other diagnosis, psychiatric and other disease treatment, and also for veracity verification and/or lie detection applications. |
US8312003B2 (en) | 2004-12-16 | 2012-11-13 | Hewlett-Packard Development Company, L.P. | Computer method and apparatus for collaborative web searches |
US20060167848A1 (en) * | 2005-01-26 | 2006-07-27 | Lee Hang S | Method and system for query generation in a task based dialog system |
US20060173880A1 (en) * | 2005-01-28 | 2006-08-03 | Microsoft Corporation | System and method for generating contextual survey sequence for search results |
US20060170705A1 (en) | 2005-02-01 | 2006-08-03 | Lyris Technologies, Inc. | Method and system to review the display of content |
US9092523B2 (en) * | 2005-02-28 | 2015-07-28 | Search Engine Technologies, Llc | Methods of and systems for searching by incorporating user-entered information |
KR101374651B1 (ko) | 2005-03-18 | 2014-03-17 | 써치 엔진 테크놀로지스, 엘엘씨 | 서치 결과를 향상시키기 위해 사용자로부터의 피드백을 적용하는 서치 엔진 |
US7653302B2 (en) | 2005-03-24 | 2010-01-26 | Syabas Technology Inc. | Techniques for transmitting personal data and metadata among computing devices |
JP2008537225A (ja) * | 2005-04-11 | 2008-09-11 | テキストディガー,インコーポレイテッド | クエリについての検索システムおよび方法 |
US8732175B2 (en) | 2005-04-21 | 2014-05-20 | Yahoo! Inc. | Interestingness ranking of media objects |
US7783135B2 (en) | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
US7809192B2 (en) | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
US8086605B2 (en) | 2005-06-28 | 2011-12-27 | Yahoo! Inc. | Search engine with augmented relevance ranking by community participation |
US9715542B2 (en) * | 2005-08-03 | 2017-07-25 | Search Engine Technologies, Llc | Systems for and methods of finding relevant documents by analyzing tags |
US20070112758A1 (en) | 2005-11-14 | 2007-05-17 | Aol Llc | Displaying User Feedback for Search Results From People Related to a User |
US20070112738A1 (en) * | 2005-11-14 | 2007-05-17 | Aol Llc | Displaying User Relevance Feedback for Search Results |
US7668821B1 (en) | 2005-11-17 | 2010-02-23 | Amazon Technologies, Inc. | Recommendations based on item tagging activities of users |
US7756855B2 (en) | 2006-10-11 | 2010-07-13 | Collarity, Inc. | Search phrase refinement by search term replacement |
US7953775B2 (en) | 2006-11-07 | 2011-05-31 | Yahoo! Inc. | Sharing tagged data on the internet |
US9137321B2 (en) | 2013-03-15 | 2015-09-15 | Citrix Systems, Inc. | Pairing users with social media communities |
-
2006
- 2006-03-17 KR KR1020077021349A patent/KR101374651B1/ko active IP Right Grant
- 2006-03-17 CN CN200680017270.7A patent/CN101523338B/zh active Active
- 2006-03-17 US US11/378,756 patent/US8185523B2/en active Active
- 2006-03-17 EP EP06738810A patent/EP1866738A4/en not_active Ceased
- 2006-03-17 WO PCT/US2006/009800 patent/WO2006102122A2/en active Application Filing
- 2006-03-17 KR KR1020137024080A patent/KR101532715B1/ko active IP Right Grant
- 2006-03-17 CA CA2601768A patent/CA2601768C/en active Active
- 2006-03-17 JP JP2008502111A patent/JP5632124B2/ja active Active
- 2006-03-20 TW TW095109496A patent/TWI351619B/zh active
-
2012
- 2012-05-17 US US13/474,628 patent/US9367606B1/en active Active
- 2012-06-14 JP JP2012135021A patent/JP5638031B2/ja active Active
-
2016
- 2016-05-23 US US15/162,444 patent/US10157233B2/en active Active
-
2018
- 2018-11-16 US US16/194,054 patent/US11036814B2/en active Active
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508831A (zh) * | 2010-04-09 | 2012-06-20 | 微软公司 | 改进购物搜索引擎 |
CN102236677A (zh) * | 2010-04-28 | 2011-11-09 | 北京大学深圳研究生院 | 一种基于问答系统的信息匹配方法及系统 |
CN103020322A (zh) * | 2013-01-11 | 2013-04-03 | 曙光信息产业(北京)有限公司 | 查询方法 |
CN103646092A (zh) * | 2013-12-18 | 2014-03-19 | 孙燕群 | 基于用户参与的搜索引擎排序方法 |
CN103714174A (zh) * | 2014-01-02 | 2014-04-09 | 武汉大学 | 用于互联网中加速经验知识积累的信息采集方法及系统 |
CN103714174B (zh) * | 2014-01-02 | 2017-01-11 | 武汉大学 | 用于互联网中加速经验知识积累的信息采集方法及系统 |
CN103902705B (zh) * | 2014-03-31 | 2017-05-10 | 华中科技大学 | 一种基于元数据的跨机构云端数字内容集成系统和方法 |
CN107660284A (zh) * | 2014-05-30 | 2018-02-02 | 苹果公司 | 基于机器学习的搜索改进 |
CN107660284B (zh) * | 2014-05-30 | 2022-07-15 | 苹果公司 | 基于机器学习的搜索改进 |
CN104598611A (zh) * | 2015-01-29 | 2015-05-06 | 百度在线网络技术(北京)有限公司 | 对搜索条目进行排序的方法及系统 |
CN104598611B (zh) * | 2015-01-29 | 2018-03-23 | 百度在线网络技术(北京)有限公司 | 对搜索条目进行排序的方法及系统 |
TWI550420B (zh) * | 2015-02-12 | 2016-09-21 | 國立雲林科技大學 | 資訊取得系統與方法、以及儲存裝置 |
CN107533683B (zh) * | 2015-04-28 | 2020-09-22 | 微软技术许可有限责任公司 | 相关组建议 |
CN107533683A (zh) * | 2015-04-28 | 2018-01-02 | 微软技术许可有限责任公司 | 相关组建议 |
CN106339383A (zh) * | 2015-07-07 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种搜索排序方法及系统 |
CN105224959A (zh) * | 2015-11-02 | 2016-01-06 | 北京奇艺世纪科技有限公司 | 排序模型的训练方法和装置 |
CN105224959B (zh) * | 2015-11-02 | 2019-03-26 | 北京奇艺世纪科技有限公司 | 排序模型的训练方法和装置 |
CN109219811A (zh) * | 2016-05-23 | 2019-01-15 | 微软技术许可有限责任公司 | 相关段落检索系统 |
CN109952613A (zh) * | 2016-10-14 | 2019-06-28 | 皇家飞利浦有限公司 | 用于使用pacs日志文件来确定相关的先前放射学研究的系统和方法 |
CN108182186A (zh) * | 2016-12-08 | 2018-06-19 | 广东精点数据科技股份有限公司 | 一种基于随机森林算法的网页排序方法 |
CN106919702B (zh) * | 2017-02-14 | 2020-02-11 | 北京时间股份有限公司 | 基于文档的关键词推送方法及装置 |
CN106919702A (zh) * | 2017-02-14 | 2017-07-04 | 北京时间股份有限公司 | 基于文档的关键词推送方法及装置 |
CN108874842A (zh) * | 2017-09-08 | 2018-11-23 | 上海晓筑教育科技有限公司 | 一种建筑规范全文智能搜索设备及系统 |
CN107908662A (zh) * | 2017-10-18 | 2018-04-13 | 北京京东尚科信息技术有限公司 | 搜索系统的实现方法和实现装置 |
CN107908662B (zh) * | 2017-10-18 | 2020-11-03 | 北京京东尚科信息技术有限公司 | 搜索系统的实现方法和实现装置 |
RU2721159C1 (ru) * | 2018-12-13 | 2020-05-18 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и сервер генерирования мета-признака для ранжирования документов |
US11308097B2 (en) | 2018-12-13 | 2022-04-19 | Yandex Europe Ag | Method of and server for generating meta-feature for ranking documents |
CN110110001A (zh) * | 2019-05-10 | 2019-08-09 | 八戒科技服务有限公司 | 服务成果数据处理方法、装置、存储介质及系统 |
CN113449212A (zh) * | 2021-06-25 | 2021-09-28 | 北京百度网讯科技有限公司 | 针对搜索结果的质量评估、优化方法和装置、设备 |
Also Published As
Publication number | Publication date |
---|---|
TWI351619B (en) | 2011-11-01 |
KR20130119981A (ko) | 2013-11-01 |
US9367606B1 (en) | 2016-06-14 |
KR20080033137A (ko) | 2008-04-16 |
US20190087504A1 (en) | 2019-03-21 |
JP5638031B2 (ja) | 2014-12-10 |
US20070106659A1 (en) | 2007-05-10 |
CA2601768C (en) | 2016-08-23 |
CN101523338B (zh) | 2016-10-19 |
JP5632124B2 (ja) | 2014-11-26 |
US11036814B2 (en) | 2021-06-15 |
TW200643747A (en) | 2006-12-16 |
EP1866738A2 (en) | 2007-12-19 |
US20160299981A1 (en) | 2016-10-13 |
WO2006102122A3 (en) | 2009-04-16 |
EP1866738A4 (en) | 2010-09-15 |
US8185523B2 (en) | 2012-05-22 |
WO2006102122A2 (en) | 2006-09-28 |
KR101374651B1 (ko) | 2014-03-17 |
JP2008538149A (ja) | 2008-10-09 |
US10157233B2 (en) | 2018-12-18 |
CA2601768A1 (en) | 2006-09-28 |
KR101532715B1 (ko) | 2015-07-02 |
JP2012212455A (ja) | 2012-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101523338A (zh) | 应用来自用户的反馈来改进搜索结果的搜索引擎 | |
Salehi et al. | Personalized recommendation of learning material using sequential pattern mining and attribute based collaborative filtering | |
Nasraoui et al. | A web usage mining framework for mining evolving user profiles in dynamic web sites | |
US7289985B2 (en) | Enhanced document retrieval | |
CN102822815B (zh) | 用于利用浏览器历史进行动作建议的方法和系统 | |
CN100432921C (zh) | 将异源的搜索引擎结果混合为一个搜索结果的方法与系统 | |
CN100465954C (zh) | 用于搜索术语建议的多种类型数据的加强群集 | |
CN101111837A (zh) | 查询自动分类的搜索处理 | |
CN101137985A (zh) | 重排序和提高搜索结果的相关性 | |
WO2011008848A2 (en) | Activity based users' interests modeling for determining content relevance | |
Bin et al. | Web mining research | |
CN105975508B (zh) | 个性化元搜索引擎检索结果合成排序方法 | |
Tan et al. | Towards personalised web intelligence | |
Gündüz et al. | Recommendation models for user accesses to web pages | |
Vijaya et al. | Metasearch engine: a technology for information extraction in knowledge computing | |
Joshi et al. | A personalized web based e-learning recommendation system to enhance and user learning experience | |
Distante et al. | Extending web content management systems navigation capabilities with semantic navigation maps | |
Zubi et al. | Applying web mining application for user behavior understanding | |
Rawat | Focused crawling: an approach for URL queue optimization using link score | |
Goyal et al. | Hybrid tensorflow based portable document formatted recommender system | |
Nwagu et al. | Information Retrieval from web Using Intelligent Agent Based System | |
Gündüz | Recommendation models for web users: User interest model and click-stream tree | |
Sasireka et al. | User Preference Suggestion to Learn Behavioral Patterns | |
Salamanca et al. | An integrated architecture for personalized query expansion in Web search | |
Lam et al. | Web discovery and filtering based on textual relevance feedback learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180319 Address after: American California Patentee after: The company was interested in Address before: American California Patentee before: Wink Technologies Inc. |
|
TR01 | Transfer of patent right |