CN1677403A - 用于自动优化搜索结果相关性的系统和方法 - Google Patents

用于自动优化搜索结果相关性的系统和方法 Download PDF

Info

Publication number
CN1677403A
CN1677403A CNA2005100655413A CN200510065541A CN1677403A CN 1677403 A CN1677403 A CN 1677403A CN A2005100655413 A CNA2005100655413 A CN A2005100655413A CN 200510065541 A CN200510065541 A CN 200510065541A CN 1677403 A CN1677403 A CN 1677403A
Authority
CN
China
Prior art keywords
search
data
search results
performance
search engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100655413A
Other languages
English (en)
Inventor
E·B·瓦特森
O·荷斯特-希勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1677403A publication Critical patent/CN1677403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G06F16/835—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99942—Manipulating data structure, e.g. compression, compaction, compilation

Abstract

提供一种用于在搜索引擎中自动优化搜索结果相关性的方法、系统和计算机可访问介质。该系统和方法不断收集代表搜索结果变现如何的各个方面的数据并且比较该性能数据和用于搜索结果的期望性能。该系统和方法进一步诊断表现不佳结果的可能原因并且自动调整搜索引擎操作以优化搜索结果相关性。

Description

用于自动优化搜索结果相关性的系统和方法
相关申请的交叉引用
本申请按照35 U.S.C.§119要求2004年1月9日美国临时申请No.60/535,353的优先权。
发明领域
总的来说，本发明涉及计算机软件和搜索引擎，更具体地涉及用于自动优化搜索结果相关性的系统和方法。
发明背景
互联网搜索引擎已经成为操作它们的服务提供商的重要收入来源。收入主要是通过向搜索引擎用户显示广告产生的。一个搜索引擎接收的互联网业务量越多，它对于广告商的吸引力就越大，因此它产生的收入就越多。通常认为，搜索引擎能够增加业务量的最好方式是提供高度相关的搜索结果。但是今天是相关的可能明天就不相关，或者甚至在同一天的稍后时间又相关。对于服务提供商来说很难跟上基于季节和流行趋势以及新闻中的专题事件的可搜索内容中的快速变化。
搜索引擎运营商努力维持它们的搜索引擎所产生结果的相关性的一种方式是使用相关性方案。相关性方案代表搜索引擎用来产生一组通常按照特定相关性顺序的搜索结果的算法。相关性方案使用人们的判断不断进行重新评估以确定使用该方案产生的结果是否有效，即这些结果是否仍然相关。搜索引擎运营商根据人们判断指示而时常改变方案。
上述维持搜索引擎相关性的方法的问题在于，它耗费时间、慢而且主观。人们判断仅仅只能评估一些可能的搜索结果，并且他们对相关或不相关的判断可能并不反映典型用户的判断。其它一些方法也都有类似的缺点。例如，一些用户可能回答搜索引擎运营商所进行的调查，从而给出有关一组特定搜索结果相关性的直接反馈。但是以这种方式收集的数据总量可能不是足以认为可靠的数量，完全不能真正反映用户在进行他们的搜索时想要东西的范围和规模。
越来越普遍的一种方法是使用对搜索结果收集的点进(click-through)数据。搜索引擎运营商通过记录用户点击结果的次数来收集用户与搜索结果的交互，其中点击结果的次数称为“点进率”或CTR。点进数据有许多优点，这些数据是在用户与搜索结果交互时大量收集的，因此这些数据是用户满意度的更客观的度量并且是更可靠的相关性预测器。通常，经验表明，CTR越高，结果越相关，或至少用户对结果的满意度越高。但是，必须分析CTR数据，并且然后运营商必须决定如何更新相关方案以产生更好的结果。此外，CTR数据单独可能不足以产生有意义的结果。例如，特定结果的CRT可能受到与结果在页面上出现相关的许多因素的影响，这些因素会导致CTR与基本结果的实际相关性不成比例地被过度夸大。
无论方法是什么，确定搜索结果相关性都是很难的任务，大部分是因为没有一个搜索成功的单独明确标志。搜索引擎所处理的查询数量的真正规模以及产生搜索结果的速度使相关性成为移动快速的目标。
发明概述
为了克服上述问题，提供了一种用于在搜索引擎中自动优化搜索结果相关性的系统、方法和计算机可访问介质。该系统和方法不断收集表示搜索结果表现如何的各个方面的数据并且比较该性能数据和用于该搜索结果的预期性能。该系统和方法进一步诊断表现不佳结果的可能原因并且自动调整搜索引擎操作以优化搜索结果相关性。
根据本发明的一个方面，性能数据从一个或多个源进行收集并且最好包括用户与搜索结果交互时自动收集的隐含数据，例如CTR数据，但是还可以包括用户利用搜索引擎帮助或支持特点或回答用户满意度调查时收集的明确数据、以及主观的人们判断的数据、相关性验证测试数据以及抽样测试数据。各种数据源可以进行归一化以反映它们作为相关性预测器的相对重要性或可靠性。
根据本发明的另一方面，预期性能数据可以是表示结果的期望性能的一个或多个值，例如期望CTR，并且可以从一个市场变为下一个。当一个结果的性能不满足期望性能时可以确定该结果表现不佳，包括表现低于或大体低于期望性能值。
根据本发明的又一方面，诊断表现不佳结果的可能原因包括考虑许多因素，例如该结果是否链接到一个已经不再有效的网站或文件、出现在一个不好的位置中，产生该结果的搜索项是否很容易拼错或太宽而不能产生有意义的结果，或用于特定搜索项的搜索应该限定到例如地方团体资源这样的特定资源上。
根据本发明的另一方面，自动调整搜索引擎操作以优化搜索结果相关性包括对搜索引擎的组成部分采取各种动作。例如，搜索引擎产生搜索结果所使用的搜索方案可以进行修改以便将来的搜索结果可以重新分类、删除、重新定位或用不同结果代替。在一些情况中，搜索结果可能保持一样，但是可以增加结果的显示以提高可见度和改善性能。在另一些情况中，可以临时修改表现不佳的搜索以包含新的或附加的结果或在使这种修改固定之前在一个抽样市场中进行测试。在搜索项本身存在问题的情况中，增加拼写检查程序的容差，或可以修改结果的显示以提示用户用附加的搜索项来使搜索变清楚或变窄。在一些情况中，可以响应于搜索结果性能的突变实时调整搜索引擎的操作以便快速优化搜索结果相关性。
根据本发明的另一方面，提供一种用于在搜索引擎中优化搜索结果相关性的计算机可访问介质。该计算机可访问介质包括数据结构和计算机可执行组成部分，这些可执行组成部分包括用于收集性能数据、诊断表现不佳搜索、以及自动调整搜索引擎操作以优化搜索结果相关性的自动相关性优化程序。数据结构以与上述方法大体一致的方式定义搜索结果和性能数据。
附图的简要描述
通过参照下面结合附图进行的详细描述，本发明前述的方面和许多伴随优点将变得更容易懂、更好理解，其中：
图1是表示根据本发明的示范性搜索引擎和搜索结果相关性可以自动优化的适当操作环境的框图；
图2是表示用于实现本发明的实施例的一个自动相关性优化系统的框图；
图3是详细表示根据本发明的实施例，在图1的搜索引擎服务器中实现的图2的自动相关性优化系统的某些组成部件配置的框图；
图4A是用于实现本发明的示实例的示范性搜索引擎用户界面的示意图；
图4B是在搜索结果已经根据本发明的实施例自动优化之后的稍后时间图4A的示范性搜索引擎用户界面的示意图；
图5A-5B是表示结合根据本发明的实施例用于在搜索引擎中自动优化搜索结果相关性的图2和3的自动相关性优化系统所执行的逻辑的流程图。
优选实施例的详细描述
下面的讨论意在提供适于实现本发明实施例的各种特点的计算机系统的简要、概括描述。尽管计算系统是在适于在分布式计算机环境中使用的个人和服务器计算机或其他类型计算装置的一般情况中描述的，其中在分布式计算机环境中通过通信网络链接在一起的远程计算装置执行互补任务，但是本领域技术人员应该认识到，本发明可以用许多其它计算机系统配置实现，包括多处理器系统、小型计算机、大型计算机等等。在上述这些较常规的计算机系统之外，本领域技术人员将认识到，本发明可以在其他计算装置上实现，包括膝上计算机、平板计算机、个人数字助理(PDA)、蜂窝电话以及其他可以安装计算机软件或其他数字内容的设备。
虽然本发明的这些方面可以根据结合个人计算机的Web浏览器所执行的程序或处理或结合服务器计算机的搜索引擎所执行的程序或处理来进行描述的，但是本领域技术人员应该认识到，这些方面也可以与其它程序模块组合实现。通常，程序模块包括执行特定任务或实现特定抽样数据类型的例程、子例、程序、处理、组成部分、数据结构、函数、界面、对象等。
图1是根据本发明的实施例的示范性搜索引擎系统100和搜索结果可以自动优化的适当操作环境的图示。如所示，操作环境包括一个搜索引擎服务器112，它通常负责提供与诸如装置102和104这样的各种用户装置的前端用户通信以及后端搜索服务。搜索引擎服务器112提供的前端通信除了其他服务之外，尤其可以包括响应于从诸如计算机系统102和个人数据助理(PDA)104这样的各种用户装置接收信息和搜索查询、使用超文本传输协议产生构成搜索网页106的文本和/或图形。搜索引擎服务器112提供的后端搜索服务在服务中尤其包括使用从各种用户装置102、104接收的信息和搜索查询来查找相关的网页内容，从而产生代表链接到搜索网页106上相关网页内容的搜索结果并且跟踪网页和搜索结果性能。
在图1所示的环境中，搜索引擎服务器112产生搜索网页106，用户可以向网页106输入搜索项108以开始通过互联网116对网页内容118的搜索查询。搜索项108发送给搜索引擎服务器112，它根据相关性方案114使用该项执行对有关该搜索项118的网页内容120的搜索。相关性方案114是搜索引擎用来产生对于任何给定搜索的可能最相关结果的算法，其周期性或不断进行更新。搜索引擎搜索器112把相关网页内容作为一组搜索结果110转发以显示给搜索网页106的用户。
在图1所示的环境中，用户装置102、104经诸如互联网116这样的一个或多个计算机网络与搜索引擎服务器112通信。用于经互联网通信的协议和组成部分对于计算机网络通信领域的普通技术人员来说都是公知的。在用户装置102、104、搜索引擎服务器112和相关性方案114之间的通信还可以通过本地有线或无线计算机网络连接启动。图1中所示的搜索引擎服务器112还可以在分布式计算机环境中操作，分布式计算机环境可以包括经通信连接互连的几个计算机系统，其中这些通信连接例如使用一个或多个计算机网络或直接连接。但是，本领域普通技术人员将认识到，服务器112同样可以在具有比图1所示数量少或多的部件的计算机系统中操作。因此，图1所示的操作环境应该看作是示范性而不是限制后面的权利要求的范围。
图2是用于实现本发明的实施例的自动相关性优化系统200的框图。在一种适当实现中，该自动相关性优化系统200能使搜索引擎运营商方便地优化搜索结果相关性。自动相关性优化系统200包括一个自动相关性优化器处理202，它操作以收集性能数据、基于该数据诊断搜索结果的性能以及根据需要自动调整搜索引擎系统的操作以优化搜索网页106中显示的搜索结果110的相关性。
在一个实施例中，如图2所示，性能数据是从各种源收集的，尤其包括从用户于搜索结果110的交互中捕获的隐含相关性数据204，例如点进数据；当用户利用搜索引擎运营商提供的搜索引擎帮助或支持特点或回答用户满意度调查时收集的明确相关性数据202；人们对周期性评估搜索结果相关性的判断所产生的人们判断测试数据208；从验证对搜索相关方案114修改前后所产生的搜索结果的有效性的验证测试所产生的相关性验证测试数据210，即确保用来提高一个搜索项的搜索结果的相关性的调整不会无意中降低其他搜索项的搜索结果相关性；以及从对有关用户组(例如组A和组B)的测试中产生的抽样A/B测试数据212，以检验对搜索引擎操作的调整以及它们对包括还没有确定期望性能的新插入结果的相关性在内的搜索结果相关性的影响、为了产生新的和/或改变的结果而对搜索方案的临时修改以及对搜索引擎操作的其他种临时修改。
在一个实施例中，通过结果点进率(CTR)来测量隐含的相关性数据204，其中通过比较显示结果的次数与结果显示后用户在它上点击的次数，即用点击数除印象(impression)数来确定CTR。隐含相关性数据204还可以包括搜索引擎服务器112跟踪的其他数据，例如在搜索网页106上显示搜索结果110时搜索结果110的位置，以及可能影响性能的其他结果特征，例如颜色、大小、字体、动画、图形以及相邻搜索结果性能数据。搜索引擎服务器112进一步配置为检测和滤出欺骗性点击，这在本领域中是已知的，欺骗性点击例如是垃圾信息点击、机器人的仿真点击以及其它可疑点击，这些可疑点击例如是在一定时间量内从同一IP地址或从无法识别源的多次点击。
在一个优选实施例中，除了结果CTR之外，隐含相关数据204包括表示用户与搜索结果的复杂用户交互，因为更复杂的用户交互是通常比单独CTR更好的相关性预测器。复杂用户交互的例子尤其包括以下一个或其组合：浏览结果的时间长度、结果是否编辑、用电子邮件发送给另一方、打印、用书签标记、或者其所有或部分被粘贴或复制以包含在用户其他文件中。
在一个实施例中，隐含相关性数据204可以是对单独交互进行收集，汇总一个给定用户与搜索结果的交互会话中的所有交互，或进一步汇总所有用户与在他们本身类似搜索中相同搜索结果的所有用户交互。例如，隐含相关性数据204的基本单元是一个用户、一次查询以及一次结果交互的原子量度。对于一个给定量度，可能有几种原子量度，例如打印结果、用书签把结果标记在喜欢的文件夹中、以邮件发送给一些朋友等。通过汇总对所有用户和所有查询的原子量度，隐含相关性数据204是一个足够大且详细的数据集，它是良好的相关性预测器。在优选实施例中，自动相关性优化系统200如与本申请共同转让的待审美国专利号＿＿中详细描述的那样收集隐含相关性数据204，该申请通过引用包含在此。在不脱离随后的权利要求的范围的情况下，可以实现收集隐含相关性数据204的其他方法，只要数据足够大且详细而能很好预测搜索结果相关性。
在一个实施例中，自动相关性优化器202得到该结果的期望相关性数据214并且比较该数据与在各种性能数据源204、206、208、210和212中反映的实际性能。如果自动相关性优化器202确定实际性能达不到期望性能，那么自动采取调整搜索引擎操作的动作216以提高结果的相关性，从而使它们性能更好。在一个实施例中，自动相关性优化器202仅仅在实际性能大体低于可容许的性能阈值水平一段时间后才确定实际性能达不到预期性能。这种方法可以避免在实际结果性能刚好错误时不需要的调整。
在一个实施例中，动作216尤其包括改变相关性方案数据库114以改变搜索算法以便下一次对于所讨论的搜索项调用搜索时，相对于前次搜索中产生结果来说产生一组不同(或改善)的搜索结果。例如，在原始的该组结果中出现的一个特定结果可能被删除或重新排序以下移搜索列表，以便可以在它的位置上插入新的结果，所有这些都根据变化的相关性方案数据库114中所反映的更新搜索算法。在另一个实施例中，动作216可能包括实时改变应用的搜索结果。例如，自动相关性优化器112可以截取搜索引擎112根据目前相关性算法114产生的搜索结果110，并且基于在最近几个小时期间先显示给其他用户的结果最近不良性能诊断，在把该搜索结果传送给用户装置102、104之前应用调整216。
在一个实施例中，动作216尤其包括改变期望的相关性数据214，以便下一次对该搜索项调用搜索时，在对搜索引擎操作的其他方面进行其他修改之前修改用来测量结果性能的期望值以更好地反映搜索引擎运营商期望的性能。
当然，应该理解，可以采用上述几个动作216的组合而不脱离随后的权利要求的范围。例如，自动相关性优化器202可以自动在一个不良表现搜索的搜索结果中插入新的结果，而同时自动把期望的相关性数据214改变为较低值一段初始时间，以便测试新结果的性能。一旦可以确定一个更明确的性能期望，就可以相应地改变期望相关性数据214。
图3是更详细地表示搜索引擎服务器112的具体示范性计算部件的配置的框图，搜索引擎服务器112负责图2所示的自动相关优化系统200的操作。特别是，所示的搜索引擎服务器112包括操作系统302、处理器306以及存储器308，以实现用于该搜索引擎服务器112的通用管理和操作的可执行程序指令。搜索引擎服务器112进一步包括一个用来与例如互联网这样的网络通信的网络界面304，它用来响应用户搜索项108以及提供搜索结果110。对操作系统302、处理器306、存储器308以及网络304的适当实现是公知的或市场上可买到，并且很容易由本领域普通技术人员-尤其是根据在此公开的本领域普通技术人员实现。
搜索引擎服务器112的存储器308包括计算机可执行程序指令，其包括自动相关性优化器处理202。自动相关性优化器处理202尤其包括数据收集处理310、诊断处理312以及调整处理314。数据收集处理310负责从之前参考图2描述的各种源收集性能数据，包括隐含相关性数据204、明确相关性数据206、人们判断测试数据208、相关性验证测试数据210以及抽样A/B测试数据212。数据收集处理310进一步基于数据产生的来源的相对重要性对性能数据进行归一化。在优选实施例中，对隐含相关性数据204加权最大，因为通常认为它是比其他数据源更好并且更客观的相关性预测器。然而，在一些实施例中，其它的性能数据，例如人们判断测试数据，可以超过隐含性能相关性数据204。组合归一化性能数据以便为与期望性能数据214做准备。
在一个实施例中，诊断处理312比较组合并归一化的性能数据与期望的性能数据214。当比较表明搜索结果110表现不佳，那么诊断处理312尝试确定原因。例如，一个表现不佳的结果可能链接一个无效的网站、不再流行的网页或不再有效的文件。在一些情况中，结果可能位于网页106的部分中或以与用户不可能看见的其他结果相关的方式来显示。
一个表现不佳结果可能与搜索项108比与搜索结果110更有关系。例如，在一些情况中，搜索项可能是很容易拼错的词或太常用而不能产生有意义结果的词。作为例子，当用户输入搜索项“Schwarzenegger”时，他或她可能拼错或打错名字因而得到不需要的结果。另一方面，当用户输入术语“Arnold”时，他或她可能正确拼写或输入该术语，但是搜索项太常用，他或她还是得到许多不需要的结果。
一旦确定表现不佳的结果的原因，调整处理314负责产生要采用的适当动作。如已经描述的，在一个实施例中，调整处理314可能产生一个修改相关性方案数据库114的动作216以便在对该搜索项的下一次重复搜索期间产生一组优化的搜索结果110。作为替换，调整处理314可以产生动作216以在向用户装置102、104显示搜索结果110之前截取搜索结果110并且自动优化搜索结果实时。在另一个实施例中，调整处理314可以产生动作216，通过改变在网页106上呈现搜索结果的方式而不是实际改变搜索结果本身来使搜索结果最佳。在另一个实施例中，调整处理314可能产生动作216，以使搜索引擎服务器112自动提示用户用建议的拼写或其他项来使搜索项变清楚。应该理解，调整处理314可能产生其他动作216以调整搜索引擎的操作，并且可以组合动作216而不脱离随后的权利要求的范围。
图4A表示显示搜索网页106的浏览器程序400，其中示出了一个用于实现本发明的实施例的示范性搜索引擎用户界面。用户网页106(图1)可以由搜索引擎服务器112(图1、2)产生并且经互联网116(图1)传送给用户计算装置102、104。搜索引擎用户界面显示之前在文本框402中输入的搜索项108(图1)，并且提示用户用附加的搜索项改进搜索，如果希望，可以使用标有“改进搜索”404的命令按钮。
在图4A中的所述实例中，用户输入搜索项“DOG FOOD”。经互联网116从网页内容118的搜索中产生搜索结果。在本领域众所周知，搜索引擎112可以执行分析这些结果以及排列“最佳”结果的程序指令以根据预定准则向用户显示，例如根据相关性数据库114哪些结果是最相关。这些最佳结果通常显示在一组结果的最顶部。在一个实施例中，搜索结果可以显示在网页106的不同部分中，例如在一个本地部分中，在本地部分中这些结果可以从与进入如黄页列表之类的搜索工具的用户有本地连接的网页内容118得到。应该理解，搜索结果可以以不同格式并在网页106上的不同位置显示，而不脱离随后的权利要求的范围。
仅仅作为例子，直接在重新显示的搜索输入框402下面显示对搜索项“DOGFOOD”产生的三个搜索结果：(1)在参考数字406的PETsMART搜索结果；(2)在参考数据408的eBAY结果；以及(3)在参考数字410的Wild AlaskaSalmonDog Food Supplement结果。为了说明的目的，假定搜索项“DOG FOOD”的这三个搜索结果还没有根据本发明的实施例进行优化，但是按照根据在1:00p.m.时存在的相关性方案数据库114所示的顺序显示。在下面表1中列出了这三个搜索结果每一个的期望性能。
    结果     期望CTR
    PETsMART(406)     15％
    eBAY(408)     10％
    Wild Alaska Salmon(410)     8％
表1
在一个实施例中，在自动相关性优化器202操作期间，对于每个搜索结果406、408和410以CTR的形式收集隐含相关性数据204(图2)，这些结果是对所有最近输入类似搜索并且得到“DOG FOOD”的所示搜索结果的用户所汇总的。在所示的实例中，隐含相关性数据204显示出每个搜索结果406、408和410的实际性能与所期望的并不相同，另外两个实际上由于他们所有的搜索结果没有出现在图4A中所示的搜索结果的第一页上，如下面表2所示：
   结果     实际CTR
   PETsMART(406)     8％
   eBAY(408)     10％
   Wild Alaska Salmon(410)     5％
   PETsMART(418，见图4B)     9％
   Wild Alaska Salmon的(416，见图4B)     20％
表2
在所述例子中，由于搜索结果中的两个PETsMART和Wild Alaska Salmon的实际性能达不到期望结果，因此自动相关性优化器202诊断表现不佳结果406、410的可能原因，并且采取动作216以自动更新相关性数据库114，以便下一次输入对“DOG FOOD”的搜索时，用户将看到一组不同的搜索结果，即基于Amazon.com416和PETCO418的优良性能而在表2中列出的这两个搜索结果。
图4B说明在自动相关性优化器202采取动作216通过更新相关性数据库114自动优化搜索结果的相关性之后显示另一个网页的浏览器程序400，这次如时间框416所示是在稍后的3:00p.m.产生的，在该网页中重新显示对搜索项“DOG FOOD”的搜索结果。在所述例子中，由于在1:00p.m.初始出现在该组搜索结果110顶部的PETsMART结果的实际性能不能证明它留在那里是合理的，因此如图4B所示删去PETsMART的搜索结果(或至少移动到下页)。类似地，由于在1:00p.m.初始出现在该组搜索结果110第一页的第三个位置的Wild Alaska Salmon搜索结果的实际性能不能证明它留在那里是合理的，因此如图4B所示它也被删去(或至少移动到下页)。根据自早先的1:00p.m.后通过动作216更新的相关性方案数据库114，代替表现不佳结果406、410，搜索引擎服务器112取而代之地插入在参考数字416的Amazon.com以及在参考数字418的PETCO。Amazon.com结果416现在出现在该组搜索结果110的顶部，并且PETCO出现在第三位置。对于eBAY而言，eBAY结果408与相关性方案数据库114未改变时一样仍然保持在第二位置，因为该结果满足期望的性能水平。
注意，在上面的例子中，Amazon.com结果416与实际的dog food没有任何关系，其他结果也是一样，例如PETCO416和eBAY408。因此，从纯粹的人们判断的观点来看，新一组的搜索结果可能看起来与搜索项“DOG FOOD”不是很相关。但是20％的高性能CTR表明人们的判断可能失误以及常规的内容分析可能失误的倾向，即这本书可能至少暂时是用户在假期期间作为礼物有兴趣购买的热卖书。因此，具有高度预测性的隐含相关数据204可能比人们判断的数据208重要，并且产生高度相关并且大多数用户高度满意的一组最佳结果。在一个实施例中，代替更新相关性方案数据库114或在此之外，自动相关性优化器202可能采取的另一个动作216将是调整搜索引擎112的操作以提示用户输入“DOG FOOD”作为它们的搜索项，进一步澄清他们是否想要标题为“DOGFOOD”的新热销书的结果，或者他们是否想要有关dog food本身或哪里可以买到dog food等的常用结果信息。一旦这本书“DOG FOOD”的畅销逐渐消失，自动相关性优化器202可能采取相反的动作来更新方案114以删去Amazon.com结果416并去掉任何用户提示以使他们的搜索变清楚。以这种方式，搜索引擎运营商能够自动优化搜索结果以便为用户提供更相关和即时的结果，并且可能甚至为业务量增加的搜索引擎产生更多收入。
应该理解，上面的例子是作为例子给出的。在优选实施例中，隐含相关性数据204将反映比单独的CTR更复杂的用户行为。例如，隐含相关性数据204将反映关于所讨论结果的许多用户行为的汇总，例如用电子邮件把PETCO418的统一记录定位器(URL)传送给一个或多个朋友，在该结果链接的PETCO站点购物。这种复杂的行为通常被认为能比单独的CTR更好预测地相关性。
图5A-5B是说明结合搜索引擎服务器112以及图2和3中根据本发明的实施例用于在搜索引擎中自动优化搜索结果的自动相关优化器202所执行的逻辑的流程图。搜索引擎服务器112在开始框502开始，并且在处理框504根据当前的相关性方案数据库114继续产生具有搜索结果110(图1)的搜索网页106。在处理框506，自动相关性优化器处理202从各种源收集搜索结果110的相关性性能数据，包括隐含相关性数据204、明确相关性数据206、人们判断测试数据208、相关性验证测试数据210以及抽样A/B测试数据212。在一个实施例中，收集隐含相关性数据204可以包括汇总跨一个本地用户会话或跨多个会话或者在可从搜索引擎服务器112得到交叉用户数据的情况下甚至汇总跨多个用户的数据。作为替换，隐含相关性数据204可以通过搜索引擎服务器112集合供自动相关性优化器处理202使用。在任何情况中，处理在处理框508继续，在那里自动相关性优化处理器202把收集的相关性性能数据的各种源编辑为考虑中的一个结果或多个结果的实际性能的量度，包括根据各个性能数据源的相对重要性对它们进行归一化。在一个实施例中，各种源的相对重要性是在预测搜索结果的相关性时它们值的量度，并且那个值可以由搜索引擎运营商预先定义，并且进一步可以随着时间改变以帮助运营商微调自动相关性优化处理。在一个优选实施例中，隐含相关性数据204的值可能高于其他相关性性能数据源，因为由于较大的数据收集潜在规模以及收集数据的速度它可能预测性更好。
在一个实施例中，自动相关性优化器处理202在处理框510继续，以便得到考虑中的这个搜索结果或这些搜索结果的期望相关性数据214。期望相关性数据214可以由搜索引擎运营商预先定义并且随着时间改变以反应在时间上搜索结果期望性能中的变化。在一个实施例中，期望相关性数据214甚至可以通过自动相关性优化器202的前一次重复所产生的动作216进行改变和更新，以便反映期望中的任何自动变化。
在一个实施例中，自动相关性优化器处理202在处理框512继续，以比较考虑中的一个结果或多个结果的实际性能的量度与期望性能，这里实际性能是在处理框508确定的，期望性能是在处理框510确定的。当比较不满意时，例如实际性能达不到或基本达不到期望性能，搜索结果就是表现不佳，这可能表明搜索结果相关性有问题。自动相关性优化器处理尝试诊断该问题的一个可能原因或一些可能原因。例如，在一些情况中，例如像在对结果收集的隐含相关性数据204中所反映的，该结果是过时的或其他新的结果现在更相关。在另一些情况中，产生搜索结果的搜索项太宽或很容易拼错，并且要求搜索引擎提供用户澄清这些项。可以进行该问题的可能原因的许多其他诊断而不脱离随后的权利要求的范围。
在图5B中，自动相关性优化器202在判定框514继续，以确定是否已经诊断出搜索结果相关性的问题。如果否，那么自动相关性优化器202在最终的椭圆形520结束。否则，处理在处理框516继续，在那里自动相关性优化器202确定产生什么调整或正确的动作216(图2)来努力解决该问题。如早前所述，动作216可以包括对搜索引擎操作的调整，以在该问题与搜索项太常用或很容易拼错相关的情况中提示用户使搜索项变清楚或变窄。在一个实施例中，动作216可以包括对相关性方案数据库114暂时或永久地修改，或甚至对期望相关性数据214修改。在另一个实施例中，动作216可以包括实时对搜索网页106上的搜索结果进行一次或多次修改，其中搜索引擎112产生的搜索结果110被截取、重新归类、重新排序、重新格式化、删除、用其他结果代替或被修改以努力为用户优化搜索结果相关性。可以采用上述动作216的组合而不脱离随后的权利要求的范围。
尽管已经图示和描述了本发明的目前优选实施例，但是应该认识到，在不脱离本发明的精神和范围的情况下可以在其中进行各种改变。例如，如已经描述的，在本发明的一个实施例中，自动相关性优化系统处理202和用于数据收集310、诊断312以及调整314的相关子处理可以实时实现以基于搜索引擎服务器112捕获的以及自动相关性优化器202收集的最新性能数据而考虑最新优化。在另一个实施例中，自动相关优化系统200处理可以以批处理方式实现，以考虑来自各种源的性能数据的数据收集，包括隐含相关性数据204、明确相关性数据206、人们判断测试数据208、相关性验证测试数据210以及抽样A/B测试数据212，以及搜索结果自动和手工优化的组合。在又一个实施例中，自动优化搜索结果相关性系统200可以在应用中限于少于所有性能数据源的考虑，例如，限于隐含相关性数据204，以及在应用中仅限于特定类型的动作216，例如对相关性方案数据库114的永久修改、对相关性方案数据库114或搜索结果110的实时更新或其任意组合。

Claims (66)

1.一种用于自动优化搜索网页中显示的搜索结果的方法，该方法包括以下步骤：
收集表示一个搜索结果性能的数据，该数据源于多个性能数据源中的至少一个；
根据该数据源的相对重要性对收集的数据进行归一化；
为搜索结果比较该归一化性能数据和期望性能数据；
诊断表现不佳搜索结果的至少一个可能原因；以及
根据该诊断调整产生该搜索结果的搜索引擎的操作以改善搜索结果性能。
2.如权利要求1的方法，其中该多个性能数据源的该至少一个包括隐含性能数据、明确性能数据、人们判断性能数据、相关性验证数据以及抽样测试数据之一。
3.如权利要求1的方法，其中根据该数据源的相对重要性对收集的数据进行归一化的步骤包括给来自较重要源的数据赋予较大的权重并且组合该数据以反映产生数据的源的相对重要性。
4.如权利要求2的方法，其中比较归一化性能数据和期望性能数据的步骤包括当归一化性能低于或基本低于期望性能时确定该搜索结果表现不佳。
5.如权利要求2的方法，其中最重要的数据源是隐含性能数据，并且对收集的数据进行归一化的步骤包括当组合这些数据时赋予隐含性能数据较大的权重。
6.如权利要求2的方法，其中隐含性能数据是在用户与搜索结果交互时自动捕获的。
7.如权利要求6的方法，其中隐含性能数据包括用户是否点击该结果、当用户点击该结果时该结果的位置以及用户浏览该结果的时间长度中的至少一个。
8.如权利要求7的方法，其中隐含性能数据进一步标识用户在结果上执行的操作，包括编辑、发邮件、打印、用书签标记以及复制中的至少一个。
9.如权利要求6的方法，其中隐含性能数据包括跨多次与搜索结果的交互所汇总的捕获数据。
10.如权利要求6的方法，其中隐含性能数据包括跨多个与搜索结果交互的用户所汇总的捕获数据。
11.如权利要求2的方法，其中明确性能数据包括从用户回答搜索引擎运营商产生的有关搜索结果的询问中获得的数据，其中该询问包括在线询问和电话询问之一。
12.如权利要求2的方法，其中人们判断性能数据包括从人们对搜索结果的评估中获得的数据。
13.如权利要求2的方法，其中相关性验证数据包括从搜索结果相关性验证测试中获得的数据，以验证具有已知相关性的搜索结果是否仍然包含在该搜索引擎产生的搜索结果中。
14.如权利要求2的方法，其中抽样测试数据包括从对一个用户子集的抽样执行的搜索结果相关性测试中获得的数据。
15.如权利要求2的方法，其中诊断表现不佳搜索结果的至少一个可能原因的步骤包括考虑搜索结果是否不再有效、搜索结果是否出现在不好的位置上、产生搜索结果的搜索项是否很容易拼错、搜索项是否太宽而不能产生有意义的结果以及对搜索项的搜索是否应该限定到一个特定资源中的至少一个。
16.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括修改搜索引擎的搜索方案以改变对该搜索项产生的搜索结果，其中改变搜索结果包括重新分类、删除、代替这些搜索结果中的至少一种。
17.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括修改搜索引擎的搜索方案以增强为该搜索产生的搜索结果显示，其中增强显示包括以下之一：用高亮、用动画显示、放大以及改变搜索结果在搜索结果网页上出现的位置。
18.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括增加搜索引擎的拼写检查程序容差。
19.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括提示用户用附加的用户输入使搜索项变清楚或变窄。
20.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括暂时调整搜索引擎的操作以及在永久调整搜索引擎操作之前确定这些调整是否实际上改善了搜索结果性能。
21.如权利要求2的方法，其中根据诊断调整产生搜索结果的搜索引擎的操作以改善搜索结果性能的步骤，包括实时调整搜索引擎的操作。
22.如权利要求21的方法，其中实时调整搜索引擎的操作的步骤包括在搜索引擎为用户显示搜索结果之前截取搜索引擎产生的搜索结果以及修改搜索结果。
23.一种自动搜索结果优化系统，包括：
输入数据，用于表示搜索引擎为一个搜索项产生的搜索结果的性能，该输入数据源于多个源；
数据收集处理，用来从该多个源收集该输入性能数据；
诊断处理，用来比较所收集的性能数据所表示的搜索结果性能和该搜索结果的期望性能；以及
调整处理，用来在每当搜索结果性能与期望性能的比较不满意时，产生表示自动调整搜索引擎操作的动作的输出数据，其中搜索引擎的调整操作是为了改善搜索结果的性能。
24.如权利要求23的系统，其中该多个输入性能数据源的该至少一个包括隐含性能数据、明确性能数据、人们判断性能数据、相关性验证数据以及抽样测试数据之一。
25.如权利要求23的系统，其中该数据收集处理包括一个归一化处理，用来根据数据源的相对重要性对收集到的数据进行归一化，并且归一化包括给来自较重要源的数据赋予较大的权重并且组合该数据以反映产生数据的源的相对重要性。
26.如权利要求25的系统，其中诊断处理比较归一化的收集性能数据所表示的搜索结果的性能和搜索结果的期望性能数据；并且当归一化性能低于或基本低于期望性能时该比较结果不满意。
27.如权利要求25的系统，其中最重要的数据源是隐含性能数据，并且对收集的数据进行归一化的步骤包括当组合这些数据时赋予隐含性能数据较大的权重。
28.如权利要求27的系统，其中隐含性能数据是在用户与搜索结果交互时自动捕获的。
29.如权利要求28的系统，其中隐含性能数据包括用户是否点击该结果、当用户点击该结果时该结果的位置以及用户浏览该结果的时间长度中的至少一个。
30.如权利要求29的系统，其中隐含性能数据进一步包括表示用户在结果上执行的操作的标识的数据，所述操作包括编辑、发邮件、打印、用书签标记以及复制中的至少一个。
31.如权利要求28的系统，其中隐含性能数据包括跨多次与搜索结果的交互所汇总的捕获数据。
32.如权利要求28的系统，其中隐含性能数据包括跨多个与搜索结果交互的用户所汇总的捕获数据。
33.如权利要求24的系统，其中明确性能数据包括从用户回答搜索引擎运营商产生的有关搜索结果的用户满意度调查中获得的数据。
34.如权利要求24的系统，其中人们判断性能数据包括从人们对搜索结果的评估中获得的数据。
35.如权利要求24的系统，其中相关性验证数据包括从搜索结果相关性验证测试中获得的数据，以验证具有已知相关性的搜索结果是否仍然包含在该搜索引擎产生的搜索结果中。
36.如权利要求24的系统，其中抽样测试数据包括从对一个用户子集的抽样执行的搜索结果相关性测试中获得的数据。
37.如权利要求24的系统，其中诊断处理进一步包括诊断搜索结果的性能与期望性能相比不满意的至少一个可能原因，包括考虑搜索结果是否不再有效、搜索结果是否出现在不好的位置上、产生搜索结果的搜索项是否很容易拼错、搜索项是否太宽而不能产生有意义的结果以及对搜索项的搜索是否应该限定到一个特定资源中的至少一个。
38.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理包括，产生一个表示修改搜索引擎的搜索方案的动作的输出数据，其中所修改的搜索方案改变搜索引擎为搜索项产生搜索结果的方式，这些方式包括重新分类、删除、代替该搜索结果中的至少一种。
39.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理包括，产生一个表示修改搜索引擎的搜索方案的动作的输出数据，其中所修改的搜索方案增强搜索引擎显示搜索项的搜索结果的方式，这些方式包括用高亮、用动画显示、放大以及改变搜索结果在搜索结果网页上出现的位置中的至少一个。
40.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理包括，产生一个表示增加搜索引擎的拼写检查程序容差的动作的输出数据。
41.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理，包括产生一个输出数据，该输出数据表示提示用户用附加的用户输入使搜索项变清楚或变窄的动作。
42.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理，包括产生一个输出数据，该输出数据表示暂时调整搜索引擎的操作以及在产生永久调整搜索引擎操作的动作之前确定该暂时调整是否实际上改善了搜索结果性能的动作。
43.如权利要求23的系统，其中用来产生表示自动调整搜索引擎操作的动作的输出数据的调整处理包括，产生一个表示实时调整搜索引擎操作的动作的输出数据。
44.如权利要求23的系统，其中实时调整搜索引擎操作的动作包括在搜索引擎为用户显示搜索结果之前截取搜索引擎产生的搜索结果以及进一步修改搜索结果的动作。
45.一种或多种计算机可访问介质，具有用于在搜索结果用户界面中便于自动优化搜索结果的指令，这些指令包括：
从多个性能数据源中的至少一个收集表示一个搜索结果性能的数据；
根据该数据源的相对重要性对收集的数据进行归一化；
为搜索结果比较该归一化性能数据和期望性能数据；
诊断搜索结果性能与期望性能相比不满意的至少一个可能原因；以及
根据该诊断调整产生该搜索结果的搜索引擎的操作以改善搜索结果性能。
46.如权利要求45的计算机可访问介质，其中该多个性能数据源的该至少一个包括隐含性能数据、明确性能数据、人们判断性能数据、相关性验证数据以及抽样测试数据之一。
47.如权利要求45的计算机可访问介质，其中用来根据该数据源的相对重要性对收集的数据进行归一化的指令包括，用来给来自较重要源的数据赋予较大的权重并且组合该数据以反映产生数据的源的相对重要性的指令。
48.如权利要求45的计算机可访问介质，其中用来比较归一化性能数据和期望性能数据的指令包括，用来当归一化性能低于或基本低于期望性能时确定该搜索结果表现不佳的指令。
49.如权利要求47的计算机可访问介质，其中最重要的数据源是隐含性能数据，并且对收集的数据进行归一化的指令包括当组合这些数据时赋予隐含性能数据基本较大的权重的指令。
50.如权利要求46的计算机可访问介质，其中隐含性能数据是在用户与搜索结果交互时搜索引擎自动捕获的数据。
51.如权利要求50的计算机可访问介质，其中隐含性能数据包括表示用户是否点击该结果、当用户点击该结果时该结果的位置以及用户浏览该结果的时间长度中的至少一个的数据。
52.如权利要求50的计算机可访问介质，其中隐含性能数据进一步标识用户在结果上执行的操作，包括编辑、发邮件、打印、用书签标记以及复制中的至少一个。
53.如权利要求50的计算机可访问介质，其中隐含性能数据包括跨多次与搜索结果的交互所汇总的捕获数据。
54.如权利要求50的计算机可访问介质，其中隐含性能数据包括跨多个与搜索结果交互的用户所汇总的捕获数据。
55.如权利要求50的计算机可访问介质，其中明确性能数据包括从用户回答搜索引擎运营商产生的有关搜索结果的询问中获得的数据，其中该询问包括在线询问和电话询问之一。
56.如权利要求50的计算机可访问介质，其中人们判断性能数据包括从人们对搜索结果的评估中获得的数据。
57.如权利要求46的计算机可访问介质，其中相关性验证数据包括从搜索结果相关性验证测试中获得的数据，以验证具有已知相关性的搜索结果是否仍然包含在该搜索引擎产生的搜索结果中。
58.如权利要求46的计算机可访问介质，其中抽样测试数据包括从对一个用户子集的抽样执行的搜索结果相关性测试中获得的数据。
59.如权利要求45的计算机可访问介质，其中用来诊断搜索结果性能与期望性能相比不满意的至少一个可能原因的指令包括，用来确定以下至少一个的指令：搜索结果是否不再有效、搜索结果是否出现在不好的位置上、产生搜索结果的搜索项是否很容易拼错、搜索项是否太宽而不能产生有意义的结果以及对搜索项的搜索是否应该限定到一个特定资源。
60.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎操作的指令包括，用于修改搜索引擎的搜索方案以改变对该搜索项产生的搜索结果的指令，其中改变搜索结果包括重新分类、删除、代替该搜索结果中的至少一种。
61.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎操作的指令包括，用于修改搜索引擎的搜索方案以增强为该搜索项产生的搜索结果的显示的指令，其中增强显示包括以下至少一个：用高亮、用动画显示、放大以及改变搜索结果在搜索结果网页上出现的位置。
62.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎操作的指令包括，用来增加搜索引擎的拼写检查程序容差的指令。
63.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎操作的指令包括，用来提示用户用附加的用户输入使搜索项变清楚或变窄的指令。
64.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎操作的指令包括，用来暂时调整搜索引擎操作的指令以及用来在执行永久调整搜索引擎操作的指令之前进一步确定这些调整是否实际上改善了搜索结果性能的指令。
65.如权利要求45的计算机可访问介质，其中用来根据诊断调整产生搜索结果的搜索引擎的操作的指令，包括用来实时调整搜索引擎操作的指令。
66.如权利要求45的计算机可访问介质，其中用来实时调整搜索引擎操作的指令，包括在搜索引擎为用户显示搜索结果之前用来截取搜索引擎产生的搜索结果的指令以及用来进一步修改搜索结果的指令。
CNA2005100655413A 2004-03-22 2005-03-22 用于自动优化搜索结果相关性的系统和方法 Pending CN1677403A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/805,731 2004-03-22
US10/805,731 US7444327B2 (en) 2004-01-09 2004-03-22 System and method for automated optimization of search result relevance

Publications (1)

Publication Number Publication Date
CN1677403A true CN1677403A (zh) 2005-10-05

Family

ID=34862018

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100655413A Pending CN1677403A (zh) 2004-03-22 2005-03-22 用于自动优化搜索结果相关性的系统和方法

Country Status (8)

Country Link
US (1) US7444327B2 (zh)
EP (1) EP1580670A1 (zh)
JP (2) JP2005276213A (zh)
KR (1) KR101130505B1 (zh)
CN (1) CN1677403A (zh)
BR (1) BRPI0501151A (zh)
CA (1) CA2501668C (zh)
MX (1) MXPA05003141A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078962A (zh) * 2011-12-14 2013-05-01 微软公司 增加针对上下文信号返回的信息的准确度
CN103491197A (zh) * 2013-10-12 2014-01-01 北京海联捷讯信息科技发展有限公司 分布式自动巡检系统及其资源收集方法
CN103714114A (zh) * 2012-10-05 2014-04-09 成功要素股份有限公司 自然语言度量条件警告编排
CN105117500A (zh) * 2015-10-10 2015-12-02 成都携恩科技有限公司 一种在大数据背景下的数据查询获取方法
CN107967634A (zh) * 2016-10-19 2018-04-27 阿里巴巴集团控股有限公司 一种信息推荐方法及装置
US10380125B2 (en) 2015-05-01 2019-08-13 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8590013B2 (en) 2002-02-25 2013-11-19 C. S. Lee Crawford Method of managing and communicating data pertaining to software applications for processor-based devices comprising wireless communication circuitry
US9092788B2 (en) 2002-03-07 2015-07-28 Compete, Inc. System and method of collecting and analyzing clickstream data
US10296919B2 (en) 2002-03-07 2019-05-21 Comscore, Inc. System and method of a click event data collection platform
US9129032B2 (en) 2002-03-07 2015-09-08 Compete, Inc. System and method for processing a clickstream in a parallel processing architecture
US8095589B2 (en) 2002-03-07 2012-01-10 Compete, Inc. Clickstream analysis methods and systems
US7403939B1 (en) 2003-05-30 2008-07-22 Aol Llc Resolving queries based on automatic determination of requestor geographic location
US8341017B2 (en) * 2004-01-09 2012-12-25 Microsoft Corporation System and method for optimizing search result listings
US20050209919A1 (en) * 2004-03-17 2005-09-22 Charles Stubbs Targeted consumer traffic delivery system
KR100483025B1 (ko) * 2004-05-21 2005-04-15 엔에이치엔(주) 명령어의 유효성 판단 방법 및 그 시스템
US7437358B2 (en) 2004-06-25 2008-10-14 Apple Inc. Methods and systems for managing data
US7730012B2 (en) 2004-06-25 2010-06-01 Apple Inc. Methods and systems for managing data
US7774326B2 (en) * 2004-06-25 2010-08-10 Apple Inc. Methods and systems for managing data
US9223868B2 (en) * 2004-06-28 2015-12-29 Google Inc. Deriving and using interaction profiles
US7562069B1 (en) 2004-07-01 2009-07-14 Aol Llc Query disambiguation
US20060069675A1 (en) 2004-09-30 2006-03-30 Ogilvie John W Search tools and techniques
US20060122976A1 (en) 2004-12-03 2006-06-08 Shumeet Baluja Predictive information retrieval
US7818314B2 (en) * 2004-12-29 2010-10-19 Aol Inc. Search fusion
US7349896B2 (en) * 2004-12-29 2008-03-25 Aol Llc Query routing
US7272597B2 (en) 2004-12-29 2007-09-18 Aol Llc Domain expert search
US7571157B2 (en) * 2004-12-29 2009-08-04 Aol Llc Filtering search results
WO2006075389A1 (ja) * 2005-01-14 2006-07-20 Fujitsu Limited 通信端末装置および通信プログラム
US8219567B2 (en) * 2005-03-15 2012-07-10 Microsoft Corporation Mobile friendly internet searches
US7962504B1 (en) 2005-05-26 2011-06-14 Aol Inc. Sourcing terms into a search engine
US20070005588A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Determining relevance using queries as surrogate content
US20070016577A1 (en) * 2005-07-13 2007-01-18 Rivergy, Inc. System for building a website
US9105028B2 (en) * 2005-08-10 2015-08-11 Compete, Inc. Monitoring clickstream behavior of viewers of online advertisements and search results
US7860841B2 (en) * 2005-09-09 2010-12-28 Sap Ag Method and apparatus to support mass changes to business objects in an integrated computer system
US8311888B2 (en) 2005-09-14 2012-11-13 Jumptap, Inc. Revenue models associated with syndication of a behavioral profile using a monetization platform
US9076175B2 (en) 2005-09-14 2015-07-07 Millennial Media, Inc. Mobile comparison shopping
US7752209B2 (en) 2005-09-14 2010-07-06 Jumptap, Inc. Presenting sponsored content on a mobile communication facility
US8615719B2 (en) 2005-09-14 2013-12-24 Jumptap, Inc. Managing sponsored content for delivery to mobile communication facilities
US8364521B2 (en) 2005-09-14 2013-01-29 Jumptap, Inc. Rendering targeted advertisement on mobile communication facilities
US8238888B2 (en) 2006-09-13 2012-08-07 Jumptap, Inc. Methods and systems for mobile coupon placement
US8103545B2 (en) 2005-09-14 2012-01-24 Jumptap, Inc. Managing payment for sponsored content presented to mobile communication facilities
US9058406B2 (en) 2005-09-14 2015-06-16 Millennial Media, Inc. Management of multiple advertising inventories using a monetization platform
US8660891B2 (en) 2005-11-01 2014-02-25 Millennial Media Interactive mobile advertisement banners
US7577665B2 (en) 2005-09-14 2009-08-18 Jumptap, Inc. User characteristic influenced search results
US8209344B2 (en) 2005-09-14 2012-06-26 Jumptap, Inc. Embedding sponsored content in mobile applications
US8131271B2 (en) 2005-11-05 2012-03-06 Jumptap, Inc. Categorization of a mobile user profile based on browse behavior
US7702318B2 (en) 2005-09-14 2010-04-20 Jumptap, Inc. Presentation of sponsored content based on mobile transaction event
US9471925B2 (en) 2005-09-14 2016-10-18 Millennial Media Llc Increasing mobile interactivity
US7676394B2 (en) 2005-09-14 2010-03-09 Jumptap, Inc. Dynamic bidding and expected value
US9201979B2 (en) 2005-09-14 2015-12-01 Millennial Media, Inc. Syndication of a behavioral profile associated with an availability condition using a monetization platform
US9703892B2 (en) 2005-09-14 2017-07-11 Millennial Media Llc Predictive text completion for a mobile communication facility
US8666376B2 (en) 2005-09-14 2014-03-04 Millennial Media Location based mobile shopping affinity program
US10038756B2 (en) 2005-09-14 2018-07-31 Millenial Media LLC Managing sponsored content based on device characteristics
US8805339B2 (en) 2005-09-14 2014-08-12 Millennial Media, Inc. Categorization of a mobile user profile based on browse and viewing behavior
US8989718B2 (en) 2005-09-14 2015-03-24 Millennial Media, Inc. Idle screen advertising
US7769764B2 (en) 2005-09-14 2010-08-03 Jumptap, Inc. Mobile advertisement syndication
US8302030B2 (en) 2005-09-14 2012-10-30 Jumptap, Inc. Management of multiple advertising inventories using a monetization platform
US7912458B2 (en) 2005-09-14 2011-03-22 Jumptap, Inc. Interaction analysis and prioritization of mobile content
US7660581B2 (en) 2005-09-14 2010-02-09 Jumptap, Inc. Managing sponsored content based on usage history
US7860871B2 (en) 2005-09-14 2010-12-28 Jumptap, Inc. User history influenced search results
US20070060114A1 (en) * 2005-09-14 2007-03-15 Jorey Ramer Predictive text completion for a mobile communication facility
US8503995B2 (en) 2005-09-14 2013-08-06 Jumptap, Inc. Mobile dynamic advertisement creation and placement
US8364540B2 (en) 2005-09-14 2013-01-29 Jumptap, Inc. Contextual targeting of content using a monetization platform
US8819659B2 (en) 2005-09-14 2014-08-26 Millennial Media, Inc. Mobile search service instant activation
US8515400B2 (en) 2005-09-14 2013-08-20 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
US8195133B2 (en) 2005-09-14 2012-06-05 Jumptap, Inc. Mobile dynamic advertisement creation and placement
US8027879B2 (en) 2005-11-05 2011-09-27 Jumptap, Inc. Exclusivity bidding for mobile sponsored content
US10911894B2 (en) 2005-09-14 2021-02-02 Verizon Media Inc. Use of dynamic content generation parameters based on previous performance of those parameters
US8688671B2 (en) 2005-09-14 2014-04-01 Millennial Media Managing sponsored content based on geographic region
US8156128B2 (en) 2005-09-14 2012-04-10 Jumptap, Inc. Contextual mobile content placement on a mobile communication facility
US8229914B2 (en) 2005-09-14 2012-07-24 Jumptap, Inc. Mobile content spidering and compatibility determination
US8832100B2 (en) 2005-09-14 2014-09-09 Millennial Media, Inc. User transaction history influenced search results
US8290810B2 (en) 2005-09-14 2012-10-16 Jumptap, Inc. Realtime surveying within mobile sponsored content
US20110313853A1 (en) 2005-09-14 2011-12-22 Jorey Ramer System for targeting advertising content to a plurality of mobile communication facilities
US8812526B2 (en) 2005-09-14 2014-08-19 Millennial Media, Inc. Mobile content cross-inventory yield optimization
US10592930B2 (en) 2005-09-14 2020-03-17 Millenial Media, LLC Syndication of a behavioral profile using a monetization platform
US7921109B2 (en) * 2005-10-05 2011-04-05 Yahoo! Inc. Customizable ordering of search results and predictive query generation
US8175585B2 (en) 2005-11-05 2012-05-08 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
US8571999B2 (en) 2005-11-14 2013-10-29 C. S. Lee Crawford Method of conducting operations for a social network application including activity list generation
WO2007059153A2 (en) * 2005-11-14 2007-05-24 Aol Llc Displaying user feedback for search results
US20070112758A1 (en) * 2005-11-14 2007-05-17 Aol Llc Displaying User Feedback for Search Results From People Related to a User
US20070112738A1 (en) * 2005-11-14 2007-05-17 Aol Llc Displaying User Relevance Feedback for Search Results
JP4552147B2 (ja) * 2006-01-27 2010-09-29 ソニー株式会社 情報検索装置、情報検索方法及び情報検索プログラム
US8874591B2 (en) * 2006-01-31 2014-10-28 Microsoft Corporation Using user feedback to improve search results
US20070256095A1 (en) * 2006-04-27 2007-11-01 Collins Robert J System and method for the normalization of advertising metrics
US8442973B2 (en) * 2006-05-02 2013-05-14 Surf Canyon, Inc. Real time implicit user modeling for personalized search
US7424488B2 (en) * 2006-06-27 2008-09-09 International Business Machines Corporation Context-aware, adaptive approach to information selection for interactive information analysis
US20080027913A1 (en) * 2006-07-25 2008-01-31 Yahoo! Inc. System and method of information retrieval engine evaluation using human judgment input
US8104048B2 (en) * 2006-08-04 2012-01-24 Apple Inc. Browsing or searching user interfaces and other aspects
US20080033919A1 (en) * 2006-08-04 2008-02-07 Yan Arrouye Methods and systems for managing data
US8117197B1 (en) 2008-06-10 2012-02-14 Surf Canyon, Inc. Adaptive user interface for real-time search relevance feedback
US20080059455A1 (en) * 2006-08-31 2008-03-06 Canoy Michael-David N Method and apparatus of obtaining or providing search results using user-based biases
US7653618B2 (en) 2007-02-02 2010-01-26 International Business Machines Corporation Method and system for searching and retrieving reusable assets
US7668823B2 (en) * 2007-04-03 2010-02-23 Google Inc. Identifying inadequate search content
CA2686540A1 (en) 2007-04-10 2008-10-16 Accenture Global Services Gmbh System and method of search validation
US8359309B1 (en) * 2007-05-23 2013-01-22 Google Inc. Modifying search result ranking based on corpus search statistics
US20080306819A1 (en) * 2007-06-08 2008-12-11 Yahoo! Inc. System and method for shaping relevance scores for position auctions
US8201096B2 (en) 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8200694B1 (en) * 2007-07-23 2012-06-12 Google Inc. Identification of implicitly local queries
US9178848B1 (en) 2007-07-23 2015-11-03 Google Inc. Identifying affiliated domains
US7613694B2 (en) * 2007-08-24 2009-11-03 Omholt Ray E Computer-implemented method and apparatus for recording and organizing multiple responses to queries used to create a legacy profile in a manner that expands memory recall
US9058337B2 (en) * 2007-10-22 2015-06-16 Apple Inc. Previewing user interfaces and other aspects
US7984000B2 (en) 2007-10-31 2011-07-19 Microsoft Corporation Predicting and using search engine switching behavior
US8051076B1 (en) * 2007-12-13 2011-11-01 Google Inc. Demotion of repetitive search results
US8484190B1 (en) * 2007-12-18 2013-07-09 Google Inc. Prompt for query clarification
WO2009082837A1 (fr) * 2007-12-26 2009-07-09 Zte Corporation Procédé et dispositif de coordination concernant la robustesse d'un système
US20090193007A1 (en) * 2008-01-28 2009-07-30 Andrea Filippo Mastalli Systems and methods for ranking search engine results
US7836058B2 (en) * 2008-03-27 2010-11-16 Microsoft Corporation Web searching
US8788490B1 (en) 2008-06-27 2014-07-22 Google Inc. Link based locale identification for domains and domain content
US8793249B2 (en) * 2008-09-24 2014-07-29 Yahoo! Inc. Optimization filters for user generated content searches
US20100174603A1 (en) * 2008-10-14 2010-07-08 Robert Hughes System and Method for Advertising Placement and/or Web Site Optimization
US8259124B2 (en) 2008-11-06 2012-09-04 Microsoft Corporation Dynamic search result highlighting
US9519712B2 (en) * 2009-01-06 2016-12-13 At&T Intellectual Property I, L.P. Systems and methods to evaluate search qualities
US8326826B1 (en) 2009-01-12 2012-12-04 Google Inc. Navigational resources for queries
US20100241514A1 (en) * 2009-03-17 2010-09-23 Microsoft Corporation Automated provision of user feedback
US20100262600A1 (en) * 2009-04-08 2010-10-14 Dumon Olivier G Methods and systems for deriving demand metrics used in ordering item listings presented in a search results page
US8583673B2 (en) * 2009-08-17 2013-11-12 Microsoft Corporation Progressive filtering of search results
US20110178868A1 (en) * 2010-01-21 2011-07-21 Priyank Shanker Garg Enhancing search result pages using content licensed from content providers
US10140339B2 (en) * 2010-01-26 2018-11-27 Paypal, Inc. Methods and systems for simulating a search to generate an optimized scoring function
US20110231547A1 (en) * 2010-03-18 2011-09-22 Yang Ju-Ting Search methods applied to a personal network gateway in converged personal network service systems and related converged personal network service systems and mobile devices
US8306964B2 (en) * 2010-07-20 2012-11-06 Microsoft Corporation Extraction of rich search information from index servers via an alternative asynchronous data path
US8135706B2 (en) * 2010-08-12 2012-03-13 Brightedge Technologies, Inc. Operationalizing search engine optimization
CA2805872C (en) * 2010-08-20 2014-04-15 Rakuten, Inc. Information provisioning device, information provisioning method, program, and information recording medium
US8650191B2 (en) 2010-08-23 2014-02-11 Vistaprint Schweiz Gmbh Search engine optimization assistant
US8817053B2 (en) 2010-09-30 2014-08-26 Apple Inc. Methods and systems for opening a file
CN102810104B (zh) * 2011-06-03 2015-05-20 阿里巴巴集团控股有限公司 信息调整方法及装置
US9384266B1 (en) * 2011-06-13 2016-07-05 Google Inc. Predictive generation of search suggestions
US9183280B2 (en) 2011-09-30 2015-11-10 Paypal, Inc. Methods and systems using demand metrics for presenting aspects for item listings presented in a search results page
US8954414B2 (en) * 2011-11-22 2015-02-10 Microsoft Technology Licensing, Llc Search model updates
US8880992B2 (en) * 2012-01-10 2014-11-04 Google Inc. Method and apparatus for animating transitions between search results
US8719934B2 (en) * 2012-09-06 2014-05-06 Dstillery, Inc. Methods, systems and media for detecting non-intended traffic using co-visitation information
US20140089090A1 (en) * 2012-09-21 2014-03-27 Steven Thrasher Searching data storage systems and devices by theme
US8751477B2 (en) * 2012-10-05 2014-06-10 Iac Search & Media, Inc. Quality control system for providing results in response to queries
CN102937974A (zh) * 2012-10-17 2013-02-20 北京奇虎科技有限公司 一种搜索服务器及搜索方法
GB201312280D0 (en) * 2013-07-09 2013-08-21 Maxymiser Ltd Native app
US20150127813A1 (en) * 2013-11-07 2015-05-07 Hong Li Contextual browser composition and knowledge organization
WO2015155820A1 (ja) * 2014-04-07 2015-10-15 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
US10303725B2 (en) * 2014-05-01 2019-05-28 Airbnb, Inc. Re-ranking search results for location refining and diversity
US10310699B1 (en) * 2014-12-08 2019-06-04 Amazon Technologies, Inc. Dynamic modification of browser and content presentation
RU2637899C2 (ru) * 2015-07-16 2017-12-07 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска
US10311856B2 (en) 2016-10-03 2019-06-04 Google Llc Synthesized voice selection for computational agents
US11663535B2 (en) 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10853747B2 (en) 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
WO2018067403A1 (en) * 2016-10-03 2018-04-12 Google Inc. Multi computational agent performance of tasks
CN106845061A (zh) * 2016-11-02 2017-06-13 百度在线网络技术（北京）有限公司 智能问诊系统和方法
US11269960B2 (en) 2017-05-15 2022-03-08 Microsoft Technology Licensing, Llc Dynamic search interfaces
JP6956652B2 (ja) * 2018-02-26 2021-11-02 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20240036284A (ko) * 2022-09-13 2024-03-20 쿠팡 주식회사 전자 장치 및 그의 정보 관리 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US14331A (en) * 1856-02-26 new jeksey
US5966126A (en) * 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6631372B1 (en) 1998-02-13 2003-10-07 Yahoo! Inc. Search engine using sales and revenue to weight search results
US6144958A (en) * 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
US6223215B1 (en) * 1998-09-22 2001-04-24 Sony Corporation Tracking a user's purchases on the internet by associating the user with an inbound source and a session identifier
US6360227B1 (en) * 1999-01-29 2002-03-19 International Business Machines Corporation System and method for generating taxonomies with applications to content-based recommendations
US6678681B1 (en) 1999-03-10 2004-01-13 Google Inc. Information extraction from a database
JP2000331010A (ja) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法および装置と映像検索プログラムを記録した記録媒体
US6269361B1 (en) * 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
US7035812B2 (en) 1999-05-28 2006-04-25 Overture Services, Inc. System and method for enabling multi-element bidding for influencing a position on a search result list generated by a computer network search engine
US6615209B1 (en) 2000-02-22 2003-09-02 Google, Inc. Detecting query-specific duplicate documents
US6434550B1 (en) * 2000-04-14 2002-08-13 Rightnow Technologies, Inc. Temporal updates of relevancy rating of retrieved information in an information search system
WO2001082178A2 (en) 2000-04-21 2001-11-01 Bay9, Inc. System and method of bidding for placement of advertisements in search engine
US7136854B2 (en) 2000-07-06 2006-11-14 Google, Inc. Methods and apparatus for providing search results in response to an ambiguous search query
US6529903B2 (en) * 2000-07-06 2003-03-04 Google, Inc. Methods and apparatus for using a modified index to provide search results in response to an ambiguous search query
US7062488B1 (en) * 2000-08-30 2006-06-13 Richard Reisman Task/domain segmentation in applying feedback to command control
US6647383B1 (en) * 2000-09-01 2003-11-11 Lucent Technologies Inc. System and method for providing interactive dialogue and iterative search functions to find information
CA2424487C (en) 2000-09-28 2012-11-27 Oracle Corporation Enterprise web mining system and method
US6658423B1 (en) 2001-01-24 2003-12-02 Google, Inc. Detecting duplicate and near-duplicate files
US6526440B1 (en) * 2001-01-30 2003-02-25 Google, Inc. Ranking search results by reranking the results based on local inter-connectivity
US6701311B2 (en) 2001-02-07 2004-03-02 International Business Machines Corporation Customer self service system for resource search and selection
US6643639B2 (en) * 2001-02-07 2003-11-04 International Business Machines Corporation Customer self service subsystem for adaptive indexing of resource solutions and resource lookup
US8001118B2 (en) 2001-03-02 2011-08-16 Google Inc. Methods and apparatus for employing usage statistics in document retrieval
US20030014331A1 (en) 2001-05-08 2003-01-16 Simons Erik Neal Affiliate marketing search facility for ranking merchants and recording referral commissions to affiliate sites based upon users' on-line activity
US7565367B2 (en) 2002-01-15 2009-07-21 Iac Search & Media, Inc. Enhanced popularity ranking
JP4003468B2 (ja) * 2002-02-05 2007-11-07 株式会社日立製作所 適合性フィードバックによる類似データ検索方法および装置
US7640232B2 (en) * 2003-10-14 2009-12-29 Aol Llc Search enhancement system with information from a selected source

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078962A (zh) * 2011-12-14 2013-05-01 微软公司 增加针对上下文信号返回的信息的准确度
CN103078962B (zh) * 2011-12-14 2016-06-08 微软技术许可有限责任公司 增加针对上下文信号返回的信息的准确度的系统和方法
CN103714114A (zh) * 2012-10-05 2014-04-09 成功要素股份有限公司 自然语言度量条件警告编排
CN103491197A (zh) * 2013-10-12 2014-01-01 北京海联捷讯信息科技发展有限公司 分布式自动巡检系统及其资源收集方法
CN103491197B (zh) * 2013-10-12 2016-08-10 北京海联捷讯信息科技发展有限公司 分布式自动巡检系统及其资源收集方法
US10380125B2 (en) 2015-05-01 2019-08-13 Sony Corporation Information processing apparatus and information processing method
CN105117500A (zh) * 2015-10-10 2015-12-02 成都携恩科技有限公司 一种在大数据背景下的数据查询获取方法
CN105117500B (zh) * 2015-10-10 2018-07-06 成都携恩科技有限公司 一种在大数据背景下的数据查询获取方法
CN107967634A (zh) * 2016-10-19 2018-04-27 阿里巴巴集团控股有限公司 一种信息推荐方法及装置

Also Published As

Publication number Publication date
MXPA05003141A (es) 2005-10-05
JP5302351B2 (ja) 2013-10-02
JP2011134357A (ja) 2011-07-07
EP1580670A1 (en) 2005-09-28
BRPI0501151A (pt) 2005-11-01
KR101130505B1 (ko) 2012-03-28
CA2501668A1 (en) 2005-09-22
KR20060044525A (ko) 2006-05-16
US7444327B2 (en) 2008-10-28
US20050154716A1 (en) 2005-07-14
JP2005276213A (ja) 2005-10-06
CA2501668C (en) 2013-12-31

Similar Documents

Publication Publication Date Title
CN1677403A (zh) 用于自动优化搜索结果相关性的系统和方法
US11809504B2 (en) Auto-refinement of search results based on monitored search activities of users
US8326818B2 (en) Method of managing websites registered in search engine and a system thereof
KR101063364B1 (ko) 웹 크롤링 프로세스 동안 웹 사이트에 우선순위를 부여하기위한 시스템 및 방법
US8601023B2 (en) Method and apparatus for identifying, extracting, capturing, and leveraging expertise and knowledge
US20080071766A1 (en) Centralized web-based software solutions for search engine optimization
US8682811B2 (en) User-driven index selection
US20120253933A1 (en) Method of introducing advertisements and providing the advertisements by using access intentions of internet users and a system thereof
US20090327913A1 (en) Using web revisitation patterns to support web interaction
CN101882149A (zh) 重排序和提高搜索结果的相关性
WO2000077689A1 (en) A process for improving search engine efficiency using user feedback
US20120016857A1 (en) System and method for providing search engine optimization analysis
US20130262480A1 (en) Content category scoring for nodes in a linked database
KR101003240B1 (ko) 문서 그룹 가치 평가 방법 및 그 시스템
Pujeri et al. Constraint based frequent pattern mining for generalized query templates from web log
Beatric et al. New Approaches to Web Personalization Using Web Mining Techniques.
Kazman et al. Analyzing differences between Internet information system software architectures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20051005