CN101385018A

CN101385018A - 使用估计的广告质量来进行广告过滤、排名和提升

Info

Publication number: CN101385018A
Application number: CNA2006800533438A
Authority: CN
Inventors: 丹尼尔·赖特; 达利尔·普雷格波恩; 黛安娜·唐
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2005-12-30
Filing date: 2006-12-28
Publication date: 2009-03-11
Also published as: EP1969486A4; AU2010212400A1; US20110015988A1; KR20080089616A; JP4994394B2; AU2006332522B2; WO2007079393A3; BRPI0620830A2; US20070156621A1; US7827060B2; KR101315926B1; CA2635882A1; AU2010212400B2; JP2009522665A; WO2007079393A2; AU2006332522A1; US8429012B2; EP1969486A2

Abstract

一种系统获得与多个广告中的广告的质量相关联的第一参数(QP₁)，其中该第一质量参数(QP₁)不包括点进率(CTR)。该系统用函数式将该第一质量参数(QP₁)与至少一个其他参数组合，并使用该函数组合来对多个广告中的广告进行过滤、排名或提升。

Description

使用估计的广告质量来进行广告过滤、排名和提升

技术领域

在此所描述的实现一般涉及在线广告，更具体地，涉及使用估计的广告质量来对在线广告进行过滤、排名以及提升。

背景技术

在线广告系统寄放(host)可以对各种服务和/或产品做广告的广告。这样的广告可以被呈现给访问由广告系统所寄放的文档的用户，或者呈现给发出用于搜索文档集的搜索查询的用户。广告可以包括“创意(creative)”，其包括与被广告的服务和/或产品相关的文本、图形和/或图像。该广告还可以包括连至包含关于被广告服务和或产品的细节的广告“定着文档”的链接。当特定创意引起用户的兴趣时，该用户可以选择(或点击)该创意，并且该相关链接使得用户的网页浏览器访问与该创意相关的“定着文档”及相关链接。在下文中，将用户对广告创意以及相关链接的选择称为“点击”。

在线广告系统通常为了计帐以及其他目的而跟踪广告点击。跟踪广告点击的一个非计帐目的是试图确定广告质量。点进率(CRT)是用于确定广告质量的度量。CRT表示当将给定的广告呈现给用户时该给定的广告获得“被点击”的次数的分值。但是，广告的CRT是对广告质量的有缺陷的度量，因为它只关注于广告创意而不是广告对象，即定着文档。为了确定广告是好还是坏，用户需要点击广告，因此发生/不发生点击不足以确定广告的质量。一些广告由于它们具有很好的创意而接收到许多点击，但是定着文档对于用户来说却是完全无法令人满意的或者不相关的。其他广告接收到非常少的点击(例如，由于该广告创意差)，但是每个点击都让用户满意。因而，现有的确定与在线广告相关的CRT提供了对广告质量的有缺陷的度量。

此外，在现有的在线广告系统中，显示给用户的广告以及广告显示给用户的次序完全基于广告的CRT以及广告商愿意为显示其广告而支付的最大“每次点击成本”(cost per click，CPC)。该CPC是广告商愿意支付给广告发布者的数额，并且其基于该特定广告接收到的选择(例如，点击)的数量。就CTR被用作广告质量的替身来说，其由于已经阐述的原因而是不充分的。因而，现有的用于确定显示哪个广告以及对广告进行分级的机制使用了一种对广告质量的有缺陷的度量，其可能不向用户提供最高质量的广告。

发明内容

根据一个方面，一种方法可以包括：获得与多个广告中的广告的质量相关联的第一参数，其中该第一质量参数不包括点进率。该方法可以进一步包括用函数式将该第一质量参数与至少一个其他参数组合，并利用该函数组合来对该多个广告中的广告进行过滤、排名或者提升。

根据另一个方面，一种方法可以包括：获得与第一组广告相关联的评级，其中该评级表示该第一组广告的质量。该方法还可以进一步包括观察与第一组广告中的广告的用户选择相关联的多个不同的用户动作，并且利用所观察的用户动作以及所获得的评级推导统计模型。该方法还可以包括通过利用该统计模型来估计与第二组广告相关联的质量分值，并根据所估计的质量分值来将第二组广告中的广告子集提供给用户。

根据还一个方面，一种方法可以包括利用统计模型来确定与一组广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方法还可以包括根据所确定的质量分值来禁用使该组广告中的第一广告子集，并将该组广告的第二子集提供给用户，其中该组广告的第二子集包括第一组广告减去第一广告子集。

根据另外的方面，一种方法可以包括利用统计模型来确定与一组广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方法还可以包括根据所确定的质量分值来对该组广告的广告进行排名，以确定排名次序。

根据另一个方面，一种方法可以包括利用统计模型来确定与一群广告相关联的质量分值，其中该质量分值不包括点进率(CTR)。该方法可以进一步包括根据所确定的质量分值来提升该群广告中的一个或多个广告，将该群广告中被提升的一个或多个广告定位在文档的突出位置，以及将该群广告中未被提升的广告定位在文档上的比该被提升的一个或多个广告不突出的位置。

附图说明

被并入并构成该说明书的一部分的附图示出了本发明的一个或多个实施例，并且与该说明书一起来解释本发明。在附图中，

图1和2是一个实现的示范性概要图，其中利用与一组广告相关联的所观察的用户行为以及已知的质量评级来构造统计模型，其中该统计模型可以用来估计广告质量，以及然后根据所估计的广告质量来对广告进行过滤、排名以及提升；

图3是其中可以实现与本发明的原理一致的系统和方法的网络的示范图；

图4是根据与本发明的原理一致的实现的图3中的客户端或服务器的示范图；

图5是根据与本发明的原理一致的实现的示范性过程的流程图，用于构造与多个在线广告的选择相关联的用户行为的模型；

图6-13示出了与所观察的或已登录的用户行为相对应的各种示范性会话特征，其中该特征可以被用于构造统计模型，以预测广告质量；

图14是根据与本发明的原理一致的实现的示范性过程的流程图，用于确定与广告质量相关的预测值；

图15是图形示出与本发明的一个方面一致的图14的示范性过程的图；

图16是用于存储图14中确定的预测值的示范性数据结构的图；

图17和18是与本发明的原理一致的示范性过程的流程图，用于利用在图14的示范性过程中确定的预测值来估计与广告相关联的好或差质量的几率；

图19是根据与本发明的原理一致的实现的示范性过程的流程图，用于预测广告的质量；

图20是图形示出了与本发明的一个方面一致的图19的示范性过程的；

图21是根据与本发明的原理一致的实现的示范性过程的流程图，用于对广告进行过滤、排名和/或提升；

图22-24示出了与本发明的各方面一致的对广告进行过滤的各种例子；

图25和图26示出了与本发明的各方面一致的对广告进行排名的例子；

图27-29示出了与本发明的各方面一致的广告提升的例子；以及

图30示出了与本发明的一个方面一致的示范性搜索结果文档，该文档包括过滤的、排名的和/或提升的广告。

具体实施方式

下面参照附图来对本发明进行详细说明。在不同的附图中，相同的参考数字可以表示相同或类似的元件。而且，下面的详细说明不限制本发明。

与本发明的各方面一致的系统和方法可以使用与在线广告的用户选择相关联的用户行为的多个观察(例如，实时观察或者来自记录用户的日志的观察)，以与传统的仅基于CTR的确定相比更准确地估计广告质量。可以使用与已知评级的广告相关联的质量评级、以及与这些已知评级的广告的选择(例如，“点击”)相关联的相应测量的所观测的用户行为来构造统计模型。随后，可以使用该统计模型来根据与广告选择相关联的所观测的用户行为和/或所选择的广告的特征或用于检索广告的查询来估计与该广告相关联的质量。可以使用所估计的与广告相关联的质量来确定将哪个广告提供给用户、对广告进行排名和/或将所选择的广告提升至提供给用户的文档上的突出位置。

如在此所使用的术语“文档”应被广泛地解释为包括任何机器可读以及机器可存储的工作成果。文档可以包括例如电子邮件、网页或网站、商务列表、文件、文件的组合、嵌有到其他文件的的连接的一个或多个文件、新闻组贴子、博客、在线广告等。文档通常包括文本信息，并且可以包括嵌入式信息(例如元信息、图像、超链接等)和/或嵌入式指令(例如Javascript等)。如在此所使用的术语“链接”应被广泛地解释为包括从/到一个文档到/从另一个文档或者该相同文档另一部分的任意参考。

概述

图1和图2示出了本发明的实现的示范性概要图，其中可以使用所观测的用户行为来估计在线广告的质量，并然后可以使用所估计的质量来对所选择的广告进行过滤、排名和/或提升。

如图1所示，多个评级的广告100-1至100-N(在此共同地称作广告100)中的每一个可以与相应的文档105-1至105-N(在此共同地称作文档105)相关联。除了评级的广告100外，每个文档105可以包括一组搜索结果(该结果是基于用户提供的搜索查询而由搜索引擎执行搜索得到的)，并且还可以包括一个或多个广告。每个广告100可以与评级数据120相关联，该评级数据120是由已对每个评级的广告100的质量进行了评级的评级人提供的。每个广告100可以对各种产品或服务做广告。

响应于接收到广告100，接收用户可以基于广告上显示的“创意”来选择110广告(例如，例如使用鼠标在显示的广告上进行“点击”)。在广告选择110之后，使用嵌入在广告100中的链接通过寄放该广告的服务器将广告定着文档115提供给选择用户。该广告定着文档115可以提供在相应广告100中做广告的产品和/或服务的细节。

在用户进行每个广告选择110之前、期间和/或之后，可以实时测量在“会话”期间与每个广告选择110相关联的会话特征125或者将其记录在存储器中或磁盘上。会话可以包括在长于一个特定时间段内无中断地发生的一组用户动作(例如，在长于三小时的时间段内无中断地发生的一组用户动作)。

所测量的会话特征125可以包括任何类型的所观察的用户行为或动作。例如，会话特征125可以包括广告选择110的持续时间(例如，在广告100上“点击”的持续时间)、在给定的广告选择之前和/或之后其他广告的选择的数量、在给定的广告选择之前和/或之后搜索结果的选择的数量、在给定的广告选择之前和/或之后对其他类型结果(例如，图像、新闻、产品等)的选择的数量、在给定的广告选择之前和/或之后文档阅览(例如，页面阅览)的数量(例如，在广告选择之前和/或之后搜索结果的页面阅览)、在给定的广告选择之前和/或之后搜索查询的数量、与显示广告的用户会话相关联的查询的数量、对同一给定广告进行重复选择的数量或者给定的广告选择是否为会话中的最后选择、会话中的最后广告选择、对于给定的搜索查询的最后选择或对于给定的搜索查询的最后广告选择的指示。与本发明的各方面一致，可以使用上面没有描述的其他类型的与广告选择相关联的所观察的用户行为。

利用与相应评级的广告100的每个广告选择100相关联的所测量的会话特征125以及广告评级数据120，可以构造统计模型130(如下面进一步描述的)。该统计模型可以包括利用统计技术推导的概率模型。这样的技术可以包括例如逻辑回归(logistic regression)、回归树、提级的枝端(boosted stumps)或者任何其他统计建模技术。统计模型130可以提供一个预测值，该预测值估计给定的广告是与广告的用户选择相关联的好的给定所测会话特征的可能性(例如，P(good ad|adselection)＝f_g(session feaures))。

在构造统计模型130之后，可以预测由一个或多个用户选择的广告的广告质量值。可以将与文档140相关联的并且由网络中的服务器所寄放的广告135提供给访问用户。可以对与广告135的用户选择145相关联的会话特征155进行测量或者将其记录在存储器中或磁盘上，并且可以将该测量作为输入提供给统计模型130。统计模型130可以确定广告135为好广告、给定所测的会话特征的可能性，并且可预测广告135的广告质量值160。虽然图1描述了预测与单个广告135相关联的质量值，但是可以为由多个用户选择的每个广告135估计广告质量值160，以生成多个预测广告质量值160。

如图2所示，从多个广告选择中得到的预测质量值160可以被聚合和处理200(如下面将参照图14-20所描述的)，以进一步提供表示各个广告是好广告或者差广告的广告质量参数210。可以使用该广告质量参数210来对与广告质量参数210相关联的广告中所选择的广告进行过滤、排名和/或提升。可以首先确定与用户发出的搜索查询224相关的一组广告220，例如，基于广告的内容与搜索查询224的术语的比较。然后，可以基于与每个广告相关联的广告质量参数210(单独地或者与CTR结合)来对该组广告220进行过滤230。对该组广告220的过滤可以禁用使所选择的广告，以使得不将它们提供给发出搜索查询224的用户。可以使用利用所估计的广告质量的各种技术来对该组相关广告210中的所选广告进行过滤，这将在下面进一步描述。

然后，可以基于广告质量参数210来对该组相关广告220进行排名240。可以在过滤230之后(或之前)，或者不执行过滤230，对该组相关广告220进行排名240。对该组相关广告220进行的排名240确定了用于向发出该搜索查询224的用户提供每个相关广告220一个所选次序。

可以基于质量参数210进一步对该组相关广告220中的一个或多个广告进行提升250。提升广告可以包括将所提升的广告定位在文档上相对于未被提升的广告不同的位置。例如，可以将所提升的广告放置在文档上(例如，文档顶部或文档底部)的高亮(更突出)位置，而将未被提升的广告将放置在文档上不同的非高亮或不太突出的位置。可以在过滤230和排名240之后、只在排名240之后、或者不进行过滤230或排名240，对该组相关广告220进行提升250。

可以将该经过过滤、排名和/或提升的广告提供给发出搜索查询224的用户。在一些实现中，可以将该经过过滤、排名和/或提升的广告包括在提供给用户的一个或多个文档中，包括由搜索引擎执行用户所发出的搜索查询224而得到的搜索结果。

示范性网络结构

图3是其中可以实现与本发明的原理一致的系统和方法的网络300的示范图。网络300可以包括经由网络340连接到一个或多个服务器320-330的多个客户端310。为了简便起见，示出了两个客户端310以及两个服务器320-330连接到网络340。实际上，可以有更多或更少的客户端和服务器。而且，在一些实例中，客户端可以执行服务器的功能，并且服务器可以执行客户端的功能。

客户端310可以包括客户端实体。实体可以被定义为装置，诸如个人计算机、无线电话、个人数字助理(PDA)、膝上型电脑、或者另一类型的计算或通信装置、在这些装置之一上运行的线程或进程、和/或者可以由这些装置之一执行的对象。一个或多个用户可以与每个客户端310相关联。服务器320和330可以包括以与本发明的原理一致的方式来访问、取得、聚合、处理、搜索和/或保持文档的服务器实体。客户端310和服务器320及330可以经由有线、无线、和/或光连接来连接到网络340。

在与本发明的原理一致的实现中，服务器320可以包括搜索引擎系统325，其可由客户端310的用户使用。服务器320可以通过抓取文档集(例如，Web文档)对该文档进行索引以及将与该文档相关联的信息存储文档库中来实现数据聚合服务。也可以以其他方式来实现该数据聚合服务，诸如与数据服务器330的操作者协定以经由数据聚合服务来分发它们所寄放的文档。在一些实现中，服务器320可以寄放可以被提供给在客户端310的用户的广告(例如，创意、广告定着文档)。搜索引擎系统325可以执行从在客户端310的用户接收的对存储在文档库中的文档集的查询，并且可以将与所执行的查询相关的一组搜索结果提供给该用户。除了该组搜索结果以外，服务器320还可以将与所执行的搜索的结果相关联的一个或多个广告创意提供给在客户端310的用户。

服务器330可以存储或保持可以是由服务器320所抓取的文档。这样的文档可以包括与出版的新闻故事、产品、图像、用户组、地理区域相关的数据或者任何其他类型的数据。例如，服务器330可以存储或保持来自任何类型的新闻资源(诸如例如华盛顿邮报、纽约泰晤士报、泰晤士杂质或者新闻周刊的新闻故事)。作为另一例子，服务器330可以存储或保持与特定产品相关的数据，诸如由一个或多个产品制造商提供的产品数据。作为还一个例子，服务器330可以存储或保持与其他类型的Web文档(例如网站的页面)的数据。服务器330还可以寄放广告，诸如广告创意以及广告定着文档。

网络340可以包括任何类型的一个或多个网络，包括局域网(LAN)、广域网(WAN)、城域网(MAN)、诸如公共开关电话网络(PSTN)或公共陆地移动网络(PLMN)的电话网、内联网、因特网、存储器装置或者网络的组合。该PLMN可以进一步包括分组交换子网，诸如例如通用分组无线服务(GPRS)、蜂窝数字分组数据(CDPD)或移动IP子网。

虽然服务器320-330被示为单独的实体，但是也可能是服务器320-330中的一个执行该服务器320-330中的另一个的一个或多个功能。例如，可以将服务器320和330实现为单个服务器。也可以将服务器320和330中的单个服务器实现为两个或更多个单独(可能分布式的)的装置。

示范性客户端/服务器体系结构

图4是根据与本发明的原理一致的实现的客户端或服务器实体(下文中称为“客户端/服务器实体”)(客户端或服务器实体可以对应于一个或多个客户端310和/或服务器320-330)的示范图。该客户端/服务器实体可以包括总线410、处理器420、主存储器430、只读存储器(ROM)440、存储装置450、输入装置460、输出装置470以及通信接口480。总线410可以包括允许在客户端/服务器实体的元件之间进行通信的路径。

处理器420可以包括处理器、微处理器、或者可以解释和执行指令的处理逻辑。主存储器430可以包括随机存取存储器(RAM)或者另一个类型的动态存储装置，其可以存储信息以及由处理器420执行的指令。ROM 440可以包括ROM装置以及另一种类型的静态存储装置，其可以存储静态信息以及供处理器420所使用的指令。存储装置450可以包括磁和/或光记录介质及其相应驱动。

输入装置460可以包括用于允许操作者将信息输入到客户端/服务器实体的机构，诸如键盘、鼠标、笔、语音识别和/或生物机制等。输出装置470可以包括用于将信息输出给操作者的机构，包括显示器、打印机、扬声器等。通信接口480可以包括任何类似于收发器的机构，其使得该客户端/服务器实体能够与其他装置和/或系统进行通信。例如，通信接口480可以包括用于经由诸如网络340的网络与另一个装置或系统进行通信的机构。

与本发明的原理一致的客户端/服务器实体可以执行某些操作或进程，如将在下面将详细描述的。该客户端/服务器实体可以响应于处理器420执行包含在诸如存储器430的计算机可读介质中的软件指令而执行这些操作。计算机可读介质可以被定义为物理或逻辑存储器装置和/或载波。

可以从例如数据存储装置450的另一计算机可读介质，或者经由通信接口480从另一装置，将软件指令读入到存储器430中。包含在存储器430中的软件指令可以使处理器420执行随后将详细描述的操作或处理。替代地，可以用硬线电路来替换软件指令或者与软件指令组合来实现与本发明的原理一致的处理。因而，与本发明的原理一致的实现不限于硬件电路和软件的任意特定组合。

用于构造与广告选择相关联的用户行为的统计模型的示范性过程

图5是用于构造与多个在线广告的选择相关联的用户行为的统计模型的示范性过程的流程图。本领域技术人员可以理解的是，图5中所示范的过程可以适当地以软件实现并被存储在计算机可读存储器中，诸如主存储器430、ROM 440或者服务器320、服务器330或客户端310的存储装置450。

该示范性过程可以以获取与评级的广告相关联的评级数据开始(框500)。该评级数据可以包括对每个评级的广告的质量进行评级(例如，对广告进行评级的一种方式是对该广告相对于所发出的查询的相关程度进行评级)的人生成数据。然后，可以获得与所评级的广告的每个选择相关联的会话特征(框510)。可以通过在给定的用户会话期间观察实际的用户行为来实时地获得会话特征(其在将每个广告印象显示给用户之前、期间以及之后发生)，或者可以在将每个广告印象显示给用户之前、期间以及之后从存储在数据结构中的会话特征(即，用户行为和动作)的记录日志中获得。所获得的会话特征125可以包括任何类型的观察的用户行为。每个会话特征125可以对应于用户对于给定广告的满意度的间接测量。会话特征125中的某些会话特征可以是确定不同用户对于会话特征125中的其他会话特征如何具有不同值的因素(例如，具有拨号连接的用户可以比具有高速因特网连接的用户具有更长的广告选择持续时间)。

会话特征125可以包括，但不限于，广告选择的持续时间(例如，在广告上“点击”的持续时间)、在给定的广告选择之前和/或之后的其他广告的选择的数量、在给定的广告选择之前和/或之后的搜索结果的选择的数量、在给定的广告选择之前和/或之后的其他结果的选择的数量、在给定的广告选择之前和/或之后的文档浏览(例如，页面浏览)的数量、在给定的广告选择之前和/或之后的搜索查询的数量、与显示广告的用户会话相关联的搜索查询的数量、对相同同一给定广告的重复选择的数量或者给定的广告选择是否是会话中的最后选择、会话中的最后广告选择、对于给定搜索查询的最后选择或者对于给定搜索查询的最后广告选择的表示。图6-13在下面描述了与本发明的各方面一致的可以作为会话特征而被测量的各种示范性类型的用户行为。

图6示出了广告选择的持续时间的测量作为会话特征600。如图6中所示，可以将与文档610相关联的广告605提供给用户。响应于接收到广告605，该用户可以选择615广告605，并且可以将该广告定着文档620提供给用户。可以测量广告选择的持续时间625(例如，从选择广告的时间直到用户的下一动作(诸如点击另一个广告、输入新查询等)的时间段)作为会话特征600。

图7示出了在具体广告选择之前和/或之后的对其他广告选择的数量的测量作为会话特征700。假设广告N 710的具体选择705，以及响应于该广告选择705而提供广告定着文档715，则可以测量与提供以前广告定着文档730对应的广告N-x 725中的一个或多个以前广告选择720的数量。另外，或者作为选择，假设广告N 710的具体选择705，可以测量与提供下一广告定着文档745对应的广告N+x 740中的一个或多个下一广告选择735的数量。可以测量在具体的广告选择之前和/或之后的其他广告选择的数量，作为会话特征700。

图8示出了在具体的广告选择之前和/或之后的对搜索结果选择的数量的测量作为会话特征800。假设广告N 810的具体选择805，以及响应于该广告选择805而提供广告定着文件815，可以测量在该广告选择805之前用户浏览的搜索结果文档820的数量作为会话特征800。可以使用用户发出的搜索查询基于搜索的执行来将搜索结果文档提供给用户。另外，或者作为选择，可以测量在广告选择805之后由该用户浏览的搜索结果文档825的数量作为会话特征800。

图9示出了在具体的广告选择之前和/或之后的对用户浏览的文档的数量的测量作为会话特征900。假设广告910的具体选择905，并且响应于该广告选择905而提供广告定着文档915，可以测量在广告选择905之前用户浏览的文档920(例如，页面浏览)的数量作为会话特征900。另外，或者作为选择，可以测量在广告选择905之后用户浏览的文档925(例如，页面浏览)的数量作为会话特征900。

图10示出了在具体广告选择之前和/或之后的对用户发出的搜索查询的数量的测量作为会话特征1000。假设广告1010的具体选择1005，并且响应于该广告选择1005而提供广告定着文档1015，可以测量在广告选择1005之前用户发出的搜索查询1020的数量作为会话特征1000。另外，或者作为选择，可以测量在广告选择1005之后用户发出的搜索查询1025的数量作为会话特征1000。

图11示出了在包括具体广告选择的会话中的对搜索查询(其导致了对广告进行显示)的数量的测量作为会话特征1100。假设包括预定广告选择的会话，可以测量搜索查询1105的数量，其导致对相应广告1110-1至1110-N进行显示。可以测量搜索查询的数量作为会话特征1100。导致对广告进行显示的搜索查询1105的数量可以表示给定用户会话的商业性质。

图12示出了用户对相同广告的重复选择的数量的测量作为会话特征1200。如图12中所示，可以将可以与多个文档1210-1至1210-N相关联的广告1205提供给用户一次或者多次。响应于每次接收到广告1205，用户可以选择1215广告1205，并且可以对于每次重复的用户选择将广告定着文档1220提供给用户。可以测量用户对相同广告的重复选择的数量作为会话特征1200。

图13示出了确定广告选择是否是对于给定的搜索查询的最后广告选择，或者该广告选择是否是对于用户会话的最后广告选择，作为会话特征1300。如图13中所示，用户可以在给定的会话1310期间发出搜索查询1305，并且可以在发出搜索查询1305之后将一个或多个广告1315提供给用户。响应于每次接收到广告1315，用户可以选择1320广告1315，并且可以将广告定着文档1325提供给用户。可以做出该广告选择1320是否是对于搜索查询1305的最后广告选择的确定。因而，如果发出搜索查询1305的用户选择了多个广告，则可以识别对于搜索查询1305的仅仅最后广告选择。还可以做出该广告选择1320是否是对于会话1310的最后广告选择的确定。因此，如果在给定的会话期间用户已经做出多个广告选择，则可以识别对于该会话的仅仅最后广告选择。

在图6-13中未示出的其他类型的用户行为也可以被用作与本发明的原理一致的会话特征。下面列出了其他示范性会话特征的多个例子：

1)代替广告选择持续时间，可以将给定的广告选择持续时间相对于用于给定用户的平均广告选择持续时间的比值用作会话特征。

2)给定的广告选择持续时间相对于所有选择(例如，搜索结果选择或者广告选择)的比值。

3)用户在给定的会话中选择给定广告的次数。

4)从广告结果选择直到用户发出另一搜索查询的持续时间。这可以包括在给定广告点击之后花费在(经由搜索结果点击或广告点击达到的)其他页面的时间。

5)从给定的广告结果选择直到用户发出另一搜索查询为止的时间相对于从广告结果选择直到用户发出另一搜索查询为止的所有其他时间的比值。

6)对于给定的广告结果选择，花费在浏览搜索查询的其他结果而不是在给定的广告结果上的时间。

7)上述6)中花费的时间(花费在其他结果上而不是在点击持续上的时间)相对于经过所有查询在6)中花费的平均时间的比值。

8)在给定的搜索结果或广告选择之前在给定会话中发生多少个搜索(即，唯一发出的搜索查询)。

9)在给定的搜索结果或广告选择之后在给定会话中发生多少搜索。

10)除了搜索，在给定选择之前对于给定搜索查询发生多少结果页面浏览。这可以在查询内(即，仅仅对于唯一查询)或对于整个会话进行计算。

11)除了搜索，在该选择之后对于给定的搜索查询发生多少搜索结果页面浏览。这可以在查询内(即，仅仅对于唯一查询)或对于整个会话进行计算。

12)在该会话中发生的页面浏览的总数；

13)在显示广告的会话中页面浏览的数量；

14)在显示广告的会话中页面浏览的数量相对于该会话中发生的页面浏览的总数的比值；

15)在会话中显示的广告印象的总数；

16)每个显示广告的查询所显示的广告的平均数，该会话的另一个商业化测量；

17)查询扫描时间——从用户看到查询结果到用户做其他事情(点击广告、搜索结果、下一页面、新查询等)时用多长时间

18)在给定查询扫描时间与所有其他查询扫描时间之间的比值；

19)在给定搜索中发生的选择(例如，点击)的总数。这些选择包括所有类型的选择(例如，搜索、onebox、广告)，而不是仅仅广告选择；

20)在给定的广告选择之前在搜索中发生的选择的总数；

21)在给定的广告选择之后在搜索中发生的选择的总数；

22)在搜索中发生的广告选择的总数。可能需要用页面上的广告数量来规范化；

23)在给定的广告选择之前在搜索中发生的广告选择的总数；

24)在给定的广告选择之后在搜索中发生的广告选择的总数；

25)在搜索中发生的、其在文档上的广告位置位于文档上的给定广告位置之上的广告选择的总数；

26)在搜索中发生的、其在文档上的广告位置位于文档上的给定广告位置之下的广告选择的总数；

27)在搜索中发生的不是对给定广告的广告选择的总数；

28)在搜索中发生的搜索结果选择的总数

29)在给定的广告选择之前在搜索中发生的搜索选择的总数；

30)在给定的广告选择之后在搜索中发生的搜索结果选择的总数；

31)在会话中发生的长持续时间的搜索结果选择的总数；

32)在会话中发生的短持续时间的搜索结果选择的总数；

33)在会话中最后发生的搜索结果选择的总数。给定用户可以通过点击搜索结果来结束会话，而不需要后续动作，或者用户可以以其他方式(例如，广告结果点击、发出查询以及不点击等)来结束会话；

34)在搜索中发生的非搜索结果以及非广告选择的总数；

35)是否存在来自该广告选择的转换的表示；

36)用户的连接速度的表示(例如，拨号、线缆、DSL)；

37)用户位于哪个国家的表示。不同的文化有可能导致用户对相同的广告有不同反应，或者具有不同文化反应，或者不同地停在网站上；

38)用户位于世界上的那个区域(例如，APAC＝亚太区)的表示；

39)对于给定广告的关键字与搜索查询精确匹配么(即，具有与查询完全相同的术语)，或者缺失一个词，多于一个词，或者具有重写术语么。通常，广告的质量可能变化(匹配越精确，质量越高)，并且关键字匹配可能是分割广告的合理方式，并且预测广告对于不同的匹配类型来说分别是好还是坏；

40)对于给定广告的估计点进率(CTR)的表示；

41)广告商为给定的广告选择支付多少每次点击成本(CPC)？广告很好的可能性可以取决于广告商支付了多少(越多质量越高)；

42)广告商愿意支付多少CPC？在广告拍卖中，可以使用广告商出价来设置广告排名，并且排名低于给定广告/广告商的广告/广告商设置实际上将由下一个较高排名的广告/广告商支付的价格；

43)有效CPC^*预测的CTR；或者

44)出价CPC^*预测的CTR。

上面描述了可以用于统计模型的会话特征的多个例子。但是，本领域技术人员应认识到：可以使用其他的会话特征，作为选择，或者与任意上述会话特征结合。

返回至图5，然后可以推导出统计模型，用于确定每个所选广告是给定与广告选择相关联的所测会话特征的好质量广告的概率(框250)。可以使用现有的统计技术(例如逻辑回归)来推导出与本发明的原理相一致的统计模型。回归包括发现用于将结果变量(因变量y)与一个或多个预测器(自变量x₁，x₂，等)相关的函数。简单的线性回归假设如下形式的函数：

y＝c₀+c₁*x₁+c₂*x₂+... 等式(1)

并且发现c₀，c₁，c₂等的值(c₀被称为“截距”或“常数项”)。在本发明的上下文中，每个预测器变量x₁，x₂，x₃等对应于广告选择期间测得的不同会话特征。逻辑回归是普通回归的变形，当观测到的结果限定为两个值时是很有用的，其通常表示某个结果事件的发生或未发生，(通常分别被编码为1或0)，诸如在本发明的上下文中的好广告或差广告。

逻辑回归产生作为独立预测变量的函数对发生的概率进行预测的公式。逻辑回归通过采取线性回归(上述等式(1))(其将生成位于正无穷大与负无穷大之间的任意y值)并用下面的函数对其进行变换来拟合特定S形曲线：

P＝exp(y)/(1+exp(y)) 等式(2)

其中产生位于0(当y达到负无穷大时)和1(当y达到正无穷大时)之间的P值。将等式(1)代入等式(2)，这样，好广告的概率变为如下：

P (good, ad | ad selection) = f_{g} (session features x_{1}, x_{2}, x_{3} . . .) = \frac{e^{(c_{g 0} + c_{g 1} * x_{1} + c_{g 2} * x_{2} + . . .)}}{1 + e^{(c_{g 0} + c_{g 1} * x_{1} + c_{g 2} * x_{2} + . . .)}}

等式3

其中c_g0为等式的常数，c_gn为会话特征预测变量x_n的系数。类似地，可以通过下面的等式(4)来确定差广告的概率：

P (good, ad | ad selection) = f_{g} (session features x_{1}, x_{2}, x_{3} . . .) = \frac{e^{(c_{b 0} + c_{b 1} * x_{1} + c_{b 2} * x_{2} + . . .)}}{1 + e^{(c_{b 0} + c_{b 1} * x_{1} + c_{b 2} * x_{2} + . . .)}}

等式4

其中c_b0为等式的常数，c_bn为会话特征预测变量x_n的系数。

可以测试统计模型的拟合，以确定哪个会话特征与好或差质量广告相关。如果使用逻辑回归技术来确定统计模型，则该逻辑回归的目的是要通过使用最节俭的模型来正确预测各个情况的结果。为了实现这一目的，创建一个模型，其中包括在预测因变量y的结果时有用的所有预测器变量(例如会话特征)。为了构建统计模型，逻辑回归可以在每个系数(c_n)被增加或删除后测试模型的拟合，被称为逐步回归。例如，可以使用反向逐步回归，其中模型构造从完整或饱和模型开始，并且在迭代过程中从模型中消除预测器变量以及它们的系数。在消除每个变量之后测试该模型的拟合，以确保该模型仍旧足够与数据拟合。当无法再从模型中消除预测器变量时，该模型的构造就完成了。留在模型中的预测器变量(每一个对应于所测的会话特征)识别与好或差广告相关的会话特征。因而，逻辑回归能够提供不同预测器变量之间的关系和强度的了解。为了了解从模型包括或消除的重要性而测试系数以及它们相应的预测器变量的过程可以包括几个不同的已知技术。这样的技术可以包括Wald测试，相似性比率测试或者Hosmer-Lemshow Goodness of Fit测试。这些系数测试技术在本领域内是已知的，并且这里将不再进一步描述。在其他实现中，可以使用现有的交叉确认和单独训练技术，来代替如上所述的分类估计以及测试回归系数的技术。

代替或除了逻辑回归，可以使用其他现有的统计技术来推导与本发明的原理相一致的统计模型。例如，使用“提级(boosting)”技术的“枝端(stumps)”模型可以被用来推导统计模型。本领域技术人员可以认识到的是，“提级”是一种机器学习技术，用于通过连续地改进其他弱的统计模型来建立统计模型。其基本思想是向整个训练数据集合重复地应用相同的算法，但是在每个阶段对训练数据进行不同地加权。该加权使得通过阶段k与模型很好拟合的情况在阶段k+1接收相对小的权重，而通过阶段k与模型不太拟合的情况在阶段k+1接收相对大的权重。

枝端是在每个阶段都能够应用的弱统计模型。枝端是2叶分类树，其由根节点和二进制规则构成，其将情况分为两个相互排斥的子集(即，叶节点)。规则可以采取形式“点击持续时间(ClickDuration)<120秒”，并且点击持续时间满足该规则的所有情况进入一个叶节点，而不满足该规则的情况进入另一个叶节点。另一规则可以采取形式“广告选择是最后广告选择”，并且广告选择满足该规则的所有情况进入一个叶节点，而不满足该规则的情况进入另一个叶节点。

可以使用各种算法来拟合“boosted stump”模型，包括例如基于梯度的方法。这样的算法可以如下进行：给定一组权重，从所有可能的二进制判定规则中(从将该情况分为两个叶子的会话特征中推到的)选择一个将与该算法相关的(加权)损耗函数最小化的规则。损耗函数的一些例子是与最大相似法对应的“伯努里式(Bernoulli)损耗”以及与周知的ADABoost方法对应的“指数损耗”。在该阶段选择最佳二进制判定规则之后，可以重新计算该权重，并可以重复该过程，借此选择将新(加权)损耗函数最小化的最佳二进制规则。该过程可以被重复许多次(例如，几百至几千)并且可以使用重采样法(例如，交叉确认)来定义停止规则，以便于防止过拟合。

提级的枝端已经被显示为近似附加逻辑回归模型，因此每个特征都对拟合模型作出附加的非线性贡献(关于逻辑等级)。该枝端的序列定义会话特征与广告被评级为“好”的概率之间的关系。该序列可以用如下的统计模型表示：

P (good ad | session feature  x) = \frac{e^{(c_{0} + c_{1} * B 1 (x) + c_{2} * B 2 (x) + . . .)}}{1 + e^{(c_{0} + c_{1} * B 1 (x) + c_{2} * B 2 (x) + . . .)}}

等式(5)

其中如果会话特征x满足第k个二进制规则则Bk(x)＝1，或者如果会话特征x不满足第k个二进制规则则Bk(x)＝0。该系数c_k，k＝1，...，是算法的副产品并且与在第k个二进制规则的好广告的可能性相关。实际上，给定会话特征x，就可以估计每个二进制规则，并且相应的系数被累计，以获得好广告的预测概率。可以类似地推导出与上面的等式(5)类似的统计模型，其定义了会话特征与广告被评级为“差”的概率之间的关系。

虽然上面已经描述了逻辑回归和提级的枝端作为构造统计模型的示范性技术，但是本领域技术人员应认识到也可以使用其他现有的统计方法(例如回归树)来推导与本发明的原理一致的统计模型。

用于确定与广告质量相关的预测值的示范性过程

图14是根据与本发明的原理一致的实现的示范性过程的流程图，用于确定与广告的质量相关的预测值。本领域技术人员可以理解，图14中举例说明的过程可以被适当地以软件来实现并被存储在计算机可读存储器中，诸如主存储器430、ROM 440或服务器320或330或客户端310的存储装置450。

该示范性过程可以从接收搜索查询开始(框1400)。用户可以向服务器320发出搜索查询，用于由搜索引擎系统325执行。通过搜索引擎系统325可以获得与所接收的搜索查询相匹配的一组广告(框1405)。搜索引擎系统325可以根据所接收的搜索查询来执行搜索，以确定该组广告，以及与该搜索查询匹配的其他文档。搜索引擎系统325可以将该组广告集合以及其他文档的列表提供给发出该搜索请求的用户。

可以获得与从该组广告中选择广告相关联的会话特征(框1410)。可以在用户广告选择期间实时地测量会话特征，或者可以从与广告选择相关联的已记录用户行为的日志中获得会话特征。如图15中所示，用户可以选择1500与文档1510(例如，包含搜索结果和相关广告的文档)相关联的广告1505。可以响应于广告选择1505而将广告定着文档1515提供给用户。如图15中所示，可以测量与广告1505的选择1500相关联的会话特征1520。所测量的会话特征可以包括与广告选择相关联的任意类型的用户行为，诸如上面关于框510所述(图5)。

上面的框520中推导出的统计模型以及所获得的会话特征可以被用来确定表示该广告是好广告和/或差广告的预测值(框1415)。该预测值可以包括概率值(例如，使用上面的等式(3)或(5)取得的)，表示具有与该广告的用户选择相关联的给定会话特征是好广告的概率。该预测值还可以包括概率值(上面的等式(4))，表示具有与该广告的用户选择相关联的给定测得会话特征是差广告的概率。因此，可以将会话特征值输入到等式(3)、(4)和/或(5)，以获得该所选择的广告是好或差广告的预测值。例如，可以将用于会话特征x₁，x₂，x₃和x₄的值输入到等式(3)，以获得P(good ad|session feature x₁，x₂，x₃，x₄)的概率值。如图15所示，可以将该所测量的会话特征1520输入到统计模型130，并且该统计模型130可以输出对于广告1505的预测值1530。

可以获得与广告选择相关联的广告/查询特征(框1420)。如图15所示，可以获得与广告1505的选择1500相关联的广告/查询特征1535。该广告/查询特征1535可以包括与广告1505的广告商相关联的标识符(例如，广告商的可视统一资源定位符(URL))、广告1505所定向到的关键字、用户发出的搜索查询中广告1505没有定向到的词和/或用户发出的搜索查询中广告没有定向到但是与广告1505所定向到的词类似的词。可以使用与本发明的原理一致的上面没有描述的其他类型的广告或查询特征。例如，可以将组合(例如，两个对象/查询特征对)中观查的任意上述广告/查询特征都用作单个广告查询/特征。

对于每个所获得的广告/查询特征(即，在上面框1420中获得的)，可以将所确定的预测值与对应于广告/查询特征的存储值求和(框1425)。可以将所确定的预测值与存储在数据结构(诸如例如图16中所示数据结构1600中)的值求和。如图16所示，数据结构1600可以包括多个广告/查询特征1610-1至1610-N，其中“广告选择的总数”1620、总“好的”预测值1630以及总“差的”预测值1640与每个广告/查询特征1610相关联。可以将框1405中确定的每个预测值与存储在条目1630或1640中、对应于每个广告/查询特征1610的当前值求和，该广告/查询特征1610进一步与广告以及发布的查询相关联。作为例子，假设响应于搜索查询“flowers for mother’s day(母亲节的鲜花)”而将“1800flowers.com”的广告提供给用户。与该广告选择相关联的会话特征返回概率P(good ad|ad selection)为0.9。三个广告/查询特征与该广告和查询相关联：查询长度(查询中术语的数量)、广告的可视URL以及在查询中但是不在与该广告相关联的关键字中的词的数量。对于这三个广告/查询特征中的每一个，条目1620中相应的“广告选择总数”值加1，并且将0.9加到存储在与每个广告/查询特征对应的总好预测值1630中的每个值。

如图15中所示，可以将每个所确定的预测值1530与数据结构1600中的当前值求和。一个或多个用户可以选择地对广告的每个选择重复框1400至1425，以利用与一个或多个广告/查询特征相关联的多个求和后的预测值来扩充该数据结构1600。

示范性可能性估计过程

图17和18为示范性过程的流程图，用于通过使用在图14的框1425中确定的总预测值1630或1640来估计与广告相关联的好或差质量的可能性。本领域技术人员应理解，图17和18中所示范的过程可以适当地以软件来实现并且可以存储在计算机可读存储器中，诸如主存储器430、ROM 440或服务器320或330或客户端310的存储装置450上。

给定广告是好或差的所估计的可能性是该给定广告是好或差的在先可能性以及与和给定广告选择相关联的广告/查询特征相关联的一个或多个模型参数的函数。可以使用迭代过程来计算该模型参数，其中该迭代过程试图解决用于产生好或差广告的预测可能性与训练所用的实际历史数据的最佳拟合的参数值。

与每个广告/查询特征相关联的模型特征可以由单个参数构成，诸如关于好广告或差广告的概率或可能性的放大系数。可替代地，每个广告/查询特征可以具有与其相关联的多个模型参数，该多个模型参数可以以更复杂的方式来影响好或差广告的预测概率。

在下面的说明书中，使用了各种可能性和概率。事件发生的可能性以及事件发生的概率通过下面等式被关联起来：概率＝可能性/(可能性+1)。例如，如果事件发生的可能性为1/2(即，按照经常所写的方式，可能性为1：2)，则事件发生的相应概率为1/3。根据该约定，可以认为可能性和概率是可以相互转换的。因为可能性可以取任何非负值，而概率必须位于0和1之间，所以用可能性而不是概率来表达计算是方便的。但是，应理解，仅需对下面的说明进行最小的改变，即可以唯一使用概率、或者使用例如对数(可能性)的某种其他类似的表示来执行如下的实现。

图17是示出了预测模型的一个实现的流程图，其中该预测模型用于基于与该广告选择相关联的广告/查询特征来生成对于给定广告是好还是差的可能性估计。根据本发明的原理的一个实现，可以通过将好广告或差广告的预先可能性(q₀)乘以与每个广告/查询特征(k_i)相关联的模型参数(m_i)来计算好或差广告的可能性，此后被称为可能性乘法器。这样的方案可以被表示为：

q＝q₀.m₁.m₂.m₃....m_m。

本质上，对于每个广告/查询特征k的可能性乘法器m可以是在确定广告是好还是差期间该广告/查询特征的预测能力的统计表示。

在与本发明的原理一致的一个实现中，可以不断地对上述模型参数进行修改，以反映每个广告/查询特征k对于广告是好或差的估计可能性的相关影响。可以通过如下方式来进行这样的修改，即将具有该查询/广告特征的广告是好或坏的平均预测可能性(将给定广告/查询特征忽略不计)与具有该广告/查询特征的广告的历史质量的估计进行比较。通过这种方式，可以识别以及提炼出所分析的广告/查询特征k的相关值。

具体地返回到图17，对于每个所选择的广告/查询特征(k_i)，可以初始计算或识别平均自排除概率(P_i)(动作1700)。在一个实现中，该自排除概率(P_i)是表示所选择的广告/查询特征的相关性的值，并且可以测量当从所估计的可能性计算中除去所选择的广告/查询特征的模型参数(m_i)时广告是好或差的结果可能性。例如，对于广告/查询特征3，这可以表示为：

P_3n+((q₀.m₁.m₂.m₃....m_n)/m₃/(((q₀.m₁.m₂.m₃....m_n)/m₃+1)

在一个实施例中，每个广告/查询特征的自排除概率可以被保持为移动平均，以确保所识别的自排除概率在识别用于每个所选广告/查询特征的模型参数之后更快的收敛。这样移动平均可以表示为：

P_in(avg)＝αP_i(n-1)(avg)+(1-α)P_in

其中α为统计定义变量，其非常接近于1(例如，0.999)并被用于控制移动平均的半衰期。如上面表达式所示，通过如在以前广告选择(例如，n-1)确定的P_i值对用于广告选择的当前数(n)(例如，用于广告/查询特征k_i的“广告选择总数”1620的当前值)的P_i值加权和平均。

然后，可以将平均自排除概率(P_i(avg))与涉及所观测的广告选择的数量以及用于所观测的选择而观测的好或差广告的可能性的历史信息进行比较(动作1710)。然后，可以基于动作1710的比较来生成或修改与所选择的广告/查询特征k_i相关联的模型参数m_i(动作1720)(如将在下面参照图18中的框1820和1830进一步描述的)。

图18是示出了图17的框1710-1720的一个示范性实现的流程图。初始地，可以确定与好广告或差广告的可能性相关的置信区间(动作1800)。使用置信区间技术使得在使用具有更少量历史数据的广告/查询特征k时能够更准确和稳定地估计。在一个实现中，该置信区间包括较低值L_i和较高值U_i，并且基于广告选择的数量(n_i)(例如，用于广告/查询特征k_i的数据结构1600中的“广告选择的总数”1620中的当前值)以及对所选广告/查询特征观测的总好/差(j_i)(例如，在用于广告/查询特征k_i的数据结构1600中的当前总“好”预测值1630或总“差”预测值1640)。例如，该置信区间可以是80％置信区间[L_i，U_i]，其是基于广告选择的数量(例如，在用于广告/查询特征k_i的数据结构1600中的“广告选择的总数”1620中的当前值)以及所观测的总好或差(例如，用于广告/查询特征k_i的数据结构1600中的当前总“好”预测值1630或总“差”预测值1640)以常规方式计算的。在计算置信区间之后，然后可以确定该平均自排除概率(P_i(avg))是否落在该区间中(动作1810)。如果落在区间中，则可以确定所选择的广告/查询特征(k_i)对于好广告或差广告的可能性没有影响，并且可以将它的模型参数(mi)设置为1，这非常有效地将其从所估计的可能性计算中除去(动作1820)。但是，如果确定该P_i(avg)落在置信区间之外，则可以将用于所选择的广告/查询特征k_i的模型参数(m_i)设置为将该自排除概率(P_i(avg))置于置信区间中所必要的最小调整(动作1830)。该计算可以算术地表示为：

m_i＝[L_i(1-P_i(avg))]/[P_i(avg)(1-L_i)]

现在返回到图17，在计算了用于所选择的广告/查询特征k_i的模型参数后，可以确定附加的广告/查询特征(例如，图16中的广告/查询特征1610-1至1610-N的)是否还要被处理(即，k_i是否小于k_m，其中m等于在数据结构1600中的广告/查询特征的总数)。如果仍需要处理附加的广告/查询特征，则可以增加计数器变量i，并且该过程可以返回至动作1700，以处理下一广告/查询特征k_i。在用于所有广告/查询特征的模型参数都已经被计算或修改后，可以使用等式q＝q₀.m₁.m₂.m₃....m_m来估计好广告或差广告的可能性(动作1750)。可以将所估计的好广告可能性(例如，ODDS(good ad|ad/query feature))存储在与该广告/查询特征1610对应的数据结构1600的“好”广告可能性条目1650中。可以将所估计的差广告可能性(例如，ODDS(bad ad|ad/query feature))存储在与该广告/查询特征1610对应的数据结构1600的“差”广告可能性条目1660中。

在与本发明的原理一致的一个实现中，可以通过当日志数据到达时对其进行处理并对上述统计进行累计(例如，广告选择、总好或差、自包括概率等)来训练可能性预测模型。当附加的广告选择发生时，与每个广告/查询特征相关联的置信区间可以收缩，并且该参数估计可以变得更准确。在附加的实现中，通过重新处理旧的日志数据，可以加速训练。在对日志数据进行重新处理时，可以通过使用最新的参数或可能性乘数值来重新计算好广告或差广告的估计可能性。这允许预测模型更快地收敛。

示范性广告质量预测过程

图19是根据与本发明的原理一致的实现的用于预测广告质量的示范性过程的流程图。本领域技术人员应理解，图19中所示的过程可以适当地以软件来实现并存储在计算机可读存储器中，诸如主存储器430、ROM 440或服务器320或330或客户端310的存储装置450中。

该示范性过程可以以从用户接收搜索查询开始(框1900)。用户可以向服务器320发出搜索查询，以由搜索引擎系统325来执行。搜索引擎系统325可以获得与所接收的搜索查询相匹配的一组广告(框1910)。搜索引擎系统325可以基于所接收的搜索查询来执行搜索，以确认该组广告以及与该搜索查询匹配的其他文档。对于该组广告中的每个广告，可以确定与所接收的搜索查询以及广告对应的每个广告/查询特征(框1920)。用于每个搜索查询和广告对的广告/查询特征可以包括与登广告商相关联的标识符(例如，广告商的可视统一资源定位符(URL))、广告所定向到的关键字、用户发出的搜索查询中的广告没有定向到的词和/或用户发出的搜索查询中的广告没有定向到但是广告所定向到的词类似的词。也可以使用与本发明的原理一致的上面没有描述的其他类型的广告或查询特征。例如，可以将组合(例如，两个广告/查询特征的对)中观测的任意上述广告/查询特征用作单一广告查询/特征。

对于该组广告中的每一个广告，可以从数据结构1600中检索用于所确定的广告/查询特征i的所存储的ODDS_i(例如，ODDS(good ad|ad/query feature)1650，ODDS(bad ad|ad/query feature)1660)(框1930)。如图20中所示，数据结构1600可以以广告/查询特征2000为索引，其中该广告/查询特征2000对应于搜索查询和广告，以检索与每个广告/查询特征相关联的一个或多个ODDS_i 2010。例如，如图16中所示，可以检索与每个广告/查询特征1610对应的“好”广告可能性值1650。在另一个例子中，如图16所示，可以检索与每个广告/查询特征1610对应的“差”广告可能性值1660。

对于该组广告中的每一个广告，可以将用于每个广告/查询特征i的所检索的ODDS_i相乘(框1940)，以生成总ODDS值(ODDS_t)：

ODDS_t＝ODDS₁*ODDS₂*ODDS₃... 等式(6)

例如，可以将对于每个广告/查询特征的“好”广告可能性值1650相乘，以生成总好广告可能性值ODDS_{t_GOOD AD}。作为另一个例子，可以将对于每个广告/查询特征的“差”广告可能性值1660相乘，以生成总差广告可能性值ODDS_{t_BAD AD}。如图20所示，可以将从数据结构1600中检索的ODDS 2010相乘，以生成总可能性值ODDS_t 2020。

对于该组广告中的每个广告，可以通过如下等式来确定可以包括该广告是好的概率(P_GOOD AD)和/或该广告是差的概率(P_BAD AD)的质量参数(框1950)：

P_GOOD AD＝ODDS_{t_GOOD AD}/(1+ODDS_{t_GOOD AD}) 等式(7)

P_BAD AD＝ODDS_{t_BAD AD}/(1+ODDS_{t_BAD AD}) 等式(8)

如图20中所示，可以使用该总可能性值ODDS_t 1820以及等式(7)或(8)来推导质量参数(P)2030。

示范性广告过滤、排名以及提升过程

图21是根据与本发明的原理一致的实现的用于对广告进行过滤、排名和/或提升的示范性过程的流程图。本领域技术人员应理解，图21中所示的过程可以适当地以软件来实现并被存储在计算机可读存储器中，诸如主存储器430、ROM 440或服务器320或330或客户端310的存储装置450中。

该示范性过程可以以确定与搜索查询相关的广告开始(框2100)。用户可以在搜索查询文档中输入搜索查询，并且可以将由该广告发布者所寄放的广告的内容与输入的搜索查询进行比较，以确定哪些广告与该搜索查询相关。例如，可以将具有有术语“SUV”的内容的广告认为是与搜索查询“SUV”相关。

可以获得一个或多个与相关广告相关联的质量参数(框2110)。该质量参数可以包括例如上述在块1950中确定的质量参数。但是，该质量参数可以包括除了点进率(CTR)以外的表示广告质量的任何其他类型参数。

基于所获得的质量参数对被确定为相关的广告进行过滤(可选框2120)。过滤可以禁用(例如，不选)使所选择的相关广告，以使得它们不被提供(即，不显示)给发出该搜索查询或访问该特定文档或站点的内容的用户。除了CTR，还可以基于在上面框2110中获得的一个或多个质量参数或者任何其他类型的质量参数来对相关广告进行过滤。可以基于所获得的质量参数以及其他参数(例如，CTR)的函数组合来对相关广告进行过滤。例如，可以将所获得的质量参数(QP)乘以CTR(即，QP*CTR)来对相关广告进行过滤。CTR测量导致广告点击的广告印象的分值。例如，如果100个广告印象中的一个导致广告点击，则该广告的CTR就是1/100或1％。可以对CRT进行估计，如未决美国申请No.11/167,581(代理人案卷号0026-0145)、名称为“Accurately Estimating Advertisement Performance(精确估计广告性能)”中所述，通过引入而被合并于此。在一个实现中，质量参数QP可以包括在上面框1950中确定的P_GOOD AD。

作为一个例子，可以将该函数组合P_GOODAD*CTR用作禁用规则。例如，如果P_GOOD AD*CTR是低(例如，小于阈值)，则使该广告被禁用，因而不将其提供给用户。图22示出了与本发明的方面一致的对多个广告2200-1至2200-N进行过滤的例子。对于每个广告2200，可以确定用于P_GOOD AD*CTR的值2210，并将其与阈值(T)2220进行比较。可以使具有小于阈值T 2220的值2210的广告被禁用2230，并且可以将具有等于或大于阈值T 2220的值2210的广告提供2240(例如，显示)给用户。

在另一实现中，质量参数QP可以包括在上面的框1950中确定的值P_BAD AD，并可以将P_BAD AD乘以CTR。例如，如果P_BAD AD*CTR为高(例如，大于阈值)，则该广告将被禁用，因而不提供给用户。图23示出了对多个广告2300-1至2300-N进行过滤的例子。对于每个广告2300，可以确定用于P_BADAD*CTR的值2310，并将其与阈值(T)2320进行比较。可以将具有大于或等于阈值T 2020的值2310的广告被禁用2130，并且可以将具有小于阈值T 2320的值2310的广告提供2340(例如，显示)给用户。

在还一实现中，可以将比值P_GOOD AD/P_BAD AD用作禁用规则。例如，如果P_GOOD AD/P_BAD AD小于阈值，表示广告为好的概率低于广告为差的概率，则该广告将被禁用，因此不会将其提供给用户。图24示出了对多个广告2400-1至2400-N进行过滤的例子。对于每个广告2400，可以确定用于P_GOOD AD/P_BAD AD的值2410，并将其与阈值(T)2420进行比较。可以将具有小于阈值T 2420的值2410的广告禁用2430，并且可以将具有大于或等于阈值T 2420的值2410的广告提供2440(例如，显示)给用户。

可以基于所获得的质量参数来对被确定为相关的广告进行排名(可选块2130)。可以基于在上面的框2110中获得的一个或多个质量参数、或者基于不同于CTR的或除CTR之外的其他类型的质量参数来对相关广告进行排名。可以基于所获得的质量参数以及其他参数(例如，CTR)的函数组合来对相关广告进行排名。在一个实现中，该质量参数QP可以包括在上面的框1950中确定的值P_GOOD AD。在其他实现中，该质量参数QP可以包括值P_BAD AD。

所获得的质量参数QP以及其他参数的函数组合可以试图将对广告出版实体、广告商以及用户的值最大。在一个实现中，可以通过使用下面的函数来对广告进行排名：

RANK_ADx＝P_{GOOD AD_ADx}*CTR_ADx*CPC_ADx 等式(9)

其中CTR为点进率，并且CPC为对于该广告的“每次单击成本”。CPC表示对于给定广告商的广告点击值。图25示出了对多个广告2500-1至2500-N进行排名的例子。对于每个广告2500，可以确定P_GOOD AD*CTR*CPC的值2510。可以将对该组相关广告中的每个广告的值2510进行比较，以使得可以按照排名次序2520对该广告重新排序。该排名次序2520可以例如如图25中所示按照升序对广告2500进行排名，具有最高值2510-1的广告2500-1被排名为第一，并且按照降序对具有小于值2510-1的值2510的广告2500-2至2500-N进行排名。

在另一实现中，可以使用如下函数对广告进行排名：

RANK_ADx＝CTR_ADx*CPC_ADx+

ValueOfGoodAdTo User*P_{GOOD AD_ADx}*CTR_ADx-

CostofBadAdToUser*P_{BA DAD_ADx}*CTR_ADx 等式(10)

其中，CTR是点进率，并且CPC是对于该广告的“每次单击成本”。ValueOfGoodAdToUser是广告出版商可以从显示好广告中得到的收入中的增加收益，并且CostOfBadAdToUser是广告出版商可以从提供差广告给用户中遭受到的长期收入上的增加损失。该CTR*CPC值表示广告可以接收到的短期收入。

可以以多种方式对ValueOfGoodAdToUser和CostOfBadAdToUser的值进行估计。在一种技术中，可以进行人为因素的试验，其中将一系列只具有好广告的文档显示给用户，然后可以向用户提供行为任务，以查看他们使用该广告的可能。可以将只具有差广告的一系列文档显示给不同组的用户，然后可以向该组用户提供行为任务，以查看他们不使用该广告的可能。这可以被改进，以查看将要花费多少文档来改变行为任务中点击广告的可能性，并且如何改变该混合(例如，好和差广告的混合)将会改变该可能性。在另一技术中，可以使用会话数据来观察用户在会话期间进行的点击序列，以及(通过经验测量)确定在看到差广告(同样适用于好广告)之后还点击广告的概率。

在上述的任意一个技术中，可以对用户点击广告的增加可能性(如果向用户显示好广告)或者用户点击广告的降低可能性(如果向用户显示差广告)进行估计。为了推导出ValueOfGoodAdToUser值，可以将该递增的增加与点击平均值相乘，而通过将递增的降低与点击平均值相乘来推导出CostOfBadAdToUser值。在一些实现中，可以对该ValueOfGoodAdToUser和CostOfBadAdToUser值进行调整，以定制每个国家或每项业务(例如，旅行、金融、生活消费品等)的点击成本，以使得该ValueOfGoodAdToUser和CostOfBadAdToUser值根据国家、语言和/或业务而具有不同的每次点击成本。

图26示出了对多个广告2600-1至2600-N进行排名的例子。对于每个广告2600，可以使用上面的等式(9)来确定值2610。可以将对该组相关广告中的每个广告的值2610进行比较，以使得可以按照排名次序2620对广告重新排序。该排名次序2620可以例如如图26中所示按照升序对广告2600进行排名，具有最高值2610-1的广告2600-1被排名为第一，并且按照降序对具有小于2610-1的值2610的广告2600-2至2600-N进行排名。

可以对被确定为相关的所选广告进行提升(可选块2140)。可以基于在上面的框2110中获得的一个或多个质量参数、或者基于除了CTR以外的任何其他类型的广告质量参数来选择要被提升的广告。可以基于所获得的质量参数以及其他参数(例如，CTR)的函数组合来提升广告。在一个实现中，该质量参数QP可以包括在上面的框1950中确定的P_GOOD AD值。在其他的实现中，该质量参数QP可以包括在上面的框1950中确定的P_BAD AD值。在一个实现中，例如，如果P_GOOD AD*CTR为高(例如，大于阈值)，或者如果P_GOOD AD/P_BAD AD为高(例如，大于阈值)，则可以对广告进行提升。

图27示出了对多个广告2700-1至2700-N中的广告进行提升的例子。对于每个广告2700，可以确定P_GOOD AD*CTR的值2710，并将其与阈值(T)2720进行比较。可以对具有大于或等于阈值T 2720的值2710的广告进行提升2730，并且可以不对具有小于阈值T 2720的值2710的广告进行提升。

图28示出了对多个广告2800-1至2800-N中的广告进行提升的例子。对于每个广告2800，可以确定P_GOOD AD/P_BAD AD的值2810，并将其与阈值(T)2820进行比较。可以将具有大于或等于阈值T 2820的值2810的广告进行提升2840，并且可以不对具有小于阈值T 2820的值2810的广告进行提升2840。

在另一实现中，可以替代地使用上面等式(9)中所述的函数，其中CostOfBadAdToUser值被设置为高于等式(9)中使用的值，用于对广告进行排名。将CostOfBadAdToUser值设置为高于等式(9)中所使用的值表示对差广告进行提升比仅仅对差广告进行显示的成本更高。图29示出了对多个广告2900-1至2900-N中的广告进行提升的进一步的例子。对于每个广告2900，可以确定上面等式(9)的值2910，并将其与阈值(T)2920进行比较。可以对具有大于或等于阈值T 2920的值2910的广告进行提升2930，并且不对具有小于阈值T 2920的值2910的广告进行提升2940。

可以基于在上面的框2120、2130和或2140中执行的过滤、排名和/或提升而有选择地将被确定为相关的某些广告提供给用户(框2150)。可以将在框2120中没有被禁用的相关广告提供给用户。还可以按照通过在框2130中的排名函数确定的次序将不包括禁用广告的相关广告提供给用户。如在框2140中所确定的，可以对不包括被禁用广告的一个或多个相关广告进行提升。图30示出了搜索结果文档3000，其中将搜索结果3010提供给发出搜索查询的用户。排名次序中列出的排名广告3020还可以被包括在搜索结果文档3000中。该排名广告3020可以包括例如至广告定着文档的链接，其中该定着文档提供了关于被广告的产品或服务的进一步细节。被放置在突出位置或高亮位置上的提升广告3030附加地可以包括在搜索结果文档3000中。

结论

以上对本发明的优选实施例的描述提供了例证和说明，但并不意在穷举本发明或者将本发明限制为所披露的精确形式。可以按照上面的教导或者从本发明的实践中获得对本发明的某些更改和变化。例如，虽然已经参照图5、14、17、18、19和21描述了一系列动作，但是在与本发明原理相一致的其他实现中可以修改这些动作的顺序。此外，互不依赖的动作可以被并行执行。

除了上面参照图5描述的会话特征之外，在一些实现中可以可选地使用转换跟踪来推导预测值与用户满意度之间的直接标度。当对广告的选择直接导致了广告商认为有价值的用户行为(例如，用户购买)时，就发生了转换。广告商或者为广告商寄放广告的服务可以跟踪对于每个广告选择是否都发生了转换。例如，如果用户选择了广告商的广告，并且随后在线购买了在响应于广告选择而提供给用户的广告定着文档上显示的产品，则广告商或者寄放广告的服务可以记录关于该广告选择的转换。该转换跟踪数据可以与所识别的广告选择相关联。可以使用统计技术，例如，逻辑回归、回归树、提级的枝端等来推导在预测值与通过转换测得的用户满意度之间的直接标度。

对于本领域内的普通技术人员来说，在图中所示的实现中可以使用软件、固件以及硬件的许多不同的形式来实现本发明如上所述的各个方面。用于实现与本发明原理相一致的各个方面的实际软件代码或专用控制硬件不会限制本发明。这样，没有参照特定软件代码来描述各个方面的操作和行为，然而，可以理解的是，基于这里的描述，本领域内的普通技术人员将能够设计软件和控制硬件来实现这些方面。

本发明申请中使用的元件、动作或指令等不应被构造为对本发明来说是关键的或必不可少的，除非明确描述的确如此。而且，正如这里所使用的，冠词“一”意欲包括一个或多个项目。在意图仅表示一个项目的地方，使用术语“一个”或类似用语。进一步，短语“基于”意欲表示“至少部分基于”，除非已明确地表示并非如此。

Claims

1.一种方法，包括：

获得与多个广告中的广告的质量相关联的第一参数(QP₁)，其中该第一质量参数(QP₁)不包括点进率(CTR)；

用函数式将所述第一质量参数(QP₁)与至少一个其他参数组合；以及

使用该函数组合来对所述多个广告中的所述广告进行过滤、排名或者提升。

2.根据权利要求1的方法，其中所述至少一个其他参数包括点进率(CTR)。

3.根据权利要求1的方法，其中所述第一质量参数(QP₁)包括所述广告是好广告的概率。

4.根据权利要求1的方法，其中所述第一质量参数(QP₁)包括所述广告是差广告的概率。

5.根据权利要求1的方法，其中对所述广告进行过滤包括防止将所述广告提供给用户。

6.根据权利要求2的方法，其中用函数式将所述第一质量参数(QP₁)与至少一个其他参数组合包括：

将第一质量参数(QP₁)与点进率(CTR)相乘：QP₁*CTR。

7.根据权利要求6的方法，其中使用函数组合来对所述广告进行过滤包括：

将QP₁*CTR与阈值进行比较，以确定是否对所述广告进行过滤。

8.根据权利要求6的方法，其中使用函数组合来对所述多个广告中的所述广告进行提升包括：

将QP₁*CTR与阈值进行比较，以确定是否对所述多个广告中的所述广告进行提升。

9.根据权利要求2的方法，其中所述至少一个其他参数还包括与所述广告相关联的每次点击成本(CPC)。

10.根据权利要求9的方法，其中用函数式将所述第一质量参数(QP₁)与所述至少一个其他参数组合包括：

将所述第一质量参数(QP₁)与CTR以及CPC相乘：QP₁*CPC*CTR。

11.根据权利要求10的方法，其中使用所述函数组合来对所述广告进行排名包括：

使用QP*CPC*CTR来对所述多个广告中的所述广告进行排名。

12.根据权利要求9的方法，还包括：

获得与所述广告的质量相关联的第二参数(QP₂)，其中所述第二质量参数(QP₂)不包括点进率(CTR)；以及

用函数式将所述第二质量参数(QP₂)与所述第一质量参数(QP₁)以及所述至少一个其他参数组合。

13.根据权利要求12的方法，其中用函数式将所述第二质量参数(QP₂)与所述第一质量参数(QP₁)以及所述至少一个其他参数组合包括：

CTR*CPC+K₁*QP₁*CTR—K₂*QP₂*CTR，其中K₁和K₂是常数。

14.根据权利要求13的方法，其中使用所述函数组合来对所述多个广告中的所述广告进行提升包括：

将CTR*CPC+K₁*QP₁*CTR—K₂*QP₂*CTR与阈值进行比较，以确定是否对所述多个广告中的所述广告进行提升。

15.一种方法，包括：

获得与第一组广告相关联的评级，其中所述评级表示所述第一组广告的质量；

观察与所述第一组广告中的广告的用户选择相关联的多个不同的用户动作；

利用所观察的用户动作以及所获得的评级推导统计模型；

利用所述统计模型来估计与第二组广告相关联的质量分值；以及

基于所估计的质量分值将所述第二组广告中的广告子集提供给用户。

16.根据权利要求1的方法，其中推导所述统计模型包括：

使用逻辑回归、回归树或者提级的枝端中的至少一个来生成所述统计模型。

17.根据权利要求1的方法，还包括：

基于所估计的质量分值对该广告子集中的广告进行排名，以对该广告子集进行排序。

18.根据权利要求17的方法，还包括：

将按照排名次序的所述广告子集提供给所述用户。

19.根据权利要求17的方法，还包括：

基于所估计的质量分值对所述广告子集中的一个或多个进行提升。

20.根据权利要求19的方法，还包括：

将所述广告子集中被提升的一个或多个广告定位在文档上的突出位置；以及

将所述第二组广告的未被提升的广告定位在所述文档上的不如所提升的一个或多个广告突出的位置。

21.根据权利要求20的方法，其中将所述广告子集提供给用户包括：

将所述文档提供给所述用户。

22.一种方法，包括：

使用统计模型来确定与一组广告相关联的质量分值，其中所述质量分值不包括点进率(CTR)；

基于所确定的质量分值来禁用所述一组广告的第一广告子集；以及

将所述一组广告的第二子集提供给用户，其中所述一组广告的所述第二子集包括所述一组广告减去所述第一广告子集。

23.根据权利要求22的方法，还包括：

基于所确定的质量分值对所述一组广告的所述第二广告子集进行排名。

24.根据权利要求23的方法，还包括：

基于所确定的质量分值对所述第二广告子集中的一个或多个进行提升。

25.根据权利要求24的方法，还包括：

将所述第二广告子集中的被提升的一个或多个广告定位在文档上的第一位置；以及

将所述一组广告中没有被提升的广告定位在所述文档上不同于第一位置的第二位置。

26.根据权利要求25的方法，其中将所述第二广告子集提供给用户包括：

将所述文档提供给所述用户。

27.一种方法，包括：

使用统计模型来确定与一组广告相关联的质量分值，其中所述质量分值不包括点进率(CTR)；以及

基于所确定的质量分值来对所述一组广告中的广告进行排名，以确定排名次序。

28.根据权利要求27的方法，还包括：

以排名次序将所排名的广告提供给用户。

29.一种方法，包括：

使用统计模型来确定与一组广告相关联的质量分值，其中该质量分值不包括点进率(CTR)；

基于所确定的质量分值来提升所述一组广告中的一个或多个广告；

将所述一组广告中被提升的一个或多个广告定位在文档的突出位置上；以及

将所述一组广告中未被提升的广告定位在所述文档上不如所提升的一个或多个广告突出的位置上。

30.一种存储计算机可执行指令的计算机可读介质，包括：

指令，用于使用统计模型来对与一组广告相关联的质量分值进行估计，其中质量分值不包括点进率(CTR)；

指令，用于基于所估计的质量分值来禁用所述一组广告的第一广告子集；

指令，用于基于所估计的质量分值来对第二广告子集中的广告进行排名，以对所述第二广告子集进行排序，其中所述第二广告子集包括所述一组广告减去所述第一广告子集；

指令，用于基于所估计的质量分值来对所排名的第二广告子集中的一个或多个进行提升；以及

指令，用于将所排名的第二广告子集中被提升的一个或多个广告定位在文档上的第一位置，并且将所排名的广告子集中没有被提升的广告定位在所述文档上不同于第一位置的第二位置。

31.一种系统，包括：

装置，用于使用统计模型来确定与一组广告相关联的质量分值，其中该质量分值不包括点进率(CTR)；

装置，用于基于所确定的质量分值来禁用第一组广告中的第一广告子集；

装置，用于基于所确定的质量分值来对所述一组广告中的第二广告子集的广告进行排名；

装置，用于基于所所估计的质量分值来对所排名的第二广告子集中的一个或多个进行提升；以及

装置，用于将所排名的第二广告子集中的被提升的一个或多个广告定位在文档上比所排名的第二广告子集中未被提升的广告更显著的位置。