CN101390119A - 从所观察的用户行为估计广告质量 - Google Patents

从所观察的用户行为估计广告质量 Download PDF

Info

Publication number
CN101390119A
CN101390119A CNA2006800535734A CN200680053573A CN101390119A CN 101390119 A CN101390119 A CN 101390119A CN A2006800535734 A CNA2006800535734 A CN A2006800535734A CN 200680053573 A CN200680053573 A CN 200680053573A CN 101390119 A CN101390119 A CN 101390119A
Authority
CN
China
Prior art keywords
advertisement
user
selection
quality
statistical model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800535734A
Other languages
English (en)
Inventor
丹尼尔·赖特
达利尔·普雷格波恩
黛安娜·唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN101390119A publication Critical patent/CN101390119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure

Abstract

一种系统，获得与由一个或多个服务器所托管的第一组广告相关联的评级，其中所述评级表示所述第一组广告的质量。所述系统观察与对所述第一组广告中的广告的用户选择相关联的多个不同的第一用户动作，并且使用所观察的第一用户动作和所获得的评级推导统计模型。所述系统进一步观察与对由一个或多个服务器所托管的第二广告的用户选择相关联的第二用户动作，并且使用所述统计模型和所述第二用户动作来对所述第二广告的质量进行估计。

Description

从所观察的用户行为估计广告质量
技术领域
在此所描述的实现一般涉及在线广告，更具体地，涉及使用所观察的用户行为来估计在线广告的质量。
背景技术
在线广告系统托管(host)可以对各种服务和/或产品做广告的广告。这样的广告可以被呈现给访问由广告系统所托管的文档的用户。广告可以包括“创意(creative)”，其包括与被广告的服务和/或产品相关的文本、图形和/或图像。该广告还可以包括连至包含关于被广告服务和或产品的细节的广告“定着(landing)文档”的链接。当特定创意引起用户的兴趣时，该用户可以选择(或点击)该创意，并且该相关链接使得用户的网页浏览器访问与该创意以及链接相关联的“定着文档”。在下文中，将用户对广告创意以及相关链接的选择称为“点击”。
在线广告系统通常为了记帐以及其他目的而跟踪广告点击。跟踪广告点击的一个非计帐目的是试图确定广告质量。该点进率(CRT)是用于确定广告质量的度量。CRT表示当将广告创意呈现给用户时该给定的广告获得“被点击”的次数的分数。但是，广告的CRT是对广告质量的有缺陷的度量，因为它只关注于广告创意而不是广告对象，即定着文档。为了确定广告是好还是坏，用户需要点击广告，因此发生/不发生点击不足以确定广告的质量。一些广告由于它们具有很好的创意而接收到许多点击，但是定着文档对于用户来说却是完全无法令人满意的或者不相关的。其他广告接收到非常少的点击(例如，由于该广告创意差)，但是每个点击都让用户满意。因而，现有的确定与在线广告相关的CRT提供了对广告质量的有缺陷的度量。
发明内容
根据一个方面，一种方法可包括获得与由一个或多个服务器所托管的第一组广告相关联的评级(rating)，其中所述评级指示所述第一组广告的质量。所述方法可进一步包括观察与所述第一组广告中的广告的用户选择相关联的多个不同的第一用户动作，并且使用所观察的第一用户动作和所获得的评级推导统计模型。所述方法还可包括观察与由所述一个或多个服务器所托管的第二广告的用户选择相关联的第二用户动作，并且使用所述统计模型和所述第二用户动作来估计所述第二广告的质量。
根据另一方面，一种方法可包括观察与由服务器所托管的第一广告的用户选择相关联的第一用户行为，其中所观察的第一用户行为包括不同于点进率(CTR)或除点进率之外的用户行为，所述方法可进一步包括基于所观察的第一用户行为来估计所述第一广告的质量。
根据再一方面，一种方法可包括观察与由一个或多个服务器所托管的第一广告的用户选择相关联的多个可测量的用户动作，并且利用所述多个可测量的用户动作中的特定用户动作使得与所述第一广告相关联的已知的质量相互关联。所述方法可进一步包括观察与第二广告的用户选择相关联的多个可测量的用户动作中的特定用户动作的出现，并且基于所述多个可测量的用户动作中的特定用户动作的出现来估计所述第二广告的质量。
根据其它方面，一种方法可包括记录(logging)与一组广告的用户选择相关联的用户动作，其中该组广告与质量评级相关联，并且其中所述用户动作包括不同于点进率(CTR)或除点进率之外的用户动作。所述方法可进一步包括使用所记录的用户动作和所述质量评级生成统计模型，并且使用所述统计模型来估计不包括于该组广告中的广告的质量。
附图说明
合并于本说明书并构成本说明书一部分的附图示出了本发明的一个或多个实施例，并且与文字描述一起用于解释本发明。在附图中，
图1是实现的总体示例图，在该实现中，使用所观测的用户行为和与一组广告相关联的已知的质量等级来构建可被用于估计广告质量的统计模型；
图2是网络的示例图，在该网络中可以实现符合本发明原理的系统和方法；
图3是依照符合本发明原理的实现的图2的客户端或服务器的示例图；
图4是依照符合本发明原理的实现的用于构建与对多个在线广告的选择相关联的用户行为模型的示范性过程的流程图；
图5-12示出了相应于所观测的用户动作的各种示范性会话特征，它们可被用于构建用于估计广告质量的统计模型；
图13是依照符合本发明原理的实现的用于估计用户所选择的广告的质量的示范性过程的流程图；以及
图14是用图形示出了符合本发明的一个方面的图13的示范性过程的图。
具体实施方式
下面参照附图来对本发明进行详细说明。在不同的附图中，相同的参考数字可以表示相同或类似的元件。而且，下面的详细说明不限制本发明。
与本发明的各方面一致的系统和方法可以使用与在线广告的用户选择相关联的用户行为的多个观察(例如，实时观察或者来自记录用户的日志的观察)，以与传统的仅基于CTR的确定相比更准确地估计广告质量。可以使用与已知评级(rated)的广告相关联的质量评级、以及与这些已知评级的广告的选择(例如，“点击”)相关联的相应的所测量的观测到的用户行为来构造统计模型。随后，可以使用该统计模型来根据与对未评级广告的选择相关联的所观测的用户行为来估计与该未评级广告相关联的质量。因而，给定了对于与对广告的选择相关联的用户行为的一组观察，该统计模型可以估计用户对所选择的广告满意的可能性。
如在此所使用的术语“文档”应被广泛地解释为包括任何机器可读以及机器可存储的工作成果。文档可以包括例如电子邮件、网页或网站、企业收录、文件、文件的组合、嵌有到其他文件的的链接的一个或多个文件、新闻组贴子、博客、在线广告等。文档通常包括文本信息，并且可以包括嵌入式信息(例如元信息、图像、超链接等)和/或嵌入式指令(例如Javascript等)。如在此所使用的术语“链接”应被广泛地解释为包括从/到一个文档到/从另一个文档或者该相同文档另一部分的任意指涉。
概述
图1示出了实现的示范性概要图，在该实现中，使用所观测的用户行为来估计在线广告的质量。如图1所示，多个评级的广告100-1至100-N(在此共同地称作广告100)中的每一个可以与相应的文档105-1至105-N(在此共同地称作文档105)相关联。除了评级的广告100外，每个文档105可以包括一组搜索结果(该结果是基于用户提供的搜索查询而由搜索引擎执行搜索获得的)，并且还可以包括一个或多个广告。每个广告100可以与评级数据120相关联，该评级数据120是由已对每个评级的广告100的质量进行了评级的评级人提供的。每个文档105可以由网络中的服务器托管，并且当用户访问每个文档105时，可以自动地将相关联的广告100提供给用户(例如，弹出广告)，或可以将广告100包括在所访问的文档105中。每个广告100可以对各种产品或服务做广告。
响应于广告100的接收，接收用户可以基于广告上显示的“创意”来选择110广告(例如，使用鼠标在显示的广告上进行“点击”)。在广告选择110之后，使用嵌入在广告100中的链接通过托管该广告的服务器将广告定着文档115提供给选择用户。该广告定着文档115可以提供在相应广告100中做广告的产品和/或服务的细节。
在用户进行每个广告选择110之前、期间和/或之后，可以实时测量在“会话”期间与每个广告选择110相关联的会话特征125或者将其记录在存储器中。会话可以包括在长于一个特定时间段内无中断地发生的一组用户动作(例如，在长于三小时的时间段内无中断地发生的一组用户动作)。
所测量的会话特征125可以包括任何类型的所观察的用户行为或动作。例如，会话特征125可以包括广告选择110的持续时间(例如，在广告100上“点击”的持续时间)、在给定的广告选择之前和/或之后其他广告的选择的数量、在给定的广告选择之前和/或之后搜索结果的选择的数量、在给定的广告选择之前和/或之后对其他类型结果(例如，图像、新闻、产品等)的选择的数量、在给定的广告选择之前和/或之后文档阅览(例如，页面阅览)的数量(例如，在广告选择之前和/或之后搜索结果的页面阅览)、在给定的广告选择之前和/或之后搜索查询的数量、与用户会话相关联的显示广告的查询的数量、对同一给定广告进行重复选择的数量或者给定的广告选择是否为会话中的最后选择、会话中的最后广告选择、对于给定的搜索查询的最后选择或对于给定的搜索查询的最后广告选择的指示。与本发明的各方面一致，可以使用上面没有描述的其他类型的与广告选择相关联的所观察的用户行为。
利用与相应评级的广告100的每个广告选择100相关联的所测量的会话特征125以及广告评级数据120，可以构造统计模型130(如下面进一步描述的)。该统计模型可以包括利用现有的统计技术推导的概率模型。这样的技术可以包括例如逻辑回归(logistic regression)、回归树、提级的枝端(boosted stumps)或者任何其他现有的统计建模技术。统计模型130可以确定给定的广告100是与广告100的用户选择相关联的好的或坏的给定所测会话特征的可能性(例如，P(good ad|adselection)＝fg(session feaures))。
在构建统计模型130之后，可以估计由用户选择的未评级广告的广告质量。与文档140相关联的未评级广告135可以由网络中的服务器托管，并且可以将其提供给访问用户。与未评级广告135的用户选择145相关联的会话特征155可以被测量，并且该测量可以被提供为统计模型130的输入。给定所测量的会话特征，统计模型130可以确定未评级广告135是好广告的可能性，并且可以生成未评级广告135的估计质量160。未评级广告135的估计质量160可以用于各种目的，诸如对多个广告彼此进行排名、确定呈现或提升(例如不同地改变在给定文档上的广告放置)哪些广告等。
示范性网络结构
图2是其中可以实现与本发明的原理一致的系统和方法的网络200的示范图。网络200可以包括经由网络240连接到一个或多个服务器220-230的多个客户端210。为了简便起见，示出了两个客户端210以及两个服务器220-230连接到网络240。实际上，可以有更多或更少的客户端和服务器。而且，在一些实例中，客户端可以执行服务器的某些功能，并且服务器可以执行客户端的某些功能。
客户端210可以包括客户端实体。实体可以被定义为装置，诸如个人计算机、无线电话、个人数字助理(PDA)、膝上型电脑、或者另一类型的计算或通信装置、在这些装置之一上运行的线程或进程、和/或者可以由这些装置之一执行的对象。一个或多个用户可以与每个客户端210相关联。服务器220和230可以包括以与本发明的原理一致的方式来访问、取得、聚合、处理、搜索和/或保持文档的服务器实体。客户端210和服务器220及230可以经由有线、无线、和/或光连接来连接到网络240。
在与本发明的原理一致的实现中，服务器220可以包括搜索引擎系统225，其可由客户端210的用户使用。服务器220可以通过抓取文档集(例如，Web文档)对该文档进行索引以及将与该文档相关联的信息存储文档库中来实现数据聚合服务。也可以以其他方式来实现该数据聚合服务，诸如与数据服务器230的操作者协定以经由数据聚合服务来分发它们所托管的文档。在一些实现中，服务器220可以托管可以被提供给在客户端210的用户的广告(例如，创意、广告定着文档)。搜索引擎系统225可以执行从在客户端210的用户接收的对存储在文档库中的文档集的查询，并且可以将与所执行的查询相关的一组搜索结果提供给该用户。除了该组搜索结果以外，服务器220还可以将与所执行的搜索的结果相关联的一个或多个广告创意提供给在客户端210的用户。
服务器230可以存储或保持可以是由服务器220所抓取的文档。这样的文档可以包括与出版的新闻故事、产品、图像、用户组、地理区域相关的数据或者任何其他类型的数据。例如，服务器230可以存储或保持来自任何类型的新闻资源(诸如例如华盛顿邮报、纽约泰晤士报、泰晤士杂质或者新闻周刊的新闻故事)。作为另一例子，服务器230可以存储或保持与特定产品相关的数据，诸如由一个或多个产品制造商提供的产品数据。作为还一个例子，服务器230可以存储或保持与其他类型的Web文档(例如网站的页面)的数据。服务器230还可以托管广告，诸如广告创意以及广告定着文档。
网络240可以包括任何类型的一个或多个网络，包括局域网(LAN)、广域网(WAN)、城域网(MAN)、诸如公共开关电话网络(PSTN)或公共陆地移动网络(PLMN)的电话网、内联网、因特网、存储器装置或者网络的组合。该PLMN可以进一步包括分组交换子网，诸如例如通用分组无线服务(GPRS)、蜂窝数字分组数据(CDPD)或移动IP子网。
虽然服务器220-230被示为单独的实体，但是也可能是服务器220-230中的一个执行该服务器220-230中的另一个的一个或多个功能。例如，可以将服务器220和230实现为单个服务器。也可以将服务器220和230中的单个服务器实现为两个或更多个单独(可能分布式的)的装置。
示范性客户端/服务器体系结构
图3是根据与本发明的原理一致的实现的客户端或服务器实体(下文中称为“客户端/服务器实体”)(客户端或服务器实体可以对应于一个或多个客户端210和/或服务器220-230)的示范图。该客户端/服务器实体可以包括总线310、处理器320、主存储器330、只读存储器(ROM)340、存储装置350、输入装置360、输出装置370以及通信接口380。总线310可以包括允许在客户端/服务器实体的元件之间进行通信的路径。
处理器320可以包括常规处理器、微处理器、或者可以解释和执行指令的处理逻辑。主存储器330可以包括随机存取存储器(RAM)或者另一个类型的动态存储装置，其可以存储信息以及由处理器320执行的指令。ROM340可以包括常规ROM装置以及另一种类型的静态存储装置，其可以存储静态信息以及供处理器320所使用的指令。存储装置350可以包括磁和/或光记录介质及其相应驱动。
输入装置360可以包括用于允许操作者将信息输入到客户端/服务器实体的常规机构，诸如键盘、鼠标、笔、语音识别和/或生物机制等。输出装置370可以包括用于将信息输出给操作者的常规机构，包括显示器、打印机、扬声器等。通信接口380可以包括任何类似于收发器的机构，其使得该客户端/服务器实体能够与其他装置和/或系统进行通信。例如，通信接口380可以包括用于经由诸如网络240的网络与另一个装置或系统进行通信的机构。
与本发明的原理一致的客户端/服务器实体可以执行某些操作或进程，如将在下面将详细描述的。该客户端/服务器实体可以响应于处理器320执行包含在诸如存储器330的计算机可读介质中的软件指令而执行这些操作。计算机可读介质可以被定义为物理或逻辑存储器装置和/或载波。
可以从例如数据存储装置350的另一计算机可读介质，或者经由通信接口380从另一装置，将软件指令读入到存储器330中。包含在存储器330中的软件指令可以使处理器320执行随后将详细描述的操作或处理。替代地，可以用硬线电路来替换软件指令或者与软件指令组合来实现与本发明的原理一致的处理。因而，与本发明的原理一致的实现不限于硬件电路和软件的任意特定组合。
用于构造与广告选择相关联的用户行为的统计模型的示范性过程
图4是用于构造与多个在线广告的选择相关联的用户行为的统计模型的示范性过程的流程图。本领域技术人员可以理解的是，图4中所示范的过程可以适当地以软件实现并被存储在计算机可读存储器中，诸如主存储器330、ROM340或者服务器220、230或客户端210的存储装置350。
该示范性过程可以以获得与评级的广告相关联的评级数据开始(框400)。该评级数据可以包括对每个评级的广告的质量进行评级(例如，相对于所发出的查询)的人工生成数据。然后，可以获得与所评级的广告的每个选择相关联的会话特征(框410)。可以通过在给定的用户会话期间观察实际的用户行为来实时地获得会话特征(其在将每个广告闪现(impression)显示给用户之前、期间以及之后发生)，或者可以在将每个广告闪现显示给用户之前、期间以及之后从存储在数据库中的会话特征(即，用户行为和动作)的记录日志中获得。所获得的会话特征125可以包括任何类型的观察的用户行为。每个会话特征125可以对应于用户对于给定广告的满意度的间接测量。会话特征125中的某些会话特征可以是确定不同用户对于会话特征125中的其他会话特征如何具有不同值的因素(例如，具有拨号连接的用户可以比具有高速因特网连接的用户具有更长的广告选择持续时间)。
会话特征125可以包括，但不限于，广告选择的持续时间(例如，在广告上“点击”的持续时间)、在给定的广告选择之前和/或之后的其他广告的选择的数量、在给定的广告选择之前和/或之后的搜索结果的选择的数量、在给定的广告选择之前和/或之后的其他结果的选择的数量、在给定的广告选择之前和/或之后的文档浏览(例如，页面浏览)的数量、在给定的广告选择之前和/或之后的搜索查询的数量、与用户会话相关联的显示广告的搜索查询的数量、对相同同一给定广告的重复选择的数量或者给定的广告选择是否是会话中的最后选择、会话中的最后广告选择、对于给定搜索查询的最后选择或者对于给定搜索查询的最后广告选择的表示。图5-12在下面描述了与本发明的各方面一致的可以作为会话特征而被测量的各种示范性类型的用户行为。
图5示出了广告选择的持续时间的测量作为会话特征500。如图5中所示，可以将与文档510相关联的广告505提供给用户。响应于接收到广告505，该用户可以选择515广告505，并且可以将该广告定着文档520提供给用户。可以测量广告选择的持续时间525(例如，从选择广告的时间直到下一用户动作的时间段)作为会话特征500。
图6示出了在具体广告选择之前和/或之后的对其他广告选择的数量的测量作为会话特征600。给定了广告N 610的具体选择605，以及响应于该广告选择605而提供广告定着文档615，则可以测量与提供以前广告定着文档630对应的广告N-x 625中的一个或多个以前广告选择620的数量。另外，或者作为选择，给定了广告N 610的具体选择605，可以测量与提供下一广告定着文档645对应的广告N+x 640中的一个或多个下一广告选择635的数量。可以测量在具体的广告选择之前和/或之后的其他广告选择的数量，作为会话特征600。
图7示出了在具体的广告选择之前和/或之后的对搜索结果选择的数量的测量作为会话特征700。给定了广告N 710的具体选择705，以及响应于该广告选择705而提供广告定着文件715，可以测量在该广告选择705之前用户浏览的搜索结果文档720的数量作为会话特征700。可以使用用户发出的搜索查询基于搜索的执行来将搜索结果文档提供给用户。另外，或者作为选择，可以测量在广告选择705之后由该用户浏览的搜索结果文档725的数量作为会话特征700。
图8示出了在具体的广告选择之前和/或之后的对用户浏览的文档的数量的测量作为会话特征800。给定了广告810的具体选择805，并且响应于该广告选择805而提供广告定着文档815，可以测量在广告选择805之前用户浏览的文档820(例如，页面浏览)的数量作为会话特征800。另外，或者作为选择，可以测量在广告选择805之后用户浏览的文档825(例如，页面浏览)的数量作为会话特征800。
图9示出了在具体广告选择之前和/或之后的对用户发出的搜索查询的数量的测量作为会话特征900。给定了广告910的具体选择905，并且响应于该广告选择905而提供广告定着文档915，可以测量在广告选择905之前用户发出的搜索查询920的数量作为会话特征900。另外，或者作为选择，可以测量在广告选择905之后用户发出的搜索查询925的数量作为会话特征900。
图10示出了在包括具体广告选择的会话中的对搜索查询(其导致了对广告进行显示)的数量的测量作为会话特征1000。给定了包括预定广告选择的会话，可以测量搜索查询1005的数量，其导致对相应广告1010-1至1010-N进行显示。可以测量搜索查询的数量作为会话特征1000。导致对广告进行显示的搜索查询1005的数量可以表示给定用户会话的商业性质。
图11示出了用户对相同广告的重复选择的数量的测量作为会话特征1100。如图11中所示，可以将可以与多个文档1110-1至1110-N相关联的广告1105提供给用户一次或者多次。响应于每次接收到广告1105，用户可以选择1115广告1105，并且可以对于每次重复的用户选择将广告定着文档1120提供给用户。可以测量用户对相同广告的重复选择的数量作为会话特征1100。
图12示出了确定广告选择是否是对于给定的搜索查询的最后广告选择，或者该广告选择是否是对于用户会话的最后广告选择，作为会话特征1200。如图12中所示，用户可以在给定的会话1210期间发出搜索查询1205，并且可以在发出搜索查询1205之后将一个或多个广告1215提供给用户。响应于每次接收到广告1215，用户可以选择1220广告1215，并且可以将广告定着文档1225提供给用户。可以做出该广告选择1220是否是对于搜索查询1205的最后广告选择的确定。因而，如果发出搜索查询1205的用户选择了多个广告，则可以识别对于搜索查询1205的仅仅最后广告选择。还可以做出该广告选择1220是否是对于会话1210的最后广告选择的确定。因此，如果在给定的会话期间用户已经做出多个广告选择，则可以识别对于该会话的仅仅最后广告选择。
在图5-12中未示出的其他类型的用户行为也可以被用作与本发明的原理一致的会话特征。下面列出了其他示范性会话特征的多个例子：
1)代替广告选择持续时间，可以将给定的广告选择持续时间相对于用于给定用户的平均广告选择持续时间的比值用作会话特征。给定用户可以读取得比其他用户快，因而可以在给定的广告上停留与其他用户不同的时间量。
2)给定的广告选择持续时间相对于平均广告选择持续时间的比值允许识别特定用户在哪些广告上停留得比正常时间长；
3)给定的广告选择持续时间相对于用户的所有选择(例如，搜索结果选择或者广告选择)的比值。
4)用户在给定的会话中选择给定广告的次数。用户可以访问给定的广告、发现它有趣、继续访问其它广告和/或搜索结果、然后因为给定的广告最有趣而返回该给定的广告。
5)从广告结果选择直到用户发出另一搜索查询的持续时间。持续时间越短，用户对由选择所得到的广告结果不满意的可能性越大(即，用户感觉需要马上改进查询)。
6)从给定的广告结果选择直到用户发出另一搜索查询为止的时间相对于从广告结果选择直到用户发出另一搜索查询为止的所有其他时间的比值。
7)对于给定的广告结果选择，花费在浏览搜索查询的其他结果而不是在给定的广告结果上的时间。该会话特征提供了结果对于该查询有多么全面的表示。
8)给定的广告选择持续时间相对于所有其它广告选择持续时间的比值。如果相对于在其它广告上平均花费的时间，用户在给定广告上花费了更长时间，则该用户可能对该广告更满意。
9)在给定的搜索结果或广告选择之前在给定会话中发生多少搜索(即唯一发出的搜索查询)。
10)在给定的搜索结果或广告选择之后在给定会话中发生多少搜索。在给定查询之后的搜索越多，用户对给定选择的结果满意的可能性越低。
11)除了搜索，在该选择之后对于给定的搜索查询发生多少搜索结果页面浏览。这可以在查询内(即，仅仅对于唯一查询)或对于整个会话进行计算。
12)除了搜索，在该选择之后对于给定的搜索查询发生了多少结果页面浏览。这能够在查询中进行计算(即，仅对于唯一查询而言)，或者对整个会话进行计算。在选择之后有较多页面浏览可表示不满意。
13)在该会话中发生的页面浏览的总数；
14)在会话中的显示广告的页面浏览的数量。这给出了所述会话的商业性方面的一些认识。会话越具商业性，用户将更可能对结果满意；
15)在会话中的显示广告的页面浏览的数量相对于该会话中发生的页面浏览的总数的比值。高比值表示用户所提交的查询是高度商业性的；
16)在会话中显示的广告闪现的总数。这是该会话的商业性的另一个度量；
17)每个显示广告的查询所显示的广告的平均数，该会话的商业性的另一个度量；
18)查询扫描时间——从用户看到查询结果到用户做其他事情(点击广告、搜索结果、下一页面、新查询等)时用多长时间。该时间长度可表示页面整体有多好——越长，则页面越不好(用户必须阅读页面的更多内容来找到值得点击的事物)；
19)在给定查询扫描时间与所有其他查询扫描时间之间的比值；
20)在给定搜索中发生的选择(例如，点击)的总数。这些选择包括所有类型的选择(例如，搜索、onebox、广告)，而不是仅仅广告选择；
21)在给定的广告选择之前在搜索中发生的选择的总数；
22)在给定的广告选择之后在搜索中发生的选择的总数；
23)在搜索中发生的广告选择的总数。可能需要用页面上的广告数量来规范化；
24)在给定的广告选择之前在搜索中发生的广告选择的总数；
25)在给定的广告选择之后在搜索中发生的广告选择的总数；
26)在搜索中发生的、其在文档上的广告位置位于文档上的给定广告位置之上的广告选择的总数；
27)在搜索中发生的、其在文档上的广告位置位于文档上的给定广告位置之下的广告选择的总数；
28)在搜索中发生的不是对给定广告的广告选择的总数；
29)在搜索中发生的搜索结果选择的总数
30)在给定的广告选择之前在搜索中发生的搜索选择的总数；
31)在给定的广告选择之后在搜索中发生的搜索结果选择的总数；
32)在会话中发生的长持续时间的搜索结果选择的总数；
33)在会话中发生的短持续时间的搜索结果选择的总数；
34)在会话中最后发生的搜索结果选择的总数。给定用户可以通过点击搜索结果来结束会话，而不需要后续动作，或者用户可以以其他方式(例如，广告结果点击、发出查询以及不点击等)来结束会话；
35)在搜索中发生的非搜索结果以及非广告选择的总数；
36)是否存在来自该广告选择的转换的表示；
37)用户的连接速度的表示(例如，拨号、线缆、DSL)；
38)用户位于哪个国家的表示。不同的文化有可能导致用户对相同的广告有不同反应，或者具有不同文化反应，或者不同地停在网站上；
39)用户位于世界上的那个区域(例如，APAC＝＝亚太区)的表示；
40)对于给定广告的关键字是否与搜索查询精确匹配(即，具有与查询完全相同的术语)，或者是否缺失一个词、多于一个词、或者具有重写术语。通常，广告的质量可能变化(匹配越精确，质量越高)，并且关键字匹配可能是分割广告的合理方式，并且预测广告对于不同的匹配类型来说分别是好还是坏；
41)对于给定广告的估计点进率(CTR)的表示；
42)广告商为给定的广告选择支付多少每次点击成本(CPC)？广告很好的可能性可以取决于广告商支付了多少(越多质量越高)；
43)广告商愿意支付多少CPC？在广告拍卖中，可以使用广告商出价来设置广告排名，并且排名低于给定广告/广告商的广告/广告商设置实际上将由下一个较高排名的广告/广告商支付的价格；
44)有效CPC*预测的CTR；或者
45)出价CPC*预测的CTR。
上面描述了可以用于统计模型的会话特征的多个例子。但是，本领域技术人员应认识到：可以使用其他的会话特征，作为选择，或者与任意上述会话特征结合。
返回至图4，然后可以推导出统计模型，用于确定每个所选广告是给定与广告选择相关联的所测会话特征的好质量广告的概率(框420)。可以使用现有的统计技术(例如逻辑回归)来推导出与本发明的原理相一致的统计模型。回归包括发现用于将结果变量(因变量y)与一个或多个预测器(自变量x1，x2，等)相关的函数。简单的线性回归假设如下形式的函数：
y＝c0+c1*x1+c2*x2+...         等式(1)
并且发现c0，c1，c2等的值(c0被称为“截距”或“常数项”)。在本发明的上下文中，每个预测器变量x1，x2，x3等对应于广告选择期间测得的不同会话特征。逻辑回归是普通回归的变形，当观测到的结果限定为两个值时是很有用的，其通常表示某个结果事件的发生或未发生，(通常分别被编码为1或0)，诸如在本发明的上下文中的好广告或差广告。
逻辑回归产生作为独立预测变量的函数对发生的概率进行预测的公式。逻辑回归通过采取线性回归(上述等式(1))(其将生成位于正无穷大与负无穷大之间的任意y值)并用下面的函数对其进行变换来符合特定S形曲线：
P＝exp(y)/(1+exp(y))                       等式(2)
其中产生位于0(当y达到负无穷大时)和1(当y达到正无穷大时)之间的P值。将等式(1)代入等式(2)，这样，好广告的概率变为如下：
P ( good ad | ad selection ) = f g ( session features x 1 , x 2 , x 3 · · · ) = e ( c g 0 + c g 1 * x 1 + c g 2 * x 2 + . . . ) 1 + e ( c g 0 + c g 1 * x 1 + c g 2 * x 2 + . . . )
                                               等式3
其中cg0为等式的常数，cgn为会话特征预测变量xn的系数。类似地，可以通过下面的等式(4)来确定差广告的概率：
P ( bad ad | ad selection ) = f b ( session features x 1 , x 2 , x 3 · · · )
                 = ( e ( c b 0 + c b 1 * x 1 + c b 2 * x 2 + . . . ) 1 + e ( c b 0 + c b 1 * x 1 + c b 2 * x 2 + . . . ) )   等式4
其中cb0为等式的常数，cbn为会话特征预测变量xn的系数。
可以测试统计模型的符合(fit)，以确定哪个会话特征与好或差质量广告相关。如果使用逻辑回归技术来确定统计模型，则该逻辑回归的目的是要通过使用最节俭的模型来正确预测各个情况的结果。为了实现这一目的，创建一个模型，其中包括在预测因变量y的结果时有用的所有预测器变量(例如会话特征)。为了构建统计模型，逻辑回归可以在每个系数(cn)被增加或删除后测试模型的符合，被称为逐步回归。例如，可以使用反向逐步回归，其中模型构造从完整或饱和模型开始，并且在迭代过程中从模型中消除预测器变量以及它们的系数。在消除每个变量之后测试该模型的符合，以确保该模型仍旧足够与数据符合。当无法再从模型中消除预测器变量时，该模型的构造就完成了。留在模型中的预测器变量(每一个对应于所测的会话特征)识别与好或差广告相关的会话特征。因而，逻辑回归能够提供不同预测器变量之间的关系和强度的了解。为了了解从模型包括或消除的重要性而测试系数以及它们相应的预测器变量的过程可以包括几个不同的已知技术。这样的技术可以包括Wald测试，相似性比率测试或者Hosmer-Lemshow Goodness of Fit测试。这些系数测试技术在本领域内是已知的，并且这里将不再进一步描述。在其他实现中，可以使用现有的交叉确认和单独训练技术，来代替如上所述的分类估计以及测试回归系数的技术。
代替或除了逻辑回归，可以使用其他现有的统计技术来推导与本发明的原理相一致的统计模型。例如，使用“提级”技术的“枝端”模型可以被用来推导统计模型。本领域技术人员可以认识到的是，“提级”是一种机器学习技术，用于通过连续地改进其他弱的统计模型来建立统计模型。其基本思想是向整个训练数据集合重复地应用相同的算法，但是在每个阶段对训练数据进行不同地加权。该加权使得通过阶段k与模型很好符合的情况在阶段k+1接收相对小的权重，而通过阶段k与模型不太符合的情况在阶段k+1接收相对大的权重。
枝端是在每个阶段都能够应用的弱统计模型。枝端是2叶分类树，其由根节点和二进制规则构成，其将情况分为两个相互排斥的子集(即，叶节点)。规则可以采取形式“点击持续时间(ClickDuration)<120秒”，并且点击持续时间满足该规则的所有情况进入一个叶节点，而不满足该规则的情况进入另一个叶节点。另一规则可以采取形式“广告选择是最后广告选择”，并且广告选择满足该规则的所有情况进入一个叶节点，而不满足该规则的情况进入另一个叶节点。
可以使用各种算法来符合“提级的枝端”模型，包括例如基于梯度的方法。这样的算法可以如下进行：给定一组权重，从所有可能的二进制判定规则中(从将该情况分为两个叶子的会话特征中推到的)选择一个将与该算法相关的(加权)损耗函数最小化的规则。损耗函数的一些例子是与最大相似法对应的“伯努里式(Bernoulli)损耗”以及与周知的ADABoost方法对应的“指数损耗”。在该阶段选择最佳二进制判定规则之后，可以重新计算该权重，并可以重复该过程，借此选择将新(加权)损耗函数最小化的最佳二进制规则。该过程可以被重复许多次(例如，几百至几千)并且可以使用重采样法(例如，交叉确认)来定义停止规则，以便于防止过符合。
提级的枝端已经被显示为近似附加逻辑回归模型，因此每个特征都对符合模型作出附加的非线性贡献(关于逻辑等级)。该枝端的序列定义会话特征与广告被定级为“好”的概率之间的关系。该序列可以用如下的统计模型表示：
P ( good ad | selection feature x ) = e ( c 0 + c 1 * B 1 ( x ) + c 2 * B 2 ( x ) + . . . ) 1 + e ( c 0 + c 1 * B 1 ( x ) + c 2 * B 2 ( x ) + . . . )                等式(5)
其中如果会话特征x满足第k个二进制规则则Bk(x)＝1，或者如果会话特征x不满足第k个二进制规则则Bk(x)＝0。该系数ck，k＝1，...，是算法的副产品并且与在第k个二进制规则的好广告的可能性相关。实际上，给定会话特征x，就可以估计每个二进制规则，并且相应的系数被累计，以获得好广告的预测概率。
虽然上面已经描述了逻辑回归和提级的枝端作为构造统计模型的示范性技术，但是本领域技术人员应认识到也可以使用其他现有的统计方法(例如回归树)来推导与本发明的原理一致的统计模型。
示范性广告质量评估过程
图13是根据与本发明的原理相一致的实现的对用户所选择的广告的质量进行估计的示范性过程的流程图。本领域技术人员应理解，图13所示例的过程可以适当地以软件实现并且可以被存储在诸如主存储器330、ROM 340或者服务器220或230或客户端210的存储设备350的计算机可读存储器上。
所述示范性过程以获得与未评级广告的选择相关联的会话特征开始(框1300)。所述会话特征可以在用户的广告选择期间实时测量或者从与广告选择相关联的用户行为的日志中获得。未评级广告可能不具有与其相关联的任何人工生成的质量评级，诸如以上图4中所使用的广告评级。如图14所示，用户可选择1400与文档1410(例如，搜索结果文档)相关联的未评级广告1405。可响应于对未评级广告1405的选择向用户提供广告定着文档1415。所获得的会话特征可包括与广告选择相关联的任意类型的用户行为，诸如以上关于框410(图4)所描述的那些用户行为。如图14所示，可测量与未评级广告1405的选择1400相关联的会话特征1420。可以使用在以上的框420所推导的统计模型和所测量的会话特征来确定与所述未评级广告相关联的分值(框1310)。在以上的框410和420所推导的统计模型可以提供表示给定与用户的该广告选择相关联的所测量会话特征的情况下的好广告概率的概率函数(例如，以上的等式(3)或(5))。因此，可以将所测量的会话特征值输入到等式(3)或(5)来获得所选择的广告是好广告的概率值。例如，可以将会话特征x1，x2，x3和x4的值输入到等式(3)或(5)，以获得概率值P(good ad|session featuresx1，x2，x3，x4)＝0.4。然后可以将所述概率值P等同于质量分值。例如，可使用概率值的线性函数将所述概率值等同于质量分值。如一个示例，可将质量分值设置为等于概率值P，或者等于概率值P的若干倍(例如，概率值P的10倍)。然而，本领域技术人员将意识到，可以使用其它函数关系来将概率值转换为与所选择的广告相关联的质量分值。如图14所示，可以将所测量的会话特征1420输入到统计模型1425中，并且统计模型1425可输出未评级广告1405的质量分值。
然后可基于所确定的分值来估计所选择的广告的质量(框1320)。例如，可以使用质量分值的范围来评估所选择的广告的质量，诸如在值0至X之间的质量分值可表示低质量分值，而在X和X+Y之间的质量分值可表示高质量分值。可使用与本发明的原理一致的其它方法基于所确定的质量分值来估计所选择的广告的质量。
如在与本申请相同日期提交的名称为“Predicting Ad Quality”的共同未决美国申请No.11/321,046(代理人案卷号No.0026-0156)(在此通过引用而将其全部内容合并于本文中)中所描述的，对于多个用户进行的多个广告选择，可在数据结构中聚合在框1310中确定的质量分值。在与本申请相同日期提交的名称为“Using Estimated Ad Qualities forAd Filtering，Ranking and Promotion”的共同未决美国申请No.11/321,064(Attorney Docket No.0026-0158)(在此通过引用而将其全部内容合并于本文中)中所描述的，从所聚合的质量分值所得出的质量预测可被用于例如对广告进行过滤、排名和/或提升。
结论
以上对本发明的优选实施例的描述提供了例证和说明，但并非意在穷举本发明或者将本发明限制在所披露的精确形式。可以按照上面的教导或者从本发明的实践中获得对本发明的某些更改和变化。例如，虽然已经参照图4和13描述了一系列动作，但是在与本发明原理相一致的其他实现中可以修改这些动作的顺序。此外，互不依赖的动作可以被并行执行。
除了上述会话特征之外，在一些实现中可以可选地使用转换跟踪来推导预测值与用户满意度之间的直接标度。当对广告的选择直接导致了广告主认为有价值的用户行为(例如，用户购买)时，就发生了转换。广告主或者为广告主托管广告的服务可以跟踪对于每个广告选择是否都发生了转换。例如，如果用户选择了广告主的广告，并且随后在线购买了在响应于广告选择而提供给用户的广告定着文档上显示的产品，则广告主或者托管广告的服务可以记录关于该广告选择的转换。该转换跟踪数据可以与所识别的广告选择相关联。可以使用统计技术，例如，逻辑回归、回归树、提级的枝端等来推导在预测值与通过转换测得的用户满意度之间的直接标度。
对于本领域内的普通技术人员来说，在图中所示的实现中可以使用软件、固件以及硬件的许多不同的形式来实现本发明如上所述的各个方面。用于实现与本发明原理相一致的各个方面的实际软件代码或专用控制硬件不会限制本发明。这样，没有参照特定软件代码来描述各个方面的操作和行为，然而，可以理解的是，基于这里的描述，本领域内的普通技术人员将能够设计软件和控制硬件来实现这些方面。
本发明申请中使用的元件、动作或指令等不应被构造为对本发明来说是关键的或必不可少的，除非明确描述的确如此。而且，正如这里所使用的，词“一”意在包括一个或多个项目。在意图仅表示一个项目的地方，使用术语“一个”或类似用语。进一步，短语“基于”意在表示“至少部分基于”，除非已明确地表示并非如此。

Claims (25)

1.一种方法，包括：
获得与由一个或多个服务器所托管的第一组广告相关联的评级，其中所述评级表示所述第一组广告的质量；
观察与所述第一组广告中的广告的用户选择相关联的多个不同的第一用户动作；
使用所观察到的第一用户动作和所获得的评级推导统计模型；
观察与由所述一个或多个服务器所托管的第二广告的用户选择相关联的第二用户动作；以及
使用所述统计模型和所述第二用户动作对所述第二广告的质量进行估计。
2.如权利要求1所述的方法，其中观察所述多个不同的第一用户动作包括：
记录所述多个不同的第一用户动作。
3.如权利要求1所述的方法，其中所述多个不同的第一用户动作包括不同于点进率(CTR)或除点进率之外的用户动作。
4.如权利要求1所述的方法，其中推导所述统计模型包括：
使用逻辑回归、回归树或提级的枝端中的至少一个生成所述统计模型。
5.如权利要求1所述的方法，其中推导所述统计模型包括：
测试所述统计模型的符合，以确定哪些所观察的第一用户动作与好或差的广告相关。
6.如权利要求1所述的方法，其中使用所述统计模型和所述第二用户动作包括：
给定所述第二用户动作，使用所述统计模型来确定所述第二广告是好广告的概率；以及
基于所确定的概率对所述第二广告的质量进行估计。
7.如权利要求6所述的方法，其中使用所述统计模型和所述第二用户动作包括：
使用所述第二广告是好广告的所述概率来确定与所述第二广告相关联的分值；以及
基于所确定的分值对所述第二广告的质量进行估计。
8.如权利要求7所述的方法，其中确定与所述第二广告相关联的分值包括：
向所述第二广告是好广告的概率应用函数，以确定所述分值。
9.如权利要求1所述的方法，其中所述多个不同的第一用户动作包括以下的至少一个：
广告选择的持续时间；
在给定的广告选择之前和/或之后对其它广告的选择的数目；
在给定的广告选择之前和/或之后对搜索结果的选择的数目；
在给定的广告选择之前和/或之后对其它类型的结果的选择的数目；
在给定的广告选择之前和/或之后文档浏览的数目；
在给定的广告选择之前和/或之后搜索查询的数目；
与用户会话相关联的显示广告的搜索查询的数目；
重复选择同一给定广告的数目；或
给定的广告选择是否是给定查询的最后广告选择或用户会话中的最后选择的表示。
10.一种方法，包括：
观察与由服务器所托管的第一广告的用户选择相关联的第一用户行为，其中所观察的第一用户行为包括不同于点进率(CTR)或除点进率之外的用户行为；并且
基于所观察的第一用户行为对所述第一广告的质量进行估计。
11.如权利要求10所述的方法，其中所观察的用户行为包括以下的所观察的用户行为中的至少一个：
广告选择的持续时间；
在给定的广告选择之前和/或之后对其它广告的选择的数目；
在给定的广告选择之前和/或之后对搜索结果的选择的数目；
在给定的广告选择之前和/或之后对其它类型的结果的选择的数目；
在给定的广告选择之前和/或之后文档浏览的数目；
在给定的广告选择之前和/或之后搜索查询的数目；
与用户会话相关联的显示广告的搜索查询的数目；
重复选择同一给定广告的数目；或
给定的广告选择是否是给定查询的最后广告选择或用户会话中的最后选择的表示。
12.如权利要求10所述的方法，进一步包括：
获得与一组广告相关联的评级，其中所述评级指示该组广告中的每个广告的质量；
观察与该组广告中的广告的用户选择相关联的第二用户行为；以及
使用所述评级和所观察的第二用户行为构造统计模型；
其中对所述第一广告的质量进行估计包括：
使用所述统计模型和所观察的第一用户行为来对所述第一广告的质量进行估计。
13.如权利要求12所述的方法，其中构造所述统计模型包括：
使用逻辑回归、回归树或提级的枝端中的至少一个生成所述统计模型。
14.如权利要求12所述的方法，其中使用所述统计模型和所观察的第一用户行为包括：
给定所观察的第一用户行为，使用所述统计模型来确定所述第一广告是好广告的概率；以及
基于所确定的概率来确定与所述第一广告相关联的分值。
15.如权利要求14所述的方法，其中使用所述统计模型和所观察的第一用户行为包括：
基于所确定的分值对所述第一广告的质量进行估计。
16.一种存储计算机可执行指令的计算机可读介质，包括：
用于识别与由服务器所托管的第一广告的用户选择相关联的用户行为的指令，其中所观察的用户行为包括不同于点进率(CTR)或除点进率之外的用户行为；以及
用于基于所述用户行为对所述第一广告的质量进行估计的指令。
17.一种方法，包括：
观察与由一个或多个服务器所托管的第一广告的用户选择相关联的多个用户动作；
将与所述第一广告相关联的已知的质量与所述多个用户动作中的特定用户动作相关联；
观察与第二广告的用户选择相关联的所述多个用户动作中的所述特定用户动作的出现；以及
基于所述多个用户动作中的所述特定用户动作的出现来对所述第二广告的质量进行估计。
18.如权利要求17所述的方法，其中所述多个用户动作包括不同于点进率(CTR)或除点进率之外的用户动作。
19.如权利要求17所述的方法，其中观察所述多个用户动作包括：
记录与由一个或多个服务器所托管的所述第一广告的用户选择相关联的所述多个用户动作。
20.如权利要求17所述的方法，其中所述多个用户动作包括以下的至少一个：
广告选择的持续时间；
在给定的广告选择之前和/或之后对其它广告选择的数目；
在给定的广告选择之前和/或之后对搜索结果的选择的数目；
在给定的广告选择之前和/或之后对其它类型的结果的选择的数目；
在给定的广告选择之前和/或之后文档浏览的数目；
在给定的广告选择之前和/或之后搜索查询的数目；
与用户会话相关联的显示广告的搜索查询的数目；
重复选择同一给定广告的数目；或
给定广告选择是否是给定查询的最后广告选择或用户会话中的最后选择的表示。
21.如权利要求17所述的方法，其中将与所述第一广告相关联的已知的质量与所述多个用户动作中的特定用户动作相关联包括：
使用逻辑回归、回归树或提级的枝端中的至少一个来关联所述已知的质量。
22.如权利要求21所述的方法，其中关联与所述第一广告相关联的已知的质量包括：
构造统计模型，所述统计模型确定给定多个用户动作的情况下广告是好广告的概率；以及
其中确定所述第二广告的质量包括：
使用所述统计模型和所述多个用户动作中的所述特定用户动作的出现对所述第二广告的质量进行估计。
23.如权利要求22所述的方法，其中关联与所述第一广告相关联的已知的质量包括：
测试所述统计模型的符合，以确定所述多个用户动作中的所述特定用户动作与好广告相关联。
24.一种系统，包括：
用于获得与由一个或多个服务器所托管的第一组广告相关联的评级的装置，其中所述评级表示所述第一组广告的质量；
用于识别与所述第一组广告中的广告的用户选择相关联的多个不同的第一用户动作的装置；
用于基于所述第一用户动作和所获得的评级推导统计模型的装置；
用于识别与由所述一个或多个服务器所托管的第二广告的用户选择相关联的第二用户动作的装置；和
用于基于所述统计模型和所述第二用户动作对所述第二广告的质量进行估计的装置。
25.一种方法，包括：
记录与一组广告的用户选择相关联的用户动作，其中该组广告与质量评级相关联，并且其中所述用户动作包括不同于点进率(CTR)或除点进率之外的用户动作；
使用所记录的用户动作和所述质量评级来生成统计模型；以及
使用所述统计模型对不包括在该组广告中的广告的质量进行估计。
CNA2006800535734A 2005-12-30 2006-12-29 从所观察的用户行为估计广告质量 Pending CN101390119A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/321,076 US8065184B2 (en) 2005-12-30 2005-12-30 Estimating ad quality from observed user behavior
US11/321,076 2005-12-30

Publications (1)

Publication Number Publication Date
CN101390119A true CN101390119A (zh) 2009-03-18

Family

ID=38225720

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800535734A Pending CN101390119A (zh) 2005-12-30 2006-12-29 从所观察的用户行为估计广告质量

Country Status (9)

Country Link
US (1) US8065184B2 (zh)
EP (1) EP1966749A4 (zh)
JP (1) JP5078910B2 (zh)
KR (1) KR101024864B1 (zh)
CN (1) CN101390119A (zh)
AU (2) AU2006332532B2 (zh)
BR (1) BRPI0620826A2 (zh)
CA (1) CA2635884A1 (zh)
WO (1) WO2007079403A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619117B2 (en) 2011-07-18 2017-04-11 Google Inc. Multi-channel conversion path position reporting
CN107491999A (zh) * 2016-06-13 2017-12-19 北京京东尚科信息技术有限公司 一种活动页引入订单量的统计方法、装置及系统

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818208B1 (en) 2005-06-28 2010-10-19 Google Inc. Accurately estimating advertisement performance
US7827060B2 (en) * 2005-12-30 2010-11-02 Google Inc. Using estimated ad qualities for ad filtering, ranking and promotion
US10600090B2 (en) * 2005-12-30 2020-03-24 Google Llc Query feature based data structure retrieval of predicted values
US20070156887A1 (en) * 2005-12-30 2007-07-05 Daniel Wright Predicting ad quality
US20070157228A1 (en) 2005-12-30 2007-07-05 Jason Bayer Advertising with video ad creatives
US20070265918A1 (en) * 2006-03-02 2007-11-15 Mcmahon Michael B System and method for tracking, auditing, and valuing online advertising
US20070266305A1 (en) * 2006-05-10 2007-11-15 David Cong System and method for monitoring user behavior with regard to interactive rich-media content
US20080300971A1 (en) * 2007-05-30 2008-12-04 Microsoft Corporation Advertisement approval based on training data
US8660895B1 (en) * 2007-06-14 2014-02-25 Videomining Corporation Method and system for rating of out-of-home digital media network based on automatic measurement
US8126881B1 (en) 2007-12-12 2012-02-28 Vast.com, Inc. Predictive conversion systems and methods
EP2243109A4 (en) * 2007-12-26 2012-01-18 Gamelogic Inc SYSTEM AND METHOD FOR COLLECTING AND USING PLAYER INFORMATION
US8296177B2 (en) * 2008-02-20 2012-10-23 Yahoo! Inc. Method for generating forecasting landscapes
US20090265290A1 (en) * 2008-04-18 2009-10-22 Yahoo! Inc. Optimizing ranking functions using click data
US8965786B1 (en) 2008-04-18 2015-02-24 Google Inc. User-based ad ranking
US20090327329A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Price estimation of overlapping keywords
US8224698B2 (en) * 2008-07-03 2012-07-17 The Search Agency, Inc. System and method for determining weighted average success probabilities of internet advertisements
US8443189B2 (en) * 2008-10-24 2013-05-14 International Business Machines Corporation Trust event notification and actions based on thresholds and associated trust metadata scores
US8108330B2 (en) * 2008-10-24 2012-01-31 International Business Machines Corporation Generating composite trust value scores, and atomic metadata values and associated composite trust value scores using a plurality of algorithms
US8290960B2 (en) * 2008-10-24 2012-10-16 International Business Machines Corporation Configurable trust context assignable to facts and associated trust metadata
US20100106558A1 (en) * 2008-10-24 2010-04-29 International Business Machines Corporation Trust Index Framework for Providing Data and Associated Trust Metadata
US20100198685A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predicting web advertisement click success by using head-to-head ratings
US20100208984A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Evaluating related phrases
US8812362B2 (en) * 2009-02-20 2014-08-19 Yahoo! Inc. Method and system for quantifying user interactions with web advertisements
US8719298B2 (en) * 2009-05-21 2014-05-06 Microsoft Corporation Click-through prediction for news queries
US8386601B1 (en) * 2009-07-10 2013-02-26 Quantcast Corporation Detecting and reporting on consumption rate changes
US8276157B2 (en) 2009-10-23 2012-09-25 International Business Machines Corporation Monitoring information assets and information asset topologies
AU2010349015B2 (en) 2010-03-23 2015-07-16 Amara, Ashok Babu Conversion path performance measures and reports
WO2011119187A1 (en) * 2010-03-23 2011-09-29 Google Inc. Conversion path performance measures and reports
US20110270686A1 (en) * 2010-04-28 2011-11-03 Microsoft Corporation Online platform for web advertisement partnerships
US8583483B2 (en) 2010-05-21 2013-11-12 Microsoft Corporation Online platform for web advertisement competition
US9449282B2 (en) 2010-07-01 2016-09-20 Match.Com, L.L.C. System for determining and optimizing for relevance in match-making systems
US8521774B1 (en) 2010-08-20 2013-08-27 Google Inc. Dynamically generating pre-aggregated datasets
US9384408B2 (en) 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US20120179544A1 (en) * 2011-01-12 2012-07-12 Everingham James R System and Method for Computer-Implemented Advertising Based on Search Query
US20120260185A1 (en) * 2011-04-11 2012-10-11 Google Inc. Path length selector
US20120303443A1 (en) * 2011-05-27 2012-11-29 Microsoft Corporation Ad impact testing
US8959450B2 (en) 2011-08-22 2015-02-17 Google Inc. Path explorer visualization
US8635519B2 (en) 2011-08-26 2014-01-21 Luminate, Inc. System and method for sharing content based on positional tagging
US20130086112A1 (en) 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US8737678B2 (en) 2011-10-05 2014-05-27 Luminate, Inc. Platform for providing interactive applications on a digital content platform
USD736224S1 (en) 2011-10-10 2015-08-11 Yahoo! Inc. Portion of a display screen with a graphical user interface
USD737290S1 (en) 2011-10-10 2015-08-25 Yahoo! Inc. Portion of a display screen with a graphical user interface
US10325297B2 (en) * 2011-11-28 2019-06-18 Dell Products, Lp Method for comparing sales performance of web sites and a system therefor
US8255495B1 (en) 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
CN103578010A (zh) * 2012-07-26 2014-02-12 阿里巴巴集团控股有限公司 生成流量质量比较参数的方法和装置、广告计费方法
US10311468B2 (en) * 2012-12-28 2019-06-04 International Business Machines Corporation Statistical marketing attribution correlation
US9104718B1 (en) 2013-03-07 2015-08-11 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US10007946B1 (en) 2013-03-07 2018-06-26 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US9465873B1 (en) 2013-03-07 2016-10-11 Vast.com, Inc. Systems, methods, and devices for identifying and presenting identifications of significant attributes of unique items
US9830635B1 (en) 2013-03-13 2017-11-28 Vast.com, Inc. Systems, methods, and devices for determining and displaying market relative position of unique items
US9588675B2 (en) 2013-03-15 2017-03-07 Google Inc. Document scale and position optimization
US9460451B2 (en) * 2013-07-01 2016-10-04 Yahoo! Inc. Quality scoring system for advertisements and content in an online system
US8788338B1 (en) * 2013-07-01 2014-07-22 Yahoo! Inc. Unified marketplace for advertisements and content in an online system
US10134053B2 (en) 2013-11-19 2018-11-20 Excalibur Ip, Llc User engagement-based contextually-dependent automated pricing for non-guaranteed delivery
US10127596B1 (en) 2013-12-10 2018-11-13 Vast.com, Inc. Systems, methods, and devices for generating recommendations of unique items
CN104834641B (zh) * 2014-02-11 2019-03-15 腾讯科技（北京）有限公司 网络媒介信息的处理方法和相关系统
US20150332309A1 (en) * 2014-05-13 2015-11-19 Ispot.Tv, Inc. Advertisement scoring system and method
US11164211B2 (en) * 2014-10-07 2021-11-02 Grandpad, Inc. System and method for enabling efficient digital marketing on portable wireless devices for parties with low capabilities
KR102076807B1 (ko) * 2015-05-18 2020-02-13 전자부품연구원 공간행동 의미분석 시스템
US10755303B2 (en) 2015-11-30 2020-08-25 Oath Inc. Generating actionable suggestions for improving user engagement with online advertisements
US11113714B2 (en) * 2015-12-30 2021-09-07 Verizon Media Inc. Filtering machine for sponsored content
US10685070B2 (en) 2016-06-30 2020-06-16 Facebook, Inc. Dynamic creative optimization for effectively delivering content
US10810627B2 (en) * 2016-08-10 2020-10-20 Facebook, Inc. Informative advertisements on hobby and strong interests feature space
US10832279B2 (en) 2016-08-17 2020-11-10 International Business Machines Corporation Aggregation of unique user invocations in an online environment
US10572908B2 (en) 2017-01-03 2020-02-25 Facebook, Inc. Preview of content items for dynamic creative optimization
US10922713B2 (en) * 2017-01-03 2021-02-16 Facebook, Inc. Dynamic creative optimization rule engine for effective content delivery
US11106682B2 (en) 2017-10-12 2021-08-31 Target Brands, Inc. Decision platform for directed information delivery
US10268704B1 (en) 2017-10-12 2019-04-23 Vast.com, Inc. Partitioned distributed database systems, devices, and methods
US11010123B2 (en) * 2018-11-30 2021-05-18 Poductivity Ltd. Computer system providing enhanced audio playback control for audio files associated with really simple syndication (RSS) feeds and related methods

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3813210B2 (ja) 1995-09-14 2006-08-23 富士通株式会社 オンライン広告システムおよび方法
US5760995A (en) 1995-10-27 1998-06-02 Quantum Corporation Multi-drive, multi-magazine mass storage and retrieval unit for tape cartridges
US5794210A (en) 1995-12-11 1998-08-11 Cybergold, Inc. Attention brokerage
US5918014A (en) 1995-12-27 1999-06-29 Athenium, L.L.C. Automated collaborative filtering in world wide web advertising
US5848396A (en) 1996-04-26 1998-12-08 Freedom Of Information, Inc. Method and apparatus for determining behavioral profile of a computer user
US5948061A (en) 1996-10-29 1999-09-07 Double Click, Inc. Method of delivery, targeting, and measuring advertising over networks
US6285999B1 (en) 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
US6009409A (en) 1997-04-02 1999-12-28 Lucent Technologies, Inc. System and method for scheduling and controlling delivery of advertising in a communications network
US6078901A (en) 1997-04-03 2000-06-20 Ching; Hugh Quantitative supply and demand model based on infinite spreadsheet
US6006222A (en) 1997-04-25 1999-12-21 Culliss; Gary Method for organizing information
US5937392A (en) 1997-07-28 1999-08-10 Switchboard Incorporated Banner advertising display system and method with frequency of advertisement control
US6014665A (en) 1997-08-01 2000-01-11 Culliss; Gary Method for organizing information
US6078916A (en) 1997-08-01 2000-06-20 Culliss; Gary Method for organizing information
US6182068B1 (en) 1997-08-01 2001-01-30 Ask Jeeves, Inc. Personalized search methods
US6006197A (en) 1998-04-20 1999-12-21 Straightup Software, Inc. System and method for assessing effectiveness of internet marketing campaign
US6338066B1 (en) 1998-09-25 2002-01-08 International Business Machines Corporation Surfaid predictor: web-based system for predicting surfer behavior
US6356879B2 (en) 1998-10-09 2002-03-12 International Business Machines Corporation Content based method for product-peer filtering
JP3389948B2 (ja) * 1998-11-27 2003-03-24 日本電気株式会社 表示広告選択システム
US6260064B1 (en) 1999-01-08 2001-07-10 Paul J. Kurzrok Web site with automatic rating system
US6334110B1 (en) 1999-03-10 2001-12-25 Ncr Corporation System and method for analyzing customer transactions and interactions
US6907566B1 (en) 1999-04-02 2005-06-14 Overture Services, Inc. Method and system for optimum placement of advertisements on a webpage
US6430539B1 (en) 1999-05-06 2002-08-06 Hnc Software Predictive modeling of consumer financial behavior
AU6239000A (en) 1999-07-30 2001-02-19 Tmp Worldwide Method and apparatus for tracking and analyzing online usage
AU6942300A (en) 1999-08-26 2001-03-19 Spinway, Inc. System and method for providing computer network access to user
US6567786B1 (en) 1999-09-16 2003-05-20 International Business Machines Corporation System and method for increasing the effectiveness of customer contact strategies
US7031932B1 (en) 1999-11-22 2006-04-18 Aquantive, Inc. Dynamically optimizing the presentation of advertising messages
US6763334B1 (en) 1999-12-09 2004-07-13 Action Click Co., Ltd. System and method of arranging delivery of advertisements over a network such as the internet
US7130808B1 (en) 1999-12-29 2006-10-31 The Product Engine, Inc. Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium
JP3348067B2 (ja) 2000-02-29 2002-11-20 株式会社電通 広告の再生を制御する方法および装置
US6963848B1 (en) * 2000-03-02 2005-11-08 Amazon.Com, Inc. Methods and system of obtaining consumer reviews
US20020059712A1 (en) * 2000-04-28 2002-05-23 Hong-Line Chern Combination mobile computer shell and its fabrication method
US6785421B1 (en) 2000-05-22 2004-08-31 Eastman Kodak Company Analyzing images to determine if one or more sets of materials correspond to the analyzed images
JP2004524593A (ja) 2000-05-24 2004-08-12 オーバーチュア サービシズ インコーポレイテッド オンライン媒体エクスチェンジ
KR20010109402A (ko) 2000-05-31 2001-12-10 전하진 인터넷 상에서의 고객 행동 가치 산출 시스템 및 방법
US6829780B2 (en) 2000-07-17 2004-12-07 International Business Machines Corporation System and method for dynamically optimizing a banner advertisement to counter competing advertisements
US6647269B2 (en) 2000-08-07 2003-11-11 Telcontar Method and system for analyzing advertisements delivered to a mobile unit
US20020103698A1 (en) 2000-10-31 2002-08-01 Christian Cantrell System and method for enabling user control of online advertising campaigns
KR20020038141A (ko) 2000-11-16 2002-05-23 윤종용 인터넷 광고 방법 및 장치
US7406434B1 (en) 2000-12-15 2008-07-29 Carl Meyer System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization
JP2002245336A (ja) 2001-02-19 2002-08-30 Nippon Seiki Co Ltd 情報通信システム
JP2002245339A (ja) * 2001-02-20 2002-08-30 Mitsubishi Electric Corp インターネット広告の対価決定システム及び不正防止システム
WO2002076077A1 (en) 2001-03-16 2002-09-26 Leap Wireless International, Inc. Method and system for distributing content over a wireless communications system
KR100911270B1 (ko) 2001-06-06 2009-08-11 소니 가부시끼 가이샤 광고 선택 장치 및 광고 선택 방법과 기억 매체
JP2002366838A (ja) 2001-06-06 2002-12-20 Toshiba Corp リコメンデーション方法及びサーバ・システム並びにプログラム
US20030023598A1 (en) 2001-07-26 2003-01-30 International Business Machines Corporation Dynamic composite advertisements for distribution via computer networks
WO2003021514A1 (en) 2001-09-04 2003-03-13 Alvarez Alan P System and method for determining the effectiveness and efficiency of advertising media
US7778872B2 (en) 2001-09-06 2010-08-17 Google, Inc. Methods and apparatus for ordering advertisements based on performance information and price information
US7007074B2 (en) 2001-09-10 2006-02-28 Yahoo! Inc. Targeted advertisements using time-dependent key search terms
JP2003141410A (ja) 2001-10-30 2003-05-16 Hitachi Ltd インターネットサイトでの広告管理システム及び方法
US6866271B2 (en) * 2002-02-05 2005-03-15 Duramax Marine, Llc Marine shaft seal with lip seal, bearing and gasket
US7716161B2 (en) 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US20050021397A1 (en) 2003-07-22 2005-01-27 Cui Yingwei Claire Content-targeted advertising using collected user behavior data
US7136875B2 (en) 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
US20050114198A1 (en) 2003-11-24 2005-05-26 Ross Koningstein Using concepts for ad targeting
US7346606B2 (en) 2003-06-30 2008-03-18 Google, Inc. Rendering advertisements with documents having one or more topics using user topic interest
US7370002B2 (en) * 2002-06-05 2008-05-06 Microsoft Corporation Modifying advertisement scores based on advertisement response probabilities
US20040059712A1 (en) 2002-09-24 2004-03-25 Dean Jeffrey A. Serving advertisements using information associated with e-mail
US7383258B2 (en) 2002-10-03 2008-06-03 Google, Inc. Method and apparatus for characterizing documents based on clusters of related words
US8595071B2 (en) 2003-06-30 2013-11-26 Google Inc. Using enhanced ad features to increase competition in online advertising
US8041601B2 (en) 2003-09-30 2011-10-18 Google, Inc. System and method for automatically targeting web-based advertisements
US7930206B2 (en) 2003-11-03 2011-04-19 Google Inc. System and method for enabling an advertisement to follow the user to additional web pages
US20050144069A1 (en) 2003-12-23 2005-06-30 Wiseman Leora R. Method and system for providing targeted graphical advertisements
JP4936636B2 (ja) 2003-12-26 2012-05-23 ヤフー株式会社 広告管理プログラム、広告管理方法および広告管理装置
US20050154717A1 (en) 2004-01-09 2005-07-14 Microsoft Corporation System and method for optimizing paid listing yield
US20050251444A1 (en) 2004-05-10 2005-11-10 Hal Varian Facilitating the serving of ads having different treatments and/or characteristics, such as text ads and image ads
US20060173744A1 (en) 2005-02-01 2006-08-03 Kandasamy David R Method and apparatus for generating, optimizing, and managing granular advertising campaigns
US20060288100A1 (en) 2005-05-31 2006-12-21 Carson Mark A System and method for managing internet based sponsored search campaigns
US7818208B1 (en) 2005-06-28 2010-10-19 Google Inc. Accurately estimating advertisement performance
US7739708B2 (en) 2005-07-29 2010-06-15 Yahoo! Inc. System and method for revenue based advertisement placement
US8326689B2 (en) 2005-09-16 2012-12-04 Google Inc. Flexible advertising system which allows advertisers with different value propositions to express such value propositions to the advertising system
US8370197B2 (en) 2005-09-30 2013-02-05 Google Inc. Controlling the serving of advertisements, such as cost per impression advertisements for example, to improve the value of such serves
US7827060B2 (en) 2005-12-30 2010-11-02 Google Inc. Using estimated ad qualities for ad filtering, ranking and promotion
US20070156887A1 (en) 2005-12-30 2007-07-05 Daniel Wright Predicting ad quality
JP4072865B2 (ja) * 2006-03-02 2008-04-09 株式会社カワサキプレシジョンマシナリ 弁装置
US20110000864A1 (en) * 2009-07-06 2011-01-06 Moore Lela K Cookware Holder and Method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619117B2 (en) 2011-07-18 2017-04-11 Google Inc. Multi-channel conversion path position reporting
CN107491999A (zh) * 2016-06-13 2017-12-19 北京京东尚科信息技术有限公司 一种活动页引入订单量的统计方法、装置及系统

Also Published As

Publication number Publication date
US8065184B2 (en) 2011-11-22
AU2011200208A1 (en) 2011-02-10
KR101024864B1 (ko) 2011-03-31
JP5078910B2 (ja) 2012-11-21
AU2006332532B2 (en) 2010-10-28
AU2006332532A1 (en) 2007-07-12
CA2635884A1 (en) 2007-07-12
JP2009522667A (ja) 2009-06-11
US20070156514A1 (en) 2007-07-05
BRPI0620826A2 (pt) 2012-05-02
WO2007079403A3 (en) 2007-11-22
WO2007079403A2 (en) 2007-07-12
KR20080086924A (ko) 2008-09-26
EP1966749A2 (en) 2008-09-10
EP1966749A4 (en) 2011-05-18

Similar Documents

Publication Publication Date Title
CN101390119A (zh) 从所观察的用户行为估计广告质量
JP4994394B2 (ja) 推定した広告品質を用いた広告の選別、ランク付けおよび奨励
CN101390118A (zh) 预测广告质量
US7818208B1 (en) Accurately estimating advertisement performance
US20020111847A1 (en) System and method for calculating a marketing appearance frequency measurement
Prathapan et al. Effectiveness of digital marketing: Tourism websites comparative analytics based on AIDA model
Cheng et al. Service online search ads: from a consumer journey view
US8589209B2 (en) System and method for assessing viability and marketability of assets
Björnfot et al. Comparing the Return on Investment of Search Engine Optimization and Pay-Per-Click marketing: Developing a model to forecast the ROI of SEO based on the SOSTAC Planning System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090318