CN101248450A - 通过例如在广告系统中使用预期收益来按优先顺序排列广告审核 - Google Patents

Abstract

一旦广告达到某个预期收益阈值，它们就被人工审核(以代替像过去做的那样试图人工审核所有输入的广告)。这种审核过程考虑了以下事实：许多广告主提交成百乃至上千的广告，而每个单独地返回相当少的收益。此种审核过程应当大幅降低广告的数目，或者至少按优先顺序排列等待人工批准的广告的顺序。阈值可以被设置为近似于人工批准广告的成本，因此显著地减少等待人工审核的广告审核。可以通过例如自动化手段来确定的广告的分类(如禁止的、可疑的、未检查的、广告类别等等)，也可以在按优先顺序排列等待人工批准的广告的顺序时使用。基于收益的分值也可被用于控制广告的审核。例如，此种分值可被用于选择多个审核协议中的一个。

Description

通过例如在广告系统中使用预期收益来按优先顺序排列广告审核

§1.发明背景

§1.1发明领域

本发明涉及诸如在线广告的广告。具体地，本发明涉及广告的诸如人工审核的审核，用于遵守诸如像质量保证政策之类的政策。

§1.2背景信息

广告系统已使用了政策方针，广告必须坚持所述政策方针以得到派发。确保对政策的坚持常常需要人工审核。遗憾的是，人工审核全部广告，特别是在大型在线广告联盟中，是重大的挑战。例如，广告提交的持续增长已迫使在线广告联盟分配大量的人力资源用于人工审核广告(常常对诸如优化和顾客支持的其它领域不利)。即使在相当量的人工资源被分配到广告审核中时，所积压的未决的广告审核仍然会随着在线广告继续变得越来越受欢迎而增长。这种积压对于广告主可以是沮丧的源泉，对于广告联盟也可以表示失去收益机会。

在努力处理所积压的人工广告审核的过程中，已实现了自动审核系统，其可以使广告审核部分自动化。(例如参见美国专利申请序列号11/026,415(在下文中被称为‘415申请，并通过引用结合于此)，名称为“POLICY CHECKING FRAMEWORK FOR AUTOMATEDJUDGMENT OF ADVERTISEMENTS”，在2004年12月30日提交，并且将Gregory Joseph Bardros、Lucy Zhang和Robert J.Stets列为发明人。)尽管使用了自动检查系统，一些或全部的经自动检查的广告可能仍然需要人工审核。由于广告提交率有望持续增加，广告审核的积压预期将保持在高水平。因此，所积压的等待人工审核的广告预期将是个持续的挑战。

如从前述能够意识到的那样，改进审核诸如像在线广告之类的广告的方式将是有用的。

§2.发明内容

为了实现自动化的努力，诸如像‘415申请中所描述的那些，符合本发明的实施例可以用于只有在广告已达到某种期望的收益阈值时才人工审核广告(或以一定的方式审核广告)(而不是像过去做的那样试图人工审核所有输入的广告)。这种策略至少部分地受到以下事实启发：许多广告主递交成百乃至上千的广告，其中每个单独地返回相当少的收益。符合本发明的这样的实施例有潜力大幅降低广告的数目，或者至少按优先顺序排列等待人工批准的广告的顺序。

符合本发明的至少某些实施例可以使用与人工批准广告的近似成本相等的阈值，从而显著地减少等待人工审核的广告审核。

符合本发明的至少某些实施例也可以考虑广告的分类(例如被禁止的、可疑的、未经检查的等等)，其可以通过例如自动化手段确定，以按优先顺序排列等待人工批准的广告的顺序。

§3.附图说明

图1是示出能够与广告系统交互作用的团体或实体的高层次框图。

图2是图示了示例环境的示图，符合本发明的实施例可在该环境中或者与该环境一起操作。

图3是可以以符合本发明的方式执行的示例操作以及此种操作可以使用和/或生成的信息的气泡图。

图4是用于以符合本发明的方式按优先顺序排列广告审核的示例方法的流程图。

图5是用于以符合本发明的方式执行优先级赋值操作的示例方法的流程图。

图6是用于以符合本发明的方式执行广告检查操作的示例方法的流程图。

图7是可以以符合本发明的方式执行各种操作并存储信息的示例设备的框图。

§4.具体实施方式

本发明可以涉及用于按优先顺序排列广告审核的新颖的方法、设备、消息格式和/或数据结构。提供以下描述以使本领域技术人员能够实施或使用本发明，并且是在特定的应用及其需求的上下文中提供以下描述的。因此，符合本发明的实施例的以下描述提供图解和描述，但是并不意在穷举或者将本发明限制到在此所公开的精确形式。对所公开的实施例的各种修改对本领域技术人员而言将是明显的，并且下面阐明的一般原则可以适用于其它实施例和应用。例如，虽然一连串的动作可以参考流程图来描述，但当一个动作的执行不依赖于另一个动作的完成时，动作的顺序在其它的实施方式中可能不同。进一步，非从属的动作可以并行执行。描述中使用的任何部件、动作或指令都不应当被解释为对本发明来说是关键的或必要的，除非已明确地描述为此。同样，如在此所使用的，不加数量限定的项用于指一个或多个项。在只想表示一个项的地方，使用了术语“一个”或类似的语言。因此，本发明不打算被限制到所示出的实施例，并且发明人把他的发明认作是任何所描述的可以取得专利的主题内容。

在下文中，在§4.1中提供了可以在对本发明的描述中使用的术语的定义。然后，在§4.2中描述了符合本发明的实施例可在其中的或者与其一起使用的示例环境。此后，在§4.3中描述了符合本发明的示例实施例。最后，在§4.4中阐明了关于本发明的一些结论。

§4.1定义

在线广告，诸如参考图1和2在下面描述的示例系统中使用的那些，或任何其它系统，可以具有各种固有特征。这样的特征可以由应用和/或广告主指定。这些特征在下面被称为“广告特征”。例如，在文本广告的情况下，广告特征可以包括标题行、广告正文以及嵌入式链接。在图像广告的情况下，广告特征可以包括图像、可执行代码以及嵌入式链接。根据在线广告的类型，广告特征可以包括下面的一个或多个：文本、链接、音频文件、视频文件、图像文件、可执行代码、嵌入式信息等等。

当派发在线广告时，可以使用一个或多个参数来描述如何、何时、和/或在哪里派发广告。这些参数在下面被称为“派发参数”。派发参数可以包括例如以下的一个或多个：广告被在其上或与其一起派发的文档(包括其相关信息)的特征、与广告的派发相关联的搜索查询或搜索结果、用户特征(例如他们的地理位置、用户使用的语言、使用的浏览器的类型、以前的页面浏览、以前的行为、用户账户、系统使用的任何Web cookies、用户装置特征等等)、发起请求的主站或分站(例如，美国在线、谷歌、雅虎)、在其上被派发的网页上的广告的绝对位置、广告相对于其它被派发的广告的位置(空间的或时间的)、广告的绝对尺寸、广告相对于其它广告的尺寸、广告的颜色、被派发的其它广告的数目、被派发的其它广告的类型、被派发的日时间、被派发的周时间、被派发的年时间，等等。自然地，存在其它派发参数可以在本发明的上下文中使用。

虽然派发参数对广告特征来说可以是外来的，但它们可以作为派发条件或约束与广告相关联。当作为派发条件或约束使用时，这种派发参数被简单地称为“派发约束”(或“定向标准(targeting criteria)”)。例如，在某些系统中，广告主可以能够通过作以下规定来定向它的广告的派发：它仅在非周末被派发、不低于某个位置、仅针对某个地方的用户等等。作为另一个例子，在某些系统中，广告主可以规定，只有当网页或搜索查询包括某些关键词或短语时，才派发它的广告。作为再另一个例子，在某些系统中，广告主可以规定，只有当在其上或与其一起派发广告的文档包括某些主题或概念、或归入一个或多个特定的簇、或其它的某个或多个分类(例如“垂线”)时，才派发它的广告。在一些系统中，广告主可以规定它的广告仅被派发给(或者不被派发给)具有某些特征的用户装置。最后，在某些系统中，广告可以被定向，以便响应于源自特定位置的请求或响应涉及特定位置的请求，派发该广告。

“广告信息”可以包括以下的任何组合：广告特征、广告派发约束、可从广告特征或广告派发约束导出的信息(称为“广告导出信息”)、和/或涉及广告的信息(称为“广告相关信息”)、以及此种信息的延伸(例如从广告相关信息导出的信息)。

广告的选择次数(例如点击数)与广告的闪现次数(impression，亦即，广告被表现的次数)的比率被定义为广告的“选择率”(或“点进率”)。

当用户完成涉及以前派发的广告的交易时，就被认为是发生了“转换”。构成转换的内容可以根据情况而有所不同，并且能够以多种方式确定。例如，可以是这样的情况：当用户在广告上点击、被引导到广告主的网页并且在离开该网页前在那里完成购买时，转换发生。可替选地，转换可以被定义为：用户被展示了广告，并且在预定时间内(例如七天)在广告主的网页上进行了购买。在再另一个替选方案中，转换可以由广告主定义为是任何可计量的/可观察的用户行为，诸如像下载白皮书、导航到网站的至少给定的深度、浏览至少一定数目的网页、在网站或网页上花费至少预定量的时间、在网站上注册等等。通常，如果用户行为不指示已完成购买，则它们可以指示销售机会，虽然构成转换的用户行为不限于此。实际上，构成转换的许多其它定义都是可能的。

转换的次数与广告的闪现次数(亦即广告被表现的次数)的比率以及转换的次数与选择的次数(或者一些其它较早事件的次数)的比率都称为“转换率”。转换率的类型从其被使用的上下文中将是明显的。如果转换被定义为能够在从派发广告开始的预定时间内发生，则转换率的一个可能的定义可以仅仅考虑在先于预定时间的过去所派发的广告。

“所有物”是广告能够在其上展现的东西。所有物可以包括在线内容(例如网站、MP3音频程序、在线游戏等等)、离线内容(例如报纸、杂志、戏剧作品、音乐会、体育事件等等)、和/或离线物体(例如广告牌、体育场计分板、以及场外挡墙、卡车拖车的侧面等等)。具有内容的所有物(例如，杂志、报纸、网址、电子邮件消息等等)可以称为“媒体所有物”。虽然所有物它们自己可以是离线的，但所有物的有关信息(例如，属性、题目、概念、类别、关键词、关联信息、所支持的广告类型等等)可以在线得到。例如，户外爵士音乐节可以输入主题“音乐”和“爵士”、音乐会的地点、音乐会的时间、安排在节日出现的艺术家、以及可用的广告位的类型(例如，在打印节目单中的广告位、舞台上的广告位、座椅靠背上的广告位、主办者的声音宣告等等)。

“文档”须被广泛地解释为包括任何机器可读以及机器可存储的工作成果。文档可以是文件、文件的组合、具有指向其它文件的嵌入式链接的一个或多个文件等等。文件可以具有任何类型，诸如文本、音频、图像、视频等等。将要展现给最终用户的文档的部分可被认为是文档的“内容”。文档可以包括“结构化数据”，其包含内容(文字、图片等等)和该内容的意义的某种指示(例如，电子邮件的域和关联数据、HTML标签和关联数据等等)。文档中的广告位可以通过嵌入式信息或指令限定。在互联网的环境中，通常的文档是网页。网页通常包括内容，并且可以包括嵌入式信息(诸如元信息、超级链接等等)，和/或嵌入式指令(诸如JavaScript等等)。在许多情况下，文档具有可寻址的存储位置，并且因此能够被此可寻址的位置唯一识别。通用资源定位器(URL)是用于在互联网上访问信息的地址。

“网络文档”包括任何网络上发布的文档。网络文档的例子包括例如网站或网页。

“文档信息”可以包括文档中包括的任何信息、可从文档中包括的信息导出的信息(称为“文档导出信息”)，和/或涉及文档的信息(称为“文档相关信息”)，以及此种信息的扩展(例如从相关信息导出的信息)。文档导出信息的例子是基于文档的文本内容的分类。文档相关信息的例子包括来自具有指向当前文档的链接的其它文档的文档信息，以及来自被当前文档所链接到的其它文档的文档信息。

来自文档的内容可以在“内容呈现应用程序或装置”上呈现。内容呈现应用程序的例子包括互联网浏览器(例如Explorer、Netscape、Opera、Firefox等等)、媒体播放器(例如MP3播放器、Realnetworks流音频文件播放器等等)、阅读器(例如Abobe Acrobat pdf阅读器)等等。

“内容所有者”是人或实体，其在媒体所有物(例如文档)的内容中具有某种所有权。内容所有者可以是内容的作者。另外，或可替选地，内容所有者可以具有复制内容的权利、准备该内容的派生作品的权利、公开显示或演示该内容的权利、和/或内容中其它不予法律保护的权利。虽然内容服务器可以是它派发的文档内容的内容所有者，但这不是必要的。“网页发布者”就是内容所有者的例子。

“用户信息”可以包括用户行为信息和/或用户简档信息。

“电子邮件信息”可以包括电子邮件中包括的任何信息(也称为“内部电子邮件信息”)、可从电子邮件中包括的信息导出的信息和/或涉及电子邮件的信息、以及此种信息的扩展(例如从相关信息导出的信息)。从电子邮件信息导出的信息的例子是从对由从电子邮件主题行提取的项组成的搜索查询作出响应而返回的搜索结果中提取或导出的信息。与电子邮件信息相关的信息的例子包括关于由给定的电子邮件的相同的发件人发送的一个或多个其它的电子邮件的电子邮件信息、或关于电子邮件接受者的用户信息。电子邮件信息导出信息或与电子邮件信息相关的信息可以被称为“外界电子邮件信息”。

“广告欺诈者”可以是过去曾对广告联盟犯有欺诈的广告主，或被怀疑(现在或将来)会对广告联盟犯有欺诈的广告主。广告欺诈者的一个例子是广告主用无效信用卡开立账户。广告欺诈者的另一个例子是广告主拖欠支付用于派发一个或多个它的广告的余额。

§4.2符合本发明的实施例在其中或者与其一起可以操作的示例广告环境

图1是广告环境的高层次示图。该环境可以包括广告登录、维护和发送系统(简单地称为“广告服务器”)120。在系统120中，广告主110可以直接或间接输入、维护以及追踪广告信息。广告可以是图形广告的形式，诸如所谓的网幅图像广告、纯文本广告、图像广告、音频广告、视频广告、结合一个或多个此种组件的广告等等。广告也可以包括嵌入式信息，诸如链接、和/或机器可执行指令。广告消费者130可以向系统120提交广告请求、接受来自系统120的响应于他们的请求的广告、以及向系统120提供使用信息。非广告消费者130的实体可以发起对广告的请求。虽然没有显示，但其它实体可以向系统120提供使用信息(例如是否发生了涉及该广告的转换或选择(例如点击))。这种使用信息可以包括涉及已派发的广告的被测定的或观察到的用户行为。

广告服务器120与图2中描述的美国专利申请序列号10/375,900(称为“‘900申请”，并通过引用结合于此)相似，名称为“SERVINGADVERTISEMENTS BASED ON CONTENT”，在2003年2月26日提交，并且将Darrell Anderson、Paul Bucheit、Alex Carobus、Claire Cui、Jeffrey A.Dean、Georges R.Harik、Deepak Jindal和NarayananShivakumar列为发明人。广告程序可以包括涉及账户、宣传活动、创意、定向等等的信息。术语“账户”涉及用于特定的广告主的信息(例如唯一的电子邮件地址、密码、帐单信息等等)。“宣传活动”或“广告宣传活动”指的是一个或多个广告的一个或多个组，并且可以包括开始日期、结束日期、预算信息、地理定向信息、企业联合信息等等。例如，本田汽车可能为它的汽车生产线举行了一次广告宣传活动，并为它的摩托车生产线举行了单独的广告宣传活动。为它的汽车生产线举行的活动可以具有一个或多个广告组，每个组包含一个或多个广告。每个广告组可以包括定向信息(例如一组关键词、一组一个或多个主题、地理位置信息、用户简档信息等等)，以及价格信息(例如最大成本(每一次点进的成本、每一次转换的成本等等))。可替选地，或额外地，每个广告组可以包括平均成本(例如每一次点进的平均成本、每一次转换的平均成本等等)。因此，单一的最大成本和/或单一的平均成本可以与一个或多个关键词和/或主题有关。如上所述，每个广告组可以具有一个或多个广告或“创意”(即最终呈现给最终用户的广告内容)。每个广告也可以包括到URL的链接(例如登陆网页，诸如广告主的主页、或与特定产品或服务器相关联的网页)。当然，广告信息可以包括或多或少的信息，并且可以以若干不同的方式组织。

图2图示了可以在其中使用符合本发明的实施例的环境200。用户装置(也称为“客户”或“客户装置”)250可以包括浏览器设施(诸如Mozilla的Firefox浏览器、微软公司的Explorer浏览器、挪威Opera软件的Opera网络浏览器、AOL/Time Warner的Navigator浏览器等等)、电子邮件设施(例如微软公司的Outlook)等等。搜索引擎220可以允许用户装置250搜索文档(例如网页)的集合。内容服务器210可以允许用户装置250访问文档。电子邮件服务器(诸如Microsoft Network的Hotmail、Yahoo Mail等等)240可以用于向用户装置250提供电子邮件功能。广告服务器210可以用于向用户装置250派发广告。广告可以与由搜索引擎220提供的搜索结果相关联地派发。然而，与内容相关的广告可以与由内容服务器230提供的内容、和/或由电子邮件服务器240和/或用户装置电子邮件设施支持的电子邮件相关联地派发。

像在‘900申请(上面介绍的)中讨论的，可以将广告定向于内容服务器派发的文档。因而，广告消费者130的一个例子是通用内容服务器230，其接收对文档(例如文章、讨论线索、音乐、视频、图形、搜索结果、网页列表等等)的请求，并且检索所请求的文档以响应于或服务于该请求。内容服务器可以提交对于广告的请求到广告服务器120/210。这样的广告请求可以包括多个所期望的广告。广告请求也可以包括文档请求信息。这个信息可以包括文档自身(例如页面)、对应于文档内容或文档请求的类别或主题(例如艺术、商务、计算机、艺术-电影、艺术-音乐等等)、部分或全部的文档请求、内容使用时长、内容类型(例如文本、图形、视频、音频、混合媒体等等)、地理位置信息、文档信息等等。

内容服务器230可以将所请求的文档与广告服务器120/210提供的一个或多个广告相组合。包括文档内容和广告的该组合信息然后被转发到请求该文档的最终用户装置250，用于向该用户展示。最后，内容服务器230可以将关于广告的信息以及广告被怎样、在何时和/或在何地呈现的信息(例如位置、点进与否、闪现时间、闪现日期、尺寸、转换与否等等)发送回广告服务器120/210。可替选地，或额外地，这样的信息可以通过一些其它手段被提供回给广告服务器120/210。

广告消费者130的另一个例子是搜索引擎220。搜索引擎220可以接收对于搜索结果的查询。作为响应，搜索引擎可以(例如从网页的索引)检索相关的搜索结果。在论文S.Brin and L.Page“The Anatomyof a Large-Scale Hypertextual Search Engine，”Seventh International Worid Wide Web Conference，Brisbane，Australia和美国专利No.6,285,999(二者都通过引用结合于此)中描述了示例搜索引擎。这样的搜索结果可以包括例如网页标题的列表、从那些网页中提取的文本的摘录、以及指向那些网页的超文本链接，并且可以合组为预定数目的(例如10个)搜索结果。

搜索引擎220可以将对广告的请求提交给广告服务器120/220。请求可以包括多个所期望的广告。这个数目可以取决于搜索结果、搜索结果所占用的屏幕或页面空间的量、广告的尺寸和形状等等。在一个实施例中，所期望的广告的数目将为从1到10，并且优选地为从3到5。对广告的请求还可以包括查询(如所输入的或所解析的)、基于该查询的信息(诸如地理位置信息、查询是否来自分支机构以及这样的分支机构的标识符，和/或如下所述，关于搜索查询的和/或从搜索查询导出的信息)、和/或与搜索结果关联的或基于搜索结果的信息。这样的信息可以包括例如与搜索结果相关的标识符(例如文档识别符或“docID”)、与搜索结果有关的分值(例如信息检索(“IR”)分值，诸如对应于查询和文档的特征向量的点积，页面排名分值，和/或IR分值与页面排名分值的组合)、从已识别的文档(例如网页)提取的文本的摘录、所识别的文档的全部文本、所识别的文档的标题、所识别的文档的特征向量等等。

搜索引擎220可以将搜索结果与广告服务器120/210提供的一个或多个广告相组合。包括搜索结果和广告的这种组合信息然后被转发给提交该搜索的用户，用于向该用户展示。优选地，保持该搜索结果区别于该广告，以便不使用户在付费广告和可假定为中性的搜索结果之间产生混淆。

最后，搜索引擎220可以发送关于广告的信息以及广告何时、何地、和/或怎样被呈现回广告服务器120/210(例如位置、点进与否、闪现时间、闪现日期、尺寸、转换与否等等)。如下所述，此种信息可以包括用于确定在何种基础上广告方式确定相关的信息(如严格的或宽松的匹配，或精确的，短语，或宽泛的匹配等等)。可替选地，或额外地，此种信息可以通过某种其它手段被提供回广告服务器120/210。

最后，电子邮件服务器240一般地可以被认为是内容服务器，在其中所派发的文档仅仅是电子邮件。而且，电子邮件应用程序(诸如像Microsoft Outlook)可以用于发送和/或接收电子邮件。因此，电子邮件服务器240或应用程序可以被认为是广告消费者130。这样，电子邮件可以被认为是文档，并且定向广告可以被与此种文档相关联地派发。例如，一个或多个广告可以在电子邮件中、在其下其上或与其相关联地被派发。

虽然前述例子将服务器描述为(i)请求广告，以及(ii)将它们与内容组合，但这些操作中的一个或二个都可以通过客户装置执行(诸如像最终用户计算机)。

§4.3示例实施例

图3是可以以符合本发明的方式执行的示例操作以及可以通过这样的操作使用和/或生成的信息的气泡图。符合本发明的实施例可以审核广告和对广告评分，并且可以使用分值(也许和其它信息一致，诸如广告分类)来确定人工审核的优先级。这样做使广告系统能更好地分配人力资源、减少费用以及减少等待批准的积压的广告。

如图3所示，符合本发明的实施例可以包括广告审核优先级赋值操作320。广告审核优先级赋值操作320可以获得和处理广告信息310以按优先顺序排列广告。广告可以被赋予至少下述两个优先级中的一个——最低的优先级330和最高的优先级340。在最简单的情况下，最高优先级的广告340是有资格进行人工审核340的广告(例如值得花费与人工审核相关联的人力资源和费用的广告)，并且最低优先级的广告330是没有资格进行人工审核的广告(但其可以仅有资格进行自动审核)。

尽管未示出，但可以提供各种中间的优先级等级，并且本发明不限于两个优先级等级。实际上，尽管未示出，可以简单地对广告给出优先级分值，并将其相应地排序用于人工审核。因而，优先级可以被表示为离散值或分类、或连续的计分、或二者的某种组合。

广告审核优先级赋值操作320使用例如广告分类、分值和/或阈值给广告赋值审核优先级值。此种操作320可以确定有资格进行人工审核的一组广告340和没有资格进行人工审核的一组广告330。

§4.3.1示例方法

图4是用于以符合本发明的方式按优先顺序排列广告审核的示例方法400的流程图。具体地，方法400可以接受广告信息(框410)。一旦获得广告信息，方法400可以为广告评分(如基于预期收益)(框420)。其后，方法400可以给广告赋值审核优先级(框430)。总起来说，各个广告的审核优先级可以有效地按优先顺序排列一组广告的审核。

返回到框420，分值可以简单地为预期由广告产生的收益。预期收益可以是预期的将来收益事件的总和，也许是折现为货币的当前价值。

返回到框430，方法400可以基于广告分类、广告分值、和/或收益阈值给广告赋值优先级值。如上面讨论的那样，优先级值可以是连续值，诸如在框420中所确定的分值。可替选地，优先级值可以是离散值，诸如优先级组的离散数目中的一个。例如，在符合本发明的一个实施例中，所确定的分值可以是预期收益，并且优先级赋值可以包括将分值与收益阈值(其可以被设置等于人工批准广告的近似成本)相比较的行为。在此种实施例中(也许取决于广告分类)，如果广告的分值超过收益阈值，则广告可以被认为有资格进行人工审核(例如被按优先顺序排列为“有资格的”)。否则，广告不应当被认为是有资格进行人工审核的(例如被按优先顺序排列为“没有资格的”或简单地从考虑对象中去除)。

如本领域技术人员将会意识到的那样，符合本发明的方法所执行的具体行为，诸如像方法400，可以取决于其中它被使用的环境。例如，在第一示例广告派发环境中，可能的是，广告在其被人工审核之前不被派发。只有它们经过了人工审核后才可以被派发。否则，它们不被派发。这样的示例环境可以被称为“派发前人工审核”的广告派发环境。在第二示例广告派发环境中，可能的是，广告在它们被人工审核之前被派发，但如果它们没有通过人工审核，则可能被从广告派发系统中去除。此种示例环境可以被称为“派发然后人工审核”的广告派发环境。在第三示例广告派发环境中，可能的是，广告在它们被人工审核前以受限制的方式派发(如仅在受限制的所有物或网站上(如仅在Google.com上，而不是AdSense发布方，不在合作方网站上等等)，仅面向特定用户(如仅成人、排除非家庭)等等)。人工审核后，如果它们通过了人工审核，则广告能够以更加宽泛的方式派发，或者，如果它们没有通过人工审核，则它们将继续以更加受限制的方式派发(或者根本不派发)。此种示例环境可以被称为“受限制的派发然后人工审核”的广告派发环境。

返回到框430，在“受限制的派发然后人工审核”的广告派发环境中，在符合本发明的示例实施例中，可以被赋值的优先级值为：缺省(优先级尚未被赋值)、低(广告将不会被人工审核)、正常(广告有资格进行人工审核)以及高(广告有资格进行人工审核，并且广告含有至少一个“可疑的”或“禁止的”创意或关键词(如像被自动检验手段确定的那样，诸如在‘415申请中所描述的那些))。在此种实施例中，方法400可以仅在低的优先级值被给予广告时，才使该广告免于被人工审核。

图5是用于以符合本发明的方式赋予广告审核优先级的示例方法500的流程图。此种方法500在“受限制的派发然后人工审核”的广告派发环境中是尤其有用的。具体地，方法500可以与广告信息一起接受广告分值(框505)。一旦获得了广告信息及其分值，就可以按照不同的广告分类来执行方法500的不同分支(框510)。如果广告已被分类为“禁止的”，则方法500可以简单地给广告赋予高审核优先级(框515)。结果，在方法500离开之前(节点560)，方法500可以指示广告有资格进行人工审核(框520)。如果广告已被分类为属于“登广告欺诈者”(但是未被分类为“禁止的”广告)，则方法500可以给广告赋值高(或正常)审核优先级(框530)。方法500然后可以在它离开之前(节点560)，指示广告有资格进行人工审核(框520)。如果广告已被分类为“非禁止的/非欺诈广告主”(意味着迄今未检测到违规或潜在的问题)，则方法500可以确定广告的分值(如预期收益)是否大于阈值(如成本阈值)(框540)。如果分值大于阈值，则方法500可以给广告赋值正常审核优先级(框545)。方法500然后可以在它离开之前(节点560)，指示广告有资格进行人工审核(框520)。相反地，如果分值不大于阈值，则方法500可以给广告赋值低审核优先级(框550)，并且指示广告没有资格进行人工审核(框555)(尽管它可能有资格进行自动审核)。方法500然后可以离开(节点560)。

返回到框510，广告系统可以具有用于在广告主提交时检查广告的潜在违规的手段。如此，如前面提到的那样，广告可以被分类为“禁止的”、“登广告欺诈者”或“非禁止的/非欺诈广告主”(意味着迄今未检测到违规)。当赋予优先级值时，方法500考虑广告分类。具体地，被分类为“禁止的”广告可以指示广告系统已在广告创意或关键词中检测到敏感的或冒犯性的词。被分类为“登广告欺诈者”的广告简单地指示广告系统已检测到广告主正(或曾经，或将来有可能)卷入欺诈行为。被分类为“非禁止的/非欺诈广告主”的广告指示广告系统迄今尚未检测到任何违规。

返回到框515和520，在接收到被分类为“禁止的”广告时，方法500不需要对照收益阈值检查广告的分值。由于广告含有禁止的或可疑的关键词或创意，所以方法500可以将高审核优先级值赋予“禁止的”广告，指示其有资格进行人工审核。基本原理是，如果广告在受限制的基础上被派发，但可能违犯某些政策，则广告派发系统将可能想要决定是否尽可能快地删除广告。

返回到框530和520，在接收到被分类为“登广告欺诈者”的广告时，同样地方法500不需要对照收益阈值检查广告的分值。由于广告的广告主正(或曾经，或将来可能)卷入欺诈行为，所以方法500可以将高或正常审核优先级值赋予“登广告欺诈者”广告，指示其有资格进行人工审核。基本原理是，如果广告在受限制的基础上被派发，但广告派发系统可能不会被广告主偿付，则广告派发系统可能会决定是否移除广告。可能有这样的情况：和禁止的广告相比，广告派发系统更愿意容忍广告欺诈者。这是因为广告欺诈可能导致收益的降低，而禁止的广告可能破坏广告派发系统的良好声誉。

返回到框540，在接收到被分类为“非禁止/非欺诈广告主”的广告时，方法500可以检查分值以确定分值是否大于收益阈值。收益阈值可以被设置为近似于人工批准广告的成本。而且，本发明可以允许不同的收益阈值以适应不同国家的收账差异。这种灵活性可以帮助按优先顺序的排列适应在收益关系和人工审核资源方面的世界范围的差异。如果发现分值大于阈值，那么方法500可以将正常审核优先级赋予广告，从而指示广告有资格进行人工审核。相反地，如果发现分值没有超过阈值，那么方法500可以将低审核优先级赋予广告，指示广告没有资格进行人工审核。

使用如方法500的此种方案，清楚的是，可以使用广告分类、广告分值和/或阈值来按优先顺序排列广告审核。使用收益阈值可以减少等待人工审核的广告的量，从而减少与人工审核相关的费用，并允许人力资源的更好配置。

图6是用于以符合本发明的方式执行定期检查操作的示例方法600的流程图。方法600可以定期地轮询未检查的和/或低优先级的广告以确定广告是否应该被提升到更高的优先级。特别地，当是时候处理未检查的和/或低优先级的广告时，方法600可以获得此种未检查的或低优先级的广告(框610和620)。方法600也可以从广告系统中获得广告的分类(如禁止的、广告主是欺诈者等等)(框630)。其后，方法600可以对广告评分并调用广告审核优先级赋值操作(框640和650)(回顾图5)。

返回到框620，方法600可以定期地再检查低优先级广告或任何未检查的广告以查看它们的状态是否改变。例如，如果广告的分值被再次确定为变得更高(例如广告使用突然变得流行(例如流行的搜索查询项)的用于定向的模糊项(例如模糊的名字)，广告主提高报价，广告主提高预算等等)，和/或如果阈值被降低(如由于更低的人工审核成本、更少的积压等等)，那么分值可能超过阈值。方法600可以检测这种变化并设法更新广告的优先级值。对于低优先级广告证明其被赋予更高优先级等级的合理性的另一个变化可以是广告分类的变化(如广告的登陆页具有它以前没有的亵渎性的或仇恨性的内容)。

返回到框650，一旦方法600已从广告系统与它的分类和分值一起获得了低优先级或未检查的广告，它可能接着调用用于该广告的广告审核优先级赋值操作。例如，假如自从上次广告被检查以来该广告已发生了任何变化，或该广告根本未被检查，方法600可以调用方法500以确定广告的被更新的优先级赋值。

§4.3.2示例设备

图7是可以执行上面讨论的一个或多个操作的机器700的高层次框图。机器700基本上包括一个或多个处理器710、一个或多个输入/输出接口单元730、一个或多个存储装置720以及用于便于已连接的元件之间的信息通信的一个或多个系统总线和/或网络740。一个或多个输入装置732和一个或多个输出装置734可以与一个或多个输入/输出接口730相连接。

一个或多个处理器700可以执行机器可执行指令(例如在可从加利福尼亚州帕罗奥多市的的太阳计算机系统公司得到的Solaris操作系统上或者可从诸如北卡罗莱纳州德翰市的红帽公司之类的若干卖方广泛得到的Linux操作系统上运行的C或C++)以实现本发明的一个或多个方面。机器可执行指令的至少一部分可以存储(暂时地或更加永久地)在一个或多个存储装置720上和/或可以经由一个或多个输入接口单元730从外部来源接收。

在一个实施例中，机器700可以是一个或多个传统的个人计算机。在这种情况下，处理单元710可以是一个或多个微处理器。总线740可以包括系统总线。存储装置720可以包括系统存储器，诸如只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置720还可以包括用于读写硬盘的硬盘驱动器、用于读写(如可移动的)磁盘的磁盘驱动器和用于读写诸如小型盘之类的可移除(磁)光盘或其它(磁)光学介质的光盘驱动器。

用户可以通过诸如像键盘和指示装置(如鼠标)之类的输入装置732将命令和信息输入到个人计算机中。其它输入装置诸如麦克风、操纵杆、游戏垫、卫星碟盘、扫描仪等等也可以(或可替选地)被包括。这些和其它的输入装置通常通过连接到系统总线740的适当接口730与处理单元710连接。输出装置734可以包括显示器或其它类型的显示装置，其也可以经由适当接口连接到系统总线740。除了显示器之外(或将其取代)，个人计算机可以包括其它(外围)输出装置(未显示)，诸如像扬声器和打印机。

§4.3.3精细化、替选方案和扩展

上述实施例中的至少一些讨论了广告分值可以是预期收益的函数。在符合本发明的至少一些实施例中，预期值可以是折算为当前时间、预期的人工审核的时间或者某个其它时间的未来审核流。

可以被自动地检查到并且或许会用于广告分类(在人工审核的按优先顺序排列之前)的政策违规可以包括以下的一个或多个：(A)最高级用语的禁止；(B)重复单词的禁止；(C)重复短语的禁止；(D)商标的禁止；(E)下流语言的禁止；(F)对产生弹出广告的广告登陆页的禁止；(G)对禁止浏览器“后退”功能的广告登陆页的禁止；(H)不恰当的大写；(I)对不能在标准浏览器中浏览的登陆页的禁止；(J)多个感叹号的禁止；(K)太长的文本的禁止；(L)登陆页的URL不匹配可见的URL的拼法的；(M)假冒设计商品的禁止等等。

尽管前述实施例中的一些实施例将低优先级的广告描述为没有资格进行人工审核的广告，但如果等待人工审核的广告积压减少或消除，那么此种广告可以在以后被人工审核。这样一来，例如，在符合本发明的至少一些实施例中，如果没有高或正常优先级的广告等待人工审核，那么低优先级的广告可以被审核。

尽管上述优先级赋值方法中的一些方法，诸如像图5的方法500，在“受限制的派发然后人工审核”的广告派发环境的上下文中尤其有用，但是本领域技术人员将认识到优先级可以用其它的方式赋值，并将通常由所使用的广告派发环境所驱动。例如，在“在派发以前人工审核”的广告派发环境中，禁止的广告和与登广告欺诈者相关联的广告可以被给予低优先级，尤其是如果它们的分值低的话。

尽管上述优先级赋值方法中的一些方法没有为具有某种分类的广告考虑广告的分值(例如回顾图5的方法500中的对禁止的广告和登广告欺诈者的广告的处理)，但是广告的分值可以与其分类结合使用。例如，分值可以用于对广告排序，或进一步如果给定了高优先级则按优先顺序排列广告。可以理解，符合本发明的实施例可被用于通过以下各项来按优先顺序排列广告：(a)将广告分配给多个优先级组中的一个；(b)对广告排序；(c)将广告分配给多个优先级组中的一个，然后进一步在组内对其排序；(d)将广告分配给一个或多个优先级组和子组，等等。广告分类(如通过诸如在‘415申请中描述的那样的自动检查手段所分配的)和/或广告分值(例如预期收益)可以用于执行此种分类和/或进行此种分配。

尽管前述实施例中的许多实施例使用基于收益的分值来对广告的人工审核按优先顺序排列，但是符合本发明的至少一些实施例可以使用基于收益的分值来确定是否使用第一审核协议或第二审核协议来审核广告，或更一般地确定将要使用的审核协议。不同的审核协议包括例如各种人工的和/或自动化的审核、多级审核、单级审核等等。

尽管前述实施例中的一些实施例在广告方面使用了基于收益的分值，但是符合本发明的至少一些实施例可以在诸如像广告的类别之类的广告组方面使用基于收益的分值。例如，如果在汽车分类中的广告比在某种其它分类中的广告倾向于具有较低的不批准率以及产生高得多的收益，那么它们可以被按不同的优先顺序排列(或可以使用不同的基于收益的阈值)。

§4.4结论

从前面能够理解，通过设立阈值(如收益阈值)并且要求广告分值(如来自广告的收益返还)超过阈值才可以被人工审核，符合本发明的实施例可被用于减少人工审核的数量。符合本发明的实施例可以基于它们预期产生的收益对广告评分，并且使用收益阈值，也许与广告分类相结合，来按优先顺序排列广告审核。

Claims (20)

1.一种用于控制广告的审核的计算机实现的方法，所述方法包括：

a)接受关于广告的信息；

b)使用所接受的信息确定收益产生值；

c)使用所确定的收益产生值确定用于所述广告的分值；以及

d)使用至少是所确定的分值控制所述广告的审核。

2.如权利要求1所述的计算机实现的方法，其中，所接受的关于广告的信息包括定向信息以及与所述定向信息相关联的报价信息，并且

其中，确定收益产生值的行为使用所接受的定向信息和所述报价信息以确定预期收益。

3.如权利要求2所述的计算机实现的方法，其中，所述预期收益包括多个未来收益事件。

4.如权利要求3所述的计算机实现的方法，其中，所述确定收益产生值的行为将所述多个未来收益事件折算以反映货币的时间值。

5.如权利要求4所述的计算机实现的方法，其中，所述多个未来收益事件被折算到当前时间。

6.如权利要求4所述的计算机实现的方法，其中，所述控制审核的行为包括按优先顺序排列所述广告的人工审核，以及

其中，所述多个未来收益事件被折算到对所述广告的人工审核的时间。

7.如权利要求1所述的计算机实现的方法，其中，所述广告信息包括广告分类，以及

其中，所述使用至少是所确定的分值来控制所述广告的审核的行为进一步使用所述广告分类。

8.如权利要求7所述的计算机实现的方法，其中，所述广告分类是从由下述各项组成的组中选出的：(A)具有政策违规的广告、(B)与欺诈广告主相关联的广告、以及(C)不具有政策违规的广告。

9.如权利要求7所述的计算机实现的方法，其中，所述广告分类是所述广告的类别。

10.如权利要求1所述的方法，其中，所述使用至少是所确定的分值控制所述广告的审核的行为包括：

i)将所述分值与阈值进行比较，以及

ii)基于所述比较的结果控制所述广告的审核。

11.如权利要求10所述的方法，其中，所述控制所述广告的审核的行为包括按优先顺序排列所述广告的人工审核，以及

其中，所述阈值是基于人工审核所述广告的预期成本。

12.如权利要求10所述的方法，其中，所述控制所述广告的审核的行为包括按优先顺序排列所述广告的人工审核，

其中，所述分值是基于来自所述广告的预期收益，以及

其中，所述阈值是基于人工审核所述广告的预期成本。

13.如权利要求12所述的方法，其中，如果所述广告的所述预期分值小于所述阈值，则使所述广告没有资格进行人工审核。

14.如权利要求12所述的方法，其中，如果(A)所述广告的所述预期分值小于所述阈值，并且(B)所述广告不违背任何政策并与欺诈广告主不相关联，则使所述广告没有资格进行人工审核。

15.如权利要求1所述的计算机实现的方法，其中，所述控制审核的行为包括按优先顺序排列所述广告的人工审核。

16.如权利要求1所述的计算机实现的方法，其中，所述控制审核的行为包括选择多个审核协议中的一个。

17.用于控制广告的审核的设备，所述设备包括：

a)用于接受关于广告的信息的装置；

b)用于使用所接受的信息确定收益产生值的装置；

c)用于使用所确定的收益产生值确定用于所述广告的分值的装置；以及

d)用于使用至少是所确定的分值控制所述广告的审核的装置。

18.如权利要求17所述的设备，其中，所接受的关于广告的信息包括定向信息以及与所述定向信息相关联的报价信息，以及

其中，所述用于确定收益产生值的装置使用所接受的定向信息以及所述报价信息以确定预期收益。

19.如权利要求17所述的设备，其中，所述用于控制审核的装置包括用于按优先顺序排列所述广告的人工审核的装置。

20.如权利要求17所述的设备，其中，所述用于控制审核的装置包括用于选择多个审核协议中的一个的装置。

Images