CN101379496B - 用于设计实验的评估方法 - Google Patents

用于设计实验的评估方法 Download PDF

Info

Publication number
CN101379496B
CN101379496B CN2006800531432A CN200680053143A CN101379496B CN 101379496 B CN101379496 B CN 101379496B CN 2006800531432 A CN2006800531432 A CN 2006800531432A CN 200680053143 A CN200680053143 A CN 200680053143A CN 101379496 B CN101379496 B CN 101379496B
Authority
CN
China
Prior art keywords
content
experiment
digital signage
appraisal procedure
design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800531432A
Other languages
English (en)
Other versions
CN101379496A (zh
Inventor
詹姆斯·L·格雷厄姆二世
克雷格·M·卡尔森
布赖恩·E·布鲁克斯
戴维·A·恩格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN101379496A publication Critical patent/CN101379496A/zh
Application granted granted Critical
Publication of CN101379496B publication Critical patent/CN101379496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0245Surveys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0246Traffic

Abstract

用于设计使用计算机确定所述实验是否为所述真实验的方法和系统。这些方法允许对真实验设计的复杂性不熟悉的用户可以设计和调配实验,该实验能够产生基本上无混杂变量的结果,并且可以用来确定和量化自变量和因变量之间的任何因果关系。所述计算机可以选择所述实验的一个或多个自变量和/或因变量,或者可以辅助所述用户选择自变量和/或因变量。形成对照组和处理组、随机化和/或模块化,以减少混杂变量的影响,其可以由所述计算机进行(使用或不用来自所述用户的输入)。

Description

用于设计实验的评估方法
技术领域
本发明涉及用于设计真实验的方法和系统。 
背景技术
通常进行实验来实证地确定两个或更多个变量之间是否存在关系。通常,实验从形成一个或多个假设开始,假设一个或多个自变量与一个或多个因变量之间存在关系。例如,制药公司的研究人员可能提出这样的假设,患者的血压将与患者服用新药的剂量有关。自变量是由实验人员在实验期间定义或调控的变量(如,让患者服用药物的剂量和/或频率)。因变量是假设随自变量数值的变化而变化的变量(如,患者的血压)。然后,实验人员进行实验以确定自变量和因变量之间是否的确存在关系(如,患者的血压是否与患者服用药物的剂量有关)。 
混杂变量(随自变量的水平系统性变化的变量)也可能影响因变量。这些混杂变量不是实验的主要兴趣所在,但是它们能够影响因变量。混杂变量的一些实例包括趋均数回归、顺序效应、地板效应、天花板效应、霍桑效应以及需求特征。混杂变量使得我们无法确定是何种因素(变量)引起因变量的任何被观测到的变化。因此,实验中未能妥善控制的混杂变量的存在,使得统计推断自变量和因变量之间存在因果关系成为不可能。根据能够减少或消除混杂变量影响的方式和程度,实验可以区分为很多类型。术语“真实验”是指这样一类实验,其中: 
1.自变量至少有两个水平。 
2.样本随机分配给自变量的不同水平。也就是说,实验中每个样本分配给自变量不同水平的机会均等。 
3.存在控制或消除混杂的某些方法。 
 不能同时满足上述三种特性的实验,均不是真实验,这些实验经常被称为准实验或相关设计。只有真实验方可得出自变量和因变量之间存在因果关系的统计推断。准实验和相关设计可以确定自变量和因变量之间存在关系,但是不能够确定这些关系是否为因果关系。多种类型的实验设计(包括真实验)已有著述,例如,坎贝尔(Campbell,D.T.)和斯坦利(Stanley,J.C)(1963)“Experimental and quasi-experimentaldesigns for research(用于研究的实验设计和准实验设计)”,芝加哥:兰德(RandMcNally)。真实验得出的数据大致上不受混杂变量的影响。然而,设计能够妥善控制或消除混杂变量的真实验可能很复杂。 
设计内部效度和外部效度俱佳的实验也是人们所期望的。内部效度指的是,对自变量所引起的因变量的任何被观测到的变化的置信度。外部效度是指,实验中自变量和因变量之间被观测到的关系在实验条件之外的环境或情形中同样适用的置信度。设计内部效度和外部效度俱佳的真实验,对仅具备有限统计设计和实验设计原理知识的调查人员而言,可能相当困难。能够给调查人员提供简化方法进行真实验设计的系统和方法是人们所期望的。 
发明内容
本发明涉及用于设计实验的系统和方法。本发明的一个实施例涉及使用计算机确定实验是否为真实验的用于设计实验的方法。 
根据多种不同方法,计算机可以选择实验的一个或多个自变量和/或可以选择一个或多个因变量。计算机可以自动形成实验的一个或多个对照组和/或实验的一个或多个处理组,包括自动地随机化对照组或处理组。在一些具体实施中,计算机可应用各种技术(例如,模块化和反向平衡)以减少一个或多个混杂变量的影响。 
根据其他方法,计算机可以在实验的多个步骤中辅助用户。例如,计算机可以辅助用户选择一个或多个自变量和/或一个或多个因变量。计算机可以辅助用户形成至少一个对照组和处理组。计算机可以辅助用户向对照组和处理组随机分配样本,并且作为另外一种选择或除此之外可以应用技术以减少实验中一个或多个混杂变量的影响。 
本发明的另一方面涉及实验的进行。计算机可以自动进行实验,也可以实现多种功能以辅助用户进行实验。 
本发明的另一方面涉及真实验的结果分析。一些具体实施允许结果分析由计算机自动进行。在其他具体实施中,计算机辅助用户分析实验结果。 
本发明的另一个实施例涉及用于实验设计的系统,该系统包括设计处理器,该设计处理器被构造为确定实验是否为真实验。在一些具体实施中,该设计处理器被构造为选择实验的至少一个自变量和因变量。该设计处理器被构造为形成实验的至少一个对照组和处理组,包括执行随机化和模块化处理。 
在一些具体实施中,该系统可以在与实验有关的多种功能中辅助用户。在这些具体实施中,该系统包括一种用户界面,该界面被构造为接收来自用户的输入。该设计处理器可被构造为辅助实验者使用用户输入来选择实验自变量和因变量中的至少一个。该设计处理器可被构造为根据用户的输入来辅助用户选择实验的对照组和处理组中的至少一个,也可以根据用户的输入来辅助用户随机分配各组,以及应用模块化以减少实验中一个或多个混杂因素的影响。 
根据本发明的另一个方面,该系统可以包括被构造为运行实验的调配单元和/或被构造为分析实验结果的分析单元。实验的调配和/或分析可以由系统自动进行或使用用户的输入来进行。 
在一个具体实施中,该实验包括一种数字标牌(signage)实验。在另一个具体实施中,实验涉及一则广告。 
本发明的上述发明内容并非旨在描述本发明的每个实施例或每项具体实施。通过结合附图,参见下面的具体实施方式以及权利要求,将清楚地体会本发明的优点和能获得的成就以及更加全面地理解本发明。 
附图说明
图1示出的是真实验必需的元素; 
图2A是一种数字标牌系统的框图,该系统可以包含根据本发明实施例的设计真实验的能力; 
图2B是根据本发明实施例的设计真实验的系统的框图; 
图3是图示说明包括根据本发明实施例设计真实验的方法的流程图; 
图4A-4C是包括根据本发明实施例设计数字标牌具体实施的实验的方法的流程图; 
图5示出的是可根据本发明实施例实施的数字标牌显示的示例性布局,包括天气/新闻面板、商店徽标、滚动字幕以及视频广告区域; 
图6概念性地示出根据本发明实施例实施的半自动数字标牌系统的功能; 
图7示出的是创建和发布内容的处理流程,使用了根据本发明实施例实施的数字标牌系统的组件和功能; 
图8是说明根据本发明实施例的用于运动产品零售商的数字标牌系统示例的具体实施的流程图;以及 
图9是说明了根据本发明实施例确定实验设计是否从实验中消除了混杂变量之方法的流程图。 
本发明可有多种修改形式和替代形式,它们的具体情况在附图中的实例已有说明,此后还将会详细描述。然而应当理解的是,其目的并非在于把本发明限定于所述的特定实施例。相反,其目的在于涵盖在本发明范围之内的所有修改形式、等同形式以及替代形式,本发明的范围在所附的权利要求中已有限定。 
具体实施方式
在以下有关示例性实施例的描述中,参考了作为本发明一部分的附图,附图以举例说明的方式示出了可以在其中实施本发明的多个实施例。应当理解,在不脱离本发明的范围的前提下,可利用实施例和修改其结构。 
本发明涉及使用计算机确定实验设计是否为真实验的方法和系统。真实验所必需的元素在图1中示出。真实验包括假设或目标的开发。识别因变量和自变量,并且使用自变量的至少两个水平。样本被随机分配给自变量的不同水平。存在某些方法来控制或消除混杂变量。如果上述所有元素均被妥善应用,那么实验所产生的结果能够用于作出统计推理以确定因变量和自变量之间的关系。本文所述的方法和系统使得不通晓真实验设计的 用户可以设计并调配可以产生基本上不含混杂变量结果的、并且可以用以确定和量化自变量和因变量之间的任何因果关系的实验。 
真实验具有自变量的至少两个水平。如本文所述,本发明的一些实施例提供了各种方法和系统,它们可以辅助用户选择实验的自变量,还可以辅助用户平衡内部效度和外部效度。例如,对内部效度的威胁,本发明的方法和系统可以在识别内部效度威胁的过程中辅助用户,并且可以建议和/或自动选择控制上述威胁的方法,比如,通过反向平衡和/或模块化。本文的一些实施例辅助用户和/或自动进行向各组随机分配样本的处理,以使得实验中每个样本被分配到各自变量水平上的机会均等。在一些配置中,随机化、反向平衡和/或模块化可以自动进行。系统可以根据与内部效度和/或外部效度有关的因素来选择或辅助用户选择自变量(或自变量的水平)和因变量。 
在其他实施例中,本发明的方法和系统可以用于评价此前设计的或此前进行的实验。在这些实施例中,根据与实验此前是如何设计的或如何进行的有关的用户输入,系统确定该实验是否确为真实验(相对于准实验或相关研究)和/或识别实验中混杂变量的存在。在一些具体实施中,本发明的方法可以用于确定实验设计的内部效度和/或外部效度。 
在一些实施例中,计算机可以在半自动模式下工作,其中计算机通过一个或多个交互式会话来引导用户以设计、调配和/或分析真实验得出的数据。在其他实施例中,对计算机进行编程以使之完全自动运行,而不需要用户对话。在完全自动模式下,基于计算机的系统可以实施以下步骤中的一个或几个:实验设计、实验调配、采集实验所产生的数据、数据分析、确定实验内部效度、确定实验外部效度和/或修改或实现基于上述分析的一个或多个进程。但是在其他实施例中,系统可以半自动地实施上述步骤中的一个或几个,同时可以全自动地实施其他步骤中的一个或几个。本文所述的基于计算机的实验设计方法,是以计算机化的标牌信息系统为基础的。但是,本发明不限定于通信系统或标牌领域。本发明的方法可以应用于真实验设计,无论其针对的技术领域如何。例如,本文所述的方法和系统可以应用于许多学科领域内实验的设计,包括但不限于:生物学、化学、语言学、医学、认知科学、社会科学、教育、经济学和/或其他科学领 域。在数字标牌信息系统环境中描述一些实例,以使得读者逐渐了解本发明的原理,这些原理大致上跨越了科学研究的所有领域。 
图2A是数字标牌系统(DSS)的框图,该系统可以包含根据本发明实施例设计真实验的能力;图2A的框图示出了数字标牌系统的配置,该系统划分为多个功能块。本领域内的技术人员人们将意识到,作为另外一种选择,该数字标牌系统可以使用不同的功能块示出,数字标牌系统的多个组件可以是硬件、软件、固件,或者硬件、软件和固件的任意组合。 
图2A示出的数字标牌系统是被构造为借助于声音、视觉和/或其他媒体格式展示信息内容的计算机化系统。数字标牌系统可以包括自动或半自动生成播放列表和播放计划的功能,播放列表提供了待展示信息内容的清单,播放计划载明了内容展示的顺序。在半自动模式下,用户可以借助于交互式用户界面210访问数字标牌系统控制处理器205。在数字标牌系统控制处理器205的辅助下,用户可以识别待展示内容并生成播放列表和播放计划,这些播放计划控制在一个或多个数字标牌系统的播放器215上展示内容的时机和顺序。每个播放器215均按照为该播放器生成的播放列表和播放计划来向受众展示内容。信息内容可以包括图形、文字、视频片段、静态图像、音频片段、网页和/或它们的任意组合,例如视频和/或音频的组合。 
在一些具体实施中,在生成播放列表和播放计划之后,数字标牌系统控制处理器205确定播放列表所需内容,从内容服务器上下载内容,然后把内容与播放列表和播放计划一起传送给播放器控制器220,该播放器控制器把内容发布给播放器215。虽然图2A仅示出了一个播放器控制器220,但是多个播放器控制器可以连接至同一个数字标牌系统控制处理器205。每个播放器控制器220均可以控制一个播放器215或多个播放器215。内容和/或播放列表和播放计划可以以带有适当编址提供信息的压缩形式从数字标牌处理器205传送至一个或多个播放器控制器220,该编址提供信息用以识别要使用所述内容/播放列表/播放计划的播放器215。在一些应用中,播放器215可以分布在商店中,播放器215上展示的内容可以是广告。 
在其他具体实施中,数字标牌系统控制处理器205可以仅把播放列表和播放计划传送到播放器220。如果该内容不驻留在播放控制器220上,那么播放器控制器220可以访问内容存储器225以获取待展示内容。在某些场合下,数字标牌系统各组件中的一个或多个(包括内容存储器225)均可借助于诸如内联网或互联网之类的网络连接进行访问。播放器控制器220可以汇编想看的内容,或换句话讲,有助于按照播放列表和播放计划在播放器上显示想看的内容。播放列表、播放计划和/或播放器215上展示的内容可以通过播放器控制器220或通过数字标牌系统控制处理器205定期地或根据用户意愿进行修改。 
在一些具体实施中,数字标牌系统控制处理器205有助于播放器待播放内容程序的开发和/或格式编排。例如,数字标牌系统控制处理器205通过使用模板来协助对音频视频程序进行格式编排。模板包括格式约束和/或应用于开发待展示音频视频程序的规则。例如,模板可以包括:与某些类型的内容所使用的屏幕部分有关的规则、在每个区段可以播放的内容的类型、播放序列、字体大小、和/或其他约束或适用于程序显示的规则。对每一显示器配置,最好有一套独立的规则和/或约束。在一些实施例中,为不同的显示器对程序进行格式编排可以由数字标牌系统控制处理器205自动实施。 
在一些实施例中,根据认知科学领域研究和实验所获得的知识,数字标牌系统可以创建模板、生成内容、选择内容、汇编程序和/或对显示程序进行格式编排。认知科学寻求理解掌握人类感知的机制。认知科学和视觉科学已经在以下方面积累了丰富的知识:人类感知系统如何处理信息,注意力的基础机制,人类大脑如何在记忆中存储和再现信息,以及语言和解决问题的认知基础。把认知科学应用于内容设计、框图、格式编排和/或内容展示,产生易为人类认知系统处理、容易理解、并且容易存储在人类记忆中的信息。根据认知科学获得并且存储在认知科学数据库230中的知识可以自动地或半自动地向数字标牌系统的一个或多个进程提供信息,包括创建模板、内容设计、选择内容、发布内容、汇编程序和/或对显示程序进行格式编排。认知科学数据库230与数字标牌系统的编程功能结合使用,生 成通过认知科学的知识成果增强了的广告或其他数字标牌程序,广告和其他数字标牌程序,并使得系统用户不需要接受该技术领域内的专门培训。 
在开发数字标牌程序例如广告计划等程序时,数字标牌系统控制处理器205可以通过多个进程引导用户,这些进程通过使用获自认知科学的知识成果得到增强。例如,存储在认知科学数据库230中的信息可以用于选择模板以产生最佳程序框架,和/或可以用于选择内容,诸如内容元素是否应为图画、文字,是否包括动作、颜色、大小,和/或可以用于程序开发其他方面的具体实施。 
数字标牌系统可以包括设计数字标牌程序替换版本的能力,以适应不同的显示器类型和观看条件。显示技术各式各样,并且用于在数字标牌网络上显示内容的显示器类型迥异。例如,大小、形状、亮度以及观看条件,在整个数字标牌网络中将会千差万别(例如,某些显示器体积小、灵活、非线性;而其他的则是标准的大幅面液晶显示器(LCD)和等离子显示器)。显示器类型和观看条件的差异意味着,内容块的任何一个版本都不会是对整个网络上的所有显示器而言都最佳的。为了解决这个问题,有必要为每种显示器类型和观看环境生成各个内容块的版本,然后把上述内容版本有选择地发布给网络上相应的显示器。但是,希望内容设计人员详尽了解如此之大的数字标牌系统网络中显示器类型和观看条件是不现实的。此外,即使内容设计人员详尽了解上述知识,手动为每台显示器生成不同内容版本并且手动编制播放计划以使得内容在相应的每台显示器上以适当的时间播放也将极为耗时。 
数字标牌系统可以包括数据采集单元235,以采集用于提高所调配内容的有效性的数据。数据采集单元235允许在内容调配过程中连续实时收集决定数字标牌网络有效性的分布因子。采集到的信息有利于不断提高数字标牌系统有效性,也有利于改进内容块的各个版本。实时数据可用于了解(例如)哪些传感器或销售事件应触发特定类型内容的显示。 
在任一内容程序中的各个内容块都有一个特定目标(例如,销售特定产品)。通常情况下,对数字标牌网络的用户,每个目标值均存在可变性。例如,每种产品的利润率和存货水平均存在可变性,其计算在该产品 的目标值内。在数字标牌网络程序调配过程中,实现每一目标的值不断变化。例如,产品的库存水平可能变化,因此影响该产品销售目标。 
提高数字标牌系统的整体有效性涉及:1)准确预测调配数字标牌程序对该数字标牌程序有关目标的影响;以及2)在内容块对应的各个目标值变化时,不断改变各个内容块的发布方式(时机、频率以及位置)。在许多情况下,对数字标牌系统的用户而言,预测发布内容的影响,并且根据不断变化的、与每个内容块有关的目标值,手动改变内容发布方式是不现实的。数字标牌系统提供了可以预测数字标牌程序影响的功能,并根据上述预测更改内容发布。 
如上所述,在播放器215上展示内容,目的在于影响人们的行为(如,影响购买行为)。但是,以往的数字标牌系统无法证明标牌内容和人类行为之间存在因果关系,也无法估量该因果关系的强度。之所以出现这种困难,其原因在于,在现有数字标牌网络中递送内容的方法,对确定人类行为的任何测得的改变是由标牌内容引起还是由某些混杂因素(例如,天气的变化、对某产品的一般需求的变化、产品价格的变化)引起,不提供支持。决定性地确定标牌内容和人类行为之间存在因果关系的唯一方法是进行真实验,在真实验中使用复合实验设计系统地调控标牌内容,并就上述调控对人类行为的影响进行仔细的估量。手动地进行这些实验极为耗时,而且需要相当的知识和培训以掌握设计真实验的科学方法。数字标牌系统的用户可能未受过足够的培训,无法掌握如何设计真实验以得出无混杂变量影响的结果。 
数字标牌系统可以包括提供设计、调配和/或对从真实验中所获数据进行分析的能力的组件。如上所述,提供该功能的组件可以包含在数字标牌系统中,或者可以由其他类型的系统实现。可以用于真实验设计、调配和/或分析的组件均在图2B中单独列出,在此不关注它们得以实现的系统具体类型如何。根据本发明的系统,可以包括一个或多个本文所述的部件、结构、方法或其组合。例如,系统可以被实施为包括图2A或图2B示出的一个或多个有利的结构和/或进程。其目的在于,这类系统并不需要包括本文所述的所有特征,而是可以被实施为包括提供可用结构和/或功能的选定特征。 
图2B示出实验设计系统(EDS),该系统包括被构造为确保真实验设计的实验设计处理器。如上所述,实验设计处理器240可以被构造为以全自动模式运行,或者与用户交互以半自动模式运行。在半自动模式下,实验设计处理器240可以引导用户借助于用户界面210,通过多个交互式会话,设计一个真实验。在这样的一个过程中,实验设计处理器240确保设计出真实验,产生无混杂变量影响的实验数据。因此,用户能够依赖实验设计处理器240编程,而不需要具备设计真实验的知识和经验。实验设计系统可以仅包括实验设计处理器240,或者可以包括附加的元素,比如实验调配单元245、数据采集单元235,以及数据分析单元250。 
实验设计处理器240可以自动地或半自动地开发实验目标或假设,识别实验自变量和因变量,通过应用适当的随机化、反向平衡和/或模块化形成对照组和处理组。例如,在数字标牌系统环境中,实验目标可以是评价某种产品的促销广告计划中内容元素的有效性。(一个或多个)自变量可以与该内容元素显示的某些方面有关。(一个或多个)因变量可以与产品销售量的增长有关。 
实验设计处理器240可以形成适当的处理组和对照组,包括为DSS选择显示实验内容和对照内容的多个现场。实验内容的展示,包括内容格式、播放计划、展示位置和/或其他可能在实验过程中产生混杂变量的因素,均由实验设计处理器240控制。实验设计处理器240可以保证充分的随机化、反向平衡,以及对照组和处理组的模块化,以获得不受混杂干扰的实验结果。数字标牌系统环境下的实验设计可能会涉及(例如)为实验待测试内容的展示生成适当的播放列表和播放计划,也可能涉及为对照内容的展示生成播放列表和播放计划。 
实验设计系统可以进一步包括实验调配单元245。实验调配单元245被构造为有助于实验调配。在示例性数字标牌系统环境下,实验调配单元245对实验内容和对照组内容进行格式编排以用于多种播放器配置,而且有助于把实验内容和对照内容转移至播放器控制器220,以按照播放列表和播放计划在播放器215上进行展示。 
数据采集单元235可被构造为从对照组和处理组采集实验数据。数据采集单元235可以实施或有助于借助于任何手段采集有关的实验数据。例 如,在示例性数字标牌系统环境下,数据采集单元235可以和多个传感器或数据采集装置262、264、266耦合,它们采集包括产品流动、产品销售、顾客行为或反应等信息和/或其他信息。传感器262可用于检测(例如)顾客是否购买产品,或者展示内容时顾客是否在显示器附近。销售量可以根据销售点(POS)系统264采集的信息确定。测量因变量的其他装置266也可以使用。可以借助于库存控制系统来获知产品库存量的变化。顾客的反应可以借助于问卷调查采集。如果已进行的实验是真实验,那么由数据采集单元235采集的数据基本上不受混杂变量的影响。 
数据采集单元235可以和数据分析模块250耦合,该模块被构造为分析由数据采集单元235采集的实验数据。该数据分析模块250可以确定和/或量化实验中自变量和因变量之间的因果关系。对图示数字标牌系统,分析结果可用于确定该内容在影响产品销售方面是否有效。 
分析结果可以另外或作为另外一种选择用于实现或修改多个不同进程。例如,如果该内容有效地影响了产品的销售量,那么可以开发包含该内容的广告计划。可根据提高销售量的有效程度,由内容评价进程272为该内容赋值。可以根据该内容的赋值由账单开具单元274向使用该内容的广告商收费。数据分析模块250也可以向库存控制276提供信息。另外,数据分析模块250可以向销售预测单元278提供信息,该模块在调配广告宣传的过程中生成销售量预测。销售预测单元278可以另外或作为另外一种选择对能够支持广告宣传产生的销售量的所需库存进行预测。 
图3示出的流程图提供了一种根据本发明实施例的方法的概览,该方法可由数字标牌系统(图2A)和/或实验设计系统(图2B)实现。该方法包括真实验的设计310和实现320。实验得出的数据被收集330和分析340。根据数据分析可以修改或实现350一个或多个进程。 
图4A-4C的流程图提供了根据本发明实施例的在数字标牌环境下的上述过程的更为具体的实例。在这个实例中,实验目标是确定包含内容A的数字标牌系统视频广告对产品X销售量的影响。例如,内容A可以是播放演员、运动员或者其他名人视频的广告。识别402待测试内容(内容A),选择对照内容404。使用存储于本地存储器中的模板规则,生成406包含内容A的视频广告。模板规则也可用于生成对照组使用的视频内容。 模板规则可用于提供结构,以安排显示内容框图。在某些情况下,这些模板规则是基于来自认知科学的知识。图5示出的是用于数字标牌显示的示例性框图,它包括天气/新闻面板、商户徽标、滚动字幕,以及用作视频广告的区域。 
为包含内容A和对照内容的视频广告生成播放列表和播放计划412、414。选择广告现场和对照内容416、418。例如,广告内容和对照内容的现场可以是饭店、商店、购物商场或者其他地点。播放列表和播放计划的开发412、414以及现场的选择416、418通过适当的随机化和模块化完成,以排除或减少实验结果中的混杂变量。 
广告内容和对照内容可以被发布至数个现场,每个现场有其特定的观看特性。现场可能在显示器大小、显示器形状、观看距离、环境灯光、噪声水平,以及其他观看条件等方面各不相同。调整422广告,使其与发布该广告的每一台显示器的属性相匹配。对对照内容进行类似的调整424。根据它们各自的播放列表和播放计划显示426广告内容并显示428对照内容。 
可在广告内容和/或对照内容展示之前、之中或者之后采集信息。可借助于传感器、销售点终端、库存控制系统和/或其他输入装置采集数据。例如,可以检测广告展示过程中显示器附近有无观看者存在。可以检测到广告内容和对照内容被展示432,434或者被观看436,438的次数。可以感测442观看者的运动、眼球的运动和/或其与产品X的互动。产品X的销售量和销售时机可以从销售点终端确定444。观看者对广告的反应可以借助于调查问卷获取。例如,调查问卷可用于确定观看者对广告做出的反应,是总体上积极的还是总体上消极的。可使用前后对比问卷以确定广告是否改变了顾客对产品X的熟悉程度。可以确定产品X库存水平的变化。 
采集的数据可经分析446以确定包含内容A的广告的展示和产品X销售量之间存在因果关系。根据上述分析,可以为内容A赋值448。如果内容A成功地增加了销售量,那么可以制作包含内容A的广告。可以确定454广告宣传的投资回报率(ROI)。提供广告宣传或提供展示该广告宣传系统的公司,可根据内容A的赋值或实验所确定的预期投资回报率向他们的顾客收费。产品X的卖方可根据实验结果预测在包含内容A的广告的宣 传过程中,对产品X的库存需求458。该系统可以根据实验结果反复修改462一个或多个进程。 
图5示出的是数字标牌显示的示例性布局,可由本发明的数字标牌系统控制。数字标牌显示可被构造为包括数个区域,例如天气/新闻面板、商户徽标图形、滚动字幕,以及用作视频广告的区域。 
图6概念性地示出一种根据本发明实施例的半自动数字标牌系统的功能,比如图2A中示出的系统。按照功能划分,该数字标牌系统大致可分为四个区域。图6示出的第一个功能区域把认知科学和视觉科学610应用于数字标牌。提供编程工具,使得在视觉科学和认知科学领域未经高级培训的内容设计人员也可在内容创建过程中应用这些学科领域的原理,以提高内容的有效性。该系统提示用户为每一内容块输入目标和意欲传达的信息(关键信息)。辅助用户识别整个数字标牌网络上对内容设计具有潜在影响的关键属性。在把认知科学和视觉科学应用于设计内容的过程中,系统根据目标和数字标牌网络的关键属性对用户进行引导。例如,该系统会帮助用户选择模板(即最佳布局)和元素(即元素是否应为图形、文字;是否应涉及动作、颜色、大小等等),以在标牌上显示。 
该数字标牌系统的另一个功能组件提供了内容有效性估量620。数字标牌系统编程使得在进行实验方面没有或具有少量培训或技能的用户能够生成复合实验设计。该实验设计可用于研究构成有效数字标牌网络基础的内容设计和分布因素,还可用于估量内容对人类行为的影响。辅助用户识别有可能对内容有效性至关重要的自变量和随自变量变化的因变量。该系统生成适当的实验设计,包括识别适当的控制条件和实验条件、适当的模块化、反向平衡以及随机化,以确定那些自变量和因变量之间任何因果关系的强度。进行实验,借助于传感器和/或其他进程采集数据,然后分析数据。实验结果可由该系统的多个其他组件使用和/或可以报告给用户。 
真实验的使用提供了复杂但行之有效的传递内容的方法,它允许采集非常清晰(无混杂变量)的数据。这与使用准实验的方法形成了对照,准实验要求极为复杂的分析方法(即行为分析)以分析和使用充满了混杂变量的数据。 
数字标牌系统提供了自动化的内容设计630,它可以自动生成新的模板并且转化应用于现有元素中。可以生成新的模板和元素,提高内容有效性和/或创建适当的内容以满足上述实验设计的需要。数字标牌系统提供的工具能够为系统中每一个播放器生成内容块的唯一版本。数字标牌系统可以提示用户提供输入,也可使用其他组件提供的、关于构成内容有效性基础的网络属性和因素的信息。来自认知科学和视觉科学的知识可用于外推、填补或者探索该系统意欲增强的特定内容块的信息空间。数字标牌系统功能区提供了生成全新内容的能力,它不是已发布模板或者与已发布内容版本有关元素的简单重新组合。也就是说,数字标牌系统并非简单地依赖于混杂/混和已经发布的模板和经数据显示认为有效的元素,当然,该系统具有混杂/混和的能力。 
数字标牌系统包括在整个显示网络上发布640不同内容块的功能,以此提升系统层面(即上位层面)的目标。例如,内容块可以在系统范围内发布以协调不同项目之间的销售,或者回应不同地理区域不同的库存水平(销售率、利润率)。 
图6示出的功能组件610-640可单独使用。但是,当组件610-640组合成为一个单一系统时,该单一系统会另外产生多个重要的优点。应用认知科学和视觉科学610使得没有或者在认知科学和视觉科学领域具有少量背景知识的用户能够运用这些领域的知识,以创建更加有效的内容。该功能可用于单个或多个显示器屏幕环境下。在系统层面,认知科学和视觉科学的应用为自动化的内容设计系统提供了输入和约束,其目的在于,为每个显示器逐一制作内容。例如,如果每一网络标牌的平均观看距离已知,那么应用认知科学和视觉科学的组件将会为每个标牌确定最佳字号,该信息将会由自动化内容设计组件使用,以生成具有上述字号设置参数的文本。该系统可以提示在实验过程中应当予以调控的关键参数,还可以提供上述参数的上限和下限。 
内容有效性估量620能够在单个或多个显示器环境下运行,生成实验设计并就内容对任何可估量人类行为的影响的有关数据进行分析。内容有效性估量620能够确定标牌内容与人类行为之间的因果关系。在一个实例中,可以精确确定内容(因此可以精确确定数字标牌系统)对任何人类行 为的经济价值,该人类行为自身也能够被精确赋值。其价值最易为人知的人类行为是购买行为。但是,通过系统感测其他人类行为的能力,用户可以对更大范围内的行为赋予经济价值,诸如眼球运动、购买产品、减少寻路时间等等。 
在另一个实例中,市场研究人员通过生成描述同一产品不同的特征组的内容,可以测试自己提出的有关产品中哪些特征组最有价值的假设。通过确定哪些内容块最有效,就可以推断出哪些特征组对顾客最有价值。 
在系统层面,内容有效性估量620为自动化内容设计组件提供了有关设计参数有效性的输入,这使得自动化内容设计组件可以不断提高已发布内容的有效性。除此之外,可以提供不断更新的输入,使得内容发布组件可以预测特定内容发布方式对给定目标状态的影响。 
内容发布功能640不断改变各个内容块在整个网络上显示的相对频率,以实现数字标牌网络的目标或使其最大化。改变相对频率涉及增加或减少各个内容块在各个标牌上展示的次数。所有其他内容发布因素,诸如在特定显示器上显示的内容块的版本,保持不变。例如,系统可以减少展示对应于库存水平较低的产品的内容块的频率,也可以增加展示对应于库存水平较高的产品的内容块的频率。 
整个系统范围内,内容发布组件640可以接收来自内容有效性估量组件620的输入,然后,利用该输入,根据内容有效性估量组件采集的因果关系信息所产生的预测,对每个显示器逐个策略性地发布内容。 
图7示出的是使用以上所述的数字标牌系统组件和功能创建和调配内容的流程图。在第一个循环或初始化过程中,进程使用来自系统之外的数据以最优化系统的目标。在后续的循环中,该进程可以依赖系统自身获取的数据以修改和/或提升系统目标。详细来讲,在第一个循环中,图7示出的进程使用来自认知科学和视觉科学的先验知识以最优化目标;后续循环使用认知科学和视觉科学以及来自实时实验数据的结果以最优化系统目标。因此,在初始化过程中,该进程使用先验来源的数据。在后续循环中,不需要用户交互。在后续循环中,先验和后验数据均被使用。 
该进程会通过一系列工具和脚本引导用户,创建710多个可选模板,确定不同种类的内容要素如何在显示器上出现(即位置、大小,以及诸如 文本、图表以及视频等元素的定位)。工具和脚本通过三组信息来建议推荐的模板,三组信息为:a)来自认知科学和视觉科学与有效展示信息有关的原理,b)内容的目标(如,寻路、广告),以及c)数字标牌网络已知的属性(即不同显示器的大小、形状,不同的观看距离,以及在整个网络上观看者的人数统计)。例如,工具和脚本可以帮助用户确定元素是否应当以图画或文本形式展示。给定整个网络的观看条件、内容目标,以及(如果存在)此前宣传活动中有效模板类型的有关数据,工具和脚本还可以帮助用户确定在多个预先设定的模板中哪些比较合适。 
该进程通过一系列工具和脚本引导用户以生成720特定内容元素,该元素随后将会放置在方框710创建的模板内。各个内容元素可以包括特定的文本信息、静态图像、动画、电影片段、原声插播等等。每个元素可以具有许多变体,而且软件会帮助用户确定:内容的哪些元素可以在同一模板内组合,上述元素如何进行组合的规则,以及在内容创建过程中内容元素的可以调控的参数。例如,在调配过程中改变字体颜色可能是允许的,但是不能改变模板中所用名人脸部的颜色。 
该软件工具和脚本有利于通过提取三组信息生成内容:a)与此前宣传活动中有效的内容元素的类型有关的数据,b)来自认知科学和视觉科学的原理,以及c)数字标牌网络的已知属性。在该实例中,内容创建后,不再需要用户对话。 
增强内容创建730。该进程涉及创建多个内容版本所需的对组合元素和模板的多种约束。第一次进行该进程时,上述约束将会根据:a)创建上述模板和内容元素中曾经使用的因素,b)预先编制的有关如何组合元素和模板的指导,c)待调配内容块的目标,以及d)实验设计的参数。随后通过该框架时,进程也将会使用有效性数据以改变现有的模板或创建全新的模板(通过内插法)和元素,之后创建内容的新版本。因为网络中每台显示器可能具有不同的属性(如,不同的亮度、噪声级别、形状、大小,以及平均观看距离),所以可为网络中的每台显示器创建内容的独特版本。 
该内容在整个数字标牌网络中发布740。内容发布涉及确定何时、何地显示哪些内容块,以:a)使得内容和观看者行为之间的因果关系得以确 定,b)提高动态标牌网络的系统层面目标,因此提高整个网络的投资回报率,c)允许精确估量特定模板和内容元素的有效性。 
内容发布过程允许内容的各个版本使用适当的模块化和反向平衡程序进行发布。此外,对整个网络上标牌的已知属性使用适当的基准控制条件,对未知因素则适当地随机分配内容的各个版本。给定标牌网络的各种属性,诸如属性的数量和属性之间的关系,这些算法确定适当的实验设计。该功能协调重播要求,诸如整个网络上各个内容块重播的频率和时机以及重播地点。 
使用传感器数据、销售点、库存数据和/或其他数据,结合用于发布内容的实验程序,对内容的影响进行计算和分析750。为了以知觉实验术语描述该步骤,对内容元素和模板的效应大小进行计算。效应大小是指可由任何已界定的变量解释的数据变化量的大小。该进程分析并且预测在整个网络上,对给定的属性,哪些内容将会有效。而且,可以检测传感器数据、内容展示以及向目标运动的同现。因此,可以掌握:被检测到的事件与内容配对时提升了对目标的接近。之后,这些同现事项成为数字标牌网络新的属性。可以发布内容,以利用传感器数据、内容展示以及向目标状态运动的同现。 
方框750实现的分析形成报告投资回报率(ROI)、未来内容创建以及未来内容发布的基础。可以对预先界定的变量进行推理统计。根据这些推理统计,系统能够计算效应大小和对原因-效果关系的把握,包括内容元素、模板以及调配的效果。 
图8是示出的是根据本发明实施例实施的示例性数字标牌系统的流程图。该具体实施涉及运动产品零售商,它拥有200家商店。该零售商希望对四种有积压存货和四种没有积压存货但是与积压的产品相比具有较高利润率的四种产品进行广告宣传。该计划的上位层面的目标是实现毛利润的最大化,同时消除积压产品过多的库存。也就是说,一旦过多的库存被消除,那么目标将会简化为在每一商业网点保持均衡的库存水平。 
使用基于认知科学和视觉科学的软件,该零售商的标牌管理商创建了810数个不同的模板,这些模板将会用来为所有八个产品系列进行内容开发。这些模板包括信息的框图、色彩设计,和/或构成该程序的其他各个变 量。这些模板可以用于上述所有八个产品系列,而不限定于一种产品。此外,在该阶段,预存模板或常备模板也可供使用。 
在为此次广告宣传创建基础模板之后,标牌管理商创建了820这些模板需要使用的各个内容元素。各个元素针对待促销的产品系列创建,而且包括产品品牌推广和给定产品的信息。如同模板的创建过程,各个元素的创建也使用基于认知科学和视觉科学的软件,由软件向导引导。 
这些模板自动导入830各个内容元素,为标牌网络促销的所有八个产品中生成数个不同的内容包。通过将元素与模板合并,每个内容块可为每个产品系列创建成百上千个不同的版本,以满足标牌不同属性的要求,诸如显示器大小或观看距离等等。 
使用有关标牌网络的已有的知识或学会的知识,通过使用能够采集各个内容块的成功标准的算法发布840内容。该内容在整个网络上发布,其发布方式确保适当的反向平衡、模块化,因而能够进行没有混杂因素影响的估量。此外,调配算法考虑网络属性、观看者人数统计以及观看条件等因素,确保相关内容被发送到网络中相应的标牌。 
销售点和传感器数据使得不同的内容包的影响被监测850、分析,以确定对网络中的每个显示器来说哪些模板和内容元素以及它们的组合最为有效。根据该信息,能够分析因果关系和投资回报,这样就能够进行基于价值的收费。该实例可以确定对全部200家商店,导致X%的利润增长和Y%的过多存货下降的是否是标牌系统本身。解释性数据分析生成可能的新的网络属性。例如,当顾客购买产品X而且内容Y出现时,销售量急剧上升。下次重复时,这一新的网络属性将通过实验进行测试,而非仅通过相关研究进行估量。例如,该系统可以确定X型显示器上所展示的内容块使用Y型模板时是否最为有效,还可以确定最有效的内容组件具有XYZ属性。 
根据有效性数据,该系统自动地生成860新模板、新内容元素,以及它们新的组合。还有,通过使用标牌网络属性(旧属性和新属性),该软件在整个网络上对上述新的内容块进行调配。 
在该广告宣传的其余部分,方框830至860所述的进程(例如)得以重复而没有用户对话。该系统自动调整以实现宣传活动目标的同时,标牌网 络管理商能够监测宣传活动过程中任何给定时间点该内容对销售量的影响。 
在该宣传活动结束之际,在宣传活动过程中手动或自动生成的模板和组件也为未来的宣传活动做好了准备。此外,对特定显示器、人数统计或其他因素有效的模板和元素的类型,这些知识已经被获取以用于在未来宣传活动过程中在整个网络上创建并发布内容。 
确定一项实验是否为真实验的工作,可以在实验进行之前或之后进行。根据某些实施例,可使用计算机确定尚未进行的实验是否为真实验。根据其他一些实施例,可使用计算机确定此前已经进行的实验是否为真实验。根据图9示出的方法,计算机根据用户提供的信息可以确定实验设计是否消除或控制了混杂。在这个实例中,用户输入910和实验有关的信息,包括实验的自变量和因变量。计算机识别920可能在实验中产生混杂的状态。用户选择930由处于实验环境中的计算机所识别的产生混杂变量的状态。计算机提示940用户识别已采取的、用以消除或控制已识别混杂的步骤。计算机确定950步骤的组合是否足以消除实验中的混杂。 
介绍上述的本发明的各个实施例之具体实施方式的目的是为了进行举例说明和描述。并非旨在穷举性地描述本发明或将本发明限定于本发明所公开的确定形式。可按照上述教导内容进行多种修改和更改。例如,本发明的实施例可以在多种应用中实施。其目的在于本发明的范围不受本具体实施方式的限定,而是受所附的权利要求书限定。 

Claims (9)

1.一种评估方法,在一种将内容按照计划展示在多个数字标牌播放器上的数字标牌网络中,该评估方法用于评估所展示内容对内容观看者的行为的影响,所述评估方法包括:
识别一个自变量,该自变量与显示内容的一个方面有关;
识别一个因变量,该因变量随自变量变化并与内容观看者的行为有关;
以改变自变量并通过随机化来减少混杂变量的方式将内容显示在数字标牌网络的多个数字标牌播放器上;
收集因变量的信息并分析因变量的改变,以确定自变量和因变量之间的因果关系;以及
由自变量和因变量之间的因果关系得出内容与内容观看者的行为之间关系的统计推断。
2.如权利要求1所述的评估方法,还包括对一个或多个混杂变量实施模块化。
3.如权利要求1所述的评估方法,还包括对一个或多个混杂变量实施反向平衡。
4.如权利要求1所述的评估方法,其中所述内容包括图形、文字、视频片段、静态图像、音频片段以及网页中的至少一个。
5.如权利要求1所述的评估方法,其中所述内容观看者的行为包括购买、眼球运动、拿起产品以及减少寻路时间中的至少一个。
6.一种评估方法,在一种将内容按照列表展示在多个播放器上的数字标牌网络中,该评估方法对用于产品促销的内容的有效性进行评估,所述评估方法包括:
在数字标牌网络中选择将要展示实验内容和对照内容的测试地点;
产生实验内容的列表;
产生对照内容的列表;
在数字标牌网络位于测试地点的播放器上,展示实验内容的列表和随机化的对照内容的列表,从而消除计划和地点混杂;
在测试地点收集关于产品销售的数据;
根据所收集的数据来确定实验内容在影响产品销售方面是否有效。
7.如权利要求6所述的评估方法,还包括对实验内容和对照内容实施模块化。
8.如权利要求6所述的评估方法,还包括对实验内容和对照内容实施反向平衡。
9.如权利要求6所述的评估方法,其中所述实验内容包括图形、文字、视频片段、静态图像、音频片段以及网页中的至少一个。
CN2006800531432A 2005-12-29 2006-12-14 用于设计实验的评估方法 Expired - Fee Related CN101379496B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/321,340 2005-12-29
US11/321,340 US20070156382A1 (en) 2005-12-29 2005-12-29 Systems and methods for designing experiments
PCT/US2006/048110 WO2007078897A2 (en) 2005-12-29 2006-12-14 Systems and methods for designing experiments

Publications (2)

Publication Number Publication Date
CN101379496A CN101379496A (zh) 2009-03-04
CN101379496B true CN101379496B (zh) 2012-09-05

Family

ID=38225630

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2006800531432A Expired - Fee Related CN101379496B (zh) 2005-12-29 2006-12-14 用于设计实验的评估方法
CNA2006800530637A Pending CN101379495A (zh) 2005-12-29 2006-12-29 用于设计实验的专家系统
CN2006800530730A Expired - Fee Related CN101379485B (zh) 2005-12-29 2006-12-29 数字标牌系统及为数字标牌网络开发内容的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CNA2006800530637A Pending CN101379495A (zh) 2005-12-29 2006-12-29 用于设计实验的专家系统
CN2006800530730A Expired - Fee Related CN101379485B (zh) 2005-12-29 2006-12-29 数字标牌系统及为数字标牌网络开发内容的方法

Country Status (10)

Country Link
US (6) US20070156382A1 (zh)
EP (4) EP1969504A4 (zh)
JP (5) JP2009522651A (zh)
KR (4) KR101397745B1 (zh)
CN (3) CN101379496B (zh)
AU (3) AU2006333040C1 (zh)
BR (3) BRPI0621157A2 (zh)
CA (3) CA2634877A1 (zh)
RU (3) RU2409859C2 (zh)
WO (3) WO2007078897A2 (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156382A1 (en) * 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US20080306848A1 (en) * 2007-06-05 2008-12-11 Bank Of America Corporation Lead Generation Platform
WO2009006542A2 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
CN101796539B (zh) 2007-07-03 2015-07-22 3M创新有限公司 向时隙样本分配内容条以测定所分配内容的效应的系统和方法
CA2692405A1 (en) 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content
EP2181428A4 (en) * 2007-08-06 2012-06-06 Thomson Licensing METHOD AND SYSTEM FOR ANALYZING AND OPTIMIZING PRODUCT SERVICES
US20110191153A1 (en) * 2007-09-13 2011-08-04 Motorola, Inc. Method and system for presenting advertisements
US8214244B2 (en) * 2008-05-30 2012-07-03 Strategyn, Inc. Commercial investment analysis
JP4934861B2 (ja) * 2008-01-28 2012-05-23 日本電気株式会社 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
US8775113B2 (en) * 2008-01-29 2014-07-08 Apple Inc. Automated portable media device testing system
CA2622824A1 (en) * 2008-03-27 2009-09-27 Mark Hemphill System and method for ranking participating venues in a network according to advertisers needs for targeted advertising
US8893015B2 (en) 2008-07-03 2014-11-18 Ebay Inc. Multi-directional and variable speed navigation of collage multi-media
US8627192B2 (en) 2008-07-03 2014-01-07 Ebay Inc. System and methods for automatic media population of a style presentation
US10282391B2 (en) 2008-07-03 2019-05-07 Ebay Inc. Position editing tool of collage multi-media
US8494894B2 (en) * 2008-09-19 2013-07-23 Strategyn Holdings, Llc Universal customer based information and ontology platform for business information and innovation management
EP2359336A1 (en) 2008-10-03 2011-08-24 3M Innovative Properties Company Systems and methods for optimizing a scene
US8478111B2 (en) 2008-10-03 2013-07-02 3M Innovative Properties Company Systems and methods for optimizing a scene
KR20110082018A (ko) 2008-10-03 2011-07-15 쓰리엠 이노베이티브 프로퍼티즈 컴파니 강건성을 평가하기 위한 시스템 및 방법
KR20100040236A (ko) * 2008-10-09 2010-04-19 삼성전자주식회사 시각적 관심에 기반한 2차원 영상의 3차원 영상 변환기 및 변환 방법
EP2386098A4 (en) * 2009-01-07 2014-08-20 3M Innovative Properties Co SYSTEM AND METHOD FOR THE SIMULTANEOUS PERFORMANCE OF CAUSE-EFFECT EXPERIMENTS ON CONTENTS AND ADAPTING THE CONTENT OF DISTRIBUTION TO OPTIMIZING BUSINESS OBJECTIVES
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
US8666977B2 (en) * 2009-05-18 2014-03-04 Strategyn Holdings, Llc Needs-based mapping and processing engine
JP5399834B2 (ja) * 2009-09-15 2014-01-29 正生 中村 有意性評価プログラム及び記録媒体
US8554619B2 (en) 2009-12-31 2013-10-08 Google Inc. Multi-campaign content allocation
US8346710B2 (en) * 2010-01-29 2013-01-01 Google Inc. Evaluating statistical significance of test statistics using placebo actions
US8583469B2 (en) * 2010-03-03 2013-11-12 Strategyn Holdings, Llc Facilitating growth investment decisions
US9174775B2 (en) 2010-06-03 2015-11-03 Elix, Llc Actuator-driven dispenser
CN102271262B (zh) * 2010-06-04 2015-05-13 三星电子株式会社 用于3d显示的基于多线索的视频处理方法
JP2012014597A (ja) * 2010-07-02 2012-01-19 Nippon Telegr & Teleph Corp <Ntt> 注意領域表示システム、注意領域表示方法、および注意領域表示プログラム
AU2011276637B2 (en) 2010-07-07 2014-03-20 3M Innovative Properties Company Systems and methods for improving visual attention models
US9323418B2 (en) * 2011-04-29 2016-04-26 The United States Of America As Represented By Secretary Of The Navy Method for analyzing GUI design affordances
US11062328B2 (en) 2011-07-21 2021-07-13 3M Innovative Properties Company Systems and methods for transactions-based content management on a digital signage network
US8195799B1 (en) 2011-10-26 2012-06-05 SHTC Holdings LLC Smart test article optimizer
WO2013071064A1 (en) * 2011-11-11 2013-05-16 Wetpaint.Com, Inc. Dynamic playbook: experimentation platform for social networks
US10354213B1 (en) 2011-12-27 2019-07-16 Applied Predictive Technologies, Inc. Natural experiment finder system and method
US9208661B2 (en) * 2012-01-06 2015-12-08 Panasonic Corporation Of North America Context dependent application/event activation for people with various cognitive ability levels
CA2860638A1 (en) 2012-01-16 2013-07-25 3M Innovative Properties Company Systems and methods for rule-based content generation
EP2805472A2 (en) * 2012-01-16 2014-11-26 3M Innovative Properties Company Systems and methods for rule-based content optimization
US9202227B2 (en) * 2012-02-07 2015-12-01 6 Sense Insights, Inc. Sales prediction systems and methods
US9197512B2 (en) * 2012-02-17 2015-11-24 Wetpaint.Com, Inc. Optimizing content production based upon distribution channel metrics
US8769400B1 (en) * 2012-03-26 2014-07-01 Google Inc. Accelerating view transitions
US8990364B2 (en) * 2012-04-26 2015-03-24 Qualcomm Innovation Center, Inc. Architecture for content awareness and control among peer-to-peer communication devices
CN103488646B (zh) * 2012-06-13 2017-11-14 腾讯科技(深圳)有限公司 一种移动终端浏览器弱光源下浏览网页的方法及装置
JP2014052399A (ja) * 2012-09-05 2014-03-20 Toshiba Tec Corp 情報配信サーバおよびプログラム
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
WO2014099571A1 (en) * 2012-12-21 2014-06-26 3M Innovative Properties Company Systems and methods for rule-based animated content optimization
US20150310658A1 (en) * 2012-12-21 2015-10-29 3M Innovative Properties Company Systems and methods for rule-based animated content generation
WO2014123337A1 (en) 2013-02-06 2014-08-14 Samsung Electronics Co., Ltd. System and method for providing object via which service is used
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US11354704B2 (en) 2013-06-13 2022-06-07 3M Innovative Properties Company Systems and methods for delivering content to mobile devices
US9965721B2 (en) * 2013-09-16 2018-05-08 Moresteam Development, Llc Computer-implemented system and method of performing a design of experiment, generating a product thereof, generating designed experiment options, and a graphical user interface
EP3084652A1 (en) 2013-12-20 2016-10-26 Koninklijke Philips N.V. Control device and method for controlling a display
CN103745056A (zh) * 2014-01-06 2014-04-23 中国人民解放军第二军医大学 卫勤力量模块化测算方法
WO2015116610A1 (en) * 2014-01-29 2015-08-06 3M Innovative Properties Company Conducting multivariate experiments
US10142685B2 (en) * 2014-01-29 2018-11-27 3M Innovative Properties Company Systems and methods for spacial and temporal experimentation on content effectiveness
CN104882145B (zh) * 2014-02-28 2019-10-29 杜比实验室特许公司 使用音频对象的时间变化的音频对象聚类
GB201404234D0 (en) * 2014-03-11 2014-04-23 Realeyes O Method of generating web-based advertising inventory, and method of targeting web-based advertisements
US20150348278A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic font engine
JP6459231B2 (ja) * 2014-06-11 2019-01-30 富士ゼロックス株式会社 テンプレート管理装置及びプログラム
ZA201407620B (en) * 2014-08-26 2015-11-25 Musigma Business Solutions Pvt Ltd Systems and methods for creating and evaluating experiments
CN104301556B (zh) * 2014-09-26 2017-12-29 小米科技有限责任公司 电话交互方法、装置和系统
JP2018500622A (ja) * 2014-10-01 2018-01-11 ジーユーアイ グローバル プロダクツ,リミテッド 分散広告システム及び使用方法
US10354192B2 (en) * 2014-11-19 2019-07-16 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Recommender system for exploratory data analysis
CN104851063A (zh) * 2015-05-14 2015-08-19 上海知汇云信息技术股份有限公司 实验考评系统及其进程管理方法
US10997512B2 (en) * 2015-05-25 2021-05-04 Microsoft Technology Licensing, Llc Inferring cues for use with digital assistant
US20160357173A1 (en) * 2015-06-08 2016-12-08 Evidation Health Evidence Generation and Data Interpretation Platform
US9990414B2 (en) 2015-06-15 2018-06-05 International Business Machines Corporation Cognitive architecture with content provider managed corpus
EP3317826A4 (en) 2015-06-30 2019-03-13 Emerald Cloud Lab, Inc. SYSTEM AND METHOD FOR MANAGING, EXECUTING AND ANALYZING LABORATORY EXPERIMENTS
US10394323B2 (en) * 2015-12-04 2019-08-27 International Business Machines Corporation Templates associated with content items based on cognitive states
CN105446744A (zh) * 2015-12-15 2016-03-30 北京中网易企秀科技有限公司 基于互联网的展示物料系统及展示物料制作方法
EP3465412A4 (en) * 2016-05-29 2020-01-15 Wix.com Ltd. CREATION AND UPDATING OF HIERARCHICAL WEBSITES BASED ON COLLECTED BUSINESS KNOWLEDGE
US10685070B2 (en) 2016-06-30 2020-06-16 Facebook, Inc. Dynamic creative optimization for effectively delivering content
WO2018063174A1 (en) * 2016-09-28 2018-04-05 Hewlett-Packard Development Company, L.P. Virtual presentation
US11093207B1 (en) * 2016-10-28 2021-08-17 Assa Abloy Ab Visual verification of virtual credentials and licenses
US20180137464A1 (en) * 2016-11-16 2018-05-17 Jabil Circuit, Inc. Apparatus, system and method for providing a design for excellence engine
EP3559849B1 (en) 2016-12-22 2020-09-02 Assa Abloy AB Mobile credential with online/offline delivery
US10572908B2 (en) * 2017-01-03 2020-02-25 Facebook, Inc. Preview of content items for dynamic creative optimization
US10922713B2 (en) 2017-01-03 2021-02-16 Facebook, Inc. Dynamic creative optimization rule engine for effective content delivery
US10871876B2 (en) 2018-03-02 2020-12-22 Justin David Woodward 3-dimensional dipolar modular assessment of perceived change
US11341424B2 (en) 2018-04-16 2022-05-24 Nec Corporation Method, apparatus and system for estimating causality among observed variables
CN108921829A (zh) * 2018-06-20 2018-11-30 广州晖恒广告策划有限公司 一种基于视觉注意机制的广告设计客观评价方法
WO2020013821A1 (en) * 2018-07-11 2020-01-16 Google Llc Improving accuracy of experimental results through geo selection
JP6601988B1 (ja) * 2018-11-30 2019-11-06 株式会社Splink 情報生成システム及び情報生成方法
WO2020190326A1 (en) 2019-03-15 2020-09-24 3M Innovative Properties Company Determining causal models for controlling environments
WO2021075033A1 (ja) * 2019-10-17 2021-04-22 株式会社オプティム コンピュータシステム、広告コンテンツ配信方法及びプログラム
CN110851980B (zh) * 2019-11-11 2021-01-29 中国人民解放军火箭军工程大学 一种设备剩余寿命预测方法及系统
US11302291B1 (en) * 2019-11-27 2022-04-12 Amazon Technologies, Inc. Device agnostic user interface generation
US11048532B1 (en) * 2019-11-27 2021-06-29 Amazon Technologies, Inc. Device agnostic user interface generation based on device input type
KR20210143464A (ko) * 2020-05-20 2021-11-29 삼성에스디에스 주식회사 데이터 분석 장치 및 그것의 데이터 분석 방법
US11086954B1 (en) 2020-07-09 2021-08-10 Bank Of America Corporation Method and system for data testing
US20220245653A1 (en) * 2021-01-31 2022-08-04 Walmart Apollo, Llc Systems and methods for cross-channel marketing experimentation management
KR20230175262A (ko) * 2021-06-02 2023-12-29 코니카 미놀타 가부시키가이샤 디자인 작성 지원 장치, 디자인 작성 지원 방법, 및 디자인 작성 지원 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030083822A2 (en) * 2001-05-15 2003-05-01 Psychogenics, Inc. Systems and methods for monitoring behavior informatics
US20050159921A1 (en) * 1999-08-26 2005-07-21 Louviere Jordan J. On-line experimentation

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973952A (en) * 1987-09-21 1990-11-27 Information Resources, Inc. Shopping cart display system
US5309174A (en) 1987-10-13 1994-05-03 Motorola, Inc. Electronic display system
US5253331A (en) * 1991-07-03 1993-10-12 General Motors Corporation Expert system for statistical design of experiments
US5474385A (en) * 1992-03-02 1995-12-12 Ta Instruments, Inc. Method and apparatus for parsed dynamic differential analysis
JPH06131168A (ja) * 1992-10-20 1994-05-13 Fuji Xerox Co Ltd ユーザインタフェース作成支援装置
JP3234059B2 (ja) * 1993-08-11 2001-12-04 株式会社東芝 画面デザイン評価装置
KR950016161A (ko) * 1993-11-17 1995-06-17 김광호 사설교환 시스템의 부재중 메세지 표시방법
US5513342A (en) * 1993-12-28 1996-04-30 International Business Machines Corporation Display window layout system that automatically accommodates changes in display resolution, font size and national language
JPH07200662A (ja) * 1994-01-07 1995-08-04 Hitachi Ltd 設計知識ベースを有する実験計画作成支援システム
JP2947704B2 (ja) * 1994-03-04 1999-09-13 株式会社ピーエフユー 表示画面の作成方法および表示画面作成装置
JP2697646B2 (ja) * 1994-12-15 1998-01-14 日本電気株式会社 マルチメディア編集装置
JPH08241191A (ja) * 1995-03-02 1996-09-17 Matsushita Electric Ind Co Ltd Gui自動評価装置
NZ315428A (en) * 1995-07-25 2000-02-28 Horus Therapeutics Inc Computer assisted methods for diagnosing diseases
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
JPH1049508A (ja) * 1995-12-27 1998-02-20 Toshiba Corp データ処理システム、システム構築装置、システム構築方法、及びシステム構築プログラムを記録した媒体
JPH09212349A (ja) * 1996-01-31 1997-08-15 Mitsubishi Electric Corp コンテンツ作成支援システム
US5812134A (en) 1996-03-28 1998-09-22 Critical Thought, Inc. User interface navigational system & method for interactive representation of information contained within a database
WO1997046929A2 (en) * 1996-06-04 1997-12-11 Werbos Paul J 3-brain architecture for an intelligent decision and control system
AU728675C (en) * 1996-07-12 2001-11-08 First Opinion Corporation Computerized medical diagnostic and treatment advice system including list based processing
JPH1091412A (ja) * 1996-07-25 1998-04-10 Toshiba Corp 表示部品選択装置及び表示部品選択方法
JP2998652B2 (ja) * 1996-09-20 2000-01-11 日本電気株式会社 Gui画面レイアウト設計方式
US7848948B2 (en) * 1996-10-25 2010-12-07 Ipf, Inc. Internet-based product brand marketing communication network configured to allow members of a product brand management team to communicate directly with consumers browsing HTML-encoded pages at an electronic commerce (EC) enabled web-site along the fabric of the world wide web (WWW), using programable multi-mode virtual kiosks (MMVKS) driven by server-side components and managed by product brand management team members
JPH10154070A (ja) * 1996-11-26 1998-06-09 Toshiba Corp ユーザインタフェース設計装置及び方法
US6023714A (en) 1997-04-24 2000-02-08 Microsoft Corporation Method and system for dynamically adapting the layout of a document to an output device
JPH10301761A (ja) * 1997-04-28 1998-11-13 Matsushita Electric Ind Co Ltd ユーザインタフェースの作成方法及びその管理装置
JPH1185439A (ja) * 1997-09-05 1999-03-30 Toshiba Corp ユーザインタフェース制御装置及びユーザインタフェース制御方法
JPH1185729A (ja) * 1997-09-08 1999-03-30 Matsushita Electric Ind Co Ltd マルチメディアコンテンツ作成装置
US6374271B1 (en) * 1997-09-26 2002-04-16 Fuji Xerox Co., Ltd. Hypermedia document authoring using a goals outline and a presentation outline
US6529940B1 (en) 1998-05-28 2003-03-04 David R. Humble Method and system for in-store marketing
RU2134457C1 (ru) 1998-08-04 1999-08-10 Григорьев Михаил Николаевич Система распространения информации
JP2000090079A (ja) * 1998-09-08 2000-03-31 Toshiba Corp コンテンツ作成装置及び方法並びにプログラムを記録したコンピュータ読み取り可能な記録媒体
US6448983B1 (en) * 1999-01-14 2002-09-10 General Electric Company Method for selection of a design of experiment
US6604092B1 (en) 1999-02-26 2003-08-05 Lisa E. Stewart Expert system utilizing a knowledge base and design of experiment (DOE) techniques
CN1378672A (zh) * 1999-03-26 2002-11-06 皇家菲利浦电子有限公司 通过进化算法发展广告
AUPQ246899A0 (en) 1999-08-26 1999-09-16 Memetrics An automated communications management agent
US7089322B1 (en) * 1999-10-28 2006-08-08 Motient Communications Inc. System and method of aggregating data from a plurality of data generating machines
US6317700B1 (en) * 1999-12-22 2001-11-13 Curtis A. Bagne Computational method and system to perform empirical induction
US7130808B1 (en) * 1999-12-29 2006-10-31 The Product Engine, Inc. Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium
CA2400085C (en) * 2000-02-17 2008-02-19 British Telecommunications Public Limited Company Visual attention system
JP2001236443A (ja) 2000-02-24 2001-08-31 Nec Corp 広告情報の提供方法及びその広告効果の把握方法ならびにシステム
US8799208B2 (en) * 2000-03-07 2014-08-05 E-Rewards, Inc. Method and system for evaluating, reporting, and improving on-line promotion effectiveness
JP2001256322A (ja) * 2000-03-10 2001-09-21 Cross Head Kk オンライン・コンテンツ製作・表示・対価支払いシステム、オンライン・コンテンツ製作・表示・対価支払い方法、及びコンテンツ製作ツールを記憶した情報記憶媒体。
AU2001253857A1 (en) * 2000-03-14 2001-09-24 Buzzpad, Inc. Method and apparatus for forming linked multi-user groups of shared software applications
JP2001265904A (ja) * 2000-03-17 2001-09-28 Dentsu Inc 広告表現調査システム及び広告表現調査方法
JP4066613B2 (ja) 2000-04-05 2008-03-26 富士ゼロックス株式会社 表示制御装置、画像形成装置、及び表示制御プログラム
US7216092B1 (en) * 2000-04-14 2007-05-08 Deluxe Corporation Intelligent personalization system and method
US6604094B1 (en) * 2000-05-25 2003-08-05 Symbionautics Corporation Simulating human intelligence in computers using natural language dialog
WO2001093083A2 (en) 2000-05-26 2001-12-06 Naylor, Inc. Computer-implemented method and apparatus for creating advertising media
US20040015399A1 (en) 2000-10-12 2004-01-22 Maggio Frank S. Method and system for verifying exposure to message content delivered via outdoor media or in a concentrated format
JP2002123288A (ja) * 2000-10-12 2002-04-26 Canon Inc 携帯電話、ユーザインタフェース装置、コンテンツ表示方法、記憶媒体
WO2002037334A1 (en) 2000-10-30 2002-05-10 Elias Arts Corporation System and method for performing content experience management
JP2002175290A (ja) * 2000-12-07 2002-06-21 Fuji Xerox Co Ltd ドキュメントデザイン評価システム、ドキュメントデザイン評価方法、記録媒体
US7406434B1 (en) * 2000-12-15 2008-07-29 Carl Meyer System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization
JP4665312B2 (ja) * 2000-12-26 2011-04-06 日本電気株式会社 Webコンテンツの可読性評価システム、Webコンテンツの配色支援システム、その方法、記録媒体
US20040015401A1 (en) * 2001-02-08 2004-01-22 In Lee Systems and methods for distributing template-based multimedia presentations over a network
JP3881179B2 (ja) * 2001-02-14 2007-02-14 三菱電機株式会社 ユーザインタフェース設計装置
US20020129367A1 (en) * 2001-03-02 2002-09-12 Koninklijke Philips Electronics N.V. Method and apparatus for personalized presentation of television/internet contents
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
JP2002330415A (ja) 2001-05-02 2002-11-15 Star Collaboration Kk コンテンツ制作装置、方法、コンピュータプログラム、記録媒体
US7219309B2 (en) 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US6569096B2 (en) * 2001-06-06 2003-05-27 International Business Machines Corporation System and method of automating multidimensional scaling for psychophysics
JP2003044737A (ja) * 2001-07-26 2003-02-14 E Stage Inc 企業情報の広域認知システム
US20040205116A1 (en) * 2001-08-09 2004-10-14 Greg Pulier Computer-based multimedia creation, management, and deployment platform
TW523697B (en) 2001-08-29 2003-03-11 Synq Technology Inc Automatic advertisement transaction system and method therefor
KR100868852B1 (ko) 2001-09-29 2008-11-14 주식회사 케이티 웹로그 분석 시스템에서의 방문시간 측정 방법
US7136871B2 (en) 2001-11-21 2006-11-14 Microsoft Corporation Methods and systems for selectively displaying advertisements
US20030220830A1 (en) * 2002-04-04 2003-11-27 David Myr Method and system for maximizing sales profits by automatic display promotion optimization
US7283981B2 (en) * 2002-04-30 2007-10-16 Deluxe Corporation Browser-based system for ordering financial products
US20040181435A9 (en) * 2002-06-14 2004-09-16 Reinsurance Group Of America Corporation Computerized system and method of performing insurability analysis
JP2004070677A (ja) * 2002-08-07 2004-03-04 Inter-Ment Kk ウェブサイト評価提供システム及び方法並びにウェブサイト評価提供用プログラム
JP4183456B2 (ja) * 2002-08-09 2008-11-19 アイシン精機株式会社 車両試験提供システム
JP4356916B2 (ja) * 2002-08-23 2009-11-04 富士通株式会社 ユーザビリティ教育支援システム及び方法
US7309315B2 (en) * 2002-09-06 2007-12-18 Epoch Innovations, Ltd. Apparatus, method and computer program product to facilitate ordinary visual perception via an early perceptual-motor extraction of relational information from a light stimuli array to trigger an overall visual-sensory motor integration in a subject
JP2004102868A (ja) * 2002-09-12 2004-04-02 Fuji Xerox Co Ltd ユーザビリティ評価支援装置
JP2004110548A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd ユーザビリティ評価支援装置および方法
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
JP2004178276A (ja) * 2002-11-27 2004-06-24 Toshiba Lighting & Technology Corp 売場計画支援システム
JP2004184845A (ja) * 2002-12-05 2004-07-02 Sanyo Electric Co Ltd 映像表示装置及び映像表示システム
US7130461B2 (en) * 2002-12-18 2006-10-31 Xerox Corporation Systems and method for automatically choosing visual characteristics to highlight a target against a background
JP2004234646A (ja) * 2003-01-06 2004-08-19 Hiroshi Sato コンテンツ関連情報提供装置及びコンテンツ関連情報提供方法及びコンテンツ関連情報提供システム及び携帯端末、並びに情報処理システム。
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
JP2004310384A (ja) * 2003-04-04 2004-11-04 Haruyuki Inada Webページ広告システム
KR20030040263A (ko) 2003-04-07 2003-05-22 주식회사 드림나우 인터넷 홈페이지 이용자의 행태 정보 획득 방법 및 그 장치
JP3875974B2 (ja) 2003-04-11 2007-01-31 西川ゴム工業株式会社 遮音性シート
US7080027B2 (en) * 2003-04-17 2006-07-18 Targetrx, Inc. Method and system for analyzing the effectiveness of marketing strategies
US7694000B2 (en) 2003-04-22 2010-04-06 International Business Machines Corporation Context sensitive portlets
WO2004111931A2 (en) 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US20040260767A1 (en) * 2003-06-19 2004-12-23 David Kedem Dynamic web advertisement and content display system
JP4314907B2 (ja) * 2003-07-18 2009-08-19 株式会社日立製作所 広告表示システム及び方法
GB2404270A (en) 2003-07-24 2005-01-26 Hewlett Packard Development Co Document composition
JP2005056080A (ja) * 2003-08-01 2005-03-03 Inter-Ment Kk ウェブサイト解析システム及び方法並びにウェブサイト解析用プログラム
US20050039206A1 (en) * 2003-08-06 2005-02-17 Opdycke Thomas C. System and method for delivering and optimizing media programming in public spaces
US7269517B2 (en) 2003-09-05 2007-09-11 Rosetta Inpharmatics Llc Computer systems and methods for analyzing experiment design
US20050062314A1 (en) 2003-09-19 2005-03-24 Searfoss Timothy K. Trailer cover system
US20050096950A1 (en) * 2003-10-29 2005-05-05 Caplan Scott M. Method and apparatus for creating and evaluating strategies
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
US20050171843A1 (en) * 2004-02-03 2005-08-04 Robert Brazell Systems and methods for optimizing advertising
US20050195221A1 (en) * 2004-03-04 2005-09-08 Adam Berger System and method for facilitating the presentation of content via device displays
CN101253524A (zh) * 2004-05-18 2008-08-27 艾德沃泰兴.Com公司 实现最佳广告的系统和方法
US7949561B2 (en) * 2004-08-20 2011-05-24 Marketing Evolution Method for determining advertising effectiveness
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system
WO2006024108A1 (en) 2004-09-02 2006-03-09 University Of Technology, Sydney Method, system and computer program product for measuring and tracking brand equity
US20060064339A1 (en) 2004-09-13 2006-03-23 Technology Transfer Office, Brigham Young University Methods and systems for conducting internet marketing experiments
GB2422739B (en) * 2005-01-31 2010-07-14 Hewlett Packard Development Co Image processing method and apparatus
WO2006086525A1 (en) * 2005-02-08 2006-08-17 Pasadero, Inc. Research protocol toolkit
US20060200759A1 (en) 2005-03-04 2006-09-07 Microsoft Corporation Techniques for generating the layout of visual content
US7594189B1 (en) * 2005-04-21 2009-09-22 Amazon Technologies, Inc. Systems and methods for statistically selecting content items to be used in a dynamically-generated display
US20070011050A1 (en) * 2005-05-20 2007-01-11 Steven Klopf Digital advertising system
US7903099B2 (en) 2005-06-20 2011-03-08 Google Inc. Allocating advertising space in a network of displays
US20070100698A1 (en) * 2005-07-08 2007-05-03 Onestop Media Group Adaptive advertisements and adaptive advertising distribution system
US20070038516A1 (en) 2005-08-13 2007-02-15 Jeff Apple Systems, methods, and computer program products for enabling an advertiser to measure user viewing of and response to an advertisement
US20070073562A1 (en) 2005-09-28 2007-03-29 Sabre Inc. System, method, and computer program product for providing travel information using information obtained from other travelers
US20070136133A1 (en) * 2005-12-12 2007-06-14 Yvonne Li Digital Signage Transaction and Delivery Methods
US20070156382A1 (en) 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US20090030780A1 (en) * 2006-01-03 2009-01-29 Ds-Iq, Inc. Measuring effectiveness of marketing campaigns presented on media devices in public places using audience exposure data
US7861150B2 (en) * 2006-11-07 2010-12-28 Microsoft Corporation Timing aspects of media content rendering
US20080230604A1 (en) * 2007-03-22 2008-09-25 Robert Jason Fong System for optimizing on-premises advertisements
US20080306804A1 (en) 2007-06-06 2008-12-11 Opdycke Thomas C Systems for scheduling marketing campaigns in public places in order to enable measurement and optimization of audience response
CA2692405A1 (en) 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content
WO2009006542A2 (en) 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
CN101796539B (zh) 2007-07-03 2015-07-22 3M创新有限公司 向时隙样本分配内容条以测定所分配内容的效应的系统和方法
EP2386098A4 (en) * 2009-01-07 2014-08-20 3M Innovative Properties Co SYSTEM AND METHOD FOR THE SIMULTANEOUS PERFORMANCE OF CAUSE-EFFECT EXPERIMENTS ON CONTENTS AND ADAPTING THE CONTENT OF DISTRIBUTION TO OPTIMIZING BUSINESS OBJECTIVES

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050159921A1 (en) * 1999-08-26 2005-07-21 Louviere Jordan J. On-line experimentation
US20030083822A2 (en) * 2001-05-15 2003-05-01 Psychogenics, Inc. Systems and methods for monitoring behavior informatics

Also Published As

Publication number Publication date
RU2008126540A (ru) 2010-02-10
EP1969488A2 (en) 2008-09-17
US20090281896A1 (en) 2009-11-12
AU2006333040A1 (en) 2007-07-12
BRPI0621158A2 (pt) 2011-11-29
EP1969488A4 (en) 2011-04-20
JP2014059911A (ja) 2014-04-03
WO2007079256A2 (en) 2007-07-12
CA2634877A1 (en) 2007-07-12
KR20140033218A (ko) 2014-03-17
EP1969505A2 (en) 2008-09-17
JP5249045B2 (ja) 2013-07-31
KR20080089402A (ko) 2008-10-06
JP2009522658A (ja) 2009-06-11
KR20080089424A (ko) 2008-10-06
RU2409859C2 (ru) 2011-01-20
JP2013069329A (ja) 2013-04-18
CA2636017A1 (en) 2007-07-12
KR101397745B1 (ko) 2014-05-20
US10007657B2 (en) 2018-06-26
EP1969504A4 (en) 2010-11-10
BRPI0621159A2 (pt) 2011-11-29
AU2006333040C1 (en) 2012-10-04
JP2009522657A (ja) 2009-06-11
JP2009522651A (ja) 2009-06-11
RU2008126454A (ru) 2010-02-10
AU2006332658B2 (en) 2013-03-14
CN101379485B (zh) 2011-09-07
WO2007079254A2 (en) 2007-07-12
US20140237331A1 (en) 2014-08-21
US20070156382A1 (en) 2007-07-05
US20100017288A1 (en) 2010-01-21
EP2722797A1 (en) 2014-04-23
US20090158179A1 (en) 2009-06-18
CN101379485A (zh) 2009-03-04
AU2006332660A1 (en) 2007-07-12
WO2007078897A2 (en) 2007-07-12
CA2635789A1 (en) 2007-07-12
WO2007079254A3 (en) 2007-11-08
RU2008126539A (ru) 2010-02-10
CN101379495A (zh) 2009-03-04
AU2006333040B2 (en) 2012-04-05
KR101336500B1 (ko) 2013-12-03
AU2006332660B2 (en) 2012-01-12
JP5563649B2 (ja) 2014-07-30
EP1969504A1 (en) 2008-09-17
AU2006332658A1 (en) 2007-07-12
US8594990B2 (en) 2013-11-26
BRPI0621157A2 (pt) 2011-11-29
EP1969505A4 (en) 2011-04-06
KR20080081193A (ko) 2008-09-08
WO2007079256A3 (en) 2007-08-30
US20140229418A1 (en) 2014-08-14
CN101379496A (zh) 2009-03-04

Similar Documents

Publication Publication Date Title
CN101379496B (zh) 用于设计实验的评估方法
US9519916B2 (en) System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives
KR101669384B1 (ko) 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠를 시간 슬롯 샘플에 배정하는 시스템 및 방법
KR101605919B1 (ko) 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠가 배정될 수 있는 시간 슬롯 샘플을 발생시키는 시스템 및 방법
US20140236707A1 (en) System and method for assessing effectiveness of communication content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20151214

EXPY Termination of patent right or utility model