CN101379495A

CN101379495A - 用于设计实验的专家系统

Info

Publication number: CN101379495A
Application number: CNA2006800530637A
Authority: CN
Inventors: 布赖恩·E·布鲁克斯
Original assignee: 3M Innovative Properties Co
Current assignee: 3M Innovative Properties Co
Priority date: 2005-12-29
Filing date: 2006-12-29
Publication date: 2009-03-04
Also published as: EP2722797A1; RU2409859C2; EP1969488A4; CN101379496B; JP5249045B2; KR101397745B1; CN101379485B; US20140229418A1; US8594990B2; AU2006333040C1; JP5563649B2; JP2009522651A; US20090158179A1; US20090281896A1; RU2008126539A; CN101379485A; JP2009522658A; EP1969505A4; JP2013069329A; CA2634877A1

Abstract

本文描述了用于设计真实验、并可选地进行所述实验、以及分析实验数据的计算机实施方法和系统。识别了设计所述真实验所需的信息。向用户提出问题，从而引出提供所述所需信息的回答。从收到的所述用户的回答中提取所述所需信息。根据所述所需信息设计所述真实验。

Description

用于设计实验的专家系统

技术领域

本发明涉及用于设计真实验的专家系统。

背景技术

通常进行实验以从实证角度确定两个或更多个变量之间是否存在关系。实验可以始于构成一个或多个假设，假定一个或多个自变量和一个或多个因变量之间存在关系。例如，制药公司的研究人员可以用公式表示患者的血压与患者服用的新药量有关这一假设。自变量是实验人员在实验过程中定义或调控的变量(如患者服用的药量和/或频率)。因变量是假设将通过自变量的值预测的变量(如患者的血压)。实验人员然后通过实验确定自变量和因变量之间是否确实存在关系(如在医药实验中，患者的血压是否与患者服用的药量有关)。

混杂变量(可能会随自变量水平而系统性变化的因素)也可以影响因变量。这些混杂变量不是本实验关注的主要问题，但由于它们会影响因变量，因此会使自变量和因变量之间准确的因果关系变得模糊。实验试图了解自变量和因变量之间的因果关系，然而，这些混杂变量会对实验结果产生无法解释的影响。混杂变量的一些实例包括霍桑效应、顺序效应/残留效应、需求特征和/或能够随自变量水平而系统性变化的其他任何因素，例如，上述医药实验中受试者的体重。混杂变量使得要了解是何种因素(变量)引起了因变量的任何观测到的变化变得困难或不可能。因此，如果实验过程中存在未妥善控制的混杂变量，会使得我们很难或不可能对自变量和因变量的因果关系做出统计推断。根据各类实验能够减轻或消除混杂变量的影响的方式和程度来辨别各类实验。术语“真实验”是指具有以下特征的实验：

1.自变量具有至少两个水平。

2.样本被随机分配给不同的自变量水平。

3.存在控制或消除混杂变量的某些方法。

缺乏上述三项特征中任意一项的实验不是真实验，并且常被称为准实验或相关研究。尽管“实验”这一术语被用来描述缺乏上述3项特征中任意一项的研究，但实验设计领域内的技术人员将认识到，这些研究实际上是准实验或相关研究。只有真实验才允许对自变量和因变量之间的因果关系做出统计推断。准实验和相关设计可以允许在自变量和因变量之间建立关系，但不可能确定这种关系是否为因果关系。多种类型的实验设计(包括真实验)已经在(例如)Campbell，D.T.，& Stanley，J.C.(1963)Experimental and quasi-experimental designs for research，Chicago：RandMcNally中有所描述。只有真实验能产生不受混杂变量影响的结果，并且能够以实证方式确定因果关系的方向和强度。然而，设计能够适当控制或消除混杂变量的真实验可能会很复杂。人工进行的真实验需要时间、资源、统计专业知识和对科学方法的深入了解，这往往会限制在目前的广泛使用。

人们希望设计出具有充分的内部效度和外部效度的实验。内部效度是指人们能够得出以下结论的置信度：因变量的任何变化仅仅是由自变量引起，而不是由任何外部变量或不可控变量引起。例如，和未向对照组提供安慰剂的实验相比，对照组服用安慰剂的血压药物实验将具有更高的内部效度(因为在不提供安慰剂的情况下，因变量(血压)的水平可能会受服药行为的影响，或者也可能受药物的实际化学成分的影响)。外部效度是指实验结果可以可推广的或转移的程度。例如，实验结果可以推广至所有人的血压药物实验，要比实验结果只能推广至得过心脏病的患者的实验具有更高的外部效度。对仅掌握有限的统计学知识和实验设计原理的研究人员来说，要设计具有充分内部效度和外部效度的真实验可能使人畏缩。本文所述的专家系统为研究人员提供工具，使其能够在不具备广博的真实验设计基本理论知识的情况下进行实验设计。该专家系统同样有助于研究人员进行实验、收集数据、对数据进行统计分析和解释实验结果。

发明内容

本发明涉及用于设计真实验、进行实验、收集数据、对数据进行统计分析和解释实验结果的专家系统。本发明的一个实施例涉及用于设计真实验以评价数字标牌内容的计算机实施方法。该方法用于识别通过设计真实验来评价数字标牌内容所需的信息。向用户提出问题，从而引出提供所需信息的回答。系统收到回答并从中提取所需信息。根据从用户的回答中提取的所需信息来设计真实验。

本发明的另一个实施例涉及计算机实施方法。该方法涉及识别设计真实验所需的信息。向用户提出问题，从而引出提供所需信息的回答。从收到的用户回答中提取所需信息。根据所需信息设计真实验。

本发明的另一个实施例涉及系统。该系统包括被构造为可以向用户提出问题并接收用户对这些问题的回答的用户界面。该系统也包括和用户界面耦接的实验设计处理器。该实验设计处理器被构造为：识别进行真实验所需信息、产生问题以引导用户做出提供所需信息的回答、从用户的回答中提取所需信息，以及使用所需信息设计真实验。

本发明的另一个实施例涉及计算机可读的介质，其上存储有指令，这些指令可由计算设备来执行，以进行以下步骤：识别用于设计真实验所需的信息、向用户提出问题以引导其做出提供所需信息的回答、接收用户对问题的回答、从用户的回答中提取所需信息、以及根据从用户的回答中提取的所需信息来设计真实验。

本发明的以上概述并非旨在说明本发明所公开的每个实施例或本发明的每项具体实施。通过结合附图，参见下面的具体实施方式以及权利要求，将清楚地体会本发明的优点和能获得的成就以及更加全面地理解本发明。

附图说明

图1A示出了根据本发明的实施例实施的专家系统的组成部分；

图1B示出了根据本发明的实施例利用设计处理器和用户界面来设计真实验的流程图；

图1C示出了真实验的元素；

图1D的框图示出了被构造为根据本发明的实施例设计真实验、进行真实验、分析实验数据和/或解释真实验结果的系统；

图2A-2E示出的图表概括了可以用根据本发明的实施例的实验设计处理器实施的流程；

图3A-3P为显示器的屏幕截图，示出了可以向用户提出的问题，这些问题用于根据本发明的实施例设计真实验时所用的某些流程；

图4A为根据本发明的实施例的数字标牌系统的框图，该系统可以具备设计真实验以测试数字标牌内容之有效性的能力；以及

图4B示出了根据本发明的实施例的系统，该系统被构造为设计、执行和分析真实验以评价数字标牌内容。

尽管本发明可以被修改为多种修改形式和替代形式，但附图以举例的方式示出了本发明的具体实施例，并将在下文中对其进行详述。然而，应当理解，其目的并不是将本发明限定于所描述的具体实施例。相反，其目的在于涵盖落入所附权利要求所限定的本发明范围内的所有修改形式、等同形式和可供选择的形式。

具体实施方式

在以下有关示例性实施例的描述中，参考了作为本发明一部分的附图，附图以举例说明的方式示出了可以在其中实施本发明的多个实施例。应当理解，在不脱离本发明的范围的前提下，可利用实施例和修改其结构。

本发明的实施例涉及被构造为根据用户的输入设计真实验的计算机化的专家系统。该计算机化的系统也可以自动或半自动辅助用户执行下列步骤中的一个或多个步骤：进行真实验、收集数据、对数据进行统计分析、解释实验结果和报告实验结果。该专家系统的用户无需掌握实验设计基本理论、统计学/数学和算法过程的知识，也无需深入了解科学方法。

该专家系统通过向用户提出一系列问题来引导用户做出提供设计真实验所需信息的回答。在多个实施例中，实验数据可以(以系统产生的形式)手动输入，也可以通过半自动或全自动方式采集。在一些实施例中，该专家系统将自动调控自变量的水平，并将样本分配给自变量的不同水平；而在另一些实施例中，系统将提供由用户调控自变量和分配样本的协议。用户可以不通晓实验设计领域，也不需要知道如何设计和进行真实验，以及如何分析实验结果。通过该专家系统，用户可以不具备实验设计和分析领域的专门知识，只需具有(例如)测试假设的愿望即可。用户向该专家系统提供信息，以允许系统根据用户输入的内容来为用户设计实验。设计真实验之后，该专家系统也可以辅助完成以下进行真实验过程中的一个或多个步骤，其中包括：收集数据、对数据进行统计分析、以及解释实验结果。在该配置中，该专家系统可以借助于控制外部系统(例如，其中电子标牌显示有具体内容的外部系统)以及通过自动分析来自电子资源的数据(例如，根据实验条件手动或自动组织销售数据)来自动进行实验。

用户无需理解集成在实验设计中的各种概念。向用户提供这些概念，以使得术语和数学单元与用户的知识基础相适应。该专家系统能够将抽象的领域运用统计学概念转化为在用户知晓并且理解的领域中具有语义学意义的语言和数据。例如，该专家系统能够进行统计功效分析，用以计算实验的样本大小要求，但该系统不会仅仅以样本大小(如680个样本)的形式报告功效分析的输出结果，而是在给定具体样本大小要求的情况下，以实验所需时间量(如8个工作日)的形式报告功效分析的结果。该专家系统能够自动将统计输出的数据转化为商业信息和/或尺度，以期通过某种方式提供数据，使得知识水平较低的用户能够自行决策，例如，将Z值转化为美元或时间，将样本大小要求和/或残留效应消除程度转化为执行实验所需时间。

系统所用术语和数学单元可以对应于可选择的用户知识水平。例如，在一个可选择的配置中，用户可以相对精通该专家系统提出的概念，并且可以用与用户的知识水平相对应的术语和数学语言来表达这些概念。例如，在该配置中，系统将向用户提出诸如“该变量是连续变量还是离散变量？”之类的问题。在另一个可选择的配置中，用户可以不熟悉该专家系统提出的概念。对知识水平较低的用户，该专家系统能够引导用户回答一系列问题，以便在不采用用户不熟悉的技术术语的情况下确定信息。在该配置中，用户不需要具备相关知识，也不需要了解如何使用该专家系统提出的以下概念实例：

自变量-由实验者调控的变量。

因变量-实验者测得的变量。

混杂变量-能够随自变量水平而系统性变化的任何因素。

随机化-将试验样本的选择和样本分配给不同自变量水平的过程随机化的处理。

随机选择的目的：随机选择对实验的外部效度至关重要。由于只能将实验结果推广至采集样本的总体这一事实，随机选择确保可以将实验结果推广至采集样本的整个总体，而不是仅仅推广至以有倾向(即非随机)的方式从中采集样本的总体的某个子集。例如，如果血压药物实验中所有受试者均为年龄在35至40岁的男性，之所以选择这些人是因为所选的这些人已经因抑郁症住院，因而容易对其进行实验，那么，我们就无法将实验结果推广至总体的其余部分(如年龄在65岁以上的女性)。相比于从美国所有人口中随机选择而进行的实验，这种实验具有更低的外部效度。

随机分配的目的：随机分配对实验的内部效度至关重要。随机分配可以保证，存在于因变量的值中的任何效应均不是由于将样本分配给各自变量水平所产生的系统变化而引起。例如，对于将样本随机分配给服用安慰剂或麻醉剂的受试者的血压药物实验，这一实验比其中来自纽约的所有受试者均服用安慰剂、而来自旧金山的所有受试者均服用麻醉剂的实验具有更高的内部效度。注意，随机分配的一个主要目的是，如果不存在混杂变量，那么P值所反映就是：所发现的任何效应是由于自变量的水平与随机变化之间的关系而引发的概率。但在准实验或相关设计中，情况并非如此，在这两种情况下，P值仅仅反映从一个或多个基本分布中取样的概率。也就是说，在真实验中，P值反映X和Y这两个均值不等的概率，并且反映二者的不等是由于Z(也就是说，由Z导致)；而在相关研究中，P值仅仅提供均值X和Y不等这一信息，但不提供为何不等的信息(即P值并不反映是否由Z导致X和Y之间的不等)。

重复实验-随机重复实验中的实验条件，以使得可以估计与设计有关的固有变化性或实验可变性。通过重复实验，可以用p值计算来评价统计显著性。

模块化-将实验单元按照彼此相似的组(块)分开的布置方式。

测量尺度-变量是否为定类变量、定序变量或定距变量。

功效分析-确定样本大小要求的方法，用以得出给定大小的效应、置信区间的宽度以及发生第二类错误的概率(零假设为假时未能否决零假设的概率)。

平衡-确保每个自变量及其相应的相互关系彼此独立的方法。

反向平衡(counterbalancing)-通过包括进行处理的所有顺序或通过随机确定每个受试者的顺序来控制重复测量设计中的顺序效应的方法。

描述性统计-组织和归纳数据的方法。

推断性统计-确定特定实验调查结果的可靠性和普遍性的程序。

根据以下所述多个实施例，描述了指导用户正确使用上述概念的方法和装置。

图1A示出了根据一个实施例实施的专家系统的组成部分。该专家系统包括具有多个硬件元件的设计处理器110，其中包括中央处理器(CPU)105和存储器106以及其他元件。存储器106存储用于控制设计实验流程的计算机指令，并且存储从用户处获得的、实验设计所需的信息。在软件的控制下，CPU105通过算法选择或生成问题，用以向用户采集信息。系统借助于和设计处理器110耦接的用户界面120的输出装置向用户提问。例如，用户界面120通常包括用于将问题呈现给用户的显示装置，例如，液晶显示器(LCD)或其他类型显示装置。用户界面120也包括一种或多种输入装置，例如，对手指或触针触摸响应的触摸屏、鼠标、键盘、语音识别装置或其他类型的输入装置。用户借助于用户界面的一种或多种输入装置输入对问题的回答。设计处理器110可以根据实验设计和自变量与因变量的特征来确定实验的适当描述性统计和推断性统计。

图1B的图表示出了根据本发明的实施例通过设计处理器和用户界面设计真实验的流程。设计处理器识别140设计真实验所需信息，并且选择或生成一系列问题，以引导用户做出提供所需信息的回答。系统借助于用户界面向用户提出150问题。系统借助于用户界面接收160用户对问题的回答，并将回答传输到设计处理器。设计处理器从用户的回答中提取170信息，并且根据该信息设计180真实验。该专家系统能够在具体步骤中收集与其他步骤相关的信息。例如，获知步骤X中的因变量连续即意味着在步骤Y中应使用特定类型的统计分析。该系统使用前面步骤中得到的数据来完成后面的步骤。例如，如果已经获得了数据，那么对同样的信息，系统将不再向用户提问。用户不必知道该信息与这两个步骤都相关。如果在前面的步骤中不能获得数据，那么系统将向用户提问以获取所需数据。

图1C示出了真实验的元素。真实验包括开发假设或目标。系统识别因变量和自变量，并使用一个或多个自变量的至少两个水平。系统形成对照组和处理组，并将样本随机分配给不同自变量水平。某些方法可用来控制或消除混杂变量。例如，在数字标牌实验中，系统会通过以下方式控制残留效应，并在此流程中指导用户：1)平衡和反向平衡多块内容在整个网络中的位置上的显示顺序；和/或2)确保观察者在商店中时能够看到两块内容的一段时间内不显示两块实验内容；和/或3)确保当从一个版本的实验内容切换至另一个版本的实验内容时，在收集数据之前经过足够长的时间，以使得在切换内容时商店中的至少95％的可能观察者已经离开商店。如果正确应用所有这些元素，那么该实验所产生的结果能够用来对自变量和因变量的关系进行统计推断。本文所述专家系统允许对真实验设计的复杂性不甚了解的用户进行实验设计，所设计的实验产生基本上无混杂变量的实验结果，并能够用来确定和量化自变量和因变量之间的任何因果关系。

本发明的实施例涉及能够根据用户的输入设计真实验的专家系统。如上文所述，使用该专家系统，用户可以不必具有实验设计的任何理论和实践基础。真实验具有至少两个水平的自变量。该专家系统从需要为实验选择自变量和因变量的用户那里获得信息。例如，在数字标牌实验中，该专家系统可能向用户提出某些问题，例如：“如果内容X(其中X为用户希望通过实验进行评价的任何内容块)有效，那么您预期因显示内容X而出现什么变化(用文字表示)？”系统将提供多种可能的变化，例如：特定产品的销售量将增加；商店中特定位置的人流量将增加；消费者将向店员咨询特定产品的特点；消费者将从货架上挑选特定产品；以及其他，这里的其他是指不包括在系统中所保存的、可能变化组中的其他任何变化。本领域内的技术人员将意识到，这些可能的“文字中的变化”中的每一项均对应于能够在设计用于测试内容X的有效性的实验中测得的可能的因变量。同样，该专家系统能够指导用户完成挑选类似于药物研究中安慰剂的对照内容这一过程。例如，该专家系统会要求用户识别任何情况下均与内容X的目标无关的内容。在对内部效度的威胁方面，该专家系统借助于问题和用户回答的顺序，可以识别对内部效度的威胁，并可以启动用来控制这些威胁的过程，例如，通过平衡、反向平衡和/或模块化和/或随机化。根据用户的输入，该专家系统能够将样本随机分配给各组，以使得实验中的每个样本都有同样的机会被分配给每个自变量水平这一过程。该专家系统也能够设计包括随机化、反向平衡和/或模块化的实验。该系统可以协助用户选择自变量或自变量的水平，并且可以协助用户根据与实验的内部效度和/或外部效度有关的因素选择因变量。例如，系统能够获得对自变量和因变量的多种组合进行功效分析所必需的信息，以用户理解的、特定领域的术语和数值向用户提供多种功效分析的结果(使用销售数据估量该块内容的有效性将花费8周时间和1400美元，而使用传感器数据则将花费2周时间和800美元)。

在某些配置中，除了设计真实验之外，专家系统还可以辅助用户进行以下工作中的一项或多项：进行真实验、收集数据、对数据进行统计分析，以及解释实验结果。图1D示出了能够进行、分析和解释实验的该专家系统的实施例。除了上文所述实验设计处理器110和用户界面120之外，该专家系统还可以包括被构造为自动或半自动控制实验执行过程的实验控制处理器135。还可以包括被构造为可以分析实验数据和/或解释实验结果的实验分析处理器145。通过了解设计处理器110如何设计实验，可以增强控制处理器135和分析处理器145的功能。

例如，由于分析处理器145将收到有关自变量和因变量的信息(如自变量(IV)和因变量(DV)为连续变量还是离散变量)，所以分析处理器145将拥有许多必要信息来选择对实验数据应用适当的统计检验。例如，如果存在具有两个离散水平的一个自变量和一个连续因变量，那么分析处理器145将为推断性统计检验选择t检验，而如果存在一个具有两个离散水平的自变量和一个具有两个离散水平的因变量，那么会为推断性统计检验使用卡方(Chi-Squared)检验。同样，由于分析处理器145将从设计处理器110访问有关哪些实验条件是特定假设之特征的信息，所以分析处理器145将具有确定应对哪些实验条件和对照条件进行统计比较并将其报告给用户所需的大部分或全部信息。

本文所述基于计算机的设计实验方法涉及计算机化的数字标牌信息系统。然而，本发明并不局限于通信系统或数字标牌领域。本发明的方法可以用于设计真实验，而无论所关注的领域如何。例如，本文所述方法和系统可以应用到任何数量的主题领域的实验设计，包括但不限于，任何类型的数字传输的讯息(例如，印刷媒体、数字标牌和/或互联网投放广告)以及与生物学、化学、语言学、医学、认知科学、社会科学、教育学、经济学和/或其他科学领域有关的实验。

在被构造为设计实验以评价数字标牌内容的专家系统的环境下描述这些实例。人们将理解到，该专家系统可以替换为或额外通过编程来评价其他类型的内容，或者也可以通过编程来设计不同于内容评价实验的其他实验。下文描述的专家系统实例可以让读者开拓对本发明基本上跨越所有科学领域之原理的理解。

图2A-2E示出的流程图概括了可以由根据本发明实施例的设计处理器110(图1A和图1D)实施的流程。该流程图示出了该真实验的设计中的步骤：根据本发明的多个实施例，可由专家系统通过提示用户提供所需信息实施该真实验。该专家系统通过提问的方式提示用户提供信息。该专家系统接收用户的回答，并从回答中提取实验所需信息。图3A-3P为显示屏的屏幕截图，示出了针对图2A-2E的流程图中所示出的某些流程可以向用户提出的问题。对测试和衡量某家旅馆的咖啡店中数字标牌内容和销售量之间因果关系的实验，该屏幕截图实例呈现了对应于该实验的问题。在设置在多个位置的数字显示器上展示了多条广告。该实例用于示出设计真实验的过程中可以由该专家系统实施的流程。本领域内的技术人员将认识到，通过向用户提问来采集设计所关注的特定实验所需的信息，可以将用于设计咖啡店实验的该示例性流程外推到任何实验。

如图2A所示，该专家系统为设计真实验使用的方法包括开发202可操作假设和识别204因变量和自变量，包括确定变量为离散变量还是连续变量，以及应测试哪些水平的自变量。通过用户输入的信息，该专家系统会识别206混杂变量和多余变量和为实验确定208计划表，按照该计划表实验内容和对照内容在不同的数字显示器上显示，用以进行实验。

图2B更加详细地示出了与识别204实验变量有关的数个可选流程。该专家系统可以获取用于确定210可能的因变量和自变量的信息，并且从用户处获取212信息以使得可以进行功效分析。该专家系统可以通过某个过程协助214用户选择对照内容，并且可以从用户那里采集216有关实验协议的信息，在数字标牌实验中，涉及在数字标牌网络中显示内容的计划表。该计划表包括将在整个数字标牌网络中播放内容的位置和次数。

图2C更加详细地示出了为功效分析采集212信息，以进行功效分析的流程。功效分析使该专家系统可以确定实验检测到给定量级的效应的概率。这一阶段采集的信息也可以用来确定使实验具有预先指定数量的统计功效所需的样本大小。功效分析用于根据三个参数中已知的两个参数求解未知的另一个参数。功效分析的参数为：样本大小、功效和效应大小。该专家系统可以引导用户选择其最关心的参数，并有助于优化实验设计。例如，如果用户说：除非效应大于X，否则将不会对该效应感兴趣，那么功效分析的进行将使得实验具有充分的功效，以找到至少与X一样大的效应。

功效分析需要估计以下信息：在零假设下的均值222、在检验假设下的均值224、标准差226和样本大小226。借助于向用户提出一系列简单的问题，可以估计这些参数，图3中详细示出了这一点。标准差未知时，历史数据可以提供估计的基础。没有历史数据时，较好的近似方法是：用因变量可能的最大值减去其可能的最小值，并将该差值除以4(该方法提供了对标准差的保守估计)。

图2D更加详细地示出了206识别混杂变量和多余变量的数种可选流程。混杂变量是随自变量水平而系统性变化的任何变量。例如，如果对照内容块后面始终跟着警告恐怖威胁水平增大的内容块，而实验内容块后面始终跟着舒适睡床的广告，那么当播放对照内容或实验内容时的咖啡店销售量的任何差别可能均归应于对照内容和实验内容之间的差别，或归应于跟在每块实验内容和对照内容后面的内容。混杂变量的实例包括：趋均数回归、顺序效应、残留效应、地板效应、天花板效应、霍桑效应和需求特征。

多余变量是指不随自变量水平系统性变化，但可以降低咖啡店实验的统计功效的变量。例如，在正确随机化的前提下，酒店的入住率为多余变量。在两个实验中，一家酒店的入住率可变性更大，另一家酒店的入住率可变性更小，如果其他所有因素均相同(如样本大小相同)，那么入住率可变性更小的酒店具有更高的统计功效。数字标牌实验中多余变量的实例包括：其他促销活动、天气、星期几、经济状况。该专家系统通过向用户提出一系列问题，以引导其回答包括有关可能的混杂变量和多余变量的信息的答案，从而采集有关这些变量的信息。如图2D所示，该专家系统可以提出设计用于采集有关这些内容的信息的一系列问题：(例如)残留效应231、选择偏差232、测试效应235、实验死亡率236、可能影响实验的本地事件237，以及有关其他广告或促销活动的信息238，其中测试效应涉及因样本不遵循受控实验中自变量的水平而以任何不同方式处理所导致的、结果中的任何不同(例如，如果被使用记录板的某人监视，可能会改变您看到内容块时的正常反应)。

图2E更加详细地示出了可以由该专家系统执行以采集231有关残留效应信息的数个可选流程。该专家系统向用户提出一系列问题，以获取232有关选择偏差的信息。其他系列问题引导234用户做出的回答，回答中包括可以产生残留效应的内容之时机的有关信息。

该专家系统引导用户完成上述任何或全部流程，以采集进行真实验所需的信息。图3A示出了可以用于向用户提问并接收回答的示例性显示器300。图3A示出的显示器300为触摸式显示器，但也可以使用适合向用户提问并接收用户回答的任何类型的输入和输出装置，例如，非触摸式显示器。该显示器的触摸灵敏度使得用户可以借助于触摸显示屏来输入回答。显而易见的是，可以使用适合接收用户回答的任何类型的输入装置，包括鼠标、键盘和/或带有语音识别电路的麦克风。

在该实例中，显示器300包括问题/回答查看区305和多个下拉菜单310-316，这些下拉菜单可以由用户触摸激活，从而使信息采集更加方便。每个下拉菜单310-316均对应于不同的提问区和/或实验设计的不同方面，这种不同通过菜单标题反映出来。菜单310-316例证了分层菜单结构中的最高级。选择下拉菜单310后，该菜单可以显示对应于菜单结构中次高层次级别的一个或多个子菜单320-322。如果选择子菜单320-322，会出现其他菜单。分层结构中的子菜单会根据需要连续出现，以到达与菜单结构有关的提问区或实验设计操作所要求的特异性级别。利用触摸屏，便可以通过触摸菜单标题或菜单项来下拉菜单和/或子菜单，和/或激活菜单项。

应当理解，图3示出的菜单代表可以用于该专家系统的可能菜单的子集。例如，可使用的其他菜单包括专用于采集设计实验的额外信息的菜单，或专用于采集进行或分析实验的过程中所用信息的菜单。

该专家系统可以用多种模式工作，例如，当该系统引导用户完成实验设计流程时，通常会执行菜单项的激活。在一些实施例中，用户可以与控制处理器和/或分析处理器进行交互，以提供有关实验性能、实验数据分析和/或实验结果解释的输入信息。

如果需要，用户也可以访问菜单项。例如，该专家系统可以通过激活与多个菜单或子菜单项有关的操作，从而初步完成获取信息的流程。如果需要，用户可以通过重新激活菜单项，返回流程的多个阶段。例如，用户可能需要回到某个菜单项，以更改前面输入的信息，并且可以使用下拉菜单310-316方便地进行该操作。

图3A示出的屏幕300示出了标题为“测试模式”的菜单310。如果用户激活“测试模式”项，那么屏幕将显示与确定实验的自变量这一过程有关的一个或多个问题。如上文所述，在本实例中，该专家系统被构造为设计实验以分析数字标牌内容(例如，在数字显示器上显示的图形或视频剪辑)，但该系统也可以被构造为设计实验以用于其他类型的应用。激活菜单项310“测试模式”后，用户可以在子菜单项320-322之间进行选择。用户既可以选择“评价单个内容块”，其表示用户将评价与所有内容无关或者和安慰剂内容有关的内容块，又可以选择“评价多个内容块的有关影响”，其表示用户有他/她可能希望比较的两个广告，此外，还可以选择“确定实验是否为‘真’”。如高亮度显示的子菜单项320所示，图3A示出了用户选择评价单块内容的场景。如果选择该选项，会触发受该专家系统控制的流程：其用于向用户采集设计实验以评价单块内容所需的信息。如图3B所示，通过激活另一个菜单项，该专家系统会进入流程中涉及为该实验确定实验假设和因变量的下一步骤。

图3B示出了选择标题为“实验变量”的菜单项311的情形。下拉菜单311后，该菜单将显示标题为“假设/变量”、“可变性”和“历史数据”的子菜单项的列表。如果激活子菜单项，则系统会向用户提出一系列问题和/或选项。例如，如果激活了“假设/变量”菜单项，那么屏幕可以显示如图3C所示的多个选项，以开发该实验的一个或多个假设，并为该实验确定可能的因变量。在图3C所示的一种场景下，向用户提出以下问题：“该内容是否具有所需效果，由此会产生什么变化？请选中您所关注的所有选项。”用户可以从以下回答中选择一个或多个：“销售量将增加”、“人流量将增加”、“消费者将向销售人员咨询”、“消费者更可能从货架上挑选特定产品”、“如果被调查，消费者将以不同答案回答特定问题”和“其他变化”。在图3C的特定实例中，用户选择了“销售量将增加”。该选择为该专家系统提供了用来识别以下实验假设的信息：如果向顾客显示数字标牌内容，销售量就会增加。该信息还提供实验中的因变量，即，因显示内容而导致的销售量变化。在其他场景中，用户可以选择可能的其他一个或多个因变量，如人流量、消费者咨询、消费者挑选产品和/或回答调查问题。如果示出了多个因变量，那么该专家系统将计算实验的成本、对每个因变量均估计实验的内部效度和外部效度，并引导用户完成选择适当的因变量这一流程。图3D示出了当在图3C所示流程步骤中选择了多个选项的情况下，该专家系统可以用来引导用户选择一个或多个因变量的流程的一部分。

在某些场景中，图3C示出的给定选项中没有一项对应于用户预期的变化，那么用户可以选择“其他”。出现这种情况时，该专家系统会引导用户回答一系列其他问题，以识别和表征实验的可能因变量。例如，如果用户选择“其他”，那么某些问题可能会用于确定可能的因变量为连续变量还是离散变量。用户可以具有类别上的或名义上的离散数据(例如，男性和女性)。离散变量可以为被称为定序数据的有序类别(例如，年龄类别20-29和30-39等)。连续数据来自多种测量技术，其中存在基础闭联集。例如，在对喜好程度的调查中评分等级为从完全不喜欢到完全喜欢(7类，1-7级)，或对购买意愿的评分等级为从绝对不愿意购买到绝对愿意购买。另一个实例是更传统的连续变量，其中存在大量可能值(温度、收入、销售量、重量等)。

例如，如果用户选择“其他”类别，则在引出信息的过程中，该专家系统会提出一个或多个其他问题，以确定因变量，和/或因变量为连续变量还是离散变量。

该专家系统可以引导用户通过一系列问题，以获得执行功效分析所需的信息。功效分析所用参数包括在零假设下的均值、标准差、在测试假设下的均值、显著水平、功效和样本大小。这些参数中的某一些的有关信息从用户获得，而其他参数则是在该专家系统中编程的标准值。确定可能的因变量后，该专家系统可以激活与图3E所示标题为“可变性”的子菜单项有关的处理。在这些处理中，该专家系统引导用户完成为确定可能因变量的可变性而设计的一系列问题。通过确定可能因变量的可变性，所提供的信息可被该专家系统用来评价实验的统计功效。例如，该专家系统可以提出问题以收集有关可用数据间隔尺寸的信息，如图3F和图3G所示。在图3F中，该专家系统提出问题，以获得有关可用数据间隔尺寸下界的信息。如图3F所示，问题“可以估量销售量的最小时间增量是多大？”提供了以下选项：每小时、每班、每天、每周、每月或其他。在该具体情况下，用户表示，可以估量销售量的最小时间单位是每小时。在图3F所示屏幕截图上，该专家系统还提示用户输入以最小时间增量估量数据的有关成本。

如图3G所示，该专家系统还获取与获得数据的适宜时间增量有关的信息。在图3G所示屏幕截图中，该专家系统询问可以估量销售量的适宜时间增量。同样，也提示用户在每小时、每班、每天、每周、每月或其他中进行选择。如图3G所示，以适宜增量获得数据的有关成本也被问及。

该专家系统可以激活与图3H所示标题为“历史数据”的子菜单项有关的处理。会提示用户说明历史销售量数据是否可用(图3I)。肯定的回答会触发图3J和图3K所示屏幕，这些屏幕分别允许用户输入最小时间增量和适宜时间增量的销售量数据。历史销售量数据可以用于(例如)估计因变量(本实例中为销售量)的标准差，该标准差用于在功效分析中确定实验的统计功效。图3J和图3K所示屏幕引出的条目数量由计算机根据所需置信水平和标准差确定。例如，计算机可以提示用户提供估计标准差所需的特定数目条目的有关信息，以获得该标准差落入特定范围内的特定置信水平。

用于该标准差的置信水平(如90％或95％)对用户通常是透明的，但也可以是该专家系统的可编程值。该专家系统所用的某些值(例如，上述因变量的标准差的置信水平，以及实验的显著水平)可以在配置系统时进行编程。此后，这些配置值可以由(例如)熟悉该专家系统软件的管理员更改。

该专家系统可以向用户提问，以获得与实验效应有关的信息。图3L为示出了可以向用户提出以确定最小效应大小的问题的屏幕截图。在该实例中，该专家系统要求用户输入使该内容有价值的销售量增量。

为了设计真实验，该专家系统采集可以影响实验的可能混杂变量和/或多余变量的有关信息。例如，混杂变量可能与残留效应、选择偏差、测试效应和实验死亡率有关。如图3M的屏幕截图中所示，可以激活对应于这些因素中的每一个的菜单项，从而向用户提出一系列问题，以采集有关这些因素的信息。在图3M中，菜单项残留效应被高亮度显示。如果激活残留效应菜单项，则会引出图3N-3P所示问题。在图3N中，该专家系统提出问题，引导用户反映出可以显示该内容的其他地点的有关信息。在图30和图3P中，该专家系统提出问题，引导用户反映出残留效应的时机的有关信息。

图4A为根据本发明实施例的数字标牌系统(DSS)的框图，该系统可以具备设计真实验以测试数字标牌内容之有效性的能力；图4A的框图示出了划分为功能块的DSS的一种配置。本领域内的技术人员将意识到，作为另外一种选择，可以使用不同的功能块示出DSS，并且DSS的多个组成部分可以被实施为硬件、软件、固件，或硬件、软件和固件的任何组合。

根据本发明实施的系统可以包括本文所述的一个或多个特征、结构、方法或其组合。例如，系统可以实现为包括图4A所示一个或多个有利的特征和/或处理。其目的在于，这类系统并不需要包括本文所述的所有特征，但可以实现为包括选定特征以提供可用结构和/或功能。

图4A所示DSS为被构造为借助于音频、视频和/或其他媒体格式展示信息内容的计算机化的系统。该DSS可以包括自动或半自动生成播放列表的功能，该功能提供展示信息内容的列表，此外，还提供计划表(用于限定展示内容的顺序)。在半自动模式下，用户可以借助于交互式用户界面410访问DSS控制处理器405。在DSS控制处理器405的协助下，用户可以识别要展示的内容，并生成播放列表以及控制一个或多个DSS播放器415上的展示时机和顺序的计划表。每个播放器415均根据为该播放器开发的播放列表和计划表向受众展示内容。该信息内容可以包括(例如)图形、文本、视频剪辑、静态图像、音频剪辑、网页和/或视频和/或音频内容的任何组合。

在一些具体实施中，开发播放列表和计划表后，DSS控制处理器405将确定播放列表所需内容、从内容服务器下载内容，并将内容与播放列表和计划表一起传送给播放器控制器420，该播放器控制器将内容分配给播放器415。虽然图4A仅示出了一个播放器控制器420，但可以将多个播放器控制器连接至一个DSS控制处理器405。每个播放器控制器420均可以控制单个或多个播放器415。通过提供识别内容/播放列表/计划表所针对的播放器415的有关信息，进行适当的寻址，从而使得内容和/或播放列表及计划表可以以压缩格式从DSS控制处理器405传送给一个或多个播放器控制器420。在某些应用中，播放器415可以在商店内分配，并且在播放器415上展示的内容可以是广告。

在其他具体实施中，DSS控制处理器405可以只将播放列表和计划表传送给播放器控制器420。如果内容不在播放器控制器420上，则播放器控制器420可以访问内容存储器425，以采集要显示的内容。在某些场景中，借助于网络连接(如内联网或互联网)可以访问DSS系统各特征中的一个或多个(包括内容存储器425)。播放器控制器420可以汇集所需内容，或换句话讲有利于根据播放列表和计划表在播放器上展示所需内容。对播放器415上展示的播放列表、计划表和/或内容，可以由用户(例如)通过播放器控制器420或通过DSS控制处理器405定期修改或根据需要进行修改。

在一些具体实施中，DSS控制处理器405有利于开发要在播放器上播放内容的程序，或为该程序设置格式。例如，DSS控制处理器405可以有利于通过使用模板来为音视频程序设置格式。在显示音视频程序的开发过程中，该模板包括在该过程中应用的约束条件和/或规则设置格式。例如，该模板可以包括与用于某类内容的屏幕部分、每个区段内可以播放的内容类型、内容的播放顺序和字体大小有关的规则，和/或适用于程序显示的其他约束条件或规则。可能需要为每种显示配置均设置一组独立的规则和/或约束条件。在一些实施例中，不同显示内容的程序的格式设置可以由DSS控制处理器405自动执行。

在一些实施例中，根据通过在认知科学领域的研究和实验获得的信息，DSS可以创建模板、生成内容、选择内容、汇集程序和/或为要显示的程序设置格式。认知科学旨在理解人类进行感知的机制。认知科学和视觉科学的各学科已经在以下方面奠定了广博的知识基础：人类的感知系统如何处理信息、注意力的基础机制、人脑如何依靠记忆力存储和再现信息，以及语言和问题解决能力的认知基础。将认知科学应用于内容设计、框图、设置格式和/或内容展示、会产生易于由人类感知系统处理、易于理解并且易于人脑记忆存储的信息。根据认知科学获得并存储在认知科学数据库430中的知识，可用来以自动或半自动方式激活DSS的一个或多个处理，包括创建模板、设计内容、选择内容、分配内容、汇集程序和/或为显示内容所用程序设置格式。结合DSS编程使用认知科学数据库430，会生成通过认知科学的知识成果增强了的广告或其他数字标牌程序，同时使得系统用户无需参加该领域的特别培训。

在开发数字标牌程序(如广告活动等)的过程中，DSS控制处理器405可以指导用户完成通过使用认知科学获得的知识得到增强的各个处理。例如，存储在认知科学数据库430中的信息可以用来选择模板以产生最佳程序框架，和/或用来选择内容(例如，内容元素是否应为图形、文本，涉及移动、色彩、尺寸)，和/或用来实施程序开发的其他方面。

DSS可以具有设计数字标牌程序的备选版本以适应不同显示器类型和观察条件的能力。显示器技术千差万别，用于在数字标牌网络上展示内容的显示器类型存在很大差异。例如，在整个数字标牌网络范围内，尺寸、形状、亮度和观察条件会有很大变化(例如，某些显示器可以是小型、柔性和非矩形显示器，而另一些显示器则可以是标准的大型液晶显示器(LCD)和等离子显示器。)显示器类型和观察条件的不同意味着，任何单一版本的内容块都不会是适合整个网络中所有显示器的最优内容。为了解决这一问题，可能有必要为每个显示器类型和观察环境生成每块内容的不同版本，并且将这些版本的内容选择性地分配给网络中与其对应的屏幕。然而，期望内容设计人员在整个大型DSS网络中的显示器类型和观察条件方面拥有如此精深的知识是不现实的。此外，即使这类内容设计人员拥有如此精深的知识，要为每台显示器都人工创建不同的内容版本，并为这些内容在适当的时间在每个对应显示器上进行播放来人工排定计划，也会非常耗时。

DSS系统可以包括数据采集单元435，用于收集改善所调配内容之有效性的数据。数据采集单元435允许在内容调配过程中连续实时收集决定数字标牌网络有效性的分布因子。所采集的信息可以有利于持续改善DSS的内容有效性，并改善内容块的各个版本。可以使用先前采集的数据来了解(例如)应通过哪种传感器或销售事件触发特定类型内容的显示。

任何内容程序中的单块内容都具有特定的目标(如用于销售特定产品)。通常情况下，对数字标牌网络的用户，每个目标的值均存在可变性。例如，每种产品的利润率和存货水平均存在可变性，其分解为该产品的目标的值。在数字标牌程序的调配过程中，实现每个目标的值会连续变化。例如，产品的存货水平会发生变化，从而影响该产品的销售量目标。

要整体增强DSS的有效性，将涉及：1)准确预测调配数字标牌程序对与数字标牌程序有关的目标所产生的影响，以及2)对应于单块内容的每个目标的值变化时，连续改变各个内容块的分配模式(时机、频率和位置)。在许多情况下，要预测调配内容所产生的影响，并根据与每块内容有关的连续变化目标值人工改变内容分配模式，对DSS的用户而言是不可行的。DSS提供预测数字标牌程序所产生的影响、并根据预测来改变内容分配这一功能。

如上文所述，在播放器415上显示内容的目的是为了影响人类行为(如影响购物行为)。然而，前面的数字标牌系统不能证明标牌内容和人类行为之间的因果关系，也不能估量这种因果关系的程度。产生这种困难的原因是，利用在整个现有数字标牌网络上传送内容的方法，不能确定测得的、人类行为的任何变化是否因标牌内容或某些混杂因素(如天气变化、该产品的总需求变化、该产品的价格变化)的结果所引起。要明确确定标牌内容和人类行为之间的因果关系，唯一的途径是进行这样的真实验：实验过程中，通过使用复杂的实验设计来系统性地调控标牌内容，并仔细估量这些调控对人类行为的影响。人工进行这类实验很耗时，并且需要在有关如何设计真实验的科学方法方面拥有丰富的知识，并经过该方面的大量培训。数字标牌系统的用户可能未接受过足够的培训，以致于无法理解如何设计真实验来采集无混杂的结果。图4A所示的DSS包括能够用于设计真实验的实验设计处理器440和用户界面410。

图4B示出了包括被构造为可以设计真实验的实验设计处理器的专家系统。如上文所述，实验设计处理器440可以被构造为全自动工作，或与用户交互半自动工作。在半自动模式下，实验设计处理器440可以借助于用户界面410引导用户完成多种交互式会话，从而设计真实验。在此类处理中，实验设计处理器440用于确保真实验的设计产生无混杂的数据。因此，用户能够依赖于实验设计处理器440的编程，并且不需要具有设计真实验方面的知识和经验。DSS系统可以仅包括实验设计处理器440，或者也可以包括诸如实验调配单元445、数据采集单元435和数据分析单元450之类的其他元件。

实验设计处理器440可以为实验自动或半自动地开发目标或假设，识别实验的自变量和因变量，并通过应用适当的随机化、平衡、反向平衡和/或模块化来形成对照组和处理组。(例如)对DSS，实验目标可以是，评价某产品促销广告活动中内容元素的有效性。自变量可能与显示的该内容元素的某个方面有关。因变量可以与该产品销售量的增长有关。

实验设计处理器440可以形成适当的处理组和对照组，包括为DSS选择显示实验内容和对照内容的多个现场。实验内容(包括内容格式、计划表、展示位置和/或可能在实验处理中产生混杂的其他因素)的展示由实验设计处理器440控制。实验设计处理器440可以确保对对照组和处理组进行充分的随机化、反向平衡和模块化，以获得基本上无混杂的实验结果。对DSS系统，设计实验可能涉及(例如)为将要通过实验测试的内容展示生成适当的播放列表和计划表，并且也可以涉及为对照内容的展示生成播放列表和计划表。

在某些配置中，该专家系统还可以包括实验调配单元445。实验调配单元445被构造为有利于实验的调配。对示例性DSS系统，实验调配单元445为多种播放器配置的实验内容和对照组内容设置格式，从而有利于将实验内容和对照内容传送给播放器控制器420，以按照播放列表和计划表的指定在播放器415上展示。

数据采集单元435可以被构造为从对照组和处理组收集实验数据。数据采集单元435可以借助于任何方式执行与实验有关的数据采集，或有利于这种采集的进行。例如，对示例性DSS，数据采集单元435可以和多种传感器或数据采集装置462、464、466耦接，这些采集装置用于收集包括产品移动、产品销售量、顾客行为或反应和/或其他信息在内的信息。传感器462可以用于检测(例如)顾客是否挑选产品，或显示内容时顾客是否在显示器附近。可以根据销售点(POS)系统464采集的信息确定销售量。也可以使用用于验证内容显示的一个或多个装置466。产品的存货水平变化可以借助于存货控制系统获得。顾客的反应可以借助于问卷调查采集。如果所进行的实验为真实验，则数据采集单元435采集的数据基本上无混杂。

数据采集单元435可以和数据分析单元450耦接，后者被构造为分析数据采集单元435所收集的实验数据。数据分析单元450可以确定和/或量化实验的自变量和因变量之间的因果关系。对所示DSS，分析结果可以用于确定该内容是否能够有效地影响产品销售量。

由于分析单元450将收到有关自变量和因变量的信息(如自变量和因变量是连续变量还是离散变量)，所以，分析单元450将拥有许多必要信息，用以将从实验获得的数据应用于适当的统计检验。例如，如果存在一个具有两个离散水平的自变量和一个连续因变量，那么将为推断性统计检验使用t检验，而如果存在一个具有两个离散水平的自变量和一个具有两个离散水平的因变量，那么会为推断性统计检验使用卡方检验。同样，由于分析单元将从设计处理器440访问有关哪些实验条件是特定假设之特征的信息，所以分析单元450将具有确定应对哪些实验条件和对照条件进行统计比较所需的大部分或全部信息。

分析结果还可以或可选地用于实施或修改多种处理。例如，如果该内容能够有效地影响产品销售量，则可以开展包含该内容的广告活动。可以根据有效提高销售量的程度，由内容评估过程472为该内容赋值。可以根据该内容的值，由账单开具单元474为使用该内容的广告商开具发票。数据分析单元450还可以为存货控制476提供信息。另外，数据分析单元450可以为销售量预测单元478提供信息，后者用于在开展广告活动后生成对销售量的预测。销售量预测单元478可以或可选地预测支持广告活动所带来的销售量所需的产品库存。

使用本文提供的说明，可以通过使用标准编程和/或工程技术产生编程软件、固件、硬件或其任意组合以将本发明实施为设备、流程或制品。

所得的任何程序(具有计算机可读的程序代码)均可以具体实现在诸如常驻存储设备、智能卡或其他可移除存储设备或传输设备之类的一种或多种计算机可用介质上，从而根据本发明制造计算机程序产品或制品。据此，在此所用的术语“制品”和“计算机程序产品”旨在涵盖永久或临时存在于任何计算机可用介质上或传输此类程序的任何传输介质内的计算机程序。

提交于2005年12月29日的美国专利申请S/N 11/321,340以引用的方式并入本文，其中更深入地描述了数字标牌系统的实施，包括生成数字标牌内容、对专家系统所设计的实验进行调配以及收集实验数据方面的能力。

介绍上述本发明的各个实施例之具体实施方式的目的是为了进行举例说明和描述。并非旨在穷举性地描述本发明或将本发明限定于本发明所公开的明确形式。可按照上述教导内容进行多种修改和更改。例如，本发明的实施例可以在多种应用中实施。其目的在于本发明的范围不受本具体实施方式的限定，而是受在此所附的权利要求书限定。

Claims

1.一种计算机实施方法，包括：

识别设计真实验以评价数字标牌内容所需的信息；

向用户提出问题，所述问题引出提供所述所需信息的回答；

接收用户对所述问题的回答；

从用户回答中提取所需信息；以及

根据从用户回答中提取的所需信息来设计真实验。

2.根据权利要求1所述的方法，其中所述问题引出提供真实验的因变量之有关信息的回答，所述因变量与数字标牌内容有关。

3.根据权利要求1所述的方法，其中设计真实验包括根据从用户回答中提取的信息来为真实验确定对照组和处理组，其中对照组在数字标牌内容中公开。

4.根据权利要求1所述的方法，其中设计真实验包括根据从用户回答中提取的信息来为数字标牌内容确定计划表。

5.根据权利要求4所述的方法，其中确定计划表包括根据从用户回答中提取的信息来为数字标牌内容确定一个或多个播放列表。

6.根据权利要求4所述的方法，其中确定计划表包括根据从用户回答中提取的信息来为数字标牌内容确定一个或多个现场。

7.一种计算机实施方法，包括：

识别设计真实验所需的信息；

向用户提出问题，所述问题引出提供所需信息的回答；

接收用户对所述问题的回答；

从用户回答中提取所需信息；以及

根据从用户回答中提取的所需信息来设计真实验。

8.根据权利要求7所述的方法，其中所需信息包括与所述真实验的一个或多个自变量和一个或多个因变量有关的信息。

9.根据权利要求7所述的方法，其中所需信息包括与所述真实验的自变量的一个或多个水平有关的信息。

10.根据权利要求7所述的方法，其中所需信息包括与所述真实验的混杂变量和/或多余变量有关的信息。

11.根据权利要求7所述的方法，其中所需信息包括与所述真实验的假设有关的信息。

12.根据权利要求7所述的方法，其中所述问题引出提供用于进行功效分析的信息的回答。

13.根据权利要求7所述的方法，其中所述问题引出提供用于选择所述真实验的对照组或处理组的信息的回答。

14.根据权利要求7所述的方法，其中所述问题引出提供用于确定所述真实验的处理计划表的信息的回答。

15.根据权利要求7所述的方法，其中提出所述问题包括使用被选择为与实验设计领域的用户的知识水平相对应的语言来提出问题。

16.根据权利要求7所述的方法，还包括向用户展示与执行真实验的成本有关的信息。

17.根据权利要求7所述的方法，还包括向用户展示与估量一个或多个因变量有关的信息。

18.根据权利要求7所述的方法，还包括进行真实验。

19.根据权利要求7所述的方法，还包括分析所述真实验所产生的实验数据。

20.根据权利要求19所述的方法，其中分析实验数据包括根据从用户回答中提取的信息来分析实验数据。

21.一种系统，包括：

用户界面，其被构造为向用户提出问题并接收用户对问题的回答；

以及

实验设计处理器，其和用户界面耦接并被构造为：识别进行真实验所需的信息、产生引导用户做出提供所需信息的回答的问题、从用户回答中提取所需信息、以及使用所需信息设计真实验。

22.根据权利要求21所述的系统，其中所需信息包括与真实验的一个或多个因变量和一个或多个自变量有关的信息。

23.根据权利要求21所述的系统，其中所需信息包括与真实验的自变量的一个或多个水平有关的信息。

24.根据权利要求21所述的系统，其中所需信息包括与真实验的混杂变量和/或多余变量有关的信息。

25.根据权利要求21所述的系统，其中所需信息包括与真实验的假设有关的信息。

26.根据权利要求21所述的系统，其中真实验评价了数字标牌内容。

27.根据权利要求21所述的系统，还包括被构造为控制真实验性能的实验控制处理器。

28.根据权利要求21所述的系统，还包括被构造为对所述真实验产生的实验数据进行分析的分析单元。

29.根据权利要求28所述的系统，其中所述分析单元被构造为使用所述设计处理器所采集到的信息来分析实验数据。

30.一种计算机可读的介质，具有存储于其上的指令，所述指令可由计算设备执行以进行包括以下步骤：

识别设计真实验所需的信息；

向用户提出问题，所述问题引出提供所需信息的回答；

接收用户对所述问题的回答；

从用户回答中提取所需信息；以及

根据从用户回答中提取的所需信息来设计真实验。

31.一种系统，包括：

用于识别设计真实验所需信息的装置；

用于向用户提出问题的装置，所述问题引出提供所需信息的回答；

用于接收用户对所述问题的回答的装置；

用于从用户回答中提取所需信息的装置；以及

用于根据从用户回答中提取的所需信息来设计真实验的装置。

32.根据权利要求31所述的系统，还包括用于进行真实验的装置。

33.根据权利要求31所述的系统，还包括用于分析真实验所产生的实验数据的装置。