CN1229482A

CN1229482A - 同时学习与执行信息处理系统

Info

Publication number: CN1229482A
Application number: CN95196552A
Authority: CN
Inventors: 罗伯特·J·詹纳龙
Original assignee: ROBERT J JANNARONE
Current assignee: ROBERT J JANNARONE
Priority date: 1994-11-02
Filing date: 1995-11-01
Publication date: 1999-09-22
Also published as: JP2000511307A; AU4141396A; EP0789869A4; US6289330B1; US5835902A; CA2203776A1; WO1996014616A1; EP0789869A1; AU706727B2; NZ296732A; CA2203776C

Abstract

在各定时试验开始时,将一个测定值矢量及一个测定似然性值矢量提供给系统(10),以及或者将学习权重提供给系统(10)或者由其生成。然后在各定时试验中,系统(10)执行下述操作:将测定值转换成特征值;将测定似然性值转换成特征生存性值;利用各生存性值确定各特征值的丢失值状态;利用非丢失特征值更新参数学习;从非丢失特征值与/或学习估算各丢失的特征值;将估算的特征值转换成输出估算测定值;及应用各种特征值及特征函数监视与解码统计。系统(10)的并行实施例通过并行特征处理器(31)与联合访问存储器(23)的协调使用,并发地执行所有这些操作,它包含连接权重并提供在对地连接特征处理器。

Description

同时学习与执行信息处理系统

本发明一般涉及并行处理神经计算系统领域，更具体地涉及在一序列测试试验中出现学习与执行的实时并行处理。

传统的统计软件与传统的神经网络软件在训练阶段中识别输入输出关系，并在执行阶段中各应用所学习的输入输出关系，并在执行阶段中各应用所学习的输入输出关系。例如，在训练阶段中神经网络调整连接权重直到从已知输入值产生已知的目标输出值。在执行阶段，神经网络利用在训练阶段中识别的连接权重从已知的输入值得出未知的输出值。

传统的神经网络是由简单的互连处理单元构成的。各处理单元的基本操作为将其输入信号变换成有用的输出信号。各互连用取决于该特定互连的权重的输出信号上的相对作用将信号从一个单元传输到另一单元。通过提供导致互连权重改变的已知输入值与输出值给网络，可以训练传统的神经网络。

已为大规模并行处理研制了多种多样的传统神经网络学习方法与模型。在这些方法与模型中，向后传播为最广泛应用的学习方法而多层感知器为最广泛用的模型。多层感知器具有两个或更多的处理单元层；最普通的为一个输入层、一个单一的隐藏层及一个输出层。隐藏层包含能使传统神经网络识别非线性输入输出关系的处理单元。

传统神经网络能在各自的阶段中快速执行学习与执行操作，因为神经网络处理单元能并行执行。传统神经网络精度取决于数据可预测性及用户预规定的网络结构，其中包括层数及各层中的处理单元数。

传统神经网络学习发生在将一组训练记录施加在网络上时，每一个这种记录包含固定的输入与输出值。网络首先通过作为记录输入连同连接权重及到此为止已学习的其它参数的函数计算网络输出而使用各记录来更新网络的学习。然后根据计算的输出值对训练记录输出值的接近程度调整权重。例如，假定训练输出值为1.0而网络计算值为0.4。网络误差为将0.6(1.0-0.4＝0.6)，便用它来确定为使误差最小所需要的权重调整。通过以相同方法调整权重直到使用了所有这些训练记录而产生训练，此后重复这一过程直到充分降低了所有误差值为止。

传统神经网络在两个基本方面训练与执行阶段不同，虽然为了减小训练与计算输出之间的误差在训练中权重值发生改变，但在执行阶段中权重值是固定的。此外，在训练阶段输出值是已知的，但在执行阶段只能预测输出值。预测的输出值为执行阶段输入值与在训练阶段中学习的连接权重值的函数。

虽然通过传统统计分析与神经网络分析，输入输出关系识别对某些应用可能是满意的，但这两种方法在其它应用中只有有限的实用性。有效的人工数据分析需要广泛的训练与经验以及费时的努力。虽然传统神经网络产生的结果可靠性较低并比人工结果难于解释，但传统神经网络分析只须较少的训练与努力。

传统统计方法与传统神经网络方法的共同缺陷来自各方法所实现的各别训练与执行阶段。需要两个各别的阶段导致在能开始执行之前要化费可观的训练时间。因为即使是训练有素的专家分析也占用可观的时间，在人工统计方法中出现训练延迟，并因为需要通过许多训练记录的许多遍训练，在神经网络方法中也出现训练延迟。从而，传统统计分析只限于这样的环境，其中(a)在出现学习的时间与使用学习的模型时间之间的延迟是可以接受的，及(b)在开始训练分析时间与开始执行操作时间之间输入输出关系是稳定的。

从而，在本技术中存在着对在任何定时试验中能快速操作来学习或执行或两者的信息处理系统的需求。

一般地说，本发明提供一种数据分析系统，它在定时试验中接收变量的测量输入值，并通过逐次试验改进学习的关系逐渐学习变量之间的关系。此外，如果丢失了任何输入值，本发明根据前面学习的分析变量之间的关系在定时试验中提供丢失的值的期望的(估算)输出值。

更具体地，本发明通过实现对作为输入值的预定函数的特征值的数学回归分析提供估算值。回归分析是通过利用连接权重的一个矩阵而被执行以预测作为其它特征值的加权和的各特征值。在每次试验中更新连接权重单元来反映来自试验输入测定值的新的连接权重信息。同时，在确定输入测定矢量在相对于前面接收的矢量的学习上具有的影响量的各次试验中还利用分量学习权重。相对于实施例，本发明可并行处理输入值或顺序处理这些值。可以以矢量的形式提供不同的输入值。相对于前面学习的参数单个地继续操作输入特征矢量的各值。在并行实施例中，多个处理器处理输入值，各处理器专用于接收来自矢量的一个特定输入值。这便是如果将系统建立成接收16个输入特征值(即对应于长度16的矢量)，则使用16个处理单元来处理各输入特征值。在顺序实施例中，设置一个处理器来接连地处理各输入特征值。

在本发明的并行实施例中，各处理单元在定时试验中进行操作以接收来自输入矢量的单个输入值。多条导线将各处理单元连接到系统中每一个其它处理单元上。这些导线按照本发明的进程在各处理器单元中传递加权的值。在所述各试验时间中各处理单元根据这些加权值提供估算的输出值。并且在同一试验时间中，各处理单元根据所接收的输入值进行操作来更新用于计算加权值的连接权重。

由于一个特定处理器可驱动的输出的数目是有限的，当为数据处理并行互连许多处理单元时，一个单一处理单元所能互连或驱动的处理单元的数目可能是相当有限的。然而，本发明提供沿导线布置的多个互连开关接点来减轻与单一处理器与许多其它处理器通信相关联的问题。这些开关接点可进行操作来将各处理器与系统中的每一个其它处理器唯一地配对。本发明还提供耦合在开关接点上的存储器单元。各存储器单元独立地耦合在分开的开关接点上以及各存储器单元包含一个连接权重值。最好位于开关接点上的连接权重存储器单元为在计算输出值中使用的矩阵的连接权重元件。

开关接点可进行操作将各处理器每一次连接到只有一个其它处理器上，借此构成用于在时间间隔中传递权重值的多个配对的处理器组。最好在多个时间间隔中，这些开关接点接连地连接所述多个配对的处理器组中的不同组。并且开关接点最好在最少的步骤中进行操作以所有可能的组合连接多个配对的处理器中的不同组。一控制单元可进行操作将开关信号提供给开关接点以便控制在处理器之间传送加权的值。通过它们发生处理器通信的导线最好设置在第一导线层与第二导线层中，其中第一与第二导线层可进行操作来在开关接点进行连接。

本发明还以顺序方式实现，其中传统的计算机处理单元可与传统的计算机存储器单元一起使用来处理输入值。本发明的顺序实施例类似地从定时试验中接收的输入值计算输出值。在顺序系统中，处理单元进行操作顺序地接收来自输入矢量的输入值。与并行实施例不同，连接权重矩阵的元素是作为数据串以顺序次序存储在存储器单元中的。

顺序系统的处理单元可进行操作在定时试验中根据连接权重矩阵的元素提供估算出的输出值，并可进行操作在定时试验中更新连接权重矩阵的元素。与在作为二维数组的元素的连接权重上操作的传统的系统不同，本顺序系统以专门设计的顺序在连接权重矩阵的各元素上快速操作。在传统的系统中由于矩阵乘法运算通常是嵌套的存取循环(一个用于行及一个用于列)，同时运算慢于本发明的顺序实施例方法。

本发明还提供在早期试验中更新连接权重矩阵的系统。包含在更新连接权重矩阵系统中的是在定时试验中进行操作以接收来自输入特征矢量的值的处理单元及包含识别特征变量之间的关系的连接权重元素的存储器单元。处理单元进行操作来根据所接收的输入矢量的非丢失值更新连接权重元素。与其它系统不同，本发明的处理单元可进行操作根据作为所接收的各输入矢量的各别学习权重的部分学习权重来更新连接权重元素。通过利用部分学习权重，可以确定特征变量之间的精确关系。

此外，在本发明的并行实施例与顺序实施例中，都可由信息处理系统内的控制单元计算与控制输出值与学习值。可以设置学习权重控制器，以通常调整各输入矢量在前面的学习上具有的相对效应的方式自动调整逐次试验的学习权重。此外，用户可与系统面接来提供与系统自动提供的学习权重不同的所要求的学习权重。同时，本发明可提供特征函数控制器，它可进行操作将系统初始接收的测定值转换成供系统估算与学习用的输入特征矢量。特征函数控制器还可进行操作来提供省缺初始连接权重或者接收外部的连接权重元素，从而系统的用户可供给要求的初始权重。

此外，如果出现输入值的异常编移，学习权重控制器可使计算机系统的学习函数无效。并且，特征函数控制器可进行操作来建立各种各样的统计，诸如当前测定值与来自前面的试验的存储的对应测定值之间的一阶差分以识别测定值中的突变。输入值中的突变可能指示从其接收的该输入值的仪器是有故障的。

除了本发明的物理实施例之外，本发明还执行若干进程。本发明的进程包括：在一个处理单元上在定时试验中接收一个输入矢量m[IN](f)；在该定时试验中根据连接权重元素计算来自该输入矢量的丢失的输入值的输出值；以及在该定时试验中根据该输入矢量的输入值更新连接权重元素。

本发明的进程可进一步包括根据上述部分学习权重元素更新连接权重元素的步骤。学习权重元素可通过下述方法计算：接收一个全程学习权重1；接收作为各输入矢量的前面学习权重的指示符的学习历史参数λ；以及接收一个生存性(Viability)矢量υ(f)，它指示输入特征矢量丢失的范围；并将这些值相乘以得到学习部分权重(即，1(c)(f)＝1υ(f)1(f))。

在系统作为连接权重更新进程的一部分利用平均矢量μ[OUT]估算一个值的同一试验中，能够启动本发明快速更新所接收的所有特征矢量的连接权重矩阵。通过利用输入的先前平均矢量来计算系统的各种输出值及参数，可以快速进行更新。先前的平均矢量μ[IN]等于来自前面测定试验的μ[OUT]。如果该进程是在第一次试验中，则μ[IN]可等于系统缺省值，对于用户提供的值最好是值1.0。用下述进程等式计算μ[OUT]的元素：

μ[OUT](f)＝(l[C](f)m[IN](f)+μ[IN](f)/(1+l[C](f))

本发明的进程还包括利用中间估算的矢量e[IN]更新连接权重元素。e[IN]矢量的元素可用下述等式计算：

e[IN](f)＝ν(f)(m[IN](f)-μ[IN](f))/(1+l[C](f)).连接权重矩阵可利用下述进程等式更新：

ω[OUT]＝(1+l)(ω[IN]-cx^Tx)，其中

c＝l(1+l)/[1+l(1+l)d

x＝e[IN]ω[IN]及

d＝e[IN]ω[IN]e[IN]^T＝xe[IN]^T

在更新进程中，ω[IN]＝来自前面试验的ω[OUT]。如果当前的试验为第一次试验，则ω[IN]可等于系统省缺值，最好等于单位矩阵ω或用户提供的值。

在估算进程中，估算的输出矢量m[OUT]的元素是按照下述进程等式计算的：

m[OUT](f)＝μ[IN](f)+e[IN](f)(2-ν(f))+x(f)(ν(f)-1)/

ω(f，f).本发明的进程所利用的其它值在下面进一步详细描述。

此外，本发明提供访问多对处理器来计算x矢量的方法。该进程包括访问多组在时间间隔中唯一配对的处理器；检索位于连接这些配对的处理器单元的开关接点上的各连接权重元素；以及将位于各处理器中的e[IN](f)传送到连接在该开关接点上的其它处理器；然后计算e[IN]ω[IN]的运行中的和，直到系统的所有处理器对已计算了它们的对应x值为止。

本发明的进程还提供访问各组处理器来更新连接权重元素的方法。该进程包括访问多组在时间间隔内唯一地配对的处理器；用位于开关接点上的处理器之一检索位于该开关接点上的连接权重元素；用检索该连接权重元素的处理器更新该连接权重元素；以及将更新后的连接权重元素传送回该开关接点的存储器单元。

从而，本发明的一个目的为提供根据所接收的输入值提供精确的学习的信息处理系统。

本发明的又一目的为在单一定时试验中将输入测定值转换成输入特征值。

本发明的又一目的为在单一定时试验中提供学习与执行(测定与特征值估算)。

本发明的又一目的为从非丢失值估算丢失值。

本发明的又一目的为识别异常的输入特征偏移。

本发明的又一目的为提供在单一定时试验中快速学习与执行的系统。

本发明的又一目的为识别输入特征值中的突变。

本发明的又一目的为提供并行快速处理输入特征值的系统。

本发明的又一目的为提供顺序地快速处理输入特征值的系统。

本发明的又一目的为提供使多个并行处理单元能在系统的各该处理单元之间快速通信的系统。

本发明的又一目的为提供能成对访问多个并行处理单元的系统。

本发明的又一目的为以最小数目的步骤提供在配对的处理器之间的通信。

本发明的又一目的为提供完成上述目的进程。

从阅读下面结合附图的描述中，本发明的上述与其它目的、特征及优点将一目了然。

图1示出本发明的较佳实施例。

图2为展示本发明的较佳实施例的并行处理器实施例的方框图。

图3为展示本发明的较佳实施例的顺序计算机实施例的方框图。

图4示出可用本发明的较佳实施例操作的象素值阵列。

图5示出用在本发明的并行实施例中的联合访问存储器与处理器的电路布置图。

图6a示出本发明的较佳实施例的联合访问存储器中的节点的开关细节。

图6b示出本发明的较佳实施例的联合访问存储器中的节点的开关细节的侧视图。

图7示出并行实施例的中间矩阵/矢量运算中的联合访问存储器控制的定时图。

图8示出与本发明的较佳实施例的联合访问存储器的开关接点关联的更新操作的联合访问存储器控制定时的定时图。

图9示出本发明的较佳实施例的并行实施例的处理时间间隔协调。

图10示出实现在本发明的较佳实施例的并行实施例中的整个系统的方框图。

图11示出实现在本发明的较佳实施例的顺序实施例中的整个系统的方框图。

图12示出用在本发明的较佳实施例的并行实施例中的控制器的通信连接。

图13示出用在本发明的较佳实施例的并行实施例中另一控制器的通信连接。

图14至22为展示由本发明的较佳实施例实现的进程的较佳步骤的流程图。

操作概述

参见附图，其中相同的数字在全部若干视图中指示相同的部件，其中示出了按照本发明的较佳实施例作出的并行学习与执行信息处理(CIP)神经计算系统。参见图1，用连接在显示监视器14上的计算机12实现CIP系统10。CIP系统10的计算机12从数据采集装置(DAD)15接收计算数据，DAD15可在时间点上通过连接线16提供多个测定值。诸如数据采集计算机板及相关软件等数据采集装置可从诸如国家仪器公司等公司购得。计算机12也可经由输入线18从传统的键盘17接收输入数据与/或操作说明。在一个时间点上接收与应答一组输入测定值这里称作试验，以及该组输入值这里称作测定记录。

通常，当CIP系统10接收一个输入测定记录时，系统确定(学习)存在于在试验中接收的测定值之间的关系。如果在试验中丢失了一些测定值，CIP系统10根据在前面的测定中学习的关系连同非丢失的当前测定值提供预期的估算值。

CIP系统10从数据采集装置15接收一个测定记录并将测定值转换成特征值。测定值到特征值的转换用于减少学习或估算所需要的学习参数的数目。这些特征值及从特征值计算出的其它值为在丢失某些测定值时预测或估算值或确定系统从前面的测定值异常偏移的监视测定值中提供有用的数据。

在试验开始时接收到一个输入测定记录时，CIP系统10在各输入记录到达时立即执行下述操作(即系统10即时执行)；从进入的测定值导出输入特征值(即时数据压缩)；估计(即估算)丢失的特征值(即时判定)；以及更新学习的特征与方法、学习的特征变异与特征之间的学习的互连权重(即时学习)。

CIP系统在许多应用中是有用的，诸如连续与自适应的：(a)化学或放射性有害环境中的仪器监视；(b)卫星载测定监控；(c)意外偏移中的导弹跟踪；(d)住院患者治疗监视；以及(e)监视及预测竞争对手的价格策略。在一些应用中高速度比其它应用较不重要。结果，CIP系统提供传统(即顺序)计算机上的实施例或更高速的并行硬件上的实施例。

虽然在某些应用中速度不是主要考虑，CIP高速度是广阔的应用的优点。顺序CIP在下述两种理由上快于传统的统计对应物、第一，CIP系统采用即时更新而不是脱机训练；第二，CIP系统直接更新一定的协方差矩阵之逆，而不是像传统统计实践那样首先计算协方差矩阵然后再求协方差矩阵之逆。即时的矩阵逆更新能进行快速CIP实现。当用顺序进程实现时，CIP响应时间随所利用的数据特征数的平方增加。然而，在利用并行进程实现时，CIP响应时间只随所利用的特征的数目增加。在并行系统中，为每一特征提供一个处理器。结果，并行CIP响应时间比顺序CIP响应时间快一个所利用的特征数的因子。并行系统概述

参见图2，其中示出了CIP系统10的基本子系统的并行实施例。在讨论子系统细节之前，将参照图2讨论操作CIP的概况。CIP子系统包括系统总线19、换能器20、核心21及管理器22。为了完成上述各种并发操作，换能器20与核心21相继地操作。换能器20首先将输入测定值转换成输入特征值。然后核心21处理输入特征来生成估算的(即输出)特征、更新的学习参数及监视统计。然后换能器20将输出特征值转换成估算的(即输出)测定值。管理器22协调换能器20与核心21的即时操作并时而改进系统操作。

换能器20的基本部件为具有最新特征存储器(RFM)25的输入处理器24及输出处理器26。输入处理器24及输出处理器26各分别由输入及输出控制单元27与28控制。最新特征存储器25存储从前面的试验(本文件中的所有矢量为行矢量)中得到的预定数目的输入特征值m[IN]。可结合输入测定值j[IN]利用所存储的最新特征来计算当前试验的即时输入特征值m[IN]，如下所述。在每一次试验开始时，输入处理器24接收一个输入测定矢量j[IN]及一个对应的似然性矢量p。似然性矢量元素将输入测定矢量元素标识为非丢失或丢失的。

然后输入处理器24(a)将输入矢量j[IN]转换成一些输入特征并将这些转换后的输入特征与最新特征存储器25中的其它转换的特征组合以生成合成的输入特征矢量m[IN]；以及(b)将似然性(plausibility)矢量p转换成对应的生存性矢量υ。类似于似然性矢量，生存性矢量元素将输入特征矢量元素标识为非丢失的或丢失的。每一次试验结束时，输出处理器26接收一个输出特征矢量m[OUT]。输出处理器26将输出特征矢量m[OUT]转换成对应的输出测定矢量j[OUT]。

换能器输入处理器24所接收的输入测定矢量j[IN]中包含来自DAD15(图1中所示)的输入测定矢量的值。由DAD15从外部或管理器22从内部提供的似然性指示一个测定似然性值是否为0(丢失)、1(非丢失)或某一中间值(如下面讨论的丢失与非丢失量子值的组合)。如果如对应的p的元素为0确定的j[IN]的一个元素是丢失的，则根据j[IN]的非丢失元素与/或前面的学习信息估算j[OUT]的对应元素。估算进程利用换能器输入处理器24内部的测定值到特征的转换，后面跟着核心内部的丢失的特征值的估算，后面跟着换能器输出处理器26内部的估算特征到估算的测定值的转换。

并发操作之前，换能器输入处理器24根据管理器22确定的函数计算特征值及生存性值。m[IN]中各特征元素为j[IN]中的测定元素的函数，而υ的各生存性元素则为p中的似然性元素的对应函数。例如，m[IN]中的第一特征函数可以是和m[IN](1)＝j[IN](1)+j[IN](2)，而m[IN]中的第二特征函数可以是积m[IN](2)＝j[IN](1)j[IN](3)。各特征生存性值则为作为特征函数中的自变量的测定值的似然性值中的积。例如，如果上述三个测定值函数的似然性值为p(1)＝1.0，p(2)＝0.5及p(3)＝0.0，则上述两个特征生存性值将是υ(1)＝1.0×.5＝0.5及υ(2)＝0.5×.0＝0.0。

特征生存性元素是作为对应的测定值似然性元素之积计算的。每一个CIP系统输入测定值是作为来自其中某些值可能丢失的一个大集合中的非丢失的量子测定值的平均值对待的。各输入测定的对应似然性值又进一步作为该大集合中未丢失的分量量子的比例对待。从概率理论，如果相加或相乘合成特征函数是由若干个这种测定值构成的且如果丢失量子的分布在测定值之间是独立的，则所有的量子测定都非丢失的合成中的项的期望比例为部分测定似然性值之积。由于CIP系统内的特征生存性值具有这种期望的比例解释。特征生存性值是作为部分测定似然性值之积计算的。

已经由换能器输入处理器24将输入测定值j[IN]与似然性值p转换成输入特征矢量m[IN]与生存性值υ之后，核心21便开始下一个试验内部操作。对核心21的输入包括m[IN]内的合成特征值、υ内的对应生存性值及一个输入学习权重1。核心21包括：特征1的处理器31₁至特征F的处理器31F；核心控制模块32；及用总线45至45F连接到处理器31至31_F上的联合访问存储器(JAM)23。核心21的输出包括m[OUT]中的估算特征值、通过连接41₁至40_F及41_JAM送至管理器的特征函数监视统计、及通过连接40₁至40_F送至管理器的特征值监视统计。为了减少处理器31₁至31_F的成本与尺寸，核心处理器31₁至31_F最好采用实现基本算术功能的算术逻辑单元(ALU)。正如熟悉本技术的人员所知的，可以用诸如Mentor图形公司的产品Mentor Graplics^R等可购得的芯片设计软件包来设计这种基本处理器。

核心处理器31₁至31_F的操作为：根据m[IN]的非丢失元素与/或前面学习的核心21参数估算丢失的特征值；更新位于各处理器及联合访问存储器23中的学习的参数；及生成供管理器22使用的监视统计。如下面更详细地说明的，核心处理31₁至31_F利用两步处理器间通信将相关的值从各处理器传送给每一个其它处理器。核心处理器操作还计算核心距离ALU34中的距离测定值d。距离ALU34与各核心处理器之问的通信通过连接35₁至35_F产生。

和输入似然性值与生存性值一样，核心输入学习权重1为作为量子/概率测定值的一个非负的数。CIP系统将各次试验的学习权重1作为量子计数之比对待，其分子为即时试验的量子测定矢量的数目，而其分母则为已在先前的学习中用过的所有最子测定的总和。从而，如果即时输入特征矢量m[IN]具有高学习权重1值，则该输入特征矢量将在学习参数更新上具有比具有较低的学习权重1值的输入特征矢量大的影响，因为该输入特征矢量m[IN]将包含得出的似然量子测定总和的较高比例。通常，学习权重1是在各次试验中作为输入变量提供的，但学习权重也可选择性地由CIP系统管理器32生成，如下面讨论的。

核心估算，存储器更新与监视操作是基于作为非丢失的特征值的加法函数的预测丢失特征的统计回归构架的。在该回归构架内，从所有其它权重估算各丢失特征值的权重是众所周知的。用于估算的权重的公式化是样本协方差矩阵之逆的函数。在传统的回归方法中，首先根据训练样本计算F×F协方差矩阵，随后求协方差矩阵之逆，然后作为逆的函数计算回归权重。传统方法中包含存储及用包含到当前试验为止所接收的所有测定值的一个训练集合的运算。通常要为传统的系统存储所有先前的测定值，因为为了首先计算可以从中得出逆矩阵的当前协方差，需要所存先前的测定值。

与传统的统计运算不同，CIP核心21只根据：(a)υ之逆及到该试验为止所学习的其它参数；(b)进入的特征值m[IN]；及(c)输入学习权重1，来直接更新υ之逆。结果CIP运算能跟上快速到达的信息，无须存储与用训练数据集合运算或求协方差矩阵之逆。

更新υ的逆元素的进程是传统学习的CIP等同物。CIP的逐个试验的快速更新能力提供了对传统的从脱机训练数据学习的一种统计上可靠与快速的改进。结果，CIP系统10提供了先有技术上的提高。

继续参见图2，联合访问存储器23包含特征互连权重，可能的FX(F-1)/2对特征中各对一个。这些特征连接权重对应于υ的逆的下三角元素。υ的主对角线元素也在核心估算及特征函数监视中使用，并在并发学习中修正。υ逆的主对角线的单个元素位于它们的对应核心处理器中。

一旦核心21估算出m[OUT]中的特征值，核心便通过线33将估算的特征矢量m[OUT]发送回换能器输出处理器24，在那里将m[OUT]中的估算特征值转换成j[OUT]中的估算测定值供系统用换能器输出处理器26输出。在一些模型情况中，只需要简单的输出转换。例如，如果CIP系统特征交替地包含原始测定值与原始测定值的积函数，则输出处理器26通过从估算特征集合中排除估算测定值集合以外的一切，将估算的特征转换成估算测定值。在其它模型情况中，可利用更精巧的转换。例如，在换能器输入处理期间，一种CIP系统特征选择可将一组测定值转换成该组测定值的平均值，在这一情况中换能器输出处理器26将所有估算输出测定值设定为它们的公共估算平均值。

一旦作为输出生成了估算测定值j[OUT]，输出能以若干方式使用，包括：(a)诸如在仪器故障期间取代直接测定值；(b)诸如在计量经济预测操作中在出现测定值之前预测测定值；以及(c)预测永远不会出现的测定值，诸如在潜在故障产品分类操作中。

管理器22监视与控制CIP系统操作。管理器22的子系统包括：协调器38，它提供CIP系统一用户界面；执行程序39，它支配整个系统控制；学习权重控制器40，它替代从数据采集装置15(图1)外部供给的1值，提供1给核心21；以及特征函数控制器41，它建立与修改测定值特征函数结构。在CIP系统并发操作中，核心与换能器20模块是以并发模式活跃的。当系统在并发模式中操作时，核心21与换能器20按照执行程序48设定的系统控制参数，根据输入测定值、似然性值及学习权重连续地操作。这些参数中包括输入测定值说明、特征计算说明、模块间缓冲说明及输出测定值说明。在并发操作中，CIP系统生成估算特征值、特征值监视统计、更新的学习核心参数值及估算输出测定值。

CIP系统还可执行特征值监视操作，它们是由核心21、学习权重控制器40及协调器49执行的。在特征值监视操作期间，各核心处理器31₁至31_F通过连接线40₁至40F发送监视统计到管理器22。管理器22内的学习权重控制器40在各次试验中用偏移值监视统计来评估各特征相对于下述各项的出乎意料之外的范围：(a)从先前该特征的学习中计算出的平均值，及(b)如果丢失该特征时会估算出的该特征的值。从各核心处理器发送的特征值统计包括该处理器的特征的观察值、学习平均值、回归值及学习方差值。学习权重控制器40利用特征值监视统计来计算并发特征偏移测定值。然后将这些偏移测定值从学习权重控制器40送至协调器38以生成监视图形，然后通过系统总线19将它们送至监视器14。

除了同时指定特征估算、特征值监视及学习参数更新操作之外，CIP管理器22有时指定特征函数估算与赋值，而CIP管理器22交替地控制学习权重赋值。管理器22内的特征函数控制器41通过同时经由并行端口41_JAM访问联合访问存储器23中的互连权重，及经由连接41₁至41_F访问处理器1至F的其它权重，执行特征函数估算与赋值。特征函数控制器41首先检验互连权重来识别冗余或不必要的特征，即并不对学习与估算提供有用信息的特征。然后特征函数控制器41通过控制线43命令换能器输入处理器24合并冗余特征，去掉不必要的特征或相应地增加新特征。

与CIP估算及学习参数更新操作一样，CIP特征函数监视与控制操作是基于统计回归构架的。例如，所有用于识别冗余或不必要特征的必要部分相关系数与多重相关系数能从位于联合访问存储器23中υ逆的元素中计算出，并且可用与核心21的结构十分相似的结构来执行这种求精操作。虽然求精操作不如并发的核心21的操作执行得快，但利用下述并行求精处理器，求精操作能执行得几乎一样快并且与正在进行的核心21的操作协调一致。

用于学习权重解释的概率/量子基础能计算出生成下述各项的学习权重细目：(a)相等影响学习，通过它各输入特征矢量将在参数学习上具有相同的总体影响；(b)保守学习，通过它较远的输入特征矢量在参数学习上比较远的输入特征矢量有较高的总体影响；以及(c)自由学习，通过它较近的输入特征矢量具有较低的总体影响。当以基本方式用学习权重控制器40向CIP系统提供学习权重时，将系统编程为只提供相等影响的学习权重。在另一方式中，学习权重控制器40可利用CIP系统监视统计来识别估算精度中的异常趋势。如果估算精度急剧下降，学习权重控制器40便改变学习权重计算细目来生成更自由的学习，这是根据假定估算精度降低是由要求给于前面学习的参数较少影响的一组新的环境导致的。如果特征值监视表明反常的测定现象，学习权重也可修改似然性矢量p的元素。传统顺序计算机系统概述

参见图3，其中示出了展示在带有一个中央处理单元的传统计算机上的CIP系统10实施例的方框图。顺序CIP系统11的传统顺序计算机实施例12a的基本部件包括：换能器输入24a进程；核心进程21a；换能器输出进程26a；协调器49a；执行程序39a；学习权重控制器40a；及特征函数控制器41a。顺序CIP系统11的各部件执行与并行CIP系统10相同的基本功能。然而在传统的计算机系统中，只利用一个中央处理器。从而，在只利用一个处理器供核心31a操作时，处理输入数据的时间比在并行CIP计算系统12中占用更高的时间来实现。

正如在并行系统实施例中，顺序系统接收输入矢量j[IN]与似然性值p。如在并行系统中，也将输入矢量j[IN]转换成输入特征值m[IN]。如上所述将似然性值p转换成生存性值υ。核心进程31a从系统接收特征输入值m[IN]、生存性值及学习权重1。核心21a根据存储在执行程序39a分配的传统存储器301中的连接权重生成输出特征矢量m[OUT]。将输出特征矢量m[OUT]传送给输出换能器26a供转换成供外部使用的输出测定值j[OUT]，如上面结合CIP系统10所讨论的。

执行程序框39a表示顺序计算机主功能而其它的框表示CIP子例程。核心子例程实施例的存储器301具有熟悉本技术者所知的传统数据阵列形式，并且所有共亨的存储器是由主执行程序功能分配与维护的。执行程序39a首先调用协调器39a子例程初始化CIP系统，后者又获取用户通过键盘18供给的系统说明，诸如测定矢量j[IN]的长度及特征函数的数目等。然后执行程序39a相应地分配学习参数存储器及其它存储器。

在每一即时试验中，执行程序39a调用换能器输入处理器24a子例程，后面跟随核心21a子例程，后面又跟随调用换能器输出26a子例程。如果已将执行程序39a初始设定为这样做，执行程序39a也可在每一试验开始时调用学习权重控制器40a子例程以接收输入学习权重1，并且执行程序可在每一试验结束时向协调器38a提供特征监视统计供用图形显示在监视器17上。如在并行实施例中，顺序实施例的每一试验包括读取输入测定矢量j[IN]与似然性矢量p，随着写入估算的测定矢量j[OUT]。然而在传统计算中，输入输出操作利用输入文件15与输出文件17。输入文件是读自从DAD15接收输入值的存储介质的数据文件。能够以用户选择的任何方式在CIP系统外部利用输出文件。

除了即时操作，顺序实施例可利用偶而的求精操作，如上面结合并行系统所讨化的。在顺序版本中，执行程序38a偶而中断即时操作，如用户在初始化中所指定的。在每一这种中断期间，执行程序39a将调用特征函数控制器41a，后者将接收连接权重矩阵作为其输入之一。然后特征函数控制器41a利用连接权重矩阵识别冗余与不必要的特征，此后它相应地返回新特征说明给执行程序38a。然后在后面的未来即时操作中执行程序38a将新说明传送给换能器输入子例程24a及换能器输出子例程26a。更详细的操作与实现CIP估算的实例

下面的实例展示某些CIP操作。参见图4，其中示出了可能表示三个有区别的CIP输入测定矢量的三个二进制象素阵列。各阵列具有标记为x(1，1)至x(3，3)的9个测定变量。黑色正方形可用输入二进制值1表示，而白色正方形可用二进制输入值0表示。从而这三个阵列可表示为具有值(1，0，0，0，1，0，0，0，1)、(0，0，1，1，1，0，0，0，0，)及(1，0，1，0，1，0，0，0，0)的CIP二进制测定矢量j[B]。

如上所述，CIP系统利用p中的各似然性值来建立其j[N]中的对应测定值的丢失或非丢失角色。从而，如果对应于图4测定的全部9个j[N]值都为1，则全部9个j[IN]值都用于学习。然而，如果两个p元素为0，表示两个对应的j[IN]值是丢失的，则这两个对应的j[OUT]值将从具有对应的p值1的其余7个j[IN]值中估算。

继续参见图4，假定101号试验上p＝(1，1，0，1，1，1，1，1，0)且j[IN]＝(1，0？，0，1，0，0，0，？)，其中两个“？”符号表示未知值。在这一实例中，只有左上方与中间两个象素是黑的，右上与右下象素是丢失的并且其余5个象素是白的。从而将用j[OUT]中的7个非丢失值来更新学习：结果输出将是j[OUT]＝(1，0，j[IN](3)，0，1，0，0，0，j[OUT](9))；以及根据前面学习的参数值用回归分析从7个其它已知值中估算j[OUT](3)及j[OUT](9)。因此，取决于前面学习的参数值，输出模式将是70a或70c之一。

如果已将CIP系统建立为用于相等影响学习操作，将估算出在前面的试验号1至100中可能的70a与70c模式之间最多出现的模式。例如，假定在前面的试验1至100中p的全部9个值每一次试验都是1，而对于40、19与41次这种试验j[IN]值分别对应于形式70a、70b与70c。在这一实例中，在试验101中未知的右上与右下象素将分别估算为白与黑，以保持与70c一致，因为已教给CIP系统期望70c稍为比唯一其它可能性70a更经常。换能器输入操作

输入测定值可称为算术的、二进制的与绝对的。诸如高度、温度及日时间等算术测定值具有能通过加、减、乘与除等算术运算有次序的方式使用的赋值。当测定只有两种可能状态时，该测定可称为二进制的并且通常用1或0之一的值表示。具有两种可能状态以上的非算术测定可称作绝对的。从而CIP测定矢量j可归类为算术的、二进制的与绝对的子矢量(j[A]，j[B]，j[C])，其中各子矢量可以是任何长度的。

取决于如何指定选择项，CIP系统或者(a)在换能器输入处理器24中将算术与二进制测定值转换成特征值，或者(b)直接将算术或二进制测定值发送给CIP核心而不变换测定值。反之，CIP系统将绝对的测定值转换成等价的二进制特征值。为了表示绝对变量中的所有可能性，CIP系统将具有C个可能值的各绝对测定值j[C]转换成具有C-1个元素的一个二进制特征矢量m[C]，它也具有C个可能值。例如，如果一个绝对变量具有可能值1、2、3与4，得出的绝对特征矢量具有对应值(1，0，0)、(0，1，0)、(0，0，1)及(0，0，0)。

输入处理器24将绝对测定值转换成二进制特征之后，换能器中只包含原来输入形式的算术测定值、原来输入形式的二进制测定值或等价于绝对测定值的二进制的特征。所有这些都能作为算术特征对待并直接送至核心，或者可以有选择地用输入处理器24将它们转换成其它算术特征。这些任选特征包含，但不限于：上升到幂的算术测定值；算术测定值、二进制测定值或算术与二进制测定值中的二次与高次叉积；这种特征的平均值；主分量特征；正交多项式特征；及由任何这些特征与已从最近的测定中计算出的RFM25中其它这些特征组合而成的合成物。

最近的特征可用来监视与估算(或预测)作为存储在最近特征存储器25中的前面观察的特征值的函数的即时特征值。例如，假定监视来自化学过程中的测定值中的异常值来识别可从指示系统故障的测定值突变。CIP系统通过建立CIP一次差分特征来识别突变，各差分特征为即时试验与已经存储在最近特征存储器25中紧接在前面的试验的相同测定之间的差。通过建立一次差分特征，CIP系统能快速学习这些特征的平均值与方差，这又使CIP系统能识别作为突变指示的一次差分特征的异常值。作为最近特征存储器的用途的第二实例，能利用连续过程的即时值的预测在实际观察到即时值之前预测期望的即时值。CIP系统可利用最近特征存储器25来建立作为即时测定值的各即时特征以及最近的5个测定值。然后CIP系统可利用前6个观察值为学习如何在试验6中从最近5个中估算第6个值；然后CIP系统在试验7开始时从第二个值到第六个值估算第七个值，即使第七个值丢失也一样；然后在接收到非丢失的第七个值之后在试验7结束时可以更新其学习的参数；然后CIP系统可在试验8开始时尚无第八个值时从第三个值到第七个值估算第八个值；以及依此类推。似然性与生存性细节

除了如上面结合图4讨化的用二进制似然性值运算以外；能将CIP系统实现为用介于0与1之间的似然性与生存性值运算。0与1之间的值能自然地出现在某些设定中，诸如CIP系统外部的预处理运算中。例如假定根据图4的数据提供给CIP系统的不是9个测定值而只有对应于阵列行1至3的平均值的3个测定值。在这一实施例中，CIP系统将进行操作以：(a)如果其所有3个分量象素都是非丢失的便为平均值设定似然性值为1，(b)如果所有3个象素都丢失便设定似然性值为0；以及(c)如果3个中丢失1个或2个便设定似然性为某一中间值。如果丢失一个值，适当的输入测定值为非丢失的象素值的平均值，而适当的似然性值为可能的象素值的总数中非丢失的象素值的比例。

如果CIP系统用户愿意进行测定可靠性的主观标定而不是客观地计算似然性值，设定中也可采用0与1之间的似然性值。CIP系统将0与1之间的似然性值作为相对于该测定的前面的值以及其它测定的即时值的测定学习的权重对待。下面讨论基于似然性的加权方法的进程与公式。核心学习操作

如上所述，为了使CIP系统根据一组测定值提供有用的数据，CIP系统识别相关参数及实现一个精确的进程来学习多个输入测定值之间的关系。CIP核心在每一次试验中通过更新学习的参数估算进行学习，其中包括：特征平均值矢量μ、连接权重矩阵ω、方差估算值矢量υ[D] (前面描述的方差协方差矩阵υ的对角线元素)及学习历史参数矢量λ。下面讨论学习参数的更新公式，但首先对讨论某些参数的简化版本以展示其基本性质。

如果所有先前的与即时的生存性值都是1，平均值更新公式采用下述简化形式；

μ[OUT]＝(lm[IN]+μ[IN]))/(1+l).

(1)项μ[OUT]表示到及包括当前测定值在内的全体先前的测定值的平均值。

按照上面的学习权重讨论，对于较高的1值比较低的1值，式(1)更多地向m[IN]值改变μ值。然而，最好修正式(1)，因为式(1)不能为不同的μ[IN]的元素精确地反映不同的似然性历史。反之，将式(1)修正成按照在特征元素级上跟踪前面的学习历史的学习历史参数λ的元素，来组合μ[IN]与m[IN]的。

式(1)能在CIP系统的量子概念构架内加以调整与推导，如下；假定学习权重1为m[IN]的即时量子计数对与μ[IN]关联的即时量子计数q[PRIOR]之比，CIP系统正是这样做的；进一步假定μ[IN]为q[IN]先前量子计数的平均值，而m[IN]为q[PRIOR]即时量子计数的平均值；代数学揭示式(1)将是根据全体q[IN]先前计数连同全体q[PRIOR]即时计数的总平均值。

式(1)只适用于所有生存性值都为1时。为了按照μ[OUT]元素的不同生存历史有差别地适当地加权单个元素，CIP系统最好采用比式(1)精确的函数。用于μ的任何元素μ(f)的平均值更新公式为：

μ[OUT](f)＝(l[C](f)m[IN](f)+μ[IN](f)/(1+l[C](f))

(2)(在本文件的其余部分中用f＝1，…，F这种“f”标记来表示阵列元素)。式(2)与式(1)相似，除外用各分量特征矢量元素的一个有区别的学习权重1[c](f)来取代一次试验中所有特征矢量元素公用的式(1)中的单一学习权重1。从而，各特征矢量元素可以单个地，而不是象在式(1)中那样各特征矢量元素具有相同的权重。从而，这些分量学习权重取决于下述形式的即时与先前的学习生存性值：

l[C](f)＝lν(f)λ(f).

(3)在用于更新特征平均值之后，也更新学习历史参数λ，以保持各特征的先前的学习的运行记录，如下：将λ[IN]初始设置为1：随后，

λ[OUT](f)＝λ[IN](f)(1+l)/(1+l[C](f)).

(4)

其余的学习参数υ[D]与ω分别为协方差矩阵υ与υ逆的元素。同样，υ取决于特征值从平均值的偏移而不是单独的通常称作误差的特征值。结果，可以作为具有下述形式的误差矢量的函数而不是作为单独的特征值的函数来更新υ[D]与ω，

e＝m[IN]-μ[OUT].

(5)更新υ的元素的适当公式可能是，

ν[OUT]＝(lm[IN]^Tm[IN]+ν[IN])/(1+l)

(6)(这里所有的式(6)中的T上标表示矢量转置)。式(6)在总的形式上与式(3)相似，因为式(3)是根据相同的CIP量子计数构架的，正如式(3)生成假定量子计数值的总平均μ[OUT]，式(6)从平均矢量μ[OUT]生成平方差与叉积值的总平均值υ[OUT]

根据式(6)更新ω的元素的适当公式为

ω[OUT]＝(1+l)(ω[IN]-l(eω[IN])^Teω[IN](1+d))，

(7)其中

d＝eω[IN]e^T

(8)式(7)是根据在(6)中的第二项之逆已知时更新具有形式(6)的矩阵之逆的标准公式的。式(7)也根据式(3)与(6)的相同量子计数原理。

式(5)至(8)只是较佳CIP误差矢量更新公式的近似形式。然而，由于下述四种原因而使用不同与较佳的替代公式：首先，误差矢量公式式(5)的CIP系统对等物是基于μ[IN]而不是μ[OUT]的，由于CIP核心能利用μ[IN]更快地更新学习的参数，从而进一步加速运算。第二，如果对应的即时生存性υ(f)小于1，则对式(5)的较佳CIP实施例公式将误差矢量e的各元素向零减少。如果m[IN]的e矢量的对应元素具有低生存性值，这一减少使e矢量的各元素在更新υ[D]与ω的元素中扮演适当地较小的角色。第三，CIP核心不需要υ的所有元素而是使用υ[D]的元素，其中[D]表示对角线元素。最后，只有在已用来估算前面的μ[OUT]与ω[OUT]的前面的μ值与当前试验的μ[OUT]相同时，式(6)与式(7)才是精确的。由于在式(7)中所有这些μ值都改变，在较佳CIP实施例中CIP系统采用对式(7)的适当修正。式(5)至式(8)的较佳替代式为e[IN](f)＝ν(f)(m[IN](f)-μ[IN[(f))/(1+l[C](f)).(9)ν[D，OUT](f)＝le[IN](f)²+ν[D，IN](f)/(1+l)(10)及ω[OUT]＝(1+l)(ω[IN]-cx^Tx)，(11)c＝l(1+l)/[1+l(1+l)d]，(12)x＝e[IN]

ω[IN](13)及d＝e[IN]ω[IN]e[IN]^T＝xe[IN]^T(14)ω[IN]、μ[IN]及υ[D，IN]值表示存储在学习参数存储器中的来自前面的试验的输出值。核心估算操作

CIP特征估算公式是基于符合CIP存储器、速度、输入输出适应性及并行实施例的线性回归理论与公式的。因为能够容易地从ω中可以获得的υ逆的元素估算出用于从所有其它特征估算任何特征的回归权重，所以能进行高效的核心操作。

CIP核心作为所有非丢失的m[IN]元素的函数估算各丢失的m[IN]元素；其中丢失与非丢失的m[IN]元素是分别用对应的生存性υ元素值0与1指示的。如果一个CIP应用利用F特征而一次试验的生存性矢量除了第一个元素为0值之外包含的都是1值，CIP核心只估算作为其它特征值的函数估算第一特征值。估算第一元素的回归公式为，

m[OUT](1)＝μ(1)-{[m[IN](2)-μ(2)]ω(2，1)+...+

[m[IN](F)-μ(F)]ω(F，1)]/ω(1，1).

(15)假定只有估算的m[IN]是丢失的，估算其它m[IN]元素的公式类似于式(15) 。

CIP核心采用对式(15)改进的替代公式，以便CIP系统能在丢失m[IN]元素的任何组合时操作。当丢失任何元素时，核心通过只使用非丢失的其它m[IN]元素来估算各丢失的m[IN]元素。每当m[IN]非丢失时，核心也用对应的m[IN]元素来替代各m[OUT]元素。CIP系统所用的回归公式也设计成最大限度地利用其它核心计算的并行及高效运算。例如，核心通过在估算中利用来自式(a)与式(14)的元素e[IN]与x而节省时间与存储器，因为e[IN]与x也用于学习。核心估算公式为，

m[OUT](f)

＝μ[IN](f)+e[IN](f)(2-ν(f))+x(f)(ν(f)-1)/ω(f，f).

(16)监视操作

核心为特征值监视与图形显示生成若干统计。其中包括学习特征平均矢量μ[OUT]、特征方差υ[D]及来自式(15)的d，它是称作Mahalanobis距离的著名统计监视测定值。核心还生成另一组回归特征值，它们是在特征丢失时各特征将具有的估算值，这些回归值具有形式，

\hat{m} (f) = μ [IN] (f) - x (f) / ω (f, f) + e [IN] (f) . - - - - - - (17)

给定上述来自核心的统计，CIP系统能以用户任选项指定的若干方式利用这些统计。一种用途是作为试验数的函数描出偏移测定值，其中包含Mahalanobis距离测定值d、从学习平均值的标准平方偏移值，

d[1](f)＝(m[IN]-μ[OUT](f))²/ν[D，OUT](f)

(18)及回归值之间的标准平方偏移值，

d [2] (f) = {(m [IN] - \hat{m} (f))}^{2} / ν [D, OUT] (f) . - - - - - - - (19)

Mohalonobis距离测定值d及式(17)、(18)与(19)的三个偏移测定值为异常输入状态的有用标志。Mahalanobis距离测定值d是整个特征矢量的有用全程测定值，因为d是各观察特征矢量与特征学习平均矢量之间的方差的递增函数。标准偏移测定值d[1](f)为全程测定值d的分量特征对等物，它们能协助精确定位异常特征值。标准剩余测定值d[z](f)指示输入特征如何从它们的回归值偏移，不仅根据它们前面的学习平均值还根据其它非丢失的即时特征值。

CIP系统还能结合它们的监视统计利用特殊特征来生成关于异常特征趋势的有用信息。例如，对于任何感兴趣的特征，能够估算作为即时特征值与来自紧接在前面的试验的特征值之间的差的新特征。从式(17)得出的偏移测定值提供异常特征值变化的有用测定。CIP系统也能利用基于二次差分而不是一次差分的类似方法来识别从平常特征变化的异常偏移。从而CIP系统能提供多种多样的图形偏移描绘供CIP系统外部的用户人工分析。

CIP系统也能内部使用偏移信息来控制学习权重及调度特征修正操作。例如，系统能为全程距离测定值d建立一个预选的截止值。然后系统能将超过预选的截止值的d值作为数据输入装置问题的根据对待，并且系统能相应地将未来的学习权重值设定为0直到修复了该问题为止。同样，在分量偏移测定值超过了预先规定的截止值之后，能利用分量偏移测定值d[1](f)及d[2](f)将测定似然性或特征生存性值设定为0。将学习权重设定为零防止输入问题不利地影响未来CIP操作的精确性。CIP系统的牢固统计基础使CIP系统能对这些决策应用中有用，因为在各种测定设置中距离测定值按照x²分布。结束，距离截止值能从已知的x²累积概率值中推导出。学习权重控制操作

CIP系统利用学习权重1作为系统学习的一部分。学习权重1为与即时特征矢量相关的量子计数对与先前的参数学习相关的量子计数之比。从这一基础，CIP系统生成等影响学习权重序列，即基于各次试验的相等数目的量子计数的序列。如果用1(1)、1(2)等等标记学习权重序列，则等影响细目具有形式，l(1)＝1/R，(20)l(2)＝1/(R+1)，(21)l(3)＝1/(R+2)(22)及依此类推。常数R为所有这些试验的公共量子计数对初始量子计数之比。这一比值与初始量子计数的作用在下面讨论。

除了提供等影响学习权重序列，CIP用户或CIP系统还能生成自由的或保守的序列。自由序列给予较近的试验特征值较大的影响，而保守的序列则给予较前面的试验特征值较大的影响。例如，带有所有学习权重设定为1的学习序列是自由的，而除了第一学习权重以外的所有权重都设定为0的学习序列则是保守的。当输入CIP数据是根据连续的变化的参数值生成时，自由序列是适当的，而当后面的信息不如前面的信息可靠时，保守序列是适当的。学习参数初始化

CIP系统这样对待学习回归参数μ、υ[D]及ω的初始值，好象它们是由观察的特征值生成的。在第一次试验中CIP核心将初始值与来自第一特征矢量的信息组合来按照式(2)、(10)与(11)生成更新的参数值；而在第二试验中CIP核心将初始值及第一次试验值与来自第二矢量的信息组合来生成新的更新的参数值。以后的试验中重复这一进程。在具有正的学习权重1的任何试验之后，初始参数值在整个学习上的影响将小于在该试验之前的初始参数影响。结果，在少量学习试验之后由特定初始回归参数值引起的效果将变小，除非向核心提供了非常保守的学习权重序列。

在CIP系统的精确估算需要从第一次试验开始的某些应用中，学习回归参数的初始值是重要的。为了在这些应用中精确的早期估算，CIP系统可接受用户从图1中所示的键盘17提供的初始回归参数值。

CIP系统提供学习回归参数的省缺初始值如下：平均矢量μ的各元素的省缺值为0；连接权重矩阵ω的省缺值为单位矩阵；及方差矢量υ[D]的各元素的省缺值为1。利用单位矩阵作为ω的初始省缺值生成不初始依赖于其它特征值的初始估算特征值。初始单位矩阵还使CIP系统能从第一次试验起估算特征值。反之，传统统计方法在能进行任何估算之前要求至少F次学习试验(其中F为特征数)。

除了初始化学习回归参数，CIP系统还初始化学习历史参数矢量λ的元素。学习历史参数矢量确定一个输入特征矢量元素相对于前面的学习对学习有多大影响。学习历史矢量λ的各元素的省缺初始值为1，它在第一次学习试验中给予各输入特征矢量元素在学习相同的影响。特征函数监视操作

另一方面CIP系统可实现供图形显示的三种特征函数监视统计：平方特征多重相关x[M]的矢量，容许带比值r的矢量及部分相关x[P]的阵列。x[M]的各元素x[M](f)为用于从m中其它元素估算对应的特征矢量元素m(f)的平方多重相关。当在CIP系统中有选择地实现时，能够根据众所周知的统计性质解释平方多重相关。这些统计性质蕴含如果特征的平方相关接近最大可能值1而不是最小可能值0，则能用其它特征预测各特征。

各平方多重相关x[M](f)了可有选择地用于估算与提供对应的容许带比率元素r(f)。r的各元素可表示为两个标准偏移之比。分子标准偏移为υ[D](f)的平方根，而分母标准偏移为m(f)的标准偏移。由于常规地使误差容许带宽与标准偏移成比例，如果所有其它m[IN]元素都未丢失则各r(f)值为估算m(f)的容许带宽，而如果所有其它m[IN]值都丢失则各r(f)值与估算m(f)的容许带宽成比例。

部分相关阵列x[P]包含特征f与g(f＝1，…，F-1；g＝1，…，F)的各可能的对的部分相关x[P](f，g)。一旦调整了它们与所有其它特征的相关性之后，各部分相关便是两个特征的相关程度的指标。结果，用户能检验部分相关性来确定在估算任何其它给定的特征时任何给定的特征是否必要。用户也能检验部分相关矩阵的行来识别是否能组合一对特征来生成一个平均值，而不是分开使用它们。例如，假定需要两个特征来估算第三特征，而第一特征的各部分相关性与第二特征的对应部分相关性相同。则可用它们的平均值来取代这两个特征值来估算第三特征值，而不是损失估算精度。

CIP系统所提供的优点是与管理器22的不经常特征函数估计相结合的即时运算能力，提供了非常快地执行发即时运算及迅速地执行特征函数估计运算。CIP系统可使用下述公式来得出平方多重相关值，

x[M](f)＝1-ν[D][D](f)/ω(f，f)； (23)系统可使用下述公式来得出容许带值，

r(f)＝(1-x[M](f))^1/2；

(24)系统可使用下述公式来得出部分相关值，

x[P](f，g)＝-ω(f，g)/(ω(f，f)ω(g，g))^1/2.

(25)除了供给用户上述特征函数估计统计，CIP系统还能供给用户连接权重矩阵ω供用户修正与解释。例如，用户能从ω估算与估计主分量系数、正交多项式系数等来识别主要特征以符合用户的要求。一旦用户识别了主要特征，用户便能相应地重新制定输入换能器函数或从CIP系统外部提供特征。特征函数控制操作

除了提供特征估计统计与ω元素供外部人工使用，CIP系统还能通过其特征函数控制器(图2与3)内部地与自动地使用统计。例如，特征函数控制器能通过用预定的截止值来检验部分相关与平方多重相关值来识别不必要的特征供消除。类似地，特征函数控制器能通过用预定的截止值检验它们的部分相关值中的平方差来识别冗余特征时。一旦识别出这种不必要或冗余的特征，特征函数控制器便能相应地发送特征函数修正命令给换能器输入处理器与换能器输出处理器。

除了在特征函数说明中的改变中修正换能器操作，CIP系统还能修正连接权重矩阵ω的元素。能为去掉不必要的特征(例如特征f)调整ω的元素，以生成一个新的经过调整的带有少一行与少一列的连接权重矩阵，比如ω{f，f}，如下。如果用ω<f，f>标记排除了行f与列f的ω的子矩阵，并用ω<f>标记删除的行f，则根据标准矩阵代数函数的适当调整公式为，

ω{f，f}＝ω<f，f>-ω<f>^Tω<f>/ω(f.f).

(26)并行核心操作

如上面结合图2讨论的关于CIP系统所述，并行CIP核心21在即时估算、监视及学习参数存储器更新操作中利用特征处理器之间的连接权重。也如上所述，并行CIP核心21每一试验处理F个特征，及使用F个并行特征处理器31，至31F及一个Mahalanobis距离处理器34。

因为处理器具有有限数目的可驱动的输出且利用一个处理器来处理特征值，实现大量的特征很可能超过一个处理器能驱动的输出数目。并行CIP系统通过提供具有连接特征处理器对的开关接点的一个联合访问存储器来解决输出问题，这些特征处理器对是按照协调定时方式存取的。开关接点的作用为使各处理器能交换相关信息以便大量处理器可并行操作。在CIP并行核心21系统中，一个处理器输出在任何给定的协调时间间隔中只驱动一个输入，如下面说明的。

参见图5，其中示出了对于F＝16的并行核心处理器之间的导线与至连的电路布置图。示出的电路使各特征处理器能连接到用园圈标识并标记为M的联合访问存储器23的单元上，并且该电路使每一处理器能通过下述组成方案与每一个其它处理器配对，各处理器31₁至31₁₆还连接在距离处理器34中的寄存器D₁至D₁₆上。

除了16个特征处理器31₁至31₁₆及一个距离处理器34以外，图5还示出处理器31₁至31₁₆及距离处理器34之间的导线总线的布置。图5还示出处理器31₁至31₁₆与联合访问存储器23及核心控制单元32的互连。图5中所示的电路可在包含一个下方总线层、一个上方总线层、下方与上方总线层之间并连接它们的一组半导体层及在所有其它层上面的一个控制总线层的硅芯片布置中实现。图5中的线45L₁至45L₁₆表示下方总线层中的总线；线45U₂至45U₁₅表示上方总线层中的总线；线E₁至E₁₆表示下方层总线与上方层总线之间沿由联合访问存储器单元构成的对角边的连接延伸部分；以及横向线32₁至32₂₉表示由核心控制单元32操作以控制联合访问存储器23开关联合访问存储器23控制总线。

继续参见图5，各圆圈M(2，1)、M(3，1)及M(3，2)至M(16，15)表示JAM存储器与包含开关接点、开关逻辑与存储器寄存器的开关节点，所有这些可在下方总线层与上方总线层之间的半导体层内。特征处理器31₁至31₁₆内的圆圈M(16，1)至M(16，15)表示包含连接权重矩阵的主对角线的处理器内的连接权重寄存器；及距离处理器34内的圆圈D₁至D₁₆表示用于在距离处理器34与对应的特征处理器31₁至31₁₆之间通信的寄存器。

16条下方总线45L₁至45L₁₆的各条将对应的特征处理器31₁至31₁₆连接到距离处理器34内的对应寄存器D₁至D₁₆上。连接延伸部分E₁至E₁₆将各下方总线45L₁至45L₁₆连接到其对应的上方总线45U₁至45U₁₆上。

各下方总线45L₁至45L₁₆还将对应的特征处理器31₁至31₁₆连接到专用的联合访问存储器节点M(2，1)、M(3，1)及M(3，2)至M(16，16)上，如下：下方总线45L₁通过M(16，1)的底部连接在JAM节点M(2，1)与M(3，1)的底部；下方总线45L₂连接在节点M(3，2)至M(16，2)的底部并通过到上方总线45U的连接延伸部分E₂连接在节点M(2，1)的上方。类似地，下方总线45L₃至45L₁₅连接到沿各自的下方总线的对应联合访问存储器23节点的底部，以及经由它们对应的连接延伸部分E₃至E₁₅连接在对应的上方总线45U₃至45U₁₅上，如结合下方总线45L₁与45L₂及上方总线45U₂与E₂所讨论的。上方总线45U₃连接在节点M(3，2)与M(3，1)上方。

各上方总线45U₂至45U₁₆以上方总线45U₃相同的方式连接在沿各自的上方总线的各节点的上方。(因为示出了许多连接延伸部分与节点，为了提供更可读的图对所有延伸部分E₃至E₁₅的参照标记未包含在图中。熟悉本技术的人员应能理解可用上面采用的约定来标识连接延伸部分与节点)。下方总线45L₁₆连接在所有对应节点M(16，1)至M(16，15)的上方，并经由其对应的连接延伸部分E₁₆连接在对应的上方总线45U₁₆上。

下方与上方总线及互连包含CIP核心21实现的每一存储位的一条导线。例如，如果核心采用32位精度来存储x、ω与其它变量的元素，则各总线表示32条导线，每一位精度一条。从而，并行核心21能并行与快速地在特征处理器与访问JAM元素之间通信。反之，图7中各控制总线32₁至32₃₀表示三条导线，下面描述其用途。

附加参见图6a与6b，其中示出了开关接点细节以进一步描述核心21内的总线与联合访问存储器节点、联合访问存储器节点M(16，15)的部件及M(16，15)总线连接。这里讨论的部件与连接以对应的方式适用于系统的其它节点与总线的连接。图6a为节点M(16，15)连同节点的相关开关与总线的详细俯视图，而图6b则为M(16，15)连同节点的相关开关与总线的侧视图。为了表示得清楚，图6a示出的下方总线45L₁₅与处理器15稍为向右偏移了一点，如用虚偏移线805所示。图5中未示出这种偏移，其中示出的下方总线45L₁₅直接通过节点M(16，15)中心的下方。如结合图5讨论的，上方与下方总线45U₁₆与45L₁₅每一位存储精度包含一条导线。类似地，下面描述的互连与开关分别包含相同数目的导线与开关触点。

图6a示出的联合访问存储器节点M(16，15)细节包括：包含ω(16，15)的一个存储器单元；用于更新的ω(16，15)的一个存储器输入开关S1；用于存取ω(16，15)的一个存储器输出开关S2；以及用于在S2的输出上联合处理器31₁₆上方总线45U₁₆与处理器31₁₅下方总线45L₁₅的双开关S3。图8b示出图8a中所示的存储器单元与相同的三个开关的侧视图。

图6a示出处理器31₁₆上方总线45U₁₆通过S2连接在包含ω(16，15)的存储器单元的输入上。从而，当S2闭合时，便将包含ω(16，15)的存储器单元更新为包含处理器31₁₆上方总线45U₁₆的内容。当S3闭合而S2断开时，处理器31₁₆上方总线45U₁₆与处理器31₁₅下方总线45L₁₅是互连的。此外，当S2与S3都闭合时，处理器31₁₆上方总线45U₁₆与处理器31₁₅下方总线45L₁₅都连接在包含ω(16，15)的存储器单元的输出上。当S2与S3都闭合时，包含ω(16，15)的存储器单元的内容位于两条总线上。

图8a中的开关S1、S2与S3分别由控制线C1、C2与C3上的信号控制。这三条控制线包括图5中的控制总线32₂₉。当任何一条这些控制线上的信号为正时，对应的开关将闭合。图6a中的开关S4至S7类似地由对应控制线C4至C7上的信号控制。开关S4与S5分别连接在处理器31₁₅的输入总线801与输出总线802上，而开关S6与S7分别连接在处理器16的输入总线803与输出总线804上。

执行实现联合访问存储器23中所示的电路的五种基本开关操作((a)-(e))如下：(a)处理器31₁₅与处理器31₁₆联合访问ω(16，15)，这一情况中S1至S7分别是断开、闭合、闭合、闭合、断开、闭合与断开的；(b)从处理器16发送变量值到处理器15，这一情况中S1至S7分别是断开、断开、闭合、闭合、断开、断开与闭合的；从处理器31₁₅发送变量值到处理器31₁₆，这一情况中S1至S7分别是断开、断开、闭合、断开、闭合、闭合与断开的；(d)发送ω(16，15)值到处理器31₁₆，这一情况中S1至S7分别是断开、闭合、闭合、断开、断开、闭合与断开的；以及(e)更新包含ω(16，15)值的存储器单元，这一情况中S1至S7分别是闭合、断开、断开、断开、断开、断开与闭合的。下面讨论联合访问存储器开关的定时。

控制单元32协调并行核心21操作，使得(a)在一次试验中各特征处理器31₁至31₁₆连续地忙碌；(b)在任何给定的时刻总线包含不多于一个变量值；(c)在任何给定时刻上各存储器单向向不多于两条总线发送输出值；(d)在任何给定时刻上各特征处理器发送该处理器的输出值到不多于一个输入。控制总线32₁至32₂₉控制这些协调步骤连同发送给单个特征处理器的其它控制信号。

继续参见图5，在F＝16时的估算x中，特征处理器31₁，至31₁₆分别估算x(1)至x(16)。在估算各x(1)至x(16)时，遵照式(13)计算沿一行ω的元素乘以e[IN]的一个对应元素的积项之和。在计算出x时，已经计算出e[IN]的元素(如下面将描述的)，并且e[IN]的元素将分别位于特征处理器1至16中。

各特征处理器F通过首先初始化x值为0，然后每次一个地访问沿该特征处理器的下方与上方总线的联合访问存储器节点，来计算其特征处理器x(F)值。在每一次访问中，各特征处理器F执行下述操作序列：第一，取出沿该节点存储的ω元素；第二，取出在该节点上可获得的e[IN]元素；第三，将这两个元素相乘得出一个叉积；及第四，将该处理器的叉积加在实现在该处理器中的x[F]的运行和上。例如，焦点特征处理器可以是处理器31₁₆，处理器31₁₆可访问M(16，15)，如参照图5讨论的。此时，处理器31₁₆将这样更新处理器31₁₆正在计算的x(16)值，将ω(16，15)乘以e[IN](15)并将积加在运行中的x(16)值上。此时，处理器31₁₅正在通过访问ω(16，15)，访问e[IN](16)，将两个值相乘及将积加到处理器31₁₆运行中的x(15)值上，以更新处理器31₁₅中的x(15)值的计算。

图6示出上述x更新步骤的控制单元定时。顶部信号示出作为时间的函数的CIP系统时钟脉冲，而图下方的7条线表示作为时间的函数的沿线C1至C7的开关控制值。在第一脉冲与第二脉冲之间的时间t上，开关是按照上述开关操作(a)设置的，发送ω(16，15)到特征处理器31₁₅与31₁₆。在第二脉冲与第三脉冲之间的时间t+1上，开关是按照上述开关操作(b)设置的，发送e[IN](15)到处理器31₁₆，此后处理器31₁₆将ω(16，15)与e[IN](15)的积加在x(16)的运行中的计算值上。在第三脉冲与第四脉冲之间的时间t+2上，开关是按照上述开关操作(c)设置的，发送e[IN](16)到处理器31₁₅，此后处理器31₁₅将ω(16，15)与e[IN](16)之积加在x(15)的运行中的计算值上。第四时钟脉冲之后，开关S2与S3将断开，如由它们的对应C2与C3控制值为低所指示的，从而允许出现其它更新操作而沿处理器31₁₅总线及处理器31₁₆总线没有影响。继续计算x使得各处理器在计算叉积并将叉积加在该处理器的运行中的x和上。同时各其它处理器正在计算另一个叉积并将积加在该处理器的x项上。

对于更新ω的元素，当按照式(11)更新ω(16，15)时，首先在一个单一处理器中能获得所有ω[IN](16，15)、x(15)与x(16)。然后该单一处理器按照式(11)计算ω[OUT](16，15)，此后该处理器将更新后的值发送到ω(16，15)的存储器单元。

参见图8，其中示出了更新操作序列的控制定时。作为时间的函数示出系统时钟脉冲，及时钟脉冲下面的四条线表示沿线C2、C3、C6与C7的作为时间的函数的控制值。在第一脉冲与第二脉冲之间的时间t上，开关是按照上面关于开关操作(d)讨论设置的，发送x(15)到特征处理器16。在第二脉冲与第三脉冲之间的时间t+1上，开关是按照上面关于开关操作(e)讨论设置的，发送ω(16，15)到特征处理器16，此后处理器31₁₆计算式(11)的第二项，因为处理器31₁₆已接收到x(15)与ω(16，15)的值，且处理器31₁₆已在前面计算出并内部存储了x(16)的值。(下面描述用于完成式11的其它处理器操作)。第三时钟脉冲之后，开关S2与S3断开，如它们的对应C2与C3控制值为低所指示的，从而允许出现其它更新操作，而沿处理器31₁₅总线及处理器31₁₆总线没有干扰。

参见图9，其中示出了x与ω更新处理器操作的协调方案。图9中的各项表示在整个x或ω更新过程中每一个时间间隔上一个处理器正在独自执行或与另一特征处理器一起执行的时间间隔。标记为911a的三角形表具有标记为U₁至U₁₆的行及标记为L₁至L₁₆的列，它们对应于图5联合访问存储器中所示的行与列。这些项表示下述控制定时。标记为911b的行表具有对应于图5特征处理器31₁至31₁₆的列。这些项表示下述控制定时。具有相同数字值的表项表示在用表项指示的时间间隔中唯一地配对的处理器组。项911a表示在x更新过程中的每一时间间隔中的哪些处理器是配对的。

任何时间间隔上配对的特征处理器是通过在图9中定位沿处理的总线或其处理器内部的时间间隔而确定的。例如，处理器31₁₆的总线对应于图9的端口911a中的底行。检验该行揭示在时间间隔1中，特征处理器16与特征处理器2正在利用ω(16，2)以及分别利用e[IN[(2)与e[IN](16)分别更新x(16)与x(2)。对这一操作的控制与上面参照图7描述的对处理器31₁₅与31₁₆的控制相同。类似地，在时间间隔2中特征处理器31₁₆与特征处理器31₃正在更新x(16)与x(3)，在时间间隔2中特征处理器15与特征处理器4正在更新x(15)与x(4)，等等。

图9中的项911b指出哪些处理器正在执行操作，但在该特定时间间隔中不与另一处理器配对。例如，在时间间隔1上，处理器1正在通过将e[IN](1)×ω[IN](1)加到处理器31₁的x(1)的运行中的和上来更新x(1)，而在同一时间间隔上，处理器9正在通过将e[IN](9)×ω[IN](9)加到处理器9的x(9)的运行中的和上来更新x(9)。通过以上述方式访问处理器及更新，并行CIP核心便能在整个x更新过程中保持所有的特征处理器忙碌。

图9中的数字构成一个能用来识别x计算中的处理器操作步骤的对称图形。下述公式识别在作为核心步骤2中计算矩阵-矢量积x的一部分的迭代i中由处理器f访问的处理器g(i，f，g＝1，…，F)：

g(i)＝[F-f+i]mod(F)+1.

(27)例如，如果F＝16，则在时间间隔2上(即i＝2)特征处理器31₁₅(f＝15)正在与处理器2(g(i)＝[16-15+2]mod(16)+1＝[1]mod(16)+1＝2)交互作用。

图9中的数字图形还指示能用来在x计算中实现处理器操作的控制线的对称图形。例如，当采用16个特征时，各给定的序列中的时间间隔数落在沿从图9中的911a值的左下边界到右上边界的一条线上。结果，沿该线的所有对应联合访问存储器节点有共用同一组3条控制线，因为这些控制线共用相同的定时。从而，图9中所示的协调时间间隔图形表示图5中所示的控制线的图形。

式(27)中公式化的用于计算x的相同协调被CIP系统用来更新ω的元素，但有一个例外。当x更新在各式(27)的时间间隔i上实现图7中所指示的计算操作时，ω更新则在各式(27)的时间间隔i上实现图8中所指示的计算操作。

计算出x之后，值x(1)至x(F)及e[IN](1)至e[IN]F将分别位于特征处理器1至F中。然后按照式(14)计算Mahalanobis距离d如下：第一，同时与并行地用处理器1至F计算积x(1)×e[IN](1)至x(1)×e[IN](F)；第二，同时与并行地将各个这种积送到距离处理器寄存器D₁至D_F，如图7中所示；第三，距离处理器按照式(14)求寄存器D₁至D_F的内容之和得出d；最后，距离处理器通过寄存器D₁至D_F将d返回给各特征处理器，供这些处理器在按照式(10)至式(12)计算更新的方差与更新的连接权重矩阵中使用。

联合访问存储器与连接的处理器的设计有利于以高密集成的电路构成实施例。紧致的实施例有利于在各次试验中优化速度。从而，最好用单一芯片上尽可能多的特征处理器与JAM单元实现核心21。否则，并行处理的速度优势有可能被芯片间的串行通信抵消掉。再者，部件间较短的距离得到部件之间更快的电信号传输。

CIP并行核心还满足其它设计考虑：(a)信号降低考虑(通常称作扇出)，减少JAM单元的一个单一特征处理器在任何给定时间提供的输入的最大数目；以及(b)空间利用考虑，减少在特征处理器与JAM单元之间通信所需的导线数目。CIP并行核心通过JAM总线与开关结构连同上述并行核心特征处理协调，满足这些各式各样的设计考虑。

熟悉本技术的人员应理解核心21能在模拟电路中实现。另一种模拟实施例的实现如下：(a)各模拟JAM总线为一条单一导线而不是一组数字位线；(b)各数字JAM开关只有一个触点而不是若干触点；各数字JAM存储器单元是一个小电阻电容网络而不是大得多的数字存储器单元；以及(d)利用简单的(非顺序的)模拟电路来执行算术运算。此外，某些上述JA模拟运算能与数字ALU运算结合以生成更紧凑与更快速及可接受的精确度的模拟数字混合物。顺序核心操作

顺序核心利用上面针对并行核心讨论的基本核心操作。从而，每当两种核心接收相同的输入时，顺序核心操作生成与并行核心操作相同的输出。然而顺序操作一般较慢，因为它们是只用一个处理器而不是用F个处理器得出的，为了效率，某些顺序核心操作以不同的方式而不是照搬并行核心操作来实现。为可选择的存储器与速度实现顺序核心操作的x计算步骤与ω[OUT]计算步骤。两种步骤都是基于作为包含ω(1，1)，随后ω(2，1，)随后ω(2，2)，随后ω(3，1)，随后ω(3，2)，随后ω(3，3)等等直到ω(F，F)的接连的串存储ω的元素的。x计算步骤与ω[OUT]计算步骤访问从第一元素到最后元素的接连存储的ω元素。总的效果是使这两个步骤远比它们在用嵌套循环的传统执行更快。下面分别结合图19与图20讨论计算x与ω更新步骤的操作序列。并行系统操作

参见图10，在系统级上，独立的子系统能同时执行：输入换能器操作504，核心计算505，学习权重控制器操作508，特征函数控制器操作511，换能器输出操作506及图形显示操作517。这些操作具有两种类型：即时操作与管理操作。即时处理操作示出在503、504、505、506与507上，而不经常的管理操作示出在502、508、511与517上。

参见图10与图2，在各试验中快速执行的即时操作包括换能器输入处理器24执行的换能器输入操作504，核心处理器24执行的核心操作505及换能器输出处理器26执行的换能器输出操作506。缓冲存储器能使各装置的输出值可以作为下一装置的输入值利用。使得两个装置能在同一时间为不同的试验同时在数据上操作。通过利用缓冲存储，核心操作505可为即时试验生成核心输出函数及学习参数更新函数，及同时换能器输入操作504正在为下一试验生成输入特征，及同时换能器输出操作506正在从前一试验生成估算测定值。

能在若干次试验的时段上偶而执行的管理器操作包括学习权重控制器40执行的学习权重控制操作508；特征函数控制器41执行的特征函数控制操作511；及图形显示操作517。缓冲存储使并行管理操作能够进行，并且缓冲存储使协调器38能执行并行的即时操作。在管理操作中，使来自核心21的输出信息能通过线40₁至40_F、40_d作为对学习权重控制器40的输入信息加以利用，并使来自核心21的输出信息能通过41₁至41_F被特征函数控制器所利用。使用了缓冲器，从而能在继续进行即时操作的同时，也能进行基于缓冲器中的前面试验统计的管理操作。

在学习权重控制器40内，为学习权重控制操作509传输在操作510中监视的特征值。在特征函数控制器41内，在特征函数操作513中处理核心的输出，并在操作512中传输给控制特征函数。

在缓冲器中接收到核心21的输出值之后，特征函数控制器41便能执行式(23)至式(25)的计算，而学习权重控制器41便能执行式(17)至式(19)的计算。在特征函数控制操作508及学习权重控制器操作511期间，核心21继续进行其即时操作。从而三个操作504、505与506同时进行。

连同即时估算、监视与学习操作，CIP系统不时地监视特征函数。监视操作包括从核心21接收学习的连接权重值及学习的方差值；按照式(23)计算多重相关值；按照式(24)计算特征容许带比值；及按照式(25)计算部分相关值。已经计算出特征函数监视统计之后，便能将该统计：(a)经由图形显示操作517提供给CIP用户供人工解释与求精；或(b)用于CIP供自动求精512操作。

改变特征说明是通过作为监视特征函数操作513的结果控制修正开关操作507实现的。触发开关操作507导致CIP系统10通过所指示的操作502重新初始化特征说明。

可以直观地解释满足式(23)至式(25)的特征函数监视统计以及学习平均值怀学习连接权重，因为如这里所讨论的CIP系统利用量子计数“容易的贝斯定理”。假定从试验1至试验t的用1(1)至1(t)标记的各学习权重为各试验的量子计数对前面的试验的量子计数的下述比值：如果初始参数值连同从试验1至t的量子计数标记为q(0)至q(t)，则

l(1)＝q(1)/q(0)，

l(2)＝q(2)/(q(0)+q(1))

.

l(t)＝q(t)/(q(0)+q(1)+...+q(t-1))

(28)进一步假定初始平均矢量为q(0)量子初始矢量的平均值，及试验1至t的输入特征矢量m[IN]分别为试验1的q(1)量子矢量至试验t的q(t)量子矢量的平均值。则从统计学原理得出所有即时学习回归参数值及所有即时得到的求精参数能解释为根据来自总体样本大小q(0)+q(1)+…+q(t)的等加权量子计数的平均统计。

例如，在试验10结束时的学习特征平均矢量具有q(0)+q(1)+…+q(10)量子值的平均值的解释，而在任何次数试验后的学习特征平均矢量具有相同的解释。

作为第二个实例，满足式(20)至(22)的等影响序列能够通过设定q(1)＝q(2)＝q(3)＝R生成，其中R为一正常数；在这一情况中，从基于式(28)的代数，1(1)＝1/R，1(2)＝1/(R+1)，1(3)＝1/(R+2)依此类推，如在式(20)至式(23)中，其中R＝q(0)/R1。从而式(28)为CIP系统的等重要性学习提供了一种量子观察解释，也为满足式(20)至式(23)的等重要性CIP序列提供了一种推导。

作为CIP系统采用量子计数“容易的贝斯定理”的结果，能够逐个试验地即时估算特征回归参数与特征函数监视参数，并且能比从传统统计过程或传统神经计算过程得到的交变参数更容易实现。

如上所述，通过利用缓冲存储的通信，CIP系统能更快地操作。也如上所述，在一块芯片上实现尽量多的CIP操作能避免可观的芯片间通信时间损失。结果，在单一芯片的不同层上实现若干CIP子系统及通过并行缓冲存储在层间通信能使总体CIP操作速度最快。

图11示出并行核心特征处理器31₁至31_F内由学习权重控制器40访问的存储器单元311；学习权重控制器缓冲器1101；及到达学习权重控制器缓冲器1101的对应总线41_1a至41_Fd。如图11中所示，缓冲器单元111在几何上与核心21存储器单元的配置方式相同，对应于各自的并行核心存储器单元并可以平行地与核心存储器单元对准如图所示。缓冲器对核心21存储器单元的平行结构使缓冲器能用最少的接线位于并心核心上面或下面的层上。

参见图12，其中示出了对特征函数控制器的缓冲存储。图12示出：并行核心特征处理器内由特征函数控制器41访问的存储器单元411；特征函数控制器缓冲器1201；以及到达特征函数控制器缓冲器1201的对应总线41_JAM(2，1)至41_JAM(F，F)及41₁至41_F。如图11中所示，图12中的缓冲器单元的配置方式是与核心21存储器单元相同的，对应于各自的并行核心存储器单元并且平行地对准核心21存储器单元。缓冲器可用最小的接线需求位于并行核心上面或下面的层中。

图11与图12中的几何上对准的缓冲存储结合多层芯片设计使CIP子系统能位于一块单一芯片上或一个对准的芯片的单个阵列中。结果，能将系统内的费时的通信时间降至最少。

顺序系统操作

参见图13，其中示出了顺序核心的子系统。图13比图3更具体地示出了在子系统之间传送的矢量与参数。示出了学习权重控制器40a、特征函数控制器41a及协调器38a的各种输入与输出。顺序系统所实现的各种监视参数与控制函数与并行系统相同，只是相关数据的传送是顺序发生的。

虽然不这样快，顺序CIP系统能执行与上面讨论的并行系统关联的所有操作，因为一次只用一个可利用的处理器执行一个CIP操作。并且在子系统级上不象并行核心实施例那样实现同时的操作，因为只有一个处理器可用于核心操作。

除了速度考虑，顺序实现的CIP系统的能力并不比用并行处理器实现的差。并且，顺序CIP实施例至少有两个优点胜过并行实施例：由于顺序实施例可用传统的计算机而不是专门设计的并行电路实现，顺序实施例通常较低廉；以及顺序实施例能在传统计算机上提供比并行实施例能在专门化电路上提供的多得多的每一次试验的特征。结果，顺序CIP实施例在试验发生率相对于每一次试验的特征数低的应用中是有用的。替代的核心实现

核心的替代操作包括：(1)更新David-Fletcher-Powell(DFP)数值优化算法使用的系数矩阵；(2)用一个矢量去乘一个对称矩阵；(3)为在特征函数控制中删除特征调整连接权重矩阵；以及训练核心成为输入换能器。下面根据核心修正讨论所有四种相关的应用。从数值优化应用开始，DFD方法为用于寻找多变量函数的最大(或最小)自变量值的若干种迭代方法之一。数值优化法通常是有用的但通常也是慢的。例如，利用数值优化法来寻找与五天天气预报相关的最佳值，但即使在超级计算机上通常也占用许多小时。在数值优化法中，在多种应用中DFP特别有用，因为DFP法在迭代搜索进程中学习不容易获得的导出信息。

正如利用并行核心进程实现快速即时信息处理系统那样，其修改版本可用于快速的新数值优化系统。具体地，如果基于F个自变量的顺序DFP更新占用S秒来收敛到一个最优解，则并行DFP更新只需要大约S/F秒来收敛。例如，假定五天天气预报需要优化2000个变量的一个函数，而使用传统的(顺序)DFP法占用20个小时来收敛。如果能用象并行核心这样的DFP法的并行对等物来解同一优化问题，大约18秒便能收敛。

DFP法作为正常操作的一部分连续地更新一个矩阵的逆。不是象在CIP系统中那样更新协方差矩阵的逆，DFP算法更新称作信息矩阵的二次导数的估计的矩阵的逆。虽然用来更新DFP逆的公式与更新CIP逆的公式不同，并行CIP核心算法的扩展可用于DFP更新。DFP信息矩阵逆更新公式为，ω[DFP，OUT]＝ω[DFP，IN]-c[DFP]x[DFP]^Tx[DFP]

+b[DFP]y[DFP]^Ty[DFP]，(29)其中c[DFP]＝1/d[DFP]，(30)x[DFP]＝e[DFP]ω[DFP，IN]，(31)d[DFP]＝e[DFP]ω[DFP，IN]e[DFP]^T(32)及b[DFP]＝x[DFP]y[DFP]^T.(33)可将DFP更新公式(29)至(33)裁剪成适用于DFD更新。具体地，核心进程的DFP对等物利用与并行CIP核心(21)相同的步数；DFP对等物象并行CIP核心计算式(11)那样计算式(29)；DFP对等物象并行CIP核心计算其满足式(14)的距离函数那样计算其满足式(32)的距离函数及其内积；以及DFP对等物象并行CIP核心(2)计算其满足式(13)的矩阵-矢量积那样计算其满足式(31)的矩阵-矢量积。两种并行方法的差别为：(a)式(2a)中的DFP常数比其对应的并行CIP核心式(12)简单；DFP对等物解两个内积来计算(32)与(33)而不是单个并行CIP核心内积来计算式(14)；以及DFP对等物计算两个外积项来计算式(2a)中的第二与第三项，而不是单个对应的并行CIP核心外积运算来计算式(11)中的第二项。

可以实现涉及较少计算的经过裁剪的核心实施例，其中重复地与快速地执行用矢量去乘对称矩阵。通过只保留计算这些积所需要的运算而去掉所有其它运算，核心实施例可简化成计算这些积，其中式(13)便是一个例子。如并行CIP核心实施例与所有其它裁剪过的版本那样，利用并行处理而不是顺序处理将以快大约一个因子F产生结果。

关于CIP系统内的经过裁剪的核心对等物，特征消除调整公式(26)是核心更新公式(11)的简化版本，在于：(a)式(26)第二项常数系数不使用距离函数，及(b)只需要两个矢量的一个外积来计算式(26)第二项，不需要象式(13)中那样首先要矩阵-矢量积。结果，能简化并行CIP核心来解式(26)。

关于用于特征函数修正及输入换能器处理的经过裁剪的并行CIP核心操作，能首先“教会”“学生输入换能器”只使用有用的特征，然后用这些运算来生成特征。例如，假定要求一个CIP系统来预测作为特征2至特征100的若干自变量值的函数的一个因变量值特征1。在一系列传统的学习试验中能学习到核心进程的一种修正来识别用于从特征2至特征100估算特征1的99个最优连接权重。学习之后，便可用经过训练的模块来取代具有对应于特征2至100的99个输入及只有一个对应于特征1的输出的输入换能器。在作为输入换能器使用时，该模块与核心的差别在于可从绕过该模块的学习与更新操作。从而，实现这一模块所需的核心的仅有修正为学习对特征估算操作的一个输入二进制指示器连同在特征估算操作中绕过学习的少量的内部逻辑。CIP系统的进程

参见图14至图17，其中示出了实现在本发明中的并行CIP核心进程的较佳步骤。图14至17中所示的进程的步骤全部出现在CIP系统10的并行核心21子系统中。在步骤1400，如上所述，在核心21起动初始处理时，核心接收一个学习权重1、一个特征矢量m[IN]与一个生存性矢量υ。在步骤1401，核心访问包含平均矢量μ[IN]、ω[IN]、υ[D，IN]、λ[IN]及μ[IN]值的学习参数存储器单元。各μ[IN]、ω[IN]、υ[D，IN]、与1[IN]值是作为在前一次试验中存储在学习参数存储器中的输出计算的。然而如果这是初始的CIP系统迭代，则μ[IN]值为零，ω[IN]值对应于单位矩阵而μ[IN]值及υ[D，IN]值为1。

在步骤1402，核心按照式(3)从生存性矢量υ、全程学习权重1及学习历史参数1[IN]值中计算分量特征学习权重。然后进程进行到步骤1404。在步骤1404，按照式(2)更新特征平均矢量m[IN]。在步骤1406，按照式(9)计算中间估算的特征矢量e[IN]。步骤1408，按照式(4)更新学习历史参数1[OUT]。然后进程进行到图15的B。

参见图15，继续讨论本发明的较佳实施例的进程的较佳步骤。图15示出用来计算上述中间矩阵/矢量积的较佳进程。在步骤1500，将中间矩阵/矢量积的各元素x[f]初始化成零，而进程进行到步骤1502，在步骤1502，核心按照上面结合图9讨论的协调时间方案开始访问处理器对。在步骤1504，各配对的处理器f在联合访问存储器开关节点上检索适当的连接权重ω[IN](f，g)。类似地，在步骤1506，检索适当的中间估算的特征值e[IN](g)，如上面结合图7讨论的。在步骤1508，将元件x[f]增加叉积，如上所述。

进程进行到步骤1510，作出判定是否已到达了协调时间方案的最后协调时间间隔。如果尚未到达最后协调时间间隔，则进程在步骤1512进行到下一时间间隔，然后接着步骤1502至1508的重复。步骤1502至1508的重复生成用于计算x[f]的运行中的和。如果在步骤1510已到达最后连接时间间隔，则在步骤1522将计算出的值存储到距离处理器，如上所述。然后进程进行到图16的C。

参见图16，其中示出了计算核心子系统21的输出值的本发明的较佳实施例的步骤。在步骤1602，按照式(17)计算输出回归特征矢量m[IN]。

然后在步骤1604按照式(16)计算估算的特征矢量m[OUT]。然后进程进行到步骤1606。在步骤1606，距离处理器按照式(8)在距离ALU34上计算Mahalanobis距离值。如上所述，各处理器将特定处理器所计算的距离值叉积存储到距离处理器。接收到来自所有处理器的各叉积值之后，距离处理器将特征处理器提供的所有距离值加在一起以得出距离测定值d。然后进程进行到图17的D。

参见图17，其中示出了在本发明的较佳实施例中更新连接权重矩阵元素ω(f，g)的进程的步骤。在步骤1702，按照式(10)计算方差υ[D](f)。然后进程进行到步骤1706，按照上面结合图9讨论的连接时间方案由处理器F访问处理器g。在步骤1710，作出判定处理器g是否正在通过下方总线受到访问。(见图8)。如果处理器正在通过处理器g的下方总线受到访问，则处理器f的进程进行到步骤1712。在步骤1712，为处理f检索中间矩阵/矢量积x(g)。在步骤1714，按照式(11)用处理器f更新对应于位于当前配对的处理器的节点上的存储器单元的适当连接权重元素。

在步骤1720，核心判定是否已到达协调时间方案的最后连接时间间隔。如果尚未到达协调时间方案的最后间隔，则在步骤1722核心进行到下一协调时间间隔。随后重复步骤1706至1720。

如果在步骤1710处理g正在通过处理器g的上方总线受到访问，则处理器f为即时的试验生成输出并读取下一试验的输入。如上所述进程从步骤1716进行到步骤1720。如果在步骤1720，已到达连接时间方案的最后连接时间间隔，则核心结束当前试验的功能。

参见图18至图21，其中示出了实现在本发明中的进程的顺序CIP核心21a的较佳步骤。图18至21中所示的进程的步骤全部出现在CIP系统11的顺序核心21a子系统中。在步骤1800，如上所述，当核心21a起动初始处理时，顺序核心21a接收一个学习权重1、一个特征矢量m[IN]及一个生存性值υ。在步骤1801，核心访问包含μ[IN]值、ω[IN]值、υ[D，IN]的值及λ[IN]的学习参数存储器单元。各μ[IN]、ωIN]与1[IN]值是作为在前一次试验中存储在学习参数存储器中的输出计算的，然而如果这是初始CIP系统迭代，则各μ[IN](f)值等于零，ω[IN]值对应于单位矩阵，而λ[IN]值及υ[D，IN]值为1。

在步骤1802，核心按照式(3)从生存性矢量υ、全程学习权重1及λ[IN]值计算一个分量特征学习权重。然后进程进行到步骤1804。在步骤1804，按照式(2)更新特征平均矢量。在步骤1806，按照式(9)计算中间估算的特征矢量e[IN]。在步骤1808，按照式(4)更新学习历史参数λ[OUT]。然后进程进行到图19的E。

参见图19，其中示出了实现在本发明中的计算中间矩阵/矢量x的顺序CIP核心进程的较佳步骤。结合图19讨论的进程提供一种不执行传统的双重循环的计算中间矩阵/矢量x的方法(传统的双重循环即矩阵的所有可能的行值的一个循环与矩阵的所有可能的列值的一个循环)。矩阵ω的元素是以对应于从ω(1，1)至ω(2，1)至ω(2，2)至ω(3，1)至ω(3，2)至ω(3，3)以此类推至ω(F，F)的接连的次序的单个串存储的。在步骤1902，将第一个ω元素的单元h初始化为1，在步骤1904，将中间矩阵/矢量x设置为0。然后进程进行到步骤1906，将对应于以矩阵形式存储的ω元素的行值f设定为0。然后进程进行到步骤1912将行值增加1。在步骤1908，将对应于以矩阵形式存储的ω元素的列值g接着设定为0。然后进程进行到步骤1914将列值g增加一。然后进程进行到步骤1916，将用于计算中间矩阵/矢量积ω(f，g)乘以对应的x(f)的运行中的和增加列g的当前中间估算的特征矢量e[IN](g)。

在步骤1920，作出判定列值g是否小于行值f。如果对应的列值g不小于行值f，表明ω(f，g)元素是在连接权重矩阵的主对角线上，然后进程进行到步骤1924将该元素的单个h增加1。然后进程进行到步骤1930判定行值f是否等于列值g，这表示该ω元素位于连接权重乱阵ω[IN]的主对角线上。这里，如果列值小于行值，表明还有ω的元素包含在对应的行中，则进程进行到步骤1914将列值g增加1并且进程进行到步骤1916，如上面讨论的。

在步骤1920，如果行值等于列值，则在步骤1922将用于计算中间矩阵/矢量积x(g)的运行中的和增加当前ω(f，g)元素乘以列f的对应中间估算的特征矢量e(f)。然后进程进行到步骤1924为了访问下一个ω元素将ω元素的单元h增加1。如果在步骤1930行值等于列值，则进程进行到步骤1940。在步骤1940，判定行值是否等于系统的特征总数。如果行值不等于特征总数，表示尚未估算所有的ω值，则进程进行到步骤1912，而进程按上面所述进行。如果在步骤1940，行值等于特征数，表明已估算了所有ω值，则进程进行到图20的F。

参见图20，其中示出了计算顺序核心子系统21a的输出值的本发明的较佳实施例的步骤。在步骤2002，按照式(17)计算输出回归特征矢量。

然后在步骤2004计算估算的特征计算值m[OUT]。然后进程进行到步骤2006。在步骤2006，距离ALU按照式(8)在距离处理器上计算Mahalanobis距离值。如上所述，各处理器将该特定处理器计算的距离值存储到距离处理器。接收到来自所有处理的各叉积值之后，距离处理器将特征处理器所提供的所有距离值加在一起以得出距离测定值d。然后进程进行到图21的G。

参见图21，其中示出了顺序核心进程更新ω的进程的步骤。在步骤2102，将ω元素在ω元素在ω元素序列中的单元初始化为1。在步骤1204，将对应于串中的ω元素的行值初始化为0。然后进程进行到步骤2106将行值f增加1。然后进程进行到步骤2108，相对于当前行f值更新方差元素υ[D，OUT]。然后进程进行到步骤2112，将列值g初始化成0。在步骤2114，将列值g增加1。然后进程进行到2116，按照式(11)更新ω的连接权重值。然后进程进行到步骤2118。在步骤2118，为了访问串中的下一个ω元素，将ω单元值h增加1。在步骤2120，判定列值g是否等于行值f如果列值g不等于行值f，则还有要更新的对应于该行的ω元素，而进程进行到步骤2114并完成步骤2116与2118，如上所述。

如果在步骤2120列值g等于行值f，表明已到达了对应于主对角线的ω元素而进程进行到步骤2130。在步骤2130，判定行值f是否等于特征数。如果行值不等于特征数，则进程进行到步骤2106，增加行值并且进程如上面结合前面的步骤所讨论的进行。如果在步骤2130行值f等于特征数，则已结束了更新进程，然后核心结束当前试验的功能。

参见图22，其中示出了用于系统监视的本发明的较佳实施例。在步骤2202，从核心接收学习的特征连接权重ω[OUT]与学习的特征方差υ[D，OUT]。然后进程进行到步骤2203，按照式(23)计算特征多重相关C[M]。在步骤2204按照式(24)计算容许带比r。在步骤2206，按照式(25)计算部分相关。此外，由于CIP系统监视输入偏移，在步骤2208，如果在系统输入中检测到异常偏移可截止学习，如上所述。在步骤2210，可将Mahalanobis距离描绘到输出显示监视器14上并且还可按照式(18)与(19)计算标准偏移测定值，然后显示之。按照用户的说明可在步骤2212显示任何要求的CIP系统输出供用户评价。

上文涉及本发明的较佳实施例，并可在其中作出许多改变而不脱离下述权利要求书所定义的发明范围。

Claims

1、一种并行处理系统，用于从在定时试验中所接收的输入值计算输出值，包括：

多个处理单元，各所述处理单元在定时试验中并行操作以接收来自输入矢量的单独的输入值；以及

多条互连导线，其作用为将各所述处理单元连接到所述系统中每一个其它处理单元并在所述处理器之间传送加权的值；

各所述处理单元在所述定时试验中进行操作根据所述加权值提供期望的输出值，以及各所述处理单元在所述定时试验中进行操作以根据所述输入值更新所述加权值。

2、权利要求1的装置，还包括沿所述互连导线布置的多个开关接点，所述开关接点可进行操作唯一地将各所述处理器与所述系统的每一个其它处理器配对。

3、权利要求2的装置，其中在一个时间间隔中，各所述开关接点有选择地将各所述处理器连接到只有一个其它所述处理器上，借此构成所述处理器的多个配对的组，供在一个时间间隔中通信所述加权值。

4、权利要求3的装置，还包括多个存储器单元，各所述存储器单元独立地耦合到分开的开关接点上，以及各所述存储器单元包含一个加权的存储值。

5、权利要求3的装置，其中所述开关接点在多个时间间隔中连接所述处理器的多个配对的组中的不同的组。

6、权利要求5的装置，其中所述开关接点在最少的步骤中接连地连接所述处理器的多个配对的组中的所述不同的组的所有可能组合。

7、权利要求6的装置，还包括多个存储器单元，各所述存储器单元单独地耦合在分开的接点上，且各所述存储器单元包含一个加权的存储值。

8、权利要求3的装置，其中所述导线包括第一导线层与第二导线层，所述第一与所述第二导线层可进行操作连接在所述所述开关接点上。

9、权利要求8的装置，其中所述导线包括第一导线层与第二导线层，所述第一与所述第二导线层可进行操作连接在所述开关接点上。

10、权利要求9的装置，其中所述开关接点位于一个半导体层内，所述开关接点位于所述第一与第二导线层之间。

11、权利要求10的装置，还包括多个存储器单元，各所述存储器单元单独地耦合在一个分开的开关接点上，及各所述存储器单元包含一个加权的存储值。

12、权利要求11的装置，其中各所述开关接点有选择地将各所述处理器连接到仅一个其它所述处理器上，借此构成多个所述处理器的配对的组，用于在一个时间间隔中通信权重值。

13、权利要求1的装置，还包括一个换能器输入处理器，用于接收外部测定矢量及用于转换所述外部测定矢量所述输入矢量，所述换能器输入处理器进行操作来存储所述输入矢量的一个按时间定序的预选的号。

14、一种用于从定时试验中接收的输入值计算输出值的处理系统，包括：

一个处理单元，进行操作以顺序地接收来自输入矢量的输入数据值；及

一个连接在所述处理单元上的存储器单元，包含以顺序次序作为数据串存储的一个连接权重矩阵的元素；

所述处理单元进行操作在所述定时试验中根据所述连接权重矩阵的所述元素提供一个期望的输出值，及所述处理单元进行操作在所述定时试验中根据所述输入数据值更新所述连接权重值。

15、权利要求14的装置，其中所述处理器进行操作以顺序次序访问所述连接权重矩阵的各元素。

16、权利要求15的装置，其中所述处理器进行操作当在所述串中遇到当前访问的连接权重时，根据所述当前访问的连接权重执行所有估算运算。

17、权利要求16的装置，其中所述处理器进行操作当在所述串中遇到当前访问的连接权重时，根据所述当前访问的连接权重执行所有的更新运算。

18、一种用于识别包含在多个定时试验中所提供的输入数据矢量m[IN]中的多个输入值[分析输入数据]之间统计关系的计算机系统，包括：

一个处理单元，进行操作在定时试验中接收一个输入矢量；

一个存储器单元，包含表示根据先前接收的m[IN]矢量的当前输入m[IN]元素之间的关系的连接权重元素；及

所述处理器单元进行操作根据所接收的所述输入数据矢量的非丢失值更新所述连接权重元素，及进行操作根据分量学习权重1[C](f)更新所述连接权重元素，所述1[C](f)为对于所接收的各m[IN](f)数据矢量不同的学习权重，及所述1[C](f)确定所述输入数据矢量元素m[IN](f)导致的相对于接收的先前测定矢量元素m[IN](f)所述连接权重元素的调整量。

19、一种用于从定时试验中所接收的输入数据矢量计算输出值的并行处理系统，包括：

并行连接的多个处理单元，用于处理所述试验中所接收的所述输入数据矢量的分开的值；以及

连接在各所述处理器上一个存储器单元，及所述存储器单元包含一个连接权重矩阵，所述连接权重矩阵为一个元素矩阵的逆；

各所述处理单元进行操作在所述试验中通过用所述连接权重元素实现数学回归分析，为一个丢失的输入数据值提供一个期望的输出值，及进行操作在所述试验中直接更新各所述连接权重元素，以反映来自当前试验的输入数据矢量元素的关系。

20、一种用于提供多个处理单元的各个之间的通信路径的装置，包括：

第一处理器、第二处理器及第三处理器；

连接在所述第一处理器上的第一导线路径；

连接在所述第二处理器上的第二导线路径；

连接在所述第三处理器上的第三导线路径；

第一与第二开关接点，各所述开关接点连接在沿所述第一导线的不同点上；

所述第二导线路径从所述第二处理器延伸到所述第一接点，所述第一接点进行操作经由所述第二导线路径及所述第一导线路径将所述第一处理器连接到所述第二处理器；

所述第三导线路径从所述第三处理器延伸到所述第二开关接点，所述第二开关接点进行操作经由所述第三导线路径及所述第一导线路径将所述第一处理器连接到所述第三处理器；以及

连接在所述第三导线路径及所述第二导线路径上的第三接点，所述第三节点进行操作经由所述第三导线路径及所述第二导线路径将所述第三处理器连接到所述第二处理器。

21、权利要求20的装置，还包括多个存储器单元，所述存储器单元之一位于各所述开关接点上，所述存储器单元是可由连接在所述第一、第二与第三开关接点上的所述处理器访问的。

22、权利要求21的装置，其中所述存储器单元包含权重值。

23、权利要求22的装置，还包括一个控制处理器单元，进行操作来控制所述开关接点的开关。

24、权利要求23的装置，其中所述控制单元进行操作提供一个第一信号给所述开关接点，用于有选择地连接各处理器单元到所述存储器单元中选择的一个上。

25、权利要求24的装置，其中所述控制单元进行操作提供一个第二控制信号给各所述开关接点，用于将各所述处理器单元连接到连接在所述开关接点上的其它处理器单元上。

26、权利要求25的装置，其中所述控制单元进行操作提供一个第三控制信号给所述开关接点，用于选择地将连接在所述开关接点上的所述处理器单元中的一个连接到所述存储器单元中选择的一个。

27、在用于通过分析在多次定时试验中提供的输入数据输入矢量m[IN]识别多个变量之间的统计关系，并为M[IN](f)的一个丢失的数据值提供反映期望的输出的一个输出矢量m[OUT](f)的计算机系统中，包括下述步骤：

在一次定时试验中，在所述处理单元上接收一个输入数据矢量；

在所述定时试验中，根据构成协方差矩阵的逆ω[IN]的连接权重元素，为所述数据矢量的一个丢失的输入值估算一个输出值；以及

在所述当前定时试验中，根据所接收的所述输入测定矢量的非丢失值更新所述连接权重元素，从而形成一未更新的逆协方差矩阵ω[OUT]。

28、权利要求27的方法，还包括根据分量学习权重1[C(f)更新所述连接权重元素，所述1[C](f)为对接收的各测定矢量不同的学习权重，及所述1[C ](f)确定在所述更新步骤中所述输入数据矢量相对于接收的先前输入数据矢量导致的调整量。

29、权利要求27的方法，还包括根据包含所接收的所述输入数据矢量在内的所有先前数据矢量的先前平均矢量，更新所述连接权重矩阵。

30、权利要求28的方法，还包括根据所接收的所有先前的测定矢量的先前的平均矢量，更新所述连接权重矩阵。

31、权利要求28的方法，还包括：

接收在相对于所接收的先前数据矢量的所述更新步骤中确定所述输入数据矢量所具有的调整量中使用的全程学习权重1；

接收一个学习历史参数矢量λ[IN]，它是各输入数据矢量的先前学习权重与丢失值历史的指示；

接收一个生存性矢量υ，它表示一个输入数据矢量丢失的范围；以及

用式1[C](f)＝1υ(f)λ[IN]计算各所述分量学习权重1[C](f)。

32、权利要求31的方法，还包括根据分量学习权重元素1[C](f)及一个先前的学习历史参数λ[IN]更新所述学习历史参数矢量元素的步骤，其中 λ[OUT](F)＝λ[IN](A)(1+l)/(1+l[C](f)).

33、权利要求31的方法，还包括：

根据所有接收的先前测定矢量的一个先前的平均矢量μ[IN]，更新所述连接权重矩阵，其中所述先前平均矢量μ[IN]等于来自前面的测定试验的μ[OUT]，及其中m[OUT]的各元素计算如下

μ[OUT](f)＝(l[C](f)m[IN](f)+μ[IN](f)/(1+l[C](f)，及其中μ[IN](f)对于第一次测定试验等于1。

34、权利要求33的方法，包括利用一个中间估算矢量e[IN]更新所述连接权重元素的步骤。

35、权利要求34的方法，其中：e[IN]的各元素计算如下，

e[IN](f)＝ν(f)(m[IN](f)-μ[IN[(f)/(1+l[C](f)).

36、权利要求35的方法，还包括按照下述计算进程更新所述连接权重矩阵，

ω[OUT]＝(1+l)(ω[IN]-cx^Tx)，其中

c＝l(1+l)/[1+l(1+l)d]，

x＝e[IN]ω[IN]及 d＝e[IN]ω[IN]e[IN]^T＝xe[IN]^T其中所述ω[IN]等于来自前面的测定试验的ω[OUT]及其中在第一次定时试验之前，ω[IN]等于单位矩阵。

37、权利要求35的方法，还包括估算丢失值m[IN](f)的所述步骤，其中

m[OUT](f)＝μ[IN](f)+e[IN](f)(2-ν(f))+x(f)(ν(f)-1)/ω(ff).

38、权利要求35的方法，还包括计算方差矢量υ[D，OUT]的步骤，其中根据所有接收的先前数据矢量的先前平均矢量μ[IN]，其中所述先前平均值μ[IN]等于来自前面的测定试验的μ[OUT]，及其中υ[D，OUT]的元素计算如下，

ν[D，OUT](f)＝le[IN](f)²+ν[D，IN](f)/(1+l)，其中

υ[D，IN]等于来自前面的试验的υ[D，OUT]，及其中对于第一次试验υ[D，IN]等于1。

39、权利要求38的方法，还包括从非丢失的学习平均值中估算标准平方偏移值d[1](f)的步骤，其中

d[1](f)＝(m[(IN)]-μ[OUT](f))²/ν[D，OUT](f)

40、权利要求35的方法，还包括计算一个回归测定值m(f)的步骤，其中

\hat{m} (f) = μ [IN] (f) - x (f) / ω (f, f) + e [IN] (f) .

41、权利要求40的方法，还包括计算方差矢量υ[D，OUT](f)的步骤，其中根据所接收的所有先前测定矢量的先前平均矢量μ[IN](f)，其中所述先前平均值μ[IN](f)等于来自先前测定试验的μ[OUT](f)，及其中

ν[D，OUT](f)＝le[IN](f)²+ν[D，IN](f)/(1+l)，其中

υ[D，IN](f)等于来自前面的试验的υ[D，OUT](f)及其中对于第一次试验υ[D，IN](f)相等。

42、权利要求40的方法，还包括计算回归值d[2](f)之间的标准平方偏移值d[2](f)的步骤，其中

d [2] (f) = {(m [IN] - \hat{m} (f))}^{2} / ν [D, OUT] (f) .

43、权利要求36的方法，还包括为计算x访问一组处理器对的步骤，

所述处理器对连接到开关接点上，各所述开关接点在一个时间间隔i中只连接一对处理器并可进行操作将各所述处理器f唯一地配对到所述系统的每一个其它处理器g上，所述开关接点各连接在所述连接权重矩阵ω[IN]的一个元素ω[IN](f，g)上，包含下述步骤：

(a)在一个时间间隔中访问多组处理器，在所述时间间隔内各所述处理器只与一个其它处理器配对，

(b)由各处理器检索位于所述开关接点上的连接权重元素ω[IN](f，g)；

(c)传送一个e[IN](f)到连接在所述开关接点上的处理器(g)及e[IN](g)到处理器(f)；

(d)在各处理器f内计算x(f)＝x+e[IN](g)ω[IN](f，g)，及在处理器g内计算x(g)；+e[IN](f)ω[IN](f，g)；以及

(e)重复步骤(a)至(d)直到所有处理器已与所述系统的每一个其它处理器配对为止。

44、权利要求36的方法，还包括为更新ω[IN]的元素访问一组处理器对的步骤，

所述处理器对连接在开关接点上，在选择的时间间隔中，各所述开关接点只连接一对处理器并可进行操作将各所述处理器f与所述系统的每一个其它处理器g唯一地配对，所述开关接点各连接到所述连接权重矩阵ω[IN]的一个元素ω[IN](f，g)上，包括下述步骤：

(a)在一个时间间隔中访问多组处理器，在所述时间间隔中各所述处理器只与一个其它处理器配对，

(b)由所述处理器之一检索位于所述开关接点上的连接权重元素ω[IN]；

(c)传送e[IN]，(f)给连接在所述开关接点上的处理器(g)及e[IN](g)给处理器(f)；

45、权利要求36的方法，还包括在一个单一处理器计算机系统中计算x的步骤，

所述单一处理器在数据结构中存储ω[IN]的元素作为ω[IN]元素的接连的串，包括下述步骤：

(a)访问数据串的连接权重元素ω[IN]；

(b)更新对应于来自连接权重矩阵的ω[IN]元素的行值的x；

(c)访问串中的下一ω[IN]；

(c)如果当前ω[IN]元素不在协方差矩阵的主对角线上且不是对应于来自连接权重矩阵的ω[IN]元素的列值的更新x的最后ω[IN]x；以及

(d)重复步骤(a)至(c)。

46、权利要求36的方法，还包括在一个单一处理器计算机系统中更新ω[IN]的步骤，

(a)访问数据串的第一个连接权重元素ω[IN]；

(b)更新ω[IN]；

(c)访问下一个ω[IN]

(c)如果当前ω[IN]元素在协方差矩阵的主对角线上且不是最后的ω[IN]，进行到步骤(b)。

47、在一个用于分析输入数据的计算机系统中，一种通过分析在多个定时试验中所提供的输入数据矢量m[I-N]来识别多个变量间的统计关系的方法，包括下述步骤：

在一次定时试验中在所述处理单元上接收来自输入数据装置的输入数据矢量；

检索作为协方差矩阵之逆的连接权重矩阵ω[IN]的连接权重元素；以及

根据所接收的所述输入数据矢量的非丢失值更新所述连接权重矩阵元素，及根据分量学习权重1[C](f)更新所述连接权重元素，所述1[C](f)是确定所述测定矢量相对于先前接收的测定矢量导致的调整量，借此构成一个更新的逆协方差矩阵ω[OUT]。

48、权利要求47的方法，还包括根据包含所接收的所述输入数据矢量在内的所有先前的测定矢量的先前平均矢量，更新所述连接权重矩阵。

49、权利要求48的方法，还包括根据所接收的所有先前的数据矢量的先前平均矢量更新所述连接权重矩阵。

50、权利要求47的方法，还包括：

接收在确定在相对于所接收的先前数据矢量的所述更新步骤中所述数据矢量具有的调整量中使用的全程学习权重1；

接收作为各输入数据矢量的先前学习权重的指示的学习历史参数λ[OUT](F)；

接收指示输入测定矢量丢失的范围的生存性矢量(f)；以及

用式1[C](f)＝1υ(f)λ[OUT](F)计算所述分量学习权重1[C](f)。

51、权利要求50的方法，还包括根据分量学习权重元素1[C](f)与一个先前学习历史参数λ[IN]更新所述学习历史参数矢量元素的步骤，其中所述先前学习历史参数λ[IN]等于来自前面的试验的λ[OUT]，及其由

λ[OUT](F)＝λ[IN](A)(1+l)/(1+l[C](f)).

52、权利要求50的方法，还包括：

根据所接收的所有先前测定矢量的先前平均矢量μ[IN]更新所述连接权重矩阵，其中所述先前平均μ[IN]等于来自前面的测定试验的μ[OUT]，及其中μ[OUT]的各元素被计算为

μ[OUT](f)＝(l[C](f)m[IN](f)+μ[IN](f))/(1+l[C](f))，其中在第一定时试验之前μ[IN]等于零。

53、权利要求52的方法，还包括利用中间估算的矢量e[IN]更新所述连接权重元素的步骤。

54、权利要求53的方法，其中e[IN]的各元素的计算为

e[IN](f)＝ν(f)(m[IN](f)-μ[IN[(f)/(1+l[C](f)).

55、权利要求54的方法，还包括按照下述计算进程更新所述连接权重矩阵，

ω[OUT]＝(1+l)(ω[IN]-cx^Tx)，其中

c＝l(1+l)/[1+l(1+l)d]，

x＝e[IN]ω[IN]及 d＝e[IN]ω[IN]e[IN]^T＝xe[IN]^T其中所述ω[IN]等于来自前面的测定试验的ω[OUT]，其中在第一次定时试验之前，ω[IN]等于单位矩阵。

56、权利要求55的方法，还包括为计算x访问一组处理器对的步骤，

所述处理器对连接在开关接点上，及各所述开关接点只连接一对处理器，并可进行操作在时间间隔i中将各所述处理器f唯一地与所述系统的每一个其它处理器g配对，所述开关接点各连接在所述连接权重矩阵ω[IN]的元素ω[IN](f，g)上，包括下述步骤：

(a)在一个时间间隔中访问多组处理器，在所述时间间隔中，各所述处理器只与一个其它处理器配对，

(b)各处理器检索位于所述开关接点上的连接权重元素ω[IN](f，g)；

(c)传送连接在所述开关接点上的一个e[IN]；

57、权利要求55的方法，还包括为更新ω[IN]的元素访问一组处理器对的步骤，

所述处理器对是连接在开关接点上的，各所述开关接点只连接一对处理器，并可进行操作在选择的时间间隔中将各所述处理器(f)唯一地与所述系统的每一个其它处理器(g)配对，所述开关接点各连接在所述连接权重矩阵ω[IN]的元素ω[IN](f，g)上，包括下述步骤：

(b)由所述处理器之一检索位于所述开关接点上的连接权重元素ω[IN](f，g)；

(c)更新所述连接权重元素ω[IN](f，g)；

(d)传送所述连接权重元素ω[IN](f，g)；以及

(e)重复步骤(a)至(d)直到所有处理器都已与所述系统的每一个其它处理器配对为止。

58、权利要求55的方法，还包括在一个单一处理器计算机系统中计算x的步骤，

(a)访问所述数据串的ω[IN]的连接权重元素；

(b)更新对应于来自连接权重矩阵的ω[IN]元素的行值的x(f)；

(c)访问串中的下一个ω[IN]元素；

(d)如果当前ω[IN]元素不在协方差矩阵的主对角线上且不是对应于来自连接权重矩阵的ω[IN]元素的列值更新x(g)的最后ω[IN]；以及

(e)重复步骤(a)至(c)。

59、权利要求55的方法，还包括在一个单一处理器计算机系统中更新ω[IN]的步骤，

(a)访问数据串的第一连接权重元素ω[IN]；

(b)更新ω[IN]；

(c)访问下一个ω[IN]元素

(c)如果当前ω[IN]元素是在协方差矩阵的主对角线上且不是最后的ω[IN]，进行到步骤(b)。

60、一种信息处理系统，用于从输入测定矢量计算输出值及用于估算所述系统的输入与输出测定值，包括：

处理单元的第一子系统，进行操作以接收初始输入测定值及进行操作按照输入转换函数将所述输入测定值转换成输入特征值，供所述第一子系统使用以从非丢失输入特征值与/或输入学习回归参数估算输出特征值；所述第一子系统进行操作将所述输出特征值转换成最终输出测定值；所述第一子系统包含连接权重的一个存储器单元，学习与输出性能是基于其上的；以及

处理单元的第二子系统，连接在所述第一系统上，用于接收来自所述第一子系统的输出数据供显示与估算。

61、权利要求60的信息处理系统，其中所述第二子系统还包括一个第一控制器，进行操作来控制所述第一系统的学习功能。

62、权利要求60的信息处理系统，其中所述第二子系统还包括一个第二控制器，进行操作来控制输入转换功能与输出转换功能。

63、权利要求60的信息处理系统，其中所述第二子系统进行操作从所述存储器接收所述连接权重元素。

64、权利要求63的信息处理系统，其中所述第二子系统进行操作接收所述连接权重并传送所述经过调整的权重到所述显示器供显示与估算。

65、权利要求60的信息处理系统，其中所述第二子系统在出现输入值的异常偏移时进行操作禁止所述第一子系统的学习功能。

66、权利要求65的信息处理系统，其中所述第二子系统计算当前测定值与来自前面的试验的存储的对应测定值之间的一阶差分，以识别突变。