CN101517568A - 用于执行运动捕捉和图像重建的系统和方法 - Google Patents

用于执行运动捕捉和图像重建的系统和方法 Download PDF

Info

Publication number
CN101517568A
CN101517568A CNA2007800357534A CN200780035753A CN101517568A CN 101517568 A CN101517568 A CN 101517568A CN A2007800357534 A CNA2007800357534 A CN A2007800357534A CN 200780035753 A CN200780035753 A CN 200780035753A CN 101517568 A CN101517568 A CN 101517568A
Authority
CN
China
Prior art keywords
frame
summit
video camera
light
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800357534A
Other languages
English (en)
Inventor
T·S·科特
S·G·珀尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rearden LLC
OnLive Inc
Original Assignee
OnLive Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38997697&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101517568(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by OnLive Inc filed Critical OnLive Inc
Publication of CN101517568A publication Critical patent/CN101517568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images

Abstract

描述了一种用于对对象执行运动捕捉的系统和方法。例如，根据本发明的一种实施方式的计算机实现的方法包括：为所述对象的三维(3－D)采集区创建标量场；为所述标量场生成曲面网格；保留好的顶点，并且移除所述曲面网格的坏的顶点；以及存储所述好的顶点，以用于所述对象的运动的后续重建。另一个计算机实现的方法包括：在一段时间周期期间每个帧地捕捉所述对象的一系列图像帧，每个帧具有定义所述对象的所捕捉的曲面的多个顶点；建立参考帧，该参考帧具有一组或者多组顶点；执行帧－对－帧跟踪，以基于第(N－1)帧或者更早的帧来确定第N帧内的顶点；以及执行参考帧－对－帧跟踪，以基于参考帧来确定第N帧内的顶点，从而计算帧之间的潜在偏移。再一计算机实现的方法包括：在运动捕捉过程期间采集运动捕捉数据，该数据包括具有N个顶点的多个图像；回顾性地从所述N个顶点中确定出X个顶点，以在所述多个图像之间进行跟踪，其中X＜N；以及在所述多个图像之间跟踪所述X个顶点。

Description

用于执行运动捕捉和图像重建的系统和方法
优先权要求
本申请要求2006年7月31日提交的，题为“System and Method ForPerforming Motion”的美国临时申请No 60/834,771的权益。
技术领域
本发明主要涉及运动捕捉领域。更具体地，本发明涉及用于执行运动捕捉和图像重建的改良设备和方法。
背景技术
“运动捕捉”主要指对人和动物的运动进行跟踪和记录。运动捕捉系统被应用于各种领域中，包括例如视频游戏和计算机生成的电影。在一般的运动捕捉过程中，捕捉“表演者”的运动，并将其转换成计算机生成的符号。
如图1所示，在运动捕捉系统中，在表演者100的身体上的各个点位贴附多个运动跟踪“标记”(例如，标记101、102)。所述点位根据已知的人体骨架范围而被选择。不同的运动捕捉系统使用不同类型的运动捕捉标记。例如，在“磁性”运动捕捉系统中，贴附到表演者的运动标记为有源线圈，该线圈生成可测量的分力X、Y、Z，并且在磁场中侧滑(yaw)、倾斜(pitch)和旋转。
相反，在例如图1所示的光学运动捕捉系统中，标记101、102为由回光反射(retro-reflective)材料组成的无源球体，所述回光反射材料即为理想情况下以很大范围的入射角将光线以其射入的方向反射回去的材料。多个摄像机120、121、122(每个摄像机的透镜周围都具有LED环130、131、132)被定位成用于捕捉反射自回光反射标记101、102和表演者上的其他标记的LED光线。理想情况下，回光反射的LED光线比室内的任何其他的光源更加亮。一般而言，所述摄像机120、121、122应用阈值函数来不接受指定亮度以下的所有光线，从而在理想情况下将反射标记所反射回的光线与室内的任何其他光线相隔离，而且摄像机120、121、122仅捕捉来自标记101、102以及表演者上的其他标记的光线。
利用所述标记101、102中的每个标记的相对位置和/或已知的表演者身体范围对耦合到所述摄像机的运动跟踪单元150进行编程。通过使用这些信息以及摄像机120-122所提供的视觉数据，所述运动跟踪单元150可以生成仿真运动数据，该数据表示表演者在运动捕捉过程期间的动作。
图形处理单元152通过使用所述运动数据来在计算机显示器160(或者类似的显示装置)上绘制表演者的动画。例如，所述图形处理单元152可以将所捕捉的表演者的运动应用到不同的动画角色、和/或将动画角色包括到不同的计算机生成场景中。在一种实施形式中，所述运动跟踪单元150和图形处理单元152为耦合到计算机总线(例如，在许多个人计算机中制造的PCI和AGP总线)的可编程卡。一个公知的生产运动捕捉系统的公司是运动分析公司(Motion Analysis Corporation)(例如参见www.motionanalysis.com)。
发明内容
描述了一种用于通过使用荧光灯来执行对对象的运动捕捉的系统和方法。例如，根据本发明一种实施方式的系统包括：同步信号生成器，用于生成一个或者多个同步信号；一个或者多个荧光灯，被配置成响应于所述一个或者多个同步信号中的第一个信号而闪光，该荧光灯用于在运动捕捉过程期间给被施加到对象的磷光化妆品、涂料、染料补充能量；以及多个摄像机，该摄像机具有与光源的闪光同步闪光的快门，从而捕捉所述磷光涂料的图像，其中所述快门在光源关闭时打开，而在光源打开时关闭。
附图说明
结合附图，通过以下详细描述可以对本发明进行更好地理解，其中
图1示出了使用回光反射标记和摄像机来跟踪表演者的运动的现有技术的运动跟踪系统；
图2a示出了在光板点亮时的时间段期间本发明的一种实施方式；
图2b示出了在光板黑暗时的时间段期间本发明的一种实施方式；
图3为示出了根据本发明的一种实施方式的光板与快门之间的同步的时序图；
图4为被大量涂覆到模特上的磷光化妆品在照亮时间段和夜视时间段期间的图像、以及最终的重建3D曲面和纹理化3D曲面；
图5为模特上的掺杂有基础化妆品的磷光化妆品在照亮时间段和夜视时间段期间的图像、以及最终的重建3D曲面和纹理化3D曲面；
图6为涂到织物上的磷光化妆品在照亮时间段和夜视时间段期间的图像、以及最终的重建3D曲面和纹理化3D曲面；
图7a示出了现有技术的定格(stop-motion)动画舞台；
图7b示出了本发明的一种实施方式，其中定格角色与布景被一起拍摄；
图7c示出了本发明的一种实施方式，其中定格布景与角色被分开拍摄；
图7d示出了本发明的一种实施方式，其中定格角色与布景和其他角色分被分开拍摄；
图7e示出了本发明的一种实施方式，其中定格角色与布景和其他角色分被开拍摄；
图8为显示了ZnS:CU磷光体的激发和发射光谱、以及某些荧光光源和LED光源的发射光谱的图表；
图9为现有技术的荧光灯的示意图；
图10为现有技术的荧光灯镇流器以及出于本发明的目的来改造镇流器的同步控制电路的一种实施方式的电路图；
图11为示波器描迹(trace)，该示波器描迹示出了由经图9的同步控制电路改造后的荧光灯镇流器所驱动的荧光灯的光线输出；
图12为示波器描迹，该示波器描迹示出了由经图9的同步控制电路改造后的荧光灯镇流器所驱动的荧光灯的光线输出的衰减曲线；
图13示出了荧光灯灯丝的余光以及使用电工用的胶带来遮蔽所述灯丝；
图14为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图15为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图16为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图17为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图18为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图19示出了在光板照亮时的时间段期间本发明的摄像机、光板以及同步子系统的一种实施方式；
图20为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图21为示出了根据本发明一种实施方式的光板与快门之间的同步的时序图；
图22示出了本发明的一种实施方式，其中使用颜色来指示磷光体亮度；
图23示出了权重与距曲面的距离之间的函数关系；
图24示出了权重与曲面法线之间的函数关系；
图25示出了标量场与距曲面的距离之间的函数关系；
图26示出了用于根据多个范围的数组来构建3D曲面的过程的一种实施方式；
图27示出了用于对多个帧进行顶点跟踪的方法的一种实施方式；
图28示出了用于对单个帧进行顶点跟踪的方法的一种实施方式。
具体实施方式
以下描述的是一种通过使用快门同步和/或磷光化妆品、涂料或者染料来进行运动捕捉的改良设备和方法。在以下描述中，出于示例性的目的，在此公开的多种特定细节均是为了提供对本发明的透彻理解。然而，对于本领域技术人员而言很显然的是，本发明可以在没有这些特定细节的情况下被实施。在其他情况下，以框图形式显示公知的结构和装置以避免晦涩本发明的基本原理。
本申请的受让人之前开发过一种用于进行颜色编码的运动捕捉的系统、以及一种通过使用涂覆在表演者的脸上的一系列反射曲线来进行运动捕捉的系统。这些系统均被描述于2004年9月15日提交的，题为“Apparatus andMethod for Capturing the Motion and/or Expression of a Performer”的共同待审的申请No.10/942,609和No.10/942,413中。这些申请均被转让给本申请的受让人，且作为参考而结合于此。
本申请的受让人之前还开发过一个用于对应用到曲面的随机图案来进行运动捕捉的系统。该系统被描述于2005年10月20日提交的，题为“Apparatus and Method for Performing Motion Capture Using A RandomPattern On Capture Surfaces”的共同待审的申请No.11/255,854中。该申请被转让给本申请的受让人，且作为参考而结合于此。
本申请的受让人之前还开发过一个通过使用快门同步和磷光涂料来进行运动捕捉的系统。该系统被描述于2005年3月10提交的，题为“Apparatusand Method for Performing Motion Capture Using Shutter Synchronization”的共同待审的申请No.11/077,628中。简而言之，在该快门同步申请中，运动捕捉系统的效率会由于使用磷光涂料或者化妆品、且通过精确地控制运动捕捉摄像机的快门与所涂覆的曲线的照明之间的同步而得以提高。该申请被转让给本申请的受让人，且作为参考而结合于此。
系统概述
如在这些共同待审的申请中所描述的，通过分析作为化妆品而被涂敷到表演者的脸上的曲线或者随机图案(而非表演者脸上的离散标记点或者标记)，运动捕捉系统能够生成比传统的基于标记点或者标记的跟踪系统更加表层的数据。所述随机图案或者曲线通过使用回光反射的无毒涂料或者演戏用的化妆品而被涂覆到表演者的脸上。在本发明的一种实施方式中，使用无毒磷光化妆品来创建随机图案或者曲线。通过将磷光涂料或者化妆品与同步光线和摄像机快门结合起来使用，所述运动捕捉系统能够更好地将涂敷到表演者脸上的图案与脸在普通照射下的图像或者正常照射下的其他人工图像(artifact)(例如加亮区和阴影)相区分。
[0048]图2a和2b示出了共同待审的申请中所描述的示例性运动捕捉系统，其中磷光化妆品被涂敷到表演者的脸上且运动捕捉系统工作在背光(light-sealed)空间中。如图2a所示当同步光板208-209打开时，则表演者的脸看起来则如图像202中所示的那样(即磷光化妆品轻微可见)。如图2b所示当所述同步光板208-209(例如，LED阵列)关闭时，则表演者的脸看起来则如图像203中所示的那样(即，仅磷光化妆品的发光是可见的)。
[0049]通过使用PCI同步信号生成器PCI卡224(示例性PCI卡为德克萨斯州奥斯汀市的国家仪器公司制造的PCI-6601)(该PCI卡224耦合到同步信号生成器PC 220的PCI总线，所述同步信号生成器PC 220耦合到数据处理系统210，从而所有的系统都被同步到一起)，黑白夜视摄像机(grayscaledark camera)204-205与光板208-209相同步。光板同步信号222提供TTL电平信号给光板208-209，以使得当信号222为高电平时(即≥2.0V)，光板208-209开启；而当信号222为低电平时(即≤0.8V)，光板208-209关闭。夜视摄像机同步信号221提供TTL电平信号给黑白夜视摄像机202-205，以使得当信号221为低电平时，摄像机204-205的快门打开并且每个摄像机204-205捕捉图像；而当信号221为高电平时，快门关闭并且摄像机将所捕捉的图像转发给摄像机控制器PC 205。同步时序(将在以下详细描述)为当光板208-209关闭时(即“夜视”时间段)，摄像机204-205的快门打开以捕捉画面。结果，黑白夜视摄像机204-205所捕捉的图像仅包含磷光化妆品的输出。类似的，光亮摄像机同步(Lit Cam Sync)223提供TTL电平信号给彩色光亮摄像机214-215，以使得当信号221为低电平时，摄像机204-205的快门打开且每个摄像机204-205捕捉图像；而当信号221为高电平时，快门关闭且摄像机将所捕捉的图像转发给摄像机控制器计算机225。彩色光亮摄像机214-215被同步(将在下面详细描述)，以使得在光板208-209打开时(“照亮”时间段)时他们的快门打开以捕捉画面。结果，彩色光亮摄像机214-215可以捕捉表演者在光板照射下的脸的图像。
在此所使用的黑白摄像机204-205可以指“夜视摄像机”或者“夜视相机”，因为他们的快门仅在光板208-209黑暗之时才会正常工作。类似的，彩色摄像机214-215可以指“光亮摄像机”或者“光亮相机”，因为一般情况下他们的快门仅在光板208-209被点亮时才打开。虽然在一种实施方式中，黑白摄像机和彩色摄像机被特定用于每个照明阶段，然而黑白摄像机或彩色摄像机也可被用于其他实施方式中的各个照明阶段。
在一种实施方式中，光板208-209以每秒闪烁90次的频率快速闪烁(由来自光板同步信号222的90Hz的方波所驱动)，且摄像机204-205和214-215如之前所述的那样而与光板208-209同步。光板208-209以每秒闪烁90次的频率进行闪烁超出了大众人群所能感觉到的频率，从而，表演者(以及运动捕捉过程中的所有观察者)觉得房间正被稳定地照明且不会注意到闪烁，表演者能够进行演出而不会由于闪烁的光板208-209而分心。
如在所述共同待审的申请中详细描述的，摄像机控制器225(该摄像机控制器225由中央运动捕捉控制器206来进行调整)记录摄像机204-205和214-215所捕捉的图像，且数据处理系统210对所记录的图像以及图像序列进行处理。处理来自各个黑白夜视摄像机的图像，以确定脸207的3D曲面的几何图形。可以使用所述数据处理系统210的进一步处理来将所捕捉的彩色光亮图像映射到脸207的曲面的几何图形上。还可以使用所述数据处理系统210的再进一步处理来帧-对-帧(frame-to-frame)地跟踪脸上的曲面点。
在一种实施方式中，可以通过使用独立的计算机系统来实现每个摄像机控制器225和中央运动捕捉控制器206。可选地，所述摄像机控制器和运动捕捉控制器可被实现成在单个计算机系统上执行的软件、或者硬件与软件的任意组合。在一种实施方式中，摄像机控制器计算机225为机架安装式(rack-mounted)计算机，每个计算机使用日本MSI计算机公司(该公司的地址为C&K Bldg.6F 1-17-6，Higashikanda，Chiyoda-ku，Tokyo 101-0031 Japan)的945GT Speedster-A4R主板、2Gb的随机存取存储器(RAM)、英特尔公司的2.16GHz英特尔酷睿双核中央处理单元、以及来自加利福尼亚洲湖森市的西部数据公司的300GB SATA硬盘。所述摄像机204-205和214-215经由IEEE 1394电缆而与摄像机控制器计算机225相连。
在另一种实施方式中，中央运动捕捉控制器206还用作同步信号生成器PC 220。在再一实施方式中，可以通过使用所述同步信号生成器PC 220的并行端口输出来替代所述同步信号生成器PCI卡224。在此实施方式中，由运行在同步信号生成器PC 220上的应用程序来控制并行端口的每个TTL电平输出，根据期望的信号时序来将每个TTL电平输出切换成高位态或低位态。例如，使用PC 220的并行端口的第0位(bit 0)来驱动同步信号221，使用第1位(bit 1)来驱动信号222，而使用第2位(bit 2)来驱动信号224。然而，本发明的基本原理并不限于用于生成同步信号的任何特定机构。
图3中示出了在本发明一种实施方式中所采用的光源与摄像机之间的同步。在该实施方式中，光板同步信号221和夜视摄像机同步信号222在相位上是一致的，而光亮摄像机同步信号223则与信号221/222是相反的。在一种实施方式中，同步信号在0至5伏之间循环。如图3所示，响应于所述同步信号221和223，摄像机204-205和214-215被分别周期性地开启和关闭。如图3所示，响应于同步信号222，光板被周期性的开启和关闭。例如，分别在同步信号223的下降沿314以及同步信号221和222各自的上升沿324和334上，光亮摄像机214-214的快门开启、夜视摄像机204-245的快门关闭、且光板如上升沿344所示的那样被照亮。在时间段301期间，快门保持在他们各自的状态，且光板保持被照亮。接着，分别在同步信号223的上升沿312以及同步信号221和222的下降沿322和332上，光亮摄像机214-215的快门关闭、夜视摄像机204-215的快门开启、且光板如下降沿342所示的那样的被关闭。快门和光板停留在此状态一段时间段302。然后，所述过程在每个连续的帧的时间段303进行重复。
结果，在第一时间段301期间，彩色光亮摄像机214-215捕捉普通光亮图像，而磷光化妆品被来自光板208-209的光线照亮(从而补充能量)。在第二时间段302期间，光源被关掉，且黑白夜视摄像机204-205捕捉表演者上的发光磷光化妆品的图像。由于在第二时间段302期间，所述磷光化妆品和房间中的其他没有磷光化妆品的任何曲面之间具有强烈的反差(即，房间的剩余部分是全黑的或者至少是很暗的，因此，除了来自磷光发射的反射光线，不存在明显的从房间中的曲面反射出的光线)，因此提高了系统对应用到表演者的脸部的各种图案进行区分的能力。另外，由于光板在所述时间的一半时间内是打开着的，因此表演者能够在表演过程中看到房间周围，而且磷光化妆品也能够被不断地补充能量。所述同步信号的频率是1/(时间段303)，且可被设置成很高的频率，以使得表演者甚至不会注意到光板正在开启和关闭。例如，实际上，在闪烁频率为90Hz或者更高时，人便不能感知到光正在闪烁且光看起来是不间断地照明的。按照心理物理学说法，当人感知到高频闪烁光是不间断地照明时，就实现了“连续光感(fusion)”。在一种实施方式中，光板在120Hz的频率下进行循环工作；在另一实施方式中，光板在140Hz的频率下进行循环工作，两种频率均远远高出了人的融合阈值(fusion threshold)。然而，本发明的基本原理并不限于任何特定的频率。
使用磷光随机图案来对皮肤进行曲面拍摄
图4示出了使用上述方法所捕捉的图像以及根据这些图像所重建的3D曲面和纹理化3D曲面。在捕捉图像之前，利用去角质海绵来将磷光化妆品涂到到白种人模特的脸部。具有铜催化剂(ZnS:Cu)的发光硫化锌为负责所述化妆品的发光属性的磷光体。联邦法规21章第73款美国食品和药品管理局(FDA)色素添加剂条例已批准将发光硫化锌的此种特定配方用来制备化妆品。特定的品牌是Mehron公司(该公司的地址是100Red Schoolhouse Rd.Chestnut Ridge，NY 10977)生产的产品#为FFX、指定颜色为GL的魔幻F/XT管状化妆品。生成所述图像的运动捕捉过程利用以多种角度围绕在模型脸部周围的8个黑白夜视摄像机(例如摄像机204-205)以及从某一角度对着模特脸部的一个彩色照亮摄像机(例如摄像机214-215)，以提供光亮图像401中所示的画片。所述黑白摄像机为巴克斯公司(Basler AG)(该公司的地址为An der Strusbek 60-62，22926Ahrensburg，Germany)的型号为A311f的摄像机，而所述颜色摄像机为型号为A311fc的巴克斯摄像机。所述光板208-209以每秒72次闪烁的频率进行闪烁。
光亮图像401示出了彩色光亮摄像机214-215中的一者在光板208-209开启且彩色光亮摄像机214-215的快门开启时的照亮时段301期间所捕捉的表演者的图像。注意到，表演者脸上的磷光化妆品是很显眼的，特别是嘴唇。
夜视图像402示出了黑白夜视摄像机204-205中的一者在光板208-209关闭且黑白夜视摄像机204-205的快门开启时的夜视时段302期间所捕捉的表演者的图像。注意到，仅曲面上涂有磷光化妆品的随机图案是可见的。图像中的所有其他曲面(包括表演者头发、眼睛、牙齿和脖子)是全黑的。
3D曲面403示出了根据来自从多个角度对着模特脸部的黑白夜视摄像机204-205(在该实施例中，使用8个黑白夜视摄像机，每个摄像机从不同的角度生成单个夜视图像402)的夜视图像402所重新构建的曲面图像。在2005年10月20日提交的、题为“Apparatus and Method for Performing MotionCapture Using A Random Pattern On Capture Surfaces”的共同待审申请No.11/255,854中详细描述了一种可以用来创建所述图像的重构过程。注意，只根据磷光化妆品涂覆的曲面来重新构建3D曲面403。此外，用于生成所述3D曲面403的技术的一种特定实施方式在该3D曲面的空穴(例如，在该实施例中为眼睛和嘴巴)中填入平坦曲面。
纹理化3D曲面404示出了被用作纹理贴图并且被映射到3D曲面403上且以一定角度绘制的光亮图像401。虽然纹理化3D曲面404是计算机生成的模特脸部的3D图像，但对于人眼而言，它看起来足够真实，当以一定角度进行绘制时，例如在图404中，它生成了一个幻觉，即模特正在转动她的头并且正以某一角度注视着。注意，模特的眼睛和牙齿并没有涂上磷光化妆品，而且眼睛和牙齿的图像被映射到填充所述3D曲面中的空穴的平坦曲面。但是，非常精确地重新构建3D表面的其余部分，以至于生成的纹理化3D曲面404接近真实。当利用该过程来创建连续帧的纹理化3D曲面404时，虽然所述帧是从侧角度观察时计算机生成的模特的3D图像，但当所述帧被实时回放时，对于未经训练的眼睛而言，可以达到这样的真实度，即所述连续帧看起来就像所述模特的真实视频。
由于纹理化3D曲面404产生计算机生成的3D图像，相比于实拍的模特的视频，该计算机生成的图像可被更加灵活地操控。利用真实的视频，以除了该视频所被拍摄的角度之外的任何摄像机物镜视角来显示视频中的对象通常是不切实际的(或不可能的)。利用计算机生成的3D，可以绘制图像以使得该图像看起来就像从任何摄像机视角观看的那样。利用实际视频，通常必须使用绿屏(green screen)或者蓝屏(blue screen)来将对象与其背景相分离(例如从而可以在气象图的前面合成电视的天气预报员)，然后可以以摄像机拍摄所述对象时的视点来展现所述被绿色屏蔽或蓝色屏蔽的对象。利用上述技术，不再需要绿屏/蓝屏。可以将磷光化妆品、涂料或者染料涂到想要捕捉的区域(例如天气预报员的脸、身体和衣服)，然后整个背景将与对象相分离。此外，所述对象可以以任何摄像机物镜角度来被展现。例如，可以通过直行拍摄(straight-on shot)、或者通过侧角拍摄(side angle shot)来显示天气预报员，但该天气预报员仍然可以被合成在气象图的前面。
此外，可以在3D环境中操控所生成的3D图像。例如，通过使用标准的3D网格操控工具(例如，Autodesk公司所销售的玛雅(Maya)中的工具)，基于美容的原因(如果表演者觉得她的鼻子以不同的大小来显示会好看一些)或者动画效果(使得表演者看起来像魔幻角色，例如“指环王”里的格鲁姆)，鼻子可被缩短或者加长。更加完善的3D操控可以在表演者的脸上添加皱纹以使她看上去更老、或者去除皱纹以使她看上去更加年轻。还可以操控脸部，以改变表演者的表情，例如，从微笑变成皱眉。虽然可以对传统的2D视频作品进行一些2D操控，但这些操控通常仅限于从摄像机视点进行的操控。如果在视频序列中，模特转动她的头部，头部面向摄像机时所应用的2D操控在所述头部转动时需要被改变。而不管头部如何转动，都不需要改变3D操控。从而，用于创建视频序列中的纹理化3D曲面404的连续帧的上述技术可以捕捉对象，以使其看起来像真实视频，而且具有如同计算机生成的3D对象那样的操控灵活性，从而为生成视频、动画以及视频游戏(可以由玩家在3D环境中操控角色)提供了巨大的方便。
注意，在图4中的光亮图像401中，模特脸上的磷光化妆品是明显的，且看起来就像在她的脸上擦上了黄色粉末。模特的下唇上的磷光化妆品尤其突出，嘴唇的颜色几乎完全从红色变成了黄色。纹理化3D曲面404中所呈现的这些变色在黑色肤色的模特(例如该模特为非洲人)上会更加突出。许多应用(例如，创建诸如格鲁姆那样的魔幻3D角色)仅要求3D曲面403，而且纹理化3D曲面404可能仅用作导演在运动捕捉过程中的参考、或者作为操控所述3D曲面403的3D绘制者的参考。但是在某些应用中，保持模特皮肤的真实肤色是很重要的，且不希望因为磷光化妆品而变色。
使用混合有底霜的磷光化妆品来进行曲面拍摄
图5示出了类似于图4的一组在相同条件下捕捉和创建的图像。利用8个黑白夜视摄像机(例如204-205)、一个彩色摄像机(例如214-215)，光亮图像501由彩色光亮摄像机在光板阵列208-9开启的时间段期间捕捉，而夜视图像502由所述8个黑白夜视摄像机中的一者在光板阵列208-9关闭时捕捉。根据来自所述8个黑白夜视摄像机的8张夜视图像502来重建3D曲面503，并且通过将光亮图像501纹理映射到3D曲面503上来绘制纹理3D曲面504(不同于图像404，图像504是从与捕获光亮图像501的彩色光亮摄像机的摄像机物镜角度相类似的摄像机物镜角度进行绘制的)。
然而，图5中的图像与图4中的图像存在很显著的区别。在光亮图像401和纹理化3D曲面404中清晰可见的磷光化妆品在照亮图像501和纹理化3D曲面504中几乎看不见。原因是，在图4的运动捕捉过程中，以纯磷光化妆品的形式将磷光化妆品涂到模特上，与此不同的是，在图5所示的实施方式中，将磷光化妆品与化妆品底霜(makeup base)相混合，然后将混合后的化妆品涂到模特上。所使用的化妆品底霜为封面女郎(Cover Girl)制造的“米色(Buff Beige)”的“清爽化妆品(Clean Makeup)”，并且将其与图4中所使用的同一磷光化妆品以80％的磷光化妆品和20％的底霜化妆品的比例相混合。
注意，将磷光化妆品与化妆品底霜相混合会减小夜视时间段203期间的磷光亮度。尽管如此，磷光亮度仍旧足以产生夜视图像502，而且来自8个黑白夜视摄像机的夜视图像中存在足够的动态范围，以重建3D曲面503。如上所述，某些应用不要求准确地捕捉模特的肤色，在该情况下，最好是不将磷光化妆品与底霜相混合，然后可以在夜视时间段302期间利用更高的磷光亮度(例如，更高的磷光亮度允许对摄像机透镜进行更小的孔径设置，从而允许更大的景深)。但是某些应用要求准确地捕捉模特的肤色。对于这样的应用，最好是将磷光化妆品与底霜(为适于表演者的皮肤色调的颜色)化妆品相混合，并且工作在较低磷光亮度的范围内。此外，存在某些应用，其中仅某一磷光体可见度是可接受的，然而其并非光亮图像1中所见的可见度。对于此种应用，可以根据肤色正确度和磷光亮度且通过混合更高比例(相对于底霜)的磷光化妆品来找到一个中间范围。
在另一实施方式中，原始形式的发光硫化锌(ZnS:Cu)可以与底霜化妆品相混合，并被涂到模特的脸上。
利用磷光随机图案来对布料进行曲面拍摄
在另一实施方式中，可以使用上述技术来捕捉织物的图像。图6示出了对一件织物(丝绸睡衣的上衣部分)的图像捕捉，所述织物上擦有(sponge)与图4中所使用的磷光化妆品相同的磷光化妆品。在完全相同的条件下利用8个黑白夜视摄像机(例如204-205)和1个彩色光亮摄像机(例如214-215)来进行捕捉。在光亮时间段301期间，所述磷光化妆品看起来会使光亮帧601的曲面轻微地变色，但在夜视时间段302期间，在夜视帧602中可以看出所述磷光化妆品会发出明亮的磷光。通过使用与用于重建3D曲面403和503的技术相同的技术，可以根据夜视帧602的8个摄像机来重建3D曲面603。并且然后将照亮图像601纹理映射到3D曲面603，以产生纹理化3D曲面604。
图6示出了所拍摄的织物的一个帧，该帧为在织物被移动、折叠或者展开时的拍摄过程中所拍摄的上百个帧中的一者。而且在每个帧中，只要8个黑白摄像机中的至少两个具有不是过于倾斜(例如摄像机的光轴处于区域曲面法线的30度之内)的视野，就可以准确地拍摄所述织物的曲面的每个区域。在某些帧中，织物被扭曲，从而织物中存在某些区域处于很深的褶皱(fold)中(阻碍了来自光板208-209的光线)，而在某些帧中，织物被弯曲，从而存在这样的区域，即将来自光板208-209的光线反射回来而创建高亮区(即，丝绸纤维是有光泽的)的区域。这样的光照条件使得很难(如果并非不可能)通过在光亮时间段301期间使用反射光来准确地拍摄织物的曲面，因为阴影区域可能太暗(例如，低于摄像机传感器的背景噪声(noise floor))，从而不能进行准确拍摄；以及某些高亮区可能太亮(例如，超出了传感器的感测范围，从而传感器将整个区域读作纯白色)，从而不能进行准确拍摄。但是，在夜视时间段302期间，可以很容易且准确地拍摄这样的区域，而不管这些区域不管是否深处于织物的褶皱或者外部曲面上，因为磷光化妆品发光非常均匀。
由于磷光体会从任何入射到其之上的光线(包括并非直接来自光板208-209的漫射光或反射光)来摄取能量，从而即使褶皱中的磷光体也可以摄取能量(除非褶皱太过紧密以至于没有光线能够穿透他们，但是在此情况下，摄像机也不太可能通过其他方式来观察褶皱内部)。这说明了利用磷光化妆品(或者涂料或染料)来在将要被拍摄的曲面上(或融入到曲面内)创建图案的显著优点：磷光体是放射性的并且不会遭遇到强光和阴影，从而可以为黑白夜视摄像机204-205所观察的图案产生高度均匀的亮度，不会具有过暗或者过亮的区域。
分别利用磷光染料或涂料来对曲面进行染或者涂，而不是将磷光化妆品涂覆到曲面的另一优点在于，通过利用染料或者涂料，曲面上的磷光图案可以在运动捕捉过程中保持不变。化妆品的特性决定了它应该被设计成是可去除的，而且表演者通常会在一天的运动捕捉拍摄结束时去除磷光化妆品，如果他没有这么做，几乎肯定会在睡觉之前将磷光化妆品去除。运动捕捉过程往往会延续好几天，所以，通常需要每天在运动捕捉拍摄之前将新的磷光化妆品涂覆到表演者上。通常，每次涂覆新的磷光化妆品都可能导致不同的随机图案。共同待审的申请中公开的一种技术为对所拍摄的曲面的顶点进行跟踪(“顶点跟踪”)。通过一个所捕捉的帧接下一个所捕捉的帧地校正随机图案，以实现顶点跟踪。通过这种方式，可以一个帧接一个帧(one captured frameto the next)地跟踪所捕捉的曲面上的点。而且，只要所述曲面上的随机图案保持相同，就甚至可以一次拍摄接一次拍摄(shot-to-shot)地跟踪所捕捉的曲面上的点。在利用磷光化妆品来做出随机图案的情况下，通常可以在为期一天的运动捕捉拍摄期间使化妆品不会大幅度地弄乱(undisturbed)(虽然对于某些区域而言可能会被弄脏，但在其被去除之前大部分化妆品通常都会保持不变)，但如上所述，化妆品会在一天结束时被去除。因此，一天接一天地保持相同的磷光随机图案(利用该图形来进行基于特定随机图案的顶点跟踪)通常是不切实际的。但对于非皮肤的对象(例如纤维)而言，可以使用磷光染料或者涂料来创建随机图案。因为染料和涂料在本质上是很持久的，因此在运动捕捉过程期间，随机图像不会被弄脏，而且同一随机图案会一天接一天地保持下去。这使得对染有或涂有随机图案的对象所进行的顶点跟踪能够在持续多天的运动捕捉过程中(或者实际上如果需要，可以在时间跨度很长的多个运动捕捉过程间)跟踪同一随机图案。
当利用反射光线来进行观看时，皮肤也会遭遇到阴影和高亮。存在许多经常有阴影的凹区(例如，眼眶)。此外，皮肤可能很有光泽从而导致高亮，并且即使在皮肤上覆盖有使其光泽降低的化妆品的情况下，表演者仍可能在身体活动期间出汗，从而导致出汗的皮肤发亮。在光亮和不平滑皮肤区域、以及身体的凸出区域(例如，鼻梁)和凹陷(例如眼眶)，磷光化妆品均能够均匀地发光。流汗对于磷光化妆品的发光影响甚微。磷光化妆品还能够在其被褶皱到身体的褶起来的区域(例如眼皮)时摄取能量，并且当所述区域展开时(例如，当表演者眨眼时)，磷光图案均匀发光。
返回到图6，注意，可以在光亮帧601和纹理化3D曲面604中看出织物曲面上的磷光化妆品。但是，这在图像中并不明显，虽然当织物在处于活动状态时可以看见磷光化妆品，但是磷光化妆品对丝绸纤维的柔软性影响甚微。在另一实施方式中，可以使用磷光染料来在织物上创建磷光图案，来代替使用磷光化妆品(当然，可以针对皮肤应用来配制该磷光化妆品)。磷光染料可以从多家厂商得到。例如，通常可以在新奇的商店中发现其上印有利用磷光染料的夜光图案的T恤。所述染料还可以通过将磷光粉(例如，ZnS:Cu)与现有的适用于给定纤维类型的织物染料相混合来进行人工配制。例如，达摩贸易公司(Dharma Trading Company)在加利福利亚州圣萨尔瓦多郡第4街第1604号的商店存有大量染料以及用于配制这些染料的基本化学材料，每种染料针对特定的纤维类型而被设计(例如，达摩纤维活性普施安(procion)染料针对所有的天然纤维，Sennelier Tinfix设计-法国丝绸染料针对丝绸和羊毛)。当将磷光粉用作上述配制中的颜料时，则制造适用于给定纤维类型的染料，并且在最小化对纤维的柔软性的影响的同时在纤维上染上磷光图案。
利用磷光随机图案来对定格动画角色进行曲面拍摄
在另一种实施方式中，磷光体被嵌入硅树脂或者可模压材料，例如用于定格动画的角色、道具以及背景布置中的造型油泥。定格动画是一种用于动画运动图像和动画图像特效的技术。图7a中示出了示例性的现有定格动画舞台。新近的定格动画为故事片超级无敌掌门狗(Wallace&Gromit in TheCurse of the Were-Rabbit)(2005年获得了奥斯卡最佳动画故事片奖)(在这之后被引用为WG)以及僵尸新娘(Corpse Bride)(2005年获得了奥斯卡最佳动画故事片提名)(在这之后被引用为CB)。在定格动画中使用了各种技术。在WG中，角色702-703通常由造型油泥制成，并且通常周围包裹有金属支架，以给予所述角色结构稳定性。在CB中，角色702-703创建自木偶，该木偶具有机械支架，该支架上涂有模具硅树脂(例如，对于脸部)、或者一些其他的材料(例如，对于衣服)。在两部电影中，角色702-703均被置于复杂的布景701(例如，城市街道、自然景观、或者建筑)中，这些布景由诸如708-708的照明装置来照亮，诸如705的摄像机被固定，然后由摄像机705(在现在的定格动画中，所述摄像机705通常为数字摄像机)来拍摄一个图像帧。接着，场景中处于运动状态的各种角色(例如，牵着拴狗颈的皮带的人702以及狗703)被轻微地移动。在WB的情况中，通常通过使油泥变形(以及潜在地使在油泥下面的支架变形)、或者通过改变角色702-703的细节部分(例如，对于每个帧，对角色702-703上的不同嘴形进行交换，就像嘴巴在说话一样)来实现所述移动。在CB的情况中，通过调节角色木偶702-708的支架(例如，插入到角色木偶702-703的耳朵中的螺丝起子可以拧动螺丝，以促使支架带动角色702-703的嘴巴张开)来实现运动。此外，如果摄像机705将在场景中移动，则将摄像机705置于允许其被移动的机械装置上，并且所述摄像机705在每个帧的时间期间被非常轻微地移动。在场景中的所有角色702-703以及摄像机705已被移动之后，由摄像机705拍摄另一帧。这个辛苦的过程一帧接一帧的重复着，直到拍摄结束。
定格动画处理存在许多的困难，均限制了动画设计者的表达自由、限制了运动的真实度、并且增加了制作的时间和成本。这些困难的其中之一为，如图7a所示，在定格动画舞台上的复杂布景701中模拟许多复杂的角色702-703。动画制作者通常需要自己爬到(小心翼翼地，以不要在不小心碰到任何东西)所述布景中，并且然后调节(通常是以亚毫米的精度)角色702-703的表情。当角色702-703相互之间靠得很近时，可能更加困难。此外，角色702-703有时需要被置成角色702-703很容易摔倒的姿势(例如，角色702-703正在进行倒立、或者角色702-703正在飞)。在这些情况下，角色702-703需要一些可能会被摄像机705看见的支撑结构，并且如果这样，就需要在后期制作中从镜头中擦掉。
在图7b中的定格动画舞台所示的一种实施方式中，可以将粉末状的发出磷光的磷光体(例如，硫化锌)混合到造型油泥中，从而导致油泥曲面在黑暗中以随机图案的形式发出磷光。还可以在硅树脂被灌入模具中之前，将硫化锌粉末混合到液态硅树脂中，并且然后当硅树脂变干并且凝固时，其到处都分布有硫化锌。在另一种实施方式中，可以将硫化锌粉末散布到模具的内表面上，并且然后将液态硅树脂倒入模具中以进行凝固(使得硫化锌可被嵌入在表面上)。在再一实施方式中，将硫化锌与被涂到造型油泥或者硅树脂的曲面上的涂料相混合。在再一实施方式中，将硫化锌染到角色702-703所穿的布料中、或者将其混合到涂到道具或者布景701的涂料中。在所有这些实施方式中，最终的效果均是，场景中的角色702-703、道具和布景701的曲面会在黑暗中以随机曲面图案的形式发出磷光。
上述各种实施方式中的硫化锌处于很低的浓度，低浓度的硫化锌在光板208-208开启时的期望场景照明下不是显著可见的。硫化锌的精确百分比取决于与硫化锌混合的特定材料或者硫化锌所被应用到的特定材料、该材料的颜色、以及角色702-703、道具或者布景701的光照环境。但是，根据实验，可以不断地减小硫化锌的浓度，直到其在使用角色702-703、道具或者布景701的光照条件中不再在视觉上引人注意。这可以导致非常低的硫化锌浓度，以及非常低的磷光放射。虽然这通常会很明显地关系到对微弱磷光图案的实时动作帧拍摄，但是利用定格动画，夜视帧拍摄快门时间可以特别长(例如，1秒或者更长)，因为通过限定，场景并没有移动。利用很长的快门时间，即使非常微弱的磷光放射也可被很准确地拍摄。
一旦在场景中准备好角色702-703、道具以及布景701，则当光板208-209开启时，他们看上去就像在期望场景照明中看上去那样；而当光板208-209关闭时，他们会以随机图案的形式发出磷光。在此时，利用类似于图2a和2b中所示以及共同待审申请中所述的配置来在3D环境中拍摄定格动画中的所有角色702-703、道具以及布景701的图像。(图7b-7e示出了定格动画的舞台，该定格动画的舞台具有围绕在定格动画角色702-703以及布景701周围的根据图2a和2b的光板208-209、夜视摄像机204-205以及光亮摄像机214-215。为了清楚起见，在图7b-7e中省略了一些到设备208-209、204-205以及214-215的线路，但在图7b-7e中，他们应该像图2a和2b所示那样被接线。)如图7b所示，夜视摄像机204-205和光亮摄像机214-215被置于场景周围，从而拍摄需要在最终动画中看见的任何曲面。并且同步信号可以非常缓慢地切换，且实际上可以手动切换，而并非以很高的拍摄帧率(例如，90fps)来快速切换同步信号221-223。
在一种实施方式中，当动画设计者调节角色702-703和道具的位置、或者对布景701进行某些改变时，光板208-209保持开启。注意，光板208-209可以是任何照明源(包括白炽灯)，因为在定格动画中不需要快速地开启和关闭照明源。一旦角色702-703、道具以及布景701已经为下一帧而就位，就触发光亮摄像机同步信号223(在目前的优选实施方式中通过下降沿跃迁)，并且所有光亮摄像机214-215基于所拍摄的帧的期望曝光时间来以指定持续时间拍摄帧。在另一实施方式中，基于个别的曝光需求，不同的摄像机可以具有不同的曝光时间。
接着，(通过同步信号222或者手动地)关闭光板208-209，并且允许灯慢慢变暗，直到场景处于完全黑暗的状态(例如，白炽灯可能要花几秒钟来慢慢变暗)。然后，触发夜视摄像机同步信号221(在目前的优选实施方式中通过下降沿跃迁)，并且夜视摄像机208-209基于所拍摄的帧的期望曝光时间来以指定持续时间拍摄随机磷光图案的帧。再一次，基于个别的曝光需求，不同的摄像机可以具有不同的曝光时间。如上所述，在所发出的磷光非常暗淡的情况下，所述曝光时间可以很长(例如，一秒或者多秒)。曝光时间的上限主要由摄像机传感器的噪声累积所限制。所拍摄的夜视帧由数据处理系统210来处理，以产生3D曲面207，并且然后将光亮摄像机214-215所拍摄的图像映射到所述3D曲面207上，以创建纹理化3D曲面217。然后，再次开启光板208-209，再次移动角色702-703、道具以及布景701，并且重复该段所描述的过程，直到整个拍摄结束。
最终的输出为所有角色702-703、道具以及布景701的纹理化3D曲面的连续帧，所述角色702-703、道具以及布景701的曲面区域嵌有或者涂有磷光体，所述磷光体能够被至少2个夜视摄像机204-205能以非倾斜的角度(例如，与摄像机的光轴相差小于30度)观看。当以期望帧率(例如，24fps)来重放这些连续帧时，动画场景将会显得很逼真。不同于传统定格动画的帧，仅需要通过从选定的摄像机位置绘制所述纹理化3D曲面，所述动画能够从任何摄像机位置来进行观看。此外，如果最终动画的摄像机位置在帧序列之间处于运动状态(例如，如果摄像机跟随着角色702-703)，则不需要使物理摄像机在场景中移动。相反，对于每一个连续帧，仅需要通过使用3D建模/动画应用软件(例如，欧特克公司的玛雅(Maya))，根据针对该帧的期望摄像机位置来简单绘制所述场景的纹理化3D曲面。
在另一实施方式中，如图7c-7e所示，分别通过例如图2a和2b中的配置来拍摄单个定格动画场景中的所有不同角色702-703、道具和/或布景701或者其中的一部分。例如，如果场景具有漫步在城市街道布景701上的牵着拴狗颈的皮带的人702以及他的狗703，则可以分别通过图7c(用于城市街道布景701)、图7d(用于牵着拴狗颈的皮带的人702)和图7e(用于狗703)中所示的单独的运动捕捉系统来单独拍摄城市街道布景701、牵着拴狗颈的皮带的人702以及狗703。然后，两个角色702-703以及一个布景701的定格动画可以以上述方式被分别拍摄为单独的纹理化3D曲面217。接着，通过利用3D建模和/或动画应用程序，可以将所述两个角色702-703以及一个布景701一起绘制到3D场景中。在一种实施方式中，照亮角色702-703和布景701的光板208-208可被配置成一样的，以使得牵着拴狗颈的皮带的人702以及狗703就像与布景701在同一环境中被照射一样。在另一实施方式中，使用平面照明设备(即，均匀发光，以减小阴影和高亮)，然后通过3D建模/动画应用软件来模拟光线(包括阴影和高亮)。通过所述3D建模/动画应用软件，动画设计者能够看出角色702-703相互之间以及与布景701之间的关系，并且还能够从他们期望的任何摄像机角度观看所述角色702-702和布景701，而不需要移动进行拍摄的物理摄像机204-205或者214-215中的任何一者。
所述方法为定格动画提供了很显著的优点。该方法的一些优点如下：(a)可以单独地操控单个角色702-703，而不需要担心动画设计者会碰到其他角色702-703或者角色702-703相互之间碰到；(b)可以任意地选择所绘制的帧的摄像机位置，包括使摄像机位置在连续帧之间移动；(c)所反映的摄像机位置可能是传统定格配置中物理上不太可能将摄像机707置于的一个位置(例如，直接位于两个个相隔很近的角色702-703之间，其中角色702-703之间没有摄像机705的空间)；(d)光线(包括可被任意控制的高亮和阴影)，包括创建自然环境不可能实现的照明环境(例如，使角色发光)；(e)可以将特定效果应用到角色702-703(例如，可以在将鬼的角色702-703绘制到场景中时，使鬼的角色702-703变成透明的)；(f)角色702-703可以在地面上保持在稳定的物理位置，而在场景中则不是(例如，可以以竖立姿势拍摄角色702-703，而在场景中则被绘制成以手站立的倒立姿态，或者在场景中被绘制成在地面上飞行)；(g)角色702-703的某些部分可以被支撑件所支撑，所述支撑件上不具有磷光体，从而该支撑件不会被拍摄到(并且不需要在拍摄之后的后续处理中被移除)；(h)可以通过3D建模/动画应用程序来绘制角色702-703的细节部分，例如当角色702-703说话时嘴巴的位置，从而在动画片摄制期间不需要将这些细节部分附带上并且之后从角色702-703移除；(i)可以将角色702-703绘制到计算机生成的3D场景中(例如，牵着拴狗颈的皮带的人702和狗703可被制作成油泥动画，而城市街道布景701可以是计算机生成的场景)；(j)可以在对象移动时(或者当所反映的摄像机位置移动时)将3D运动模糊效果应用到对象上，从而使动画的运动感更加平滑，并且还可以在没有抖动感的情况下进行更加快速的运动。
其他的发出磷光的磷光体
在另一实施方式中，将除ZnS:Cu之外的其他磷光体用作与针对纤维或者其他非皮肤对象的染料一起使用的颜料。对于皮肤应用而言，ZnS:Cu是优选的磷光体，因为ZnS:Cu是经FDA批准的化妆品颜料。但是还存在大量其他的磷光体，虽然这些磷光体被没有被批准用在皮肤上，但是在某些情况中，但这些磷光体被批准用于人所手持的材料中。一种这样的磷光体为SrAl2O4:Eu2+，Dy3+。另一种为SrAl2O4:Eu2+。在给定激发的情况下，这两种磷光体均比ZnS:Cu具有更长时间的余光。
优化磷光发射
相比于可见光，紫外光能够更加有效地为许多磷光体(该磷光体发出可见光光谱内的磷光)补充能量。这被示于图8的图表800中，图8示出了ZnS:Cu(在此之后，我们称之为“硫化锌”)的大致的激发和发射曲线以及各种光源。在硫化锌的情况下，硫化锌的激发曲线811的跨度大约为230nm至480mm，其峰值在大约360nm附近。一旦被该范围波长的能量所激发，其磷光曲线812的跨度大约为420nm至650nm，产生绿色光线。硫化锌的磷光亮度812直接与硫化锌所吸收的激发能量811成比例。通过激发曲线811可以看出，硫化锌被激发的效率水平随着波长的变化而变化。例如，在来自激发源的给定亮度(在本优选实施方式中，为来自光板208-209的光能)的情况下，硫化锌在450nm(蓝色光线)处所吸收的能量仅是其在360nm(UVA光线，通常被称之为“黑光”)处所吸收的能量的30％。由于需要获取来自硫化锌的最大磷光发射812(例如，更亮的磷光可以允许更小的透镜孔径和更长的景深)，因此以尽可能多的能量来激发硫化锌显然是很有利的。所述光板208-209在光线变得使表演者不舒服之前仅能够产生一定水平的光线输出。因此，为了使硫化锌的磷光发射输出最大化，理论上，光板208-209应该输出具有能够最有效地激发硫化锌的波长的光线。
可用于非皮肤磷光应用(例如，用于染色布料)的其他磷光体也可以由紫外光线来最好地激发。例如，相比于可见光线，SrAl2O4:Eu2+，Dy3+和SrAl2O4:Eu2+能够更加有效地被紫外光线所激发，并且具体而言，能够特别有效地被UVA(黑光)所激发。
如图3中所示，对用于光板208-209的光源的要求为，该光源可以非常快地从全黑转变成全亮(例如毫秒或者更小数量级)，以及从全亮转变成全黑(例如毫秒或者更小数量级)。大多数LED都可以很好地满足这一要求，通常以微秒的数量级来开启和关闭。不幸的是，当前的LED在用于普通照明时存在大量的问题。首先，目前可获得的LED具有大约35W的最大光线输出。来自Lamina Ceramics公司(该公司的地址为120Hancock Lane，Westampton，NJ 08060)的BL-43F0-0305的就是一个这样的RGB LED单元。其次，目前的LED具有特别的供电需求(对于BL-43F0-0305而言，单元中对于不同颜色的LED需要不同的电压供应)。另外，目前的LED需要非常大且重的散热器，并且产生大量的热。这些问题中的每个问题均会造成使LED很昂贵，并且不太适用于对用于表演的整个动作拍摄舞台进行照明。例如，如果需要3500瓦特来照亮舞台，则将需要100个35W的LED单元。
但是，除了上述缺点，目前唯一能够获得的非常亮的LED就是白色或者RGB LED。在这两种类型的LED的情况下，LED所发出的光线的波长不会与硫化锌被有效激发的波长相交叠。例如，在图8中，BL-43F0-0305LED单元中的蓝色LED的发射曲线823以大约460nm为中心。其仅与硫化锌激发曲线811的尾部相交叠(而红色和绿色LED根本不能够很有效地激发硫化锌)。因此，即使蓝色LED非常明亮(达到最适于表演者的亮度的点)，也仅只有一小部分光能会激发硫化锌，从而导致相对微弱的磷光。确实存在紫色和UVA(“黑光”)LED，该LED可以更加有效地激发硫化锌，但目前他们仅具有很低的功率水平(0.1瓦特的量级)。为了实现3500瓦特的照明，可能需要35,000个这种0.1瓦特的LED，这是非常不切实际且过于昂贵的。
荧光灯作为闪烁照明源
存在其他光源，该光源能够输出具有更加有效地被硫化锌吸收的波长的光线。例如，可以使用荧光灯(例如，来自电影电视摄影棚用冷光灯公司(Kino-Flo，Inc.)的482-S9，该公司的地址为2840North Hollywood Way，Burbank，CA 91505)，该荧光灯发出以大约350nm为中心且具有类似于821的发射曲线的UVA(黑光)，并且存在蓝色/紫色荧光灯(例如，来自电影电视摄影棚用冷光灯公司的482-S10-S)，该荧光灯发射以大约420nm为中心且具有类似822的发射曲线的浅蓝色光线/紫色光线。所述发射曲线821和822非常接近硫化锌激发曲线811的峰值，从而光能可以很有效地被吸收，从而对于给定的激发亮度，可以造成更高的磷光发射812。这样的荧光管非常便宜(对于48”灯管而言，通常是每个灯管15美元)、产生的热量小、而且重量轻。他们还可以具有很高的瓦数。普通的4灯管荧光夹具(fixture)可以具有160瓦或者更大的功率。而且，舞台表演用的夹具可以稳定的用于在作为舞台光的位置支撑这种灯管。(注意，虽然也可以使用UVB和UVC荧光灯管，但众所周知，UVB和UVC在特定条件下会有损健康，由此不适于用在没有采取适当安全防御的人类或者动物表演者上。)
使用荧光灯的主要问题在于，荧光灯并没有被设计成可以快速开启和关闭。实际上，镇流器(点亮荧光灯并给荧光灯供电的电路)通常很缓慢地将灯开启，并且众所周知的是，荧光灯可能在其被完全点亮之前需要花费一秒或两秒的时间。
图9示出了现有技术的荧光灯示意图。灯的元件被包含在封闭的玻璃灯管910内，在该实施例中，所述玻璃灯管910的形状为圆柱形(一般被称之为“管”)。所述玻璃灯管包含惰性气体940(通常为氩气)以及少量的汞930。所述玻璃灯管的内部曲面涂有磷光体920。所述荧光灯具有2个电极905-906，每个电极通过连接件901-904而被耦合到镇流器。当在电极901-904两端施加高电压时，灯管的中的一些汞会从液态变成气态，从而产生汞蒸气，该汞蒸气在适当的电性环境下会发出紫外光线。该紫外光线激发涂敷在所述玻璃灯管内部曲面的磷光体。然后，该磷光体会发出具有比激发波长更高的波长的光线。存在大量可用于具有不同波长的荧光灯的磷光体。例如，可以从许多供应商得到现有的以UVA波长和所有可见光波长进行发射的磷光体。
标准荧光镇流器并未被设计用来快速开启和关闭荧光灯，但是可以对现有的镇流器进行改造，以使其能够快速开启和关闭荧光灯。图10为对现有技术的27瓦荧光灯镇流器1002进行改造，加入了本发明的同步控制电路1001的电路图。
此时，仅考虑图10中没有改造1001时的现有技术的镇流器电路1002。现有技术的镇流器1002以以下方式进行工作：倍压器电路将来自电源线的120VAC转换成300伏的DC。该电压被接到半桥型镇流器/驱动器电路，该电路使用两个功率晶体管1004-1005。半桥型驱动器与多绕组变压器结合起来形成振荡器。所述变压器绕组中的两个绕组向两个功率晶体管1004-1005提供高驱动电流。变压器的第三个绕组与谐振电路相连，以提供所需的反馈，从而保持振荡。半桥型驱动器生成方波，该方波从一个半周期期间的+300伏变到下一半周期的0伏。方波信号接入到“LC”(即，电感器-电容器)串联谐振电路。该电路的频率由电感Lres和电容Cres来决定。荧光灯1003连接到谐振电容两端。从驱动器电路感生的谐振电容器两端的电压提供所需的高电压AC，以给荧光灯1003供电。为了促使电路振荡，功率晶体管1005的基极连接到简易张弛振荡器电路。从300v电源牵引的电流穿过电阻器而给0.1uF的电容器充电。当电容器两端的电压达到大于20伏时，DIAC(双向触发二极管)快速切换，并且向功率晶体管1005提供电流尖峰。该尖峰促使电路振荡。
添加同步控制电路1001以改造上述段落中描述的现有技术的镇流器电路1002，从而允许通过同步信号来对荧光灯1003进行快速开启和关闭控制。在图10所示的实施方式中，同步信号(诸如图2中的同步信号222)被电接入到SYNC+输入端。SYNC-接地。光隔离器NEC PS2501-1将SYNC+和SYNC-与电路中的高压相隔离。光隔离器集成电路包括发光二极管(LED)和光电晶体管。当接入SYNC+的同步信号为高位(例如，≥2.0V)时，SYNC+与SYNC-之间的电压差使得光隔离器中的LED发光并导通光隔离器中的光电晶体管。当该光电晶体管被导通时，电压被引入N沟道MOSFET Q1(捷特科半导体ZVN4106F DMOS FET)的栅极。MOSFET Q1用作低阻开关(使功率晶体管1005的基极-发射极电压短路，以中断振荡器)，从而关闭荧光灯1003。为了使荧光灯再次开启，使同步信号(例如222)为低位(例如＜0.8V)，导致光隔离器中的LED关闭，从而关闭光隔离器光电晶体管，这会导致MOSFET Q1断开，从而MOSFET Q1不再使功率晶体管1005的基极-发射极电压短路。这允许突跳启动电路对镇流器振荡进行初始化，从而荧光灯1003发光。
随着接入SYNC+的同步信号在高位与低位之间振荡，所述过程重复进行。结合到现有技术镇流器1002的同步控制电路1001可以以超出120次闪光/每秒的频率可靠地开启和关闭荧光灯1003。应该注意的是，本发明的基本原理并不限于图10中所示的特定电路布局。
图11示出了当同步控制电路1001被耦合到现有技术的镇流器1002且同步信号222被接入到电路1001(如上述段落所述的那样)时的荧光灯1003的光线输出。描迹1110和1120为置于荧光灯的灯管中心处的光电二极管的输出的示波器描迹，所述荧光灯对现有技术镇流器电路1002进行了改造，使镇流器电路1002具有本发明的同步控制电路1001。纵轴表示灯1003的亮度，而横轴表示时间。描迹1110(2毫秒/格)显示了在同步信号222产生60Hz的方波时荧光灯1003的光线输出。描迹1120(示波器被设置成1毫秒/格，且纵向的亮度比例减小了50％)显示了在相同测试条件下(除了此时同步信号222产生250Hz的方波)荧光灯1003的光线输出。注意，甚至在更高的切换频率下，峰值1121和最小值1122(当灯1003关闭且几乎完全变暗时)两者仍然相对平滑。因此，相比于未经改造的镇流器1002，对现有技术镇流器1002进行同步控制电路1001改造可以产生明显不同的光线输出，从而可以实现以高频率(如图2所示的运动拍摄系统所要求的，以及具有类似于图3的时序)对荧光灯进行开启和关闭。
虽然图10中所示的改造后的电路可以足够快地开启和关闭荧光灯1003，以满足运动拍摄系统(如图2所示的运动拍摄系统)的需求，但还由一些荧光灯属性可以被修改，以用于现实的运动捕捉系统。
图12示出了所述属性中的一者。描迹1210和1220为置于经电路1001改造之后的电路1002中的通用电气Gro和Sho荧光灯1003的光线输出的示波器描迹。描迹1210以1毫秒/格示出了光线输出，而描迹1220以20毫秒/格示出了光线输出。描迹1220中所示的波形部分与描迹1210的虚线区域1212大致相同。同步信号222如上所述那样被接入电路1002，并且产生250Hz的方波。峰值水平(peak level)1211示出了当灯1003开启时的光线输出，而最小值1212示出了当灯1003关闭时的光线输出。虽然描迹1210所示出的峰值水平1211和最小值1212相当的平滑，但是一旦利用描迹1220进行仔细观察，就会发现当灯1003关闭时，灯1003并不会立即从完全开启转变成完全关闭。相反，存在大约200微秒(0.2毫秒)持续时间的衰减曲线。这显然是由于涂敷在荧光灯管内侧的磷光体的衰减曲线造成的(即，当灯1003被关闭时，磷光体会将在一段很短的时间周期内继续发出磷光)。因此，当同步信号222关闭改造后的镇流器1001-1002时，不同于一般会在一微秒内关闭的LED灯，荧光灯需要花费一个短的时间段，直到他们衰减并变暗。
对于不同品牌和类型的荧光灯而言，存在很大范围的衰减周期，从短至200微秒到长至一毫秒。为了处理荧光灯的这一属性，本发明的一种实施方式调节信号221-223。该实施方式将马上被描述。
荧光灯的另一影响他们在运动拍摄系统(例如图2所示的运动拍摄系统)中的可用性的属性为，灯管中的电极实际上是在载有电流时发光的白热灯丝，而且与白热灯丝相同的是，他们会在电流离开他们之后接着发光很长时间(例如一秒或者更长)。因此，即使通过使用经电路101改造之后的镇流器1002而由同步信号222快速地开启和关闭他们，他们仍旧会在整个夜视时间段302期间继续发光。虽然通过发光电极而从荧光灯管发出的光相对于完全点亮的荧光灯管而言是非常微弱的，但这仍旧是很大量的光线，而且当同时使用多个荧光灯管时，电极会在夜视时间段302期间一共累积出大量的光线污染(light contamination)，这对于尽可能黑的房间而言是有利的。
图13示出了本发明的一种实施方式，该实施方式解决了上述问题。现有技术荧光灯1350被显示为处于灯关闭10毫秒之后的状态。灯中的汞蒸气不再发射紫外光线，而且排在灯管内部曲面的磷光体不再发射大量光线。但是电极1351-1352仍在发光，因为他们依旧炽热。电极发光导致荧光灯1350的灯管末端附近存在照亮区域1361-1362。
荧光灯1370为与现有技术的灯1350处于相同状态(即在灯管1370被关闭10毫秒之后，且其电极1371-1372仍旧发光并且在荧光灯1370的灯管末端产生照亮区域1381-1382)的灯，但是与现有技术的灯1350不同的是，灯1370的末端缠绕有不透明胶带1391和1392(出于示例性的目的，该胶带以斜线示出)。在本优选实施方式中，使用电工用的黑色胶带，例如来自普玛斯(Permacel)公司、日东电工(Nitto Denko)公司(该公司的地址为USHighway No.1，P.O.Box 671，New Brunswick，NJ 08903)的4”P-665。不透明胶带1391-1392用于阻挡来自发光电极1371-1392几乎所有光线，同时仅阻挡当在照亮时间段301期间灯开启时荧光灯的所有光线输出中一小部分光线。这允许荧光灯在以高频率(例如90Hz)被开启和关闭时在夜视时间段302期间变得更加暗。可以使用其他技术来阻挡来自发光电极的光线，包括其他类型的不透明胶带、在灯管末端涂上不透明涂料、或者在固定荧光的灯具上使用不透明材料(例如，黑色金属片)，从而阻挡包含电极的荧光灯的部分的光线发射。
现在返回到图12中所示的荧光灯的光线衰减属性，如果将荧光灯用于光板208-209，如图3中所述的同步信号时序将不能产生最佳效果，因为当光板同步信号222在在边沿332上降到低位时，荧光光板208-209将要花费时间来变成完全黑暗(即，边沿342将逐步降低到黑暗水平)。如果夜视摄像机同步信号促使黑白摄像机204-205同时在边沿322打开他们的快门，则黑白摄像机将拍摄一些由光板208-209在其衰减时间段期间的余光照亮的场景。很明显，图3的时序信号和光线输出行为更加适合于利用类似LED(具有比荧光灯更快的衰减速度)的光源的光板208-209。
荧光灯的同步时序
图14示出了更加适合用于荧光灯的时序信号以及最终的光板208-209的行为(注意，出于示例性的目的，在此放大了衰减曲线1442的持续时间以及后续时序图)。同步信号222的上升沿1434基本上与光亮摄像机同步信号223(该信号开启光亮摄像机214-215的快门)的上升沿1414以及夜视摄像机同步信号223(该信号关闭夜视摄像机204-205的快门)相一致。它还使光板208-209中的荧光灯快速变亮。在照亮时间段1401期间，照亮摄像机214-215拍摄由荧光灯(该荧光灯发射相对稳定的如光线输出水平1443所示的光线)照亮的彩色图像。
在照亮时间段1401结尾处，同步信号222的下降沿1432关闭光板208-209，并且该下降沿1432基本上与光亮摄像机同步信号223的上升沿1412相一致，该上升沿1412关闭光亮摄像机214-215的快门。然而，注意，光板208-209的光线输出不会立即从光亮降到黑暗，相反，它会随着荧光灯磷光体衰减而如边沿1442所示那样缓慢地降到黑暗。当荧光灯的亮度最终到达黑暗水平1441时，夜视摄像机同步信号221如边沿1422所示的那样从高位将到低位，并且这会开启夜视摄像机204-205的快门。通过此方式，夜视摄像机204-205仅拍摄发射自磷光化妆品、涂料或者染料的光，而不会拍摄来自由荧光灯在衰减时间段1442期间所照亮的任何对象的反射光线。因此，在该实施方式中，夜视时间段1402要短于光亮时间段1401，而且夜视摄像机204-205的快门比光亮摄像机214-205的快门开启更短的时间周期。
图15中示出了另一种实施方式，其中夜视时间段1502长于光亮时间段1501。该实施方式的优点在于，其允许更长的夜视摄像机204-205快门时间。在该实施方式中，光板同步信号222的下降沿1532出现的更加早了，该下降沿1532促使光板208-209关闭。光亮摄像机同步信号1532的上升沿1512基本上与下降沿1532同时出现，并且关闭光亮摄像机214-215上的快门。来自光板208-209的荧光灯的光线输出如边沿1542所示的那样开始衰减，并且最终到达黑暗水平1541。此时，夜视摄像机同步信号221在边沿1522上跃迁到低位状态，而且夜视摄像机204-205开启他们的快门并且拍摄磷光发射。
注意，在图14和15所示的实施方式中，光亮摄像机214-215的快门仅在光板208-209的荧光灯的光线输出最大时开启。在另一实施方式中，光亮摄像机214-215的快门可以在荧光灯发射任何光线的整个时间期间开启，从而使所捕捉的光线量最大化。然而，在该情况下，相对于场景中的非磷光区域，场景中的磷光化妆品、涂料或者染料将变得更加显眼，因为在荧光灯衰减期间磷光区域会相当稳定的连续发射光线，同时非磷光区域会稳定地变得更加暗。光亮摄像机214-215会在他们的快门开启的整个时间期间使这些光线集合。
在再一实施方式中，光亮摄像机214-215使他们的快门在整个夜视时间段1502或者夜视时间段1520的部分时间开启。在该情况下，相对于非磷光区域，场景中的磷光区域会显得更加显眼，因为光亮摄像机214-215会将夜视时间段1502期间的光线与来自光亮时间段1501的光线集合起来。
因为荧光灯通常不会与详细描述他们的磷光衰减特性的说明书一起出售，因此必须根据经验来其确定荧光灯的衰减特性。这可以通过以下步骤来简单地实现，即相对于同步信号222的下降沿1532来调节同步信号221的下降沿1522，并且然后观察夜视摄像机204-205的输出。例如，在图15所示的实施方式中，在荧光衰减1542期间，如果边沿1522在边沿1532之后很快就降下，则会在夜视摄像机204-205中拍摄到非磷光对象。如果边沿1522相对于边沿1532缓慢地后延，则在夜视摄像机204-205中，非磷光对象会逐渐变暗，直到所拍摄的整个图像都是黑的(除了图像中的磷光对象)。此时，边沿1522会经过荧光灯的衰减时间段1542。该段所描述的过程可以通过通用计算机上的应用程序(控制同步信号221-223的输出电位)来很容易地实现。
在另一实施方式中，荧光灯中的磷光体的衰减会使得即使边沿1532被延期(只要在1522之后能够允许夜视摄像机204-205具有足够长的快门时间来拍摄场景中磷光图案的足够明亮的图像)仍然有少量来自荧光灯的光线会照亮场景，从而使得场景中的非磷光对象会轻微可见。一般而言，这对于上述共同待审的申请中所描述的图案处理技术是不成问题的。只要场景中的磷光图案基本上亮于场景中的微弱发光的非荧光对象，所述图案处理技术就能够对磷光图案进行充分的校正和处理，并将微弱发光的非荧光对象作为噪声来处理。
对摄像机(该摄像机的帧率低于光板闪烁频率)进行同步
在另一种实施方式中，光亮摄像机214-215和夜视摄像机204-205均以低于光板208-209的闪烁频率的帧率进行工作。例如，捕捉帧率可以是30帧每秒(fps)，但是为了将光板的闪烁频率保持在人的感知阈值之上，光板208-209以90次闪烁每秒的频率闪烁。这一情况被示于图16中。对于光亮时间段1601和夜视时间段1602(光周期0)而言，对同步信号221-3的控制与图15中的控制是一样的，但是在此之后，仅光板208-209同步信号222会继续振荡光周期1和2。在该时间段，同步信号221和223保持在不变的高位状态1611和1626。接着在光周期3期间，同步信号221和223再次由边沿1654和1662进行触发，在光亮时间段1604期间开启光亮摄像机214-215的快门，并且接着在夜视时间段1605期间开启夜视摄像机204-205的快门。
在另一种实施方式中，其中光亮摄像机214-215和夜视摄像机204-205均以低于光板208-209的闪烁频率的帧率进行工作，在同步信号221使夜视摄像机204-205开启他们的快门之后，同步信号223使光亮摄像机214-215开启他们的快门。这一情况被示于图17中。与图16中的时序安排相比，此种时序安排的优点在于，荧光灯从暗到亮跃迁(边沿1744)比他们从亮到暗衰减(边沿1742)更加快。这可以使夜视帧时间段1702更加靠近光亮帧时间段1701。由于所捕捉的光亮纹理通常会被用来映射到根据夜视摄像机图像所重建的3D曲面上，如果所捕捉的对象正在运动，则进行光亮捕捉和夜视捕捉的时间越靠近，结合得越紧密。
在另一种实施方式中，其中光亮摄像机214-215和夜视摄像机204-205均以低于光板208-209的闪烁频率的帧率进行工作，光板208-209以变化的光周期时间段进行闪烁，从而允许夜视摄像机204-205或者光亮摄像机214-215中任一者具有更长的快门时间、或者允许此两种摄像机都具有更长的快门时间。图18中示出了该实施方式中的实施例，其中光板208-209以摄像机204-205和214-215的帧率的3倍的频率进行闪光，但是夜视摄像机204-205的开启快门时间段1821等于几乎整个帧时长1803的一半。这可以通过以下操作来实现：使光板208-209同步信号222关闭光板208-209一段长的夜视时间段1802，同时夜视摄像机同步信号221在所述长的夜视时间段1802期间开启夜视快门1802。同步信号222使光板208-209开启一段短的光亮时间段1801，以结束光周期0，并且然后通过光周期1和2而使光板208-209快速地闪烁。这会使得与图17所示的实施方式相比，每秒具有相同次数的闪烁，尽管夜视时间段1802更加长一些。这是个有用的配置，原因在于即使闪烁周期时间不太规律，但人体视觉系统仍旧会将快速闪烁的光线(例如，每秒90次闪烁)感受成持续发光。通过改变光板208-209的光亮时间段和夜视时间段的持续时间，可以延长或者缩短夜视摄像机204-205、光亮摄像机214-215或者这两者的快门时间，同时仍旧持续使人感觉光板208-209持续发光。
来自串联(cascaded)摄像机的高综合帧率
图19示出了另一种实施方式，其中光亮摄像机1941-1946和夜视摄像机1931-1936均以低于光板208-209的闪烁频率的帧率进行工作。图19示出了与图2a相类似的运动捕捉系统配置，但是由于图中的空间限制，仅显示了光板、摄像机和同步子系统。图2a的未被显示的剩余组件(即，从摄像机到摄像机控制器和数据处理子系统的接口，以及数据处理子系统的输出端)为整个配置(被部分示于图19中)的一部分，并且他们以其被耦合到图2a中组件相同的方式而被耦合到图19中的组件。此外，图19示出了光板208-209处于他们的“光亮”状态。可以通过同步信号222将光板208-209切换到他们的“夜视”状态，在该情况下，如图2b所示，表演者202将不再被照亮，并且仅涂到她脸上的磷光图案是可见的。
图19示出了6个照亮摄像机1941-1946以及6个夜视摄像机1931-1936。在本优选实施方式中，将彩色摄像机用于光亮摄像机1941-1946，而将黑白摄像机用于夜视摄像机1931-1936，但也可以出于单一的目的而使用一种类型的摄像机。通过来自同步信号生成器PCI卡224的同步信号1921-1926来驱动摄像机1941-1946以及1931-1936上的快门。所述同步信号生成器PCI卡安装在同步信号生成器PC 220中，并且如上所述那样工作。(此外，在另一种实施方式，可以通过使用同步信号生成器PC 220的并行端口输出来驱动同步信号1921-1926，并且在此情况下，例如并行端口的0位(bit 0)会驱动同步信号222，并行端口的1-6位可以分别驱动同步信号1921-1926。)
不同于上述实施方式，其中一个同步信号221用于夜视摄像机且一个同步信号223用于光亮摄像机，在图19所示的实施方式中，存在用于夜视摄像机的3个同步信号1921-1923，以及用于夜视摄像机的3个同步信号1924-1926。图20示出了所述同步信号1921-1926的时序。当同步信号1921-1926处于高位状态时，他们使连接到他们的摄像机的快门被关闭，当同步信号处于低位状态时，他们使连接到他们的摄像机的快门被开启。
在如图20所示的实施方式中，光板208-209在同步信号222的控制下以同一的90次闪烁每秒的频率进行闪烁。图20中还示出了光板208-209的光线输出，包括了荧光灯衰减2042。每个摄像机1931-1936和1941-1946以30帧每秒(fps)(刚好与光板的90次闪光每秒成1∶3的比例)来捕捉图像。如图20所示，每个摄像机在光板每3次闪烁之后捕捉一张图像，并且他们的快门被排列成“串联(cascading)”顺序。通过以下方式来捕捉一系列的3个帧。
同步信号222通过边沿2032而从高位状态跃迁到低位状态2031。低位状态2031关闭光板208-209，光板208-209沿着衰减曲线2042逐渐衰减到黑暗状态2041。当光板黑到能够达到为将场景中的磷光化妆品、涂料或者染料与非磷光曲面相区别而提供足够的反差的目的时，同步信号1921跃迁到低位状态2021。这使夜视摄像机1931-1933开启他们的快门并捕捉夜视帧。在时间段2002之后，同步信号222通过边沿2034跃迁到高位状态2033，这导致光板208-209通过边沿2044跃迁到点亮状态2043。在光板208-209变亮之前，同步信号1921跃迁到关闭夜视摄像机1931-1932的快门的高位状态2051。在光板208-209变亮之后，同步信号1924跃迁到低位状态2024，导致光亮摄像机1941-1942上的快门在时间段2001期间开启，并捕捉光亮帧。同步信号222跃迁到低位状态，该低位状态关闭光板208-209，并且同步信号1924在时间段2001结束时跃迁到高位状态，高位状态关闭光亮摄像机1941-1942上的快门。
上述段落中描述的一系列事件再重复2次，但在重复期间，同步信号1921和1924保持高位，使他们的摄像机快门保持关闭。对于第一次重复，同步信号1922在光板208-209是黑暗的时开启夜视摄像机1933-1934的快门；而同步信号1925在光板208-209点亮时开启光亮摄像机1943-1944的快门。对于第二次重复，同步信号1923在光板208-209是黑暗的时开启夜视摄像机1935-1936的快门；而同步信号1926在光板208-209点亮时开启光亮摄像机1945-1946的快门。
接着，在图19所述的运动捕捉过程正在进行时，继续重复前两段所描述的一系列事件，从而“串联”序列的摄像机捕捉允许三组夜视摄像机和三组光亮摄像机从而以90fps(即，等于每秒90次闪烁的光板闪烁频率)来捕捉运动，尽管实际上每个摄像机仅以30fps来捕捉图像。因为每个摄像机仅捕捉每3帧中的1帧，因此然后数据处理系统210所存储的捕捉图像被交错(interleave)以使得所存储的90fps的帧序列在时间上具有适当顺序。在交错操作完成之后，所述数据处理系统会以90fps输出重建的3D曲面207和纹理化的3D曲面217。
虽然图20所示的“串联”时序允许摄像机在以总和帧率为90fps捕捉图像的同时工作在30fps，但可能需要能够将时序切换到某些时刻以使所有的摄像机1921-1923以及1924-1926同时工作。此种情形的实施例是为了确定摄像机相互之间的相对位置。精确知晓夜视摄像机1921-1923的相对位置可用于摄像机之间的精确三角测量，并且精确知晓光亮摄像机1924-1926相对于夜视摄像机1921-1923的位置可用于确定如何将光亮摄像机1924-1926所捕捉的纹理图映射到根据夜视摄像机1921-1923所捕捉的图像所重建的几何图形上。一种用于确定固定的摄像机的相对位置的现有方法(例如，用于对运动分析公司的运动捕捉摄像机进行校准)为将已知对象(例如，刚性阵列的杆的端部上的球体)放置在摄像机的视野内，然后在所述对象运动时通过所有摄像机同时(即，所有摄像机的快门同时开启和关闭)捕捉所述已知对象的连续帧图像。通过处理来自所有摄像机的连续帧，可以计算摄像机相互之间的相对位置。但为了使该方法能够工作，需要同步所有的摄像机，以使他们能够同时捕捉图像。如果摄像机快门没有同时开启，则当每个非同步快门开启时，相比于其快门在不同的时刻开启的其他摄像机，具有所述非同步快门的摄像机将在空间中的不同位置处捕捉运动对象的图像。这将使得更难(或者不可能)精确地确定所有摄像机相互之间的相对位置。
图21示出了在另一种实施方式中如何调节同步信号1921-6以使得所有的摄像机1931-1936以及1941-1946同时开启他们的快门。同步信号1921-1926均会在夜视时间段2102期间跃迁到低位状态2121-2126。虽然光板208-209会以90次闪烁每秒的频率闪烁，但摄像机会以30fps同时捕捉帧。(注意，在此情况下，在本优选实施方式中为彩色摄像机的光亮摄像机1941-1946也会在夜视时间段2102期间与夜视摄像机1931-1936同时捕捉帧。)通常可以在校准对象(例如磷光球体阵列)位于所有摄像机或者部分摄像机的视野内时执行所述同步操作模式，这通常可以在对表演者进行运动捕捉之前执行。通过此方式，如图21所示，可以在摄像机以30fps同时运行的同时确定摄像机的相对位置。接着，可以将摄像机时序切换到图20中所示的“串联”时序，从而以90fps来捕捉表演。当通过数据处理系统210重建90fps的帧时，则可以使用摄像机位置信息(在90fps捕捉之前(或者之后)利用图21所示的同步模式时间而确定)来计算3D曲面207，并且将所捕捉的光亮帧纹理映射到所述3D曲面，以创建纹理化3D曲面217。
当使用传统现有方法来拍摄场景并且摄像机仅拍摄所述场景的2D图像时，图19和图20中所示的用于使用多个较低帧率的摄像机来获得较高总和帧率的“串联”技术并不会产生高质量的效果。造成此结果的原因在于“串联”的每个摄像机(例如摄像机1931、1933和1935)将从不同的视点来观看场景。如果每个摄像机所捕捉的30fps帧被交错在一起以实时创建90fps的连续帧序列，则当观看该90fps的序列时，会看出抖动，就像摄像机在多个位置之间快速跳跃一样。但是，为了捕捉场景中的对象的3D曲面，当如图19和图20所示那样“串联”更低帧率的摄像机以获取更高的总和帧率(如在此所述以及结合公共待审的申请中所描述的方法)，最终的90fps的交错3D曲面207和纹理化3D曲面217一点都不会展现出抖动，而且看起来相当稳定。原因在于摄像机1931-1936和1941-1946的特定位置不会影响到重建3D曲面，只要夜视摄像机1931-1936中的至少一对摄像机在每个夜视帧时间段2002期间具有要被重建的曲面区域(具有磷光化妆品、涂料或者染料)的非倾斜视野(例如，＜30度)即可。这相对于传统现有技术的2D运动图像捕捉(即，公知为视频捕捉)而言带来了显著的优点，因为相比于商业可获得的较低分辨率传感器而言，目前商业可获得的最高分辨率传感器具有较低的帧率。因此，高分辨率的2D运动图像捕捉被限制为单个高分辨率传感器的帧率。在此描述的基本原理下，通过图19和图20所示的方法，高分辨率的3D运动曲面捕捉能够获得的帧率是单个高分辨率摄像机的帧率的n倍，其中n为“串联”在一起的摄像机组的个数。
磷光体亮度的颜色映射
理论上，可以利用夜视摄像机204-205的整个动态范围(而不超过该范围)来实现最高质量的图案捕捉。例如，如果图案被捕捉得过暗，则摄像机204-205中的传感器中的噪声图案可能变得与所捕捉的图案一样突出，从而导致不正确的3D重建。如果图案过亮，该图案的某些区域可能超过传感器的动态范围，从而会以最大亮度(例如，在8位传感器中为255)(而非实际构成所述图案区域的多个不同的亮度)记录该区域内的所有像素。这也会导致不正确的3D重建。因此，在通过在此描述的技术来捕捉图案之前，确保整个图案的亮度不是太暗、也不是太亮(例如，不会达到摄像机传感器的最大亮度)是很有益的。
当磷光化妆品被涂到表演者上、或者当磷光化妆品、涂料或者染料被涂到对象上时，人眼很难估计该磷光体涂敷是否会造成夜视摄像机204-205所捕捉的图案在所有的位置足够亮、或者在某些位置过亮。图22中的图像2201示出了涂覆有磷光体随机图案涂覆的圆柱体。当在计算机显示屏(例如，LCD监视器)上观察该图像时，很难准确地确定是否存在部分所述图案过亮(例如，位置2220)或者过暗(例如，位置2210)。造成此问题的原因有很多。计算机监视器通常不具有与传感器相同的动态范围(例如，计算机监视器可以仅显示128个独立的灰度，而传感器可以捕捉256个灰度)。可能不能在监视器正确地设定亮度和/或对比度。此外，人眼可能很难确定哪些部分构成最大亮度，因为人脑可以适应人眼所见到的亮度，并且将屏幕上的最亮区域视为最大亮度。对于所有的这些原因，具有一种让人可以在涂敷磷光化妆品、涂料或者染料时很容易地估计亮度的客观测量是很有用的。此外，在夜视摄像机204-205上调节透镜孔径和/或倍率、和/或调节光板208-209的亮度时，具有一种客观的亮度测量是很有用的。
图2202示出了这样一种客观的测量。图2202示出了与图2201相同的圆柱体，但并非将图像的每个像素的亮度显示成灰度(在该实施例中为0-255)，图2202将亮度显示成彩色。每种颜色代表一定范围的亮度。例如，在图像2202中，蓝色代表亮度范围0-32，橙色代表亮度范围192-223以及深红色代表亮度范围224-255。其他颜色代表了其他亮度范围。区域2211(蓝色)现被明确定义为过暗的区域，而区域2221(深红色)现被明确定义为过亮的区域。可以很容易通过人眼进行判断，即使显示监视器的动态范围小于传感器的动态范围、或者即使显示监视器没有被正确地调节、或者即使观察者的大脑适应了显示屏的亮度。利用这些信息，观察者可以改变磷光化妆品、涂料或者染料的应用。观察者还可以调节摄像机204-205上的孔径和/或倍率设置，和/或光板208-209的亮度。
在一种实施方式中，图像2202由运行在一个摄像机控制器计算机225上的应用软件创建，并被显示在连接到所述摄像机控制器计算机225的彩色LCD监视器上。所述摄像机控制器计算机225捕捉来自夜视摄像机204的帧，并将所捕捉的帧的像素值以阵列的形式置于其RAM内。例如，如果夜视摄像机204为具有8位/像素的640×480的黑白摄像机，则所述RAM中的阵列为640×480的8位字节阵列。接着，所述应用程序将提取所述阵列中的每个像素值，并将其用作颜色查找表中的索引，所述颜色查找表具有与可能像素值的数量相等的项。针对8位/像素，所述查找表具有256个项。查找表中的每一项均被预先加载(由用户或者应用程序开发者预先加载)，且针对给定的亮度显示期望的红、绿、蓝(RGB)颜色值。每个亮度均被给定有唯一的颜色。或者一个亮度范围可以共享一个唯一的颜色。例如，对于图像2202，针对蓝色的RGB值，装载查找表表项0-31；针对橙色的RGB值，装载表项192-223；针对深红色的RGB值，装载表项224-255。也可以针对不同的RGB颜色值装载其他的表项。所述应用程序将所捕捉的帧的阵列(例如640×480的8位灰度值)中的每个像素值用作所述颜色查找表中的索引，并且形成所查找颜色的新阵列(例如，640×480的24为RGB值)。然后显示该所查找颜色的新阵列，产生如1102那样的彩色图像。
如果使用彩色摄像机(光亮摄像机214或者夜视摄像机204)来捕捉图像以生成如2202那样的图像，则在图像被捕捉之后且在其如上述段落所述那样被处理之前，首先要执行一个步骤。摄像机所捕捉的RGB输出被以阵列形式(例如，24位/像素的640×480阵列)存储在摄像机控制器计算机225的RAM中。运行在摄像机控制器计算机225上的应用程序然后通过对每个像素的红、绿、蓝值求平均(即，平均值＝(R+G+B)/3)，以计算出每个像素的平均亮度，并将这些平均值置于新矩阵(例如，8位/像素的640×480阵列)中。该平均像素亮度阵列(“平均阵列”)会立刻如在上述段落中所描述的那样被处理，就像其为黑白摄像机的像素输出那样，以产生如2202那样的彩色图像。但是，首先还存在一个步骤：应用程序检查所捕捉的RGB阵列中的每一像素，以判断是否像素的任一颜色通道(即，R、G或者B)都为最大亮度值(例如，255)。如果任一通道都是这样，则应用程序将所述平均阵列中所述像素的值设置成最大亮度值(例如，255)。执行此步骤的原因在于，要被驱动的像素的一个颜色通道有可能会超出最大亮度(但是仅输出最大亮度值)，而其他颜色通道则由相对较暗的亮度来驱动。这可能导致针对所述像素计算的平均亮度位于中间范围水平(这对于高质量图案捕捉而言可能不成问题)。但是，如果在给定像素中有任何颜色通道被驱动过度，则将导致不正确的图案捕捉。因此，通过将平均阵列中的像素值设置成最大亮度，可以产生彩色图像2202(其中所述像素被显示成最大亮度)，这可以提醒图像1102的观察者注意高质量图案捕捉的潜在问题。
应该注意的是，本发明的基本原理并不限于图22中所示的特定颜色范围和颜色选择。此外，还可以使用其他方法来确定图2202中的颜色，而不仅仅是使用单个颜色查找表。例如，在一种实施方式中，可以使用所捕捉的图像的像素亮度(或者平均亮度)值来指定所显示的色调。在另一种实施方式中，将所捕捉的图像的像素亮度(或者平均亮度)值的固定数量的低位(例如，低4位)设置为0，并且使用最终的数字来指定每个像素的色调。这样的作用在于将每个单色调分配给一定范围的亮度。
根据多个范围数组来进行曲面重建
如上所述那样将一个摄像机所捕捉的线条或者随机图案来自其他摄像机的图像相关联来提供每个摄像机的范围信息。在本发明的一种实施方式中，通过以下三个步骤来结合来自多个摄像机的范围信息：(1)将3D采集区(volume)作为标量场；(2)使用“移动立方体(Marching Cubes)”(或者相关的“移动四面体(Marching Tetrahedrons)”)算法来寻找所述标量场的等值面，并创建代表物体曲面的多边形网格；以及(3)移除错误的曲面，并且简化所述网格。下面将提供与这些步骤中的每一步骤相关的细节。
采集区(也称为立体像素(voxel))中的每个点的标量值为来自每个摄像机的标量值的加权和。对于重建曲面附近的点的单个摄像机的标量值是该点到曲面的距离的最佳估计。对于对象内部的点而言，距离为正；而对于所述对象外部点而言，距离为负。然而，远离所述曲面的点被赋予一个很小的负值，即使他们在对象的内部。
用于每个摄像机的权重具有两个分量。位于所述曲面的法线主方向上的摄像机被赋予权重1。位于与所述法线成90度的摄像机被赋予权重0。所使用的函数式为：ni＝cos2ai，其中ni是发现权重函数，且ai为摄像机方向与曲面法线之间的角度。这被图示于图23中。
第二权重分量为距离的函数。空间点(volume point)离曲面越远，距离估计的准确度的可信度就越低。所述权重的减小会远快于距离的增大。所使用的函数式为：wi＝1/(di 2+1)，其中wi是权重，而di是距离。这被示于图24中。还可以使用权重来区分“靠近”或者“远离”所述曲面的空间点。摄像机i的标量场的值为以下函数形式：si＝(di*wi-k*(1-wi))*ni，其中di为空间点到所述曲面的距离，wi为距离权重函数，k为“远离”点的标量值，以及ni为法线权重函数。这被图示于图25中。所述标量场的值为所有摄像机的标量场的加权和：s＝sum(si*w)。例如参见斯坦福大学的C·布赖恩和L·马克所著的“A Volumetric Method for Building Complex Models from RangeImages”，http://graphics.stanford.edu/papers/volrange/paper_1_level/ paper.html，该内容作为参考而结合于此。
应该注意的是，还可以使用具有类似于上述函数的特性的其他公知函数。例如，除了上述余弦平方函数，还可使用具有阈值的余弦平方函数。实际上，还可以使用能够产生形如图23-25所示的那些曲线(例如，以很陡的角度下降到0的曲线)的任何其他函数。
在本发明的一种实施方式中，“移动立方体”算法及其变型“移动四面体”找出标量场的零交叉，并生成曲面网格。例如参见，W·E·洛伦森和H·E·克利纳的“Marching Cubes：a high resolution 3D surface reconstructionalgorithm”，Computer Graphics Vol.21，No.4，pp 163-169(Proc.ofSIGGRAPH)，1987，该内容作为参考而结合于此。区域被划分成立方体。针对立方体的每个角，如上所述那样获取或者计算标量场。当一些角点具有正值而一些角点具有负值时，则可以得知曲面穿过所述立方体。标准算法在曲面穿过各个边沿之处执行内插。本发明的一种实施方式通过使用改进后的二分查找法来查找交叉之处，以对此进行改进，从而达到很高的精度。通过这样做，可以计算其他点的标量场。仅沿着曲面发生计算负荷，从而大大提高了最终的网格的质量。根据表格将多边形加入到所述曲面。所述“移动四面体”的变换方式将每个立方体划分成六个四面体。该四面体的表格远小于立方体表格，而且比立方体表格更加容易实现。另外，移动立方体所具有的模棱两可的情况不会出现在移动四面体中。
最终的网格通常具有大量非期望的特性。通常在期望曲面的后面会存在寄生面(ghost surface)。通常会有一些在正确面的周围形成晕圈(halo)的错误面。从而最终，所述网格中的顶点不能均匀分布。可以利用两种类似的技术，将所述寄生面和绝大多数的错误面识别出来并且将其移除。对照每个摄像机的范围信息来检查重建曲面中的每个顶点。如果所述顶点接近足够数量的摄像机(例如，1-4个摄像机)的范围值，则可信度很高，并且该顶点是良好的。将未通过所述检查的顶点移除。通常并非摄像机视野内的所有点均存在范围信息。所述点要么不位于曲面上或者该曲面的所述部分未被涂上。如果顶点落入过多摄像机(例如，1-4个摄像机)的“无数据”区，则可信度很低，从而该点应该是重建表面的一部分。未通过所述第二测试的顶点也要被移除。该测试对要被重建的对象的大致形状做出了假设，并且从而对所述大致形状进行了限定。虽然本发明的基本原理并不限于任何特定类型的曲面，但它实际上可以很好地进行工作以重建脸部。最终，通过重复地将网格中的边沿所连接的最接近的顶点对进行合并，以使顶点之间的间隔变得更加均匀。当所述一对最接近的顶点分开超过某一阈值时，停止所述合并过程。目前，已知0.5倍的格距可以提供很好的结果。
图26为概述过程的流程图。在2601，创建/计算标量场。在2602，使用移动四面体算法和/或移动立方体算法来确定所述标量场的零交叉，并生成曲面网格。在2603，基于顶点与指定数量的摄像机的范围值的相对位置，来确定“好的”顶点。保留好的顶点。在2604，基于顶点与摄像机的范围值的相对位置和/或判断所述顶点是否落入指定数量的摄像机的“无数据”区内(如上所述)，来移除“坏的”顶点。最终，在2605，简化所述网格(例如，如上所述，会使顶点的间隔更加均匀)并且过程结束。
顶点跟踪实施方式
在此所使用的“顶点跟踪”是随着时间跟踪所捕捉的曲面中的选定点的运动的过程。一般而言，一种实施方式是利用两种策略来跟踪顶点。帧-对-帧(Frame-to-Frame)方法通过比较所捕捉的相隔很短时间捕捉的图像来跟踪点。参考帧-对-帧(Reference-to-Frame)方法通过将图像与参考图像相比较来跟踪点，所述参考图像可以是在不同时刻所拍摄的图像、或者可以通过其他方式来获取。上述两种方法均具有优缺点。帧-对-帧跟踪不能给出很完美的结果。小的跟踪误差通过很多帧会得到积累。点会渐渐离开他们的标定位置。在参考帧-对-帧中，目标帧中的对象可能会与参考帧有很大的不同。例如，参考图像中的嘴巴可能是闭着的，而在目标图像中，嘴巴可能是张开的。在某些情况下，不可能将两张图像中的图案相匹配，因为图像已经被扭曲得超出了能够识别的范围。
为了解决上述限制，在本发明的一种实施方式中，使用了把参考帧-对-帧与帧-对-帧结合起来的技术。图27中示出了描述此种实施方式的流程图。在2701，使用帧-对-帧跟踪来查找第一帧和第二帧内的点。在2703，将过程变量N设置成3(即，表示第3帧)。接着，在2704，使用参考帧-对-帧跟踪来计算帧之间的潜在偏移。在2705，增大N的值(即，表示第N帧)，并且如果在2706确定存在其他的帧，过程回到2703进行参考帧-对-帧跟踪，之后在2704处使用帧-对-帧跟踪。
在一种实施方式中，对于参考帧-对-帧跟踪以及帧-对-帧跟踪两者，选择最接近曲面法线的摄像机。使用关联性来找寻点的新x，y位置。参见例如2005年10月20日提交的，题为“Apparatus and Method for Performing MotionCapture Using A Random Pattern On Capture Surfaces”，的申请No.11/255,854，其描述了可以使用的关联性技术。可以从重建曲面提取Z值。所述关联性技术具有大量参数，这些参数可以被调节，以查找到尽可能多的点。例如，帧-对-帧方法可以在相对很大的区域内搜索点，并且使用大型窗口函数来对点进行匹配。所述参考帧-对-帧方法可以利用更小的窗口来搜索更小的区域。然而，存在这样的情况，即存在不可辨识的峰值、或者对于特定的参数组而言存在多个峰值。通过使用这些参数，不能在具有足够的可信度的情况下跟踪点。基于此原因，在本发明的一种实施方式中，利用不同的参数组来执行多个关联性步骤(pass)。在第一个关联性步骤之后的步骤中，可以使用基于附近的点(已经在之前的步骤中被成功跟踪)的位置的最小二乘估计来缩小搜索区域。在选择附近的点时必须要小心。例如，在一个帧中，上嘴唇上的点物理上靠近下嘴唇上的点，但是在后续的帧中，他们可能会分开很大的距离。上嘴唇上的点并非下嘴唇上的点的位置的很好的预测因子(predictor)。当移动被限制成沿着网格的边沿进行时，点之间的测量距离(而不是点之间的空间距离)是最小二乘法拟合的权重函数的更好的基准。在该实施例中，从上嘴唇到下嘴唇的路径会在嘴角周围——更大的距离，从而更大幅度地减小了对对面嘴唇上的点的位置的影响。
图28提供了上述操作的回顾。在2801，选择第一组参数。在2802，在给定一组参数的情况下试着跟踪的顶点。使用上述判断标准来确定是否成功。在2802，根据被成功跟踪的相邻顶点的位置来计算没有被成功跟踪的顶点的位置。在2804和2805，更新参数组或者终止程序。因此，可以通过使用不同的参数组来执行多个关联性步骤。
曲面重建有时是不完美的。曲面可能具有小孔或者额外的肿块。通过根据其相邻点的位置来估计其位置，从而检查每个点的位置。如果所跟踪的位置过于不正常，则怀疑跟踪或者曲面重建可能出现了错误。不管是哪种情况，均可将所述点校正到最佳估计位置。
回顾性(retrospective)跟踪标记的选择
许多现有技术运动捕捉系统(例如，Vicon MX40运动捕捉系统)利用一种形式或者其他形式的标记，该标记被附着到将对其运动进行捕捉的对象上。例如，为了捕捉面部运动，一种现有技术是将回光反射标记粘到脸上。另一种用于捕捉面部运动的现有技术是将点或者线涂到脸上。由于这些标记保持在与他们附着到脸上的位置相对固定的位置，因此他们可以随着脸部部位的移动而跟踪该脸部部位的运动，
通常的，在制作运动捕捉的环境中，由制作团队来选择脸上的位置，他们相信当他们将来使用所捕捉的运动数据来驱动动画片时他们会需要在该位置跟踪面部运动，(例如，他们可以将标记放置到眼皮上以跟踪眨眼睛的运动)。该方法的问题在于，通常不可能在正在进行动画片制作之前确定标记的理想位置，所述动画片制作可能是在运动捕捉过程(在该过程中捕捉所述标记)之后的数个月或者甚至数年。在此时，如果制作团队认为一个或者多个标记处于不是最理想的位置(例如位于脸上存在皱纹的位置，所述皱纹会对运动进行扭曲)，建立相同表演者的另一个运动捕捉过程并重新采集数据通常是不切实际的。
在本发明的一种实施方式中，在已经采集运动捕捉数据之后(即，相对于运动捕捉过程而言是回顾性地，而非预期性的)，用户在所拍摄的曲面上指定他们想要跟踪的点。一般情况下，通过使用本实施方式的曲面拍摄系统，用户所指定的要进行跟踪以制作动画片的点的数量会远少于每个帧中所捕捉的多边形的顶点的数量。例如，可以针对脸部在每一帧中捕捉超过100,000个顶点，对于大多数制作动画片的应用而言，一般1000个跟踪顶点或者更少的跟踪顶点就足够了。
对于该实施例，用户可以选择参考帧，然后从所述曲面上的超过100,000个顶点中选出1000个顶点以进行跟踪。接着，利用图27和图28所示以及之前所述的顶点跟踪技术，帧对帧地跟踪所述1000个顶点。接着，动画片制作团队将这1000个被跟踪的点用于他们选择制作的动画片。如果在动画片制作过程中的某一时刻，动画片制作团队认为他们希望将一个或者多个被跟踪的顶点移到脸上的不同位置、或者添加或删除一个或者多个被跟踪的顶点，则他们可以指定这些改变，并且然后通过使用相同的顶点跟踪技术来跟踪这些新的顶点。实际上，需要的话可以多次改变将被跟踪的点。相比于现有的方法(其中所有被跟踪的点必须在运动捕捉过程之前被预先指定好，且之后不能被改变)，能够回顾性地改变跟踪标记(例如，顶点)是一个巨大的改进。
本发明的各种实施方式可以包括上述提到的各种步骤。这些步骤可被嵌入为机器可执行指令，该指令使通用处理器或者专用处理器执行特定步骤。不涉及本发明基本原理的各种元件(例如计算机存储器、硬盘驱动器、输入装置)已被剔出在附图之外，以避免模糊本发明的相应方面。
可选择的，在一种实施方式中，在此所示的各种功能模块以及相关步骤均可通过特定的硬件组件(该组件包含用于执行所述步骤的硬线逻辑)来实现，例如专用集成电路(“ASIC”)，或者通过被编程的计算机组件与常用硬件组件的结合来实现。
本发明的各个元件还可被提供为用于存储所述机器可执行指令的机器可读介质。该机器可读介质可包括(但不限于)闪存、光盘、CD-ROM、DVDROM、RAM、EPROM、EEPROM、磁卡或者光卡、传播媒介、或者其他类型的适于存储电子指令的机器可读媒介。例如，本发明可以作为计算机程序而被下载，该计算机程序可以经由通信链路(例如，调制解调器或者网络连接)而以包含在载波或者其他传播介质的数据信号的方式来从远程计算机(例如，服务器)发送到请求计算机(例如，客户端)。
出于解释的目的，在上述描述中提出了大量具体细节，以提供对本系统和方法的透彻理解。然而，对于本领域技术人员而言很显然的是，可以在没有部分所述特定细节的情况下实现所述系统和方法。因此，应该根据所附权利要求来判定本发明的范围和本质。

Claims (16)

1、一种实施于运动捕捉系统中的计算机实施的方法，该方法用于根据多范围数组来对具有三维采集区的对象执行曲面重建，所述运动捕捉系统包括多个摄像机，所述方法包括：
为所述对象的三维采集区创建标量场；
为所述标量场生成曲面网格；
保留好的顶点，并且移除所述曲面网格的坏的顶点；以及
存储所述好的顶点，以用于对所述对象的运动的后续重建。
2、根据权利要求1所述的方法，其中创建标量场包括：
计算所述采集区中的每个点的标量值。
3、根据权利要求2所述的方法，其中每个标量值被计算成根据运动捕捉过程中所使用的每个摄像机而计算出的标量值的加权和。
4、根据权利要求3所述的方法，其中用于每个摄像机的加权值基于：(1)摄像机的方向与每个点所位于的曲面的曲面法线之间的角度；以及(2)所述摄像机与每个点之间的距离。
5、根据权利要求1所述的方法，其中生成曲面网格包括：
执行移动立方体或者移动四面体算法，以确定所述标量场的零交叉。
6、根据权利要求1所述的方法，其中基于所述顶点与指定数量的摄像机的范围值的相对位置来确定“好的”顶点，并且基于所述顶点与摄像机的范围值的相对位置和/或判断所述顶点是否落入指定数量的摄像机的“无数据”区来移除“坏的”顶点。
7、根据权利要求1所述的方法，该方法还包括：
通过重复地合并由所述曲面网格中的边沿所连接的最接近的一对顶点来简化所述曲面网格。
8、根据权利要求7所述的方法，该方法还包括：
当所述最接近的一对顶点被分开的距离超过了指定阈值时，中止合并。
9、根据权利要求8所述的方法，其中所述阈值包括所述曲面网格的格距的0.5倍。
10、一种用于对对象执行运动捕捉的方法，该方法包括：
在一段时间周期期间每个帧地捕捉所述对象的一系列图像帧，每个帧具有定义所述对象的所捕捉的曲面的多个顶点；
建立参考帧，该参考帧具有一组或者多组所述多个顶点；
执行帧-对-帧跟踪，以基于第(N-1)帧或者更早的帧来确定第N帧内的顶点；以及
执行参考帧-对-帧跟踪，以基于所述参考帧来确定第N帧内的顶点，从而计算帧之间的潜在偏移。
11、根据权利要求10所述的方法，该方法还包括：
选择与每个顶点所位于的曲面的法线最接近的摄像机，以执行所述帧-对-帧跟踪和参考帧-对-帧跟踪。
12、根据权利要求10所述的方法，其中通过使用用于匹配顶点的相对较大的窗口来执行所述帧-对-帧跟踪，而通过使用用于匹配顶点的相对较小的窗口来执行所述参考帧-对-帧跟踪。
13、根据权利要求10所述的方法，该方法还包括使用不同组的参数来执行所述帧-对-帧跟踪和参考帧-对-帧跟踪，所述参数定义了每个帧的顶点的搜索区。
14、根据权利要求10所述的方法，该方法还包括：
基于已知的相邻顶点位置，估计每个第N帧中未被发现的顶点的位置。
15、一种用于对对象的运动进行捕捉的计算机实施的方法，该方法包括：
在运动捕捉过程期间采集运动捕捉数据，该数据包括具有N个顶点的多个图像；
回顾性地从所述N个顶点中确定出X个顶点，以在所述多个图像之间进行跟踪，其中X＜N；以及
在所述多个图像之间跟踪所述X个顶点。
16、根据权利要求15所述的方法，该方法还包括：
回顾性地从所述N个顶点中确定出Y个顶点，以在所述多个图像之间进行跟踪，其中Y＜N，且所述Y个顶点包括未包含在所述X个顶点中的顶点；以及
在所述多个图像之间跟踪所述Y个顶点。
CNA2007800357534A 2006-07-31 2007-07-31 用于执行运动捕捉和图像重建的系统和方法 Pending CN101517568A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US83477106P 2006-07-31 2006-07-31
US60/834,771 2006-07-31

Publications (1)

Publication Number Publication Date
CN101517568A true CN101517568A (zh) 2009-08-26

Family

ID=38997697

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800357534A Pending CN101517568A (zh) 2006-07-31 2007-07-31 用于执行运动捕捉和图像重建的系统和方法

Country Status (9)

Country Link
US (1) US8207963B2 (zh)
EP (1) EP2062158B1 (zh)
JP (1) JP2009545818A (zh)
KR (1) KR20090041417A (zh)
CN (1) CN101517568A (zh)
AU (1) AU2007281536A1 (zh)
CA (2) CA2949849C (zh)
NZ (1) NZ574599A (zh)
WO (1) WO2008016645A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609989A (zh) * 2010-12-28 2012-07-25 卡西欧计算机株式会社 三维模型作成系统
US9117271B2 (en) 2011-10-04 2015-08-25 Morpho, Inc. Apparatus, method and recording medium for image processing
CN110987383A (zh) * 2019-12-19 2020-04-10 浙江理工大学 一种基于图像的高频二位置往复动作状态的测量方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US20080036864A1 (en) * 2006-08-09 2008-02-14 Mccubbrey David System and method for capturing and transmitting image data streams
US11065552B2 (en) * 2007-12-05 2021-07-20 Sony Interactive Entertainment LLC System for streaming databases serving real-time applications used through streaming interactive video
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
JP5106375B2 (ja) * 2008-12-24 2012-12-26 日本放送協会 ３次元形状復元装置及びそのプログラム
US8854376B1 (en) * 2009-07-30 2014-10-07 Lucasfilm Entertainment Company Ltd. Generating animation from actor performance
KR101584369B1 (ko) * 2009-08-28 2016-01-21 삼성전자주식회사 적응형 조도 충전 장치 및 방법
US20110261258A1 (en) * 2009-09-14 2011-10-27 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
DE102010028904A1 (de) * 2010-05-11 2011-11-17 Movolution Gmbh Bewegunganalyse- und/oder -Verfolgungssystem
JP6007178B2 (ja) * 2010-09-03 2016-10-12 カリフォルニア インスティテュート オブ テクノロジー ３次元撮像システム
US8696450B2 (en) 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
CN102222365B (zh) * 2011-07-29 2012-08-29 电子科技大学 复杂空间的曲面重构方法
CN102682445B (zh) * 2011-12-31 2014-12-03 北京工业大学 一种仿蜥蜴亚目避役科生物视觉坐标提取算法
KR101908284B1 (ko) 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
WO2014018102A1 (en) * 2012-07-25 2014-01-30 Massachusetts Institute Of Technology Temporal structured-illumination motion-dectection system
EP2720189A1 (en) * 2012-10-11 2014-04-16 Metria Digital, S.L. Photogrammetric system and method for three-dimensional avatars generation
BR112015027598A2 (pt) * 2013-05-01 2017-09-19 Musc Found For Res Dev Dispositivo para mediar o reflexo de piscada em um indivíduo humano
WO2016163492A1 (ja) * 2015-04-10 2016-10-13 日本電気株式会社 位置特定装置、位置特定方法及びプログラム
US9747668B2 (en) 2016-01-21 2017-08-29 Disney Enterprises, Inc. Reconstruction of articulated objects from a moving camera
CN109427088B (zh) * 2017-08-18 2023-02-03 腾讯科技（深圳）有限公司 一种模拟光照的渲染方法及终端
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
JP7242482B2 (ja) * 2019-09-12 2023-03-20 株式会社東芝 物体の距離、形状計測装置及び計測方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19581099B4 (de) * 1994-09-28 2006-07-27 William Richard Fright Optisches Oberflächenabtastgerät und Vermessungsverfahren
US5689577A (en) * 1994-10-14 1997-11-18 Picker International, Inc. Procedure for the simplification of triangular surface meshes for more efficient processing
JP2874711B2 (ja) * 1996-03-25 1999-03-24 日本電気株式会社 離散化格子の生成装置
JP3184785B2 (ja) * 1997-07-23 2001-07-09 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 三次元形状モデル送信方法及び装置、三次元形状モデル圧縮方法及び装置、三次元形状モデル表示方法及び装置
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
JP2000260723A (ja) * 1999-03-09 2000-09-22 Nec Corp メッシュ変更時の濃度補間方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
TW493142B (en) 2001-03-14 2002-07-01 Ind Tech Res Inst Method for building progressive mesh
US20030169339A1 (en) 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
US7356164B2 (en) * 2003-05-30 2008-04-08 Lucent Technologies Inc. Method and apparatus for finding feature correspondences between images captured in real-world environments
JP4436080B2 (ja) * 2003-06-30 2010-03-24 日本放送協会 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
KR101238608B1 (ko) * 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
WO2006062908A2 (en) * 2004-12-09 2006-06-15 Image Metrics Limited Optical motion capturing with fill-in of missing marker points using a human model derived from principal component analysis
US20060127836A1 (en) * 2004-12-14 2006-06-15 Huafeng Wen Tooth movement tracking system
US7605861B2 (en) 2005-03-10 2009-10-20 Onlive, Inc. Apparatus and method for performing motion capture using shutter synchronization
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609989A (zh) * 2010-12-28 2012-07-25 卡西欧计算机株式会社 三维模型作成系统
US9117271B2 (en) 2011-10-04 2015-08-25 Morpho, Inc. Apparatus, method and recording medium for image processing
CN103037158B (zh) * 2011-10-04 2016-01-20 株式会社摩如富 图像处理装置和图像处理方法
CN110987383A (zh) * 2019-12-19 2020-04-10 浙江理工大学 一种基于图像的高频二位置往复动作状态的测量方法
CN110987383B (zh) * 2019-12-19 2021-07-13 浙江理工大学 一种基于图像的高频二位置往复动作状态的测量方法

Also Published As

Publication number Publication date
EP2062158A2 (en) 2009-05-27
WO2008016645A2 (en) 2008-02-07
NZ574599A (en) 2012-02-24
JP2009545818A (ja) 2009-12-24
AU2007281536A1 (en) 2008-02-07
EP2062158A4 (en) 2010-07-21
KR20090041417A (ko) 2009-04-28
WO2008016645A3 (en) 2008-09-12
US8207963B2 (en) 2012-06-26
CA2659572C (en) 2017-01-17
CA2659572A1 (en) 2008-02-07
CA2949849A1 (en) 2008-02-07
CA2949849C (en) 2019-07-02
US20090174701A1 (en) 2009-07-09
EP2062158B1 (en) 2012-09-05

Similar Documents

Publication Publication Date Title
CN101517568A (zh) 用于执行运动捕捉和图像重建的系统和方法
AU2016213755B2 (en) System and method for performing motion capture and image reconstruction with transparent makeup
Bermano et al. Makeup lamps: Live augmentation of human faces via projection
US7548272B2 (en) System and method for performing motion capture using phosphor application techniques
US7567293B2 (en) System and method for performing motion capture by strobing a fluorescent lamp
US7667767B2 (en) System and method for three dimensional capture of stop-motion animated characters
US8107682B2 (en) Motion capture using primary and secondary markers
JP2008533810A (ja) シャッター同期を用いて動き捕獲を実行するための装置及び方法
Li et al. Capturing relightable human performances under general uncontrolled illumination
CN106446883B (zh) 基于光标签的场景重构方法
Hillaire et al. A real-time visual attention model for predicting gaze point during first-person exploration of virtual environments
CN109389538A (zh) 一种基于ar技术的智慧校园教育装备管理系统
EP2490437B1 (en) Method for performing motion capture using phosphor application techniques
Mukaigawa et al. Virtual photometric environment using projector
Lamond et al. Relighting Character Motion for Photoreal Simulations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1133722

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090826

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1133722

Country of ref document: HK