CN102474639A

CN102474639A - 根据人类视觉系统反馈度量变换视频数据

Info

Publication number: CN102474639A
Application number: CN2010800349582A
Authority: CN
Inventors: 维贾亚拉克什米·R·拉温德朗; 胡迪特·马蒂内·包萨; 萨米尔·萨利布·索利曼
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2009-08-06
Filing date: 2010-08-04
Publication date: 2012-05-23
Anticipated expiration: 2030-08-04
Also published as: WO2011017474A1; EP2462746A1; CN102474639B; JP5567132B2; JP2013501476A; US8629899B2; US20110032328A1

Abstract

一般来说，本发明描述用于根据人类视觉系统反馈度量变换视频数据的技术。举例来说，包含变换模块、参数发现模块和人类视觉系统HVS反馈模块的设备实施这些技术。所述参数发现模块根据定义由三维3D显示装置支持的能力的参数配置所述变换模块以产生3D视频数据。所述变换模块变换视频数据以产生所述3D视频数据。在所述变换模块变换所述视频数据时，所述HVS反馈模块：使用HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及基于所述所确定的一个或一个以上度量而重新配置所述一个或一个以上模块以精细化所述3D视频数据的所述产生。

Description

根据人类视觉系统反馈度量变换视频数据

本申请案主张2009年8月6日申请的第61/231,925号美国临时申请案的权益。

本专利申请案涉及以下同在申请中的美国专利申请案：

与本专利申请案同时申请的美国专利申请案“根据三维输入格式变换视频数据(Transforming Video Data in Accordance with Three Dimensional Input Formats)”，所述申请案的代理人案号为091765，所述申请案已转让给本案受让人且以引用的方式明确地并入本文中；

与本专利申请案同时申请的美国专利申请案“根据无线显示协议制备视频数据(Preparing Video Data in Accordance with a Wireless Display Protocol)”，所述申请案的代理人案号为091674U1，所述申请案已转让给本案受让人且以引用的方式明确地并入本文中；以及

与本专利申请案同时申请的美国专利申请案“根据输送协议包封三维视频数据(Encapsulating Three-Dimensional Video Data in Accordance with TransportProtocols)”，所述申请案的代理人案号为091674U2，所述申请案已转让给本案受让人且以引用的方式明确地并入本文中。

技术领域

本发明涉及视频数据处理，且更特定来说，涉及用于呈现给观看者的视频数据的递送。

背景技术

视频显示装置呈现视频数据以供用户观看。通常，由显示装置呈现的视频数据包含既定用于以给定速率(例如，每秒29.97个帧，如国家电视系统委员会(NTSC)标准中所阐述)回放的一系列连续视频帧。因为此视频数据并不含有任何深度信息，所以所述视频数据特征化为二维(2D)视频数据。呈现此2D视频数据的显示装置常称作“2D显示器”。

当前，正开发三维(3D)显示装置以呈现三维(3D)视频数据。这些所谓的“3D显示器”可需要额外观看附件(例如，快门眼镜、偏光眼镜或双色眼镜(例如，具有一个红色透镜和一个绿色透镜的眼镜))以适当地观看所呈现的3D视频数据。需要额外观看附件的3D显示装置常称作“立体3D显示器”。被称作“自动立体3D显示器”的其它3D显示装置能够呈现可由观看者观看的3D视频数据，而无需任何额外观看附件。

不管是立体3D显示器还是自动立体3D显示器，不同制造商的3D显示器通常需要遵照供货商或制造商特定输入文件格式的3D视频数据。举例来说，一种所提议的3D视频数据格式包含2D视频数据加上深度信息，且称作“2D+深度”。“2D+深度”显示装置仅可呈现以“2D+深度”3D视频数据格式提供的3D视频数据。其它类型的3D显示器可需要呈多视图2D流格式的3D视频数据。多视图2D流格式封装多个2D流，其中所述2D流各自用不同俘获元件(例如，相机)同时(理想上，同步)从相同场景获取。由于这些不同且通常专有的3D视频数据格式，来自一个制造商的给定3D显示装置仅可呈现根据此制造商的专有3D视频数据格式而格式化的3D视频数据。

发明内容

一般来说，描述用于实现跨平台三维(3D)视频数据回放的技术。术语“平台”大体上指代特定视频显示装置和/或例如音频/视频接收器的任何支持装置的软件和硬件计算框架结构，和关于视频解码和回放的此框架结构的限制和功能性。在各种方面中，所述技术可以实现在不同3D视频回放平台上回放的方式将视频数据变换成3D视频数据，而不管所述视频数据为二维(2D)视频数据还是3D视频数据。在这方面，所述技术可在各种方面中促成跨平台3D视频回放。

在一个方面中，一种方法包含：根据定义由三维(3D)显示装置支持的能力的参数配置视频处理装置以产生3D视频数据，和用所述经配置的视频处理装置变换视频数据以产生所述3D视频数据。所述方法进一步包含：将所述3D视频数据转发到所述3D显示装置；在变换所述视频数据时，使用人类视觉系统(HVS)模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及在变换所述视频数据时，基于所述所确定的一个或一个以上度量而重新配置一个或一个以上模块以精细化所述3D视频数据的所述产生。

在另一方面中，一种设备包含变换模块和参数发现模块，所述参数发现模块根据定义由三维(3D)显示装置支持的能力的参数配置所述变换模块以产生3D视频数据，其中所述变换模块变换视频数据以产生所述3D视频数据。所述设备还包括：至少一个接口，其将所述3D视频数据转发到所述3D显示装置；以及人类视觉系统(HVS)反馈模块，其在所述变换模块变换所述视频数据时使用HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量，且再次在所述变换模块变换所述视频数据时，基于所述所确定的一个或一个以上度量而重新配置所述一个或一个以上模块以精细化所述3D视频数据的所述产生。

在另一方面中，一种计算机可读存储媒体包含若干指令，所述指令使处理器：根据定义由三维(3D)显示装置支持的能力的参数配置视频处理装置以产生3D视频数据；用所述经配置的视频处理装置变换视频数据以产生所述3D视频数据；将所述3D视频数据转发到所述3D显示装置；在变换所述视频数据时，使用人类视觉系统(HVS)模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；且在变换所述视频数据时，基于所述所确定的一个或一个以上度量而重新配置一个或一个以上模块以精细化所述3D视频数据的所述产生。

在另一方面中，一种设备包含：用于根据定义由三维(3D)显示装置支持的能力的参数配置视频处理装置以产生3D视频数据的装置；用于用所述经配置的视频处理装置变换视频数据以产生所述3D视频数据的装置；用于将所述3D视频数据转发到所述3D显示装置的装置；用于在变换所述视频数据时使用人类视觉系统(HVS)模型确定一个或一个以上度量的装置，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及用于在变换所述视频数据时基于所述所确定的一个或一个以上度量而重新配置一个或一个以上模块以精细化所述3D视频数据的所述产生的装置。

在附图和下文描述中阐述所述技术的一个或一个以上方面的细节。所述技术的其它特征、目标和优点将从所述描述和所述图式以及从权利要求书而显而易见。

附图说明

图1为说明系统的方框图，在所述系统中，移动装置实施本发明的技术的各种方面以促成跨平台视频数据回放。

图2为更详细地说明图1的移动装置的方框图。

图3为更详细地说明图2的移动装置的变换模块和离线处理模块的方框图。

图4A和4B为说明装置在实施本发明中所描述的技术的各种方面时的实例操作的流程图。

图5为说明实施本发明中所描述的技术的各种方面的实例装置的方框图。

图6为说明移动装置在执行本发明中所描述的技术的各种方面时的实例操作的流程图。

图7为说明三维(3D)视频内容的方框图，所述三维(3D)视频内容已根据本发明中所描述的技术的各种方面而被格式化。

图8A到8C为说明实例区段的方框图，在所述实例区段中，已根据本发明中所描述的技术的各种方面而嵌入元数据。

图9为说明无线显示器(WD)主机单元在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。

图10A到10E为说明各种系统的方框图，所述系统实施本发明中所描述的技术的一个或一个以上方面以促成跨平台视频回放。

具体实施方式

本发明是针对促成跨平台三维(3D)视频回放的技术。术语“平台”大体上指代特定视频显示装置和/或例如音频/视频接收器的任何支持装置的软件和硬件计算框架结构，和关于视频解码和回放的此框架结构的限制和功能性。二维(2D)显示装置通常提供借以接收、解码并呈现根据运动图片专家组(MPEG)标准第二部分(通常称为“MPEG-2”)格式化的视频数据的平台。能够呈现2D视频数据与三维(3D)视频数据两者的其它混合显示装置可提供能够接收、解码并呈现根据MPEG-2标准和特定3D视频数据格式(例如，专有制造商特定格式)格式化的视频数据的混合平台。专有格式的实例包括“2D+深度”格式(其可称作“2D+z”格式，其中“z”代表深度)、“2D+深度、遮蔽和全局效果”(其中透明度为特定类型的全局效果)和多视图2D流格式。唯3D显示装置通常提供借以接收、解码并呈现根据制造商特定3D格式中的一者格式化的3D视频数据的平台。

所述技术通过实现在若干不同3D视频平台上进行3D视频回放而促成跨平台3D视频回放。当前，无一制造商特定的、专有的或甚至开放源码或其它“自由”3D视频格式被标准化或得到业界接受。而是，与这些各种格式中的每一者相关联的制造商正试图在市场中促成此标准化。此外，归因于不同格式之间的竞争，这些3D视频格式中无一者支持跨平台3D视频回放。跨平台3D视频回放大体上指代一个平台回放针对不同平台格式化的3D视频数据的能力。因此，以一种格式格式化的3D视频数据通常无法由提供接收、解码并呈现以另一不同格式格式化的3D视频数据的平台的3D显示装置显示。在这方面，本发明的技术可通过将3D视频数据从一种格式变换成另一格式而促成跨平台3D视频回放。

跨平台3D视频回放还涉及将2D视频数据变换成3D视频数据以用于在3D显示装置上回放。术语“跨平台”因此还可包括2D平台以及3D平台，其中所述技术可包含接收2D视频数据且将此2D视频数据变换成根据由特定3D显示装置或混合2D/3D显示装置支持的3D视频数据格式而格式化的3D视频数据。混合2D/3D显示装置包含能够进行2D视频解码和回放与3D视频解码和回放两者的显示装置。

所述技术可在若干方面中促成跨平台3D视频回放。在一个方面中，所述技术可促进视频显示器讯问以根据讯问确定由视频显示装置支持的3D视频数据格式。可自动地发生此讯问或在没有除了用以选择用于讯问的一个或一个以上3D显示装置的初始用户输入之外的用户输入的情况下发生此讯问。在自动地确定3D显示装置的此3D视频数据格式之后，所述技术可涉及根据所述自动确定的3D视频数据格式自动地(例如，在无任何用户输入的情况下)配置将2D视频数据转换成3D视频数据的一个或一个以上模块，以便产生3D视频数据。所述经配置的模块接着接收2D视频数据且将此2D视频数据变换或以其它方式转换成遵照显示装置的自动确定的输入格式的3D视频数据。将此3D视频数据发送到3D显示装置，所述3D显示装置进行解码并呈现此3D视频数据以供用户观看。

在另一方面中，所述技术可通过基于所监视的参数而重新配置将视频数据变换成3D视频数据的所述模块中的一者或一者以上来促成跨平台3D视频回放，所述所监视的参数反映在通过特定3D显示装置回放3D视频数据期间的3D视频数据的3D可视化的质量。可在视频数据的变换期间动态地发生此重新配置。所述模块的重新配置精细化3D视频数据的产生，以动态地改进由3D显示装置产生的3D可视化的质量。所述模块的重新配置还可用于降低可接受的3D视频质量的处理复杂性的目的。可通过根据所述重新配置参数停用所述模块中的一些模块的执行或选择较简单的过程执行相同功能性来降低处理复杂性。较简单的过程可诱发降低的3D视频质量，所述降低的3D视频质量根据用户定义的准则仍应被视为可接受的。降低处理复杂性可降低电力消耗或可加速执行所述模块的功能性。值得注意的是，可准实时地发生或在将3D视频数据串流输送到3D显示装置的同时发生对参数的监视与用以将视频数据(2D视频数据或3D视频数据)变换成针对特定3D显示装置格式化的3D视频数据的模块的重新配置。

在另一方面中，所述技术可促成提供无线接口的特定类别的3D显示装置进行跨平台3D视频回放。实施所述技术的此方面的装置可包含：用以存储视频数据的第一模块；以及确定便携式装置外部的显示装置的一个或一个以上显示参数的无线显示器主机模块。这些显示参数可包含显示装置的显示分辨率、由显示装置支持的文件格式、由显示装置支持的视频数据编码器/解码器技术(所谓的“视频编解码器”)、由显示装置支持的音频编解码器、显示装置是否支持3D视频数据回放，和关于显示装置的能力或额外方面的其它参数。实施所述技术的此方面的装置还可包括：第三模块，其基于所述所确定的显示参数而制备视频数据以产生用于在外部显示装置上回放的视频数据；以及无线模块，其将3D视频数据无线地传输到外部显示装置。

值得注意的是，可由便携式装置实施所述技术的各种方面，所述便携式装置包括无线蜂窝式手持机(其常称作蜂窝式或移动电话)。可实施所述技术的各种方面的其它便携式装置包括所谓的“智能电话”、极便携计算装置(称作“上网本”)、膝上型计算机、便携式媒体播放器(PMP)，和个人数字助理(PDA)。还可由例如以下各者的大体上非便携装置实施所述技术：桌上型计算机、机顶盒(STB)、工作站、视频回放装置(例如，数字视频光盘或DVD播放器)、2D显示装置和3D显示装置。因此，虽然在本发明中关于移动或便携式装置来描述所述技术的各种方面，但可由能够接收视频数据并将视频数据转发到外部显示装置的任何计算装置实施所述技术的各种方面。

图1为说明系统10的方框图，在系统10中，移动装置12实施本发明的技术的各种方面以促成跨平台视频数据回放。如图1的实例中所展示，系统10包括源装置14和显示装置16，源装置14与显示装置16两者分别经由无线通信信道13和15与移动装置12通信。源装置14可包括通用多媒体装置，例如个人计算机、工作站、个人数字助理(PDA)、移动电话(包括所谓的“智能电话”)，或包含能够执行软件(且特定来说，多媒体软件)的通用处理器的任何其它类型的装置。源装置14或者可包含专用多媒体装置，例如视频摄像机、数字视频光盘(DVD)播放器、电视、机顶盒(STB)、压缩光盘(CD)播放器、数字媒体播放器(例如，所谓的“MP3”播放器或组合MP3/MP4播放器，以及播放其它格式的其它媒体播放器，包括高级音频编码(AAC)、Windows媒体视频(WMV)和波形音频视频(WAV)格式)、数字视频记录器(DVR)、全球定位系统(GPS)装置，或专用于一组一个或一个以上多媒体应用且通常并不实现对多媒体软件的加载和执行的用户控制的任何其它装置。

显示装置16大体上代表能够经由显示器进行视频回放的任何装置。显示装置16可包含电视(TV)显示器，其可依据显示装置16支持2D视频数据回放、3D视频数据回放还是2D与3D视频数据回放的组合而被称作2D视频显示装置、3D视频显示装置或混合2D/3D视频显示装置。显示装置16或者可包含具有显示器的任何其它装置，例如膝上型计算机、个人媒体播放器(PMP)、桌上型计算机、工作站、PDA，和便携式数字媒体播放器(例如，便携式DVD播放器)。出于说明的目的，假定显示装置16代表与移动装置12无线地通信的无线电视。然而，本发明的技术不应限于无线电视。

源装置14包括存储2D视频内容20和3D视频内容22中的一者或一者以上的存储模块18。存储模块18可包含存储器(易失性或非易失性存储器)，包括随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、快闪存储器、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)，和电可擦除PROM(EEPROM)。存储模块18或者可包含存储装置，例如硬盘驱动器、光学驱动器、磁带驱动器和磁盘驱动器。在一些例子中，存储模块18可包含一个或一个以上存储器和一个或一个以上存储装置的组合。

2D视频内容20代表根据特定2D视频数据文件格式而格式化的2D视频数据。实例2D视频数据文件格式可包括由运动图片专家组(MPEG)4第14部分定义的MP4文件格式。MP4文件格式为通常用以存储数字音频和数字视频流的容器文件格式。其它容器文件格式包含MP4文件格式的简化版本(称作3GP)、高级系统格式(ASF)、高级视频交错(AVI)文件格式、DivX媒体格式(DMF)、增强型视频对象(EVO)文件格式，和快闪视频文件格式。在此方面或其它方面中，文件格式还可指代关于特定输送和/或应用层协议(例如，实时输送协议(RTP)和流控制传输协议(SCTP))而使用的文件格式。

3D视频内容22代表根据特定3D视频数据文件格式而格式化的经编码的3D视频数据。示范性3D视频数据格式包含“2D+深度”(其通常称作“2D+z”格式)、“2D+深度、遮蔽和全局效果”或多视图2D流文件格式。在这方面，视频数据文件格式大体上指代包封视频数据的标准方式(不管视频数据是否经编码)。因此，视频数据文件格式可定义大体上包封视频数据或其部分以促进视频数据的存储和/或传输的方式。可使用例如以下各者的多种编解码器来编码视频数据：MPEG-2或任何其它编解码器，包括国际电信联盟标准化部门(ITU-T)H.264/MPEG-4第10部分高级视频编码(AVC)标准(在下文中称作“H.264/MPEG-4AVC”标准)中所定义的编解码器。在一些例子中，还可使用称作H.265(或，根据其名称，称作下一代视频编码(NGVC))的编解码器来编码视频数据，所述编解码器是由ITU-T视频编码专家组(VCEG)开发。在本发明中使用术语“视频内容”来指代根据特定视频数据文件格式包封的经编码的视频数据。

虽然为了便于说明而在图1中未展示，但源装置14可包括额外模块，例如用于俘获2D视频内容20和3D视频内容22的视频俘获模块。或者，源装置14可充当用于存储内容20、22的档案库或储存库。在一些例子中，源装置14可经由源装置14内所包括的接口24而无线地接收内容20、22。即，源装置14包括借以与外部装置无线地通信的接口24。在一些例子中，这些外部装置可经由接口24与源装置14介接以将内容20、22存储到存储模块18。

出于说明性目的，显示装置16(如上文所注释，其可代表无线电视显示器)包括接口26、文件格式模块27、视频解码器28和显示器30。接口26(类似于接口24)代表显示装置16外部的装置可借以与显示装置16通信的接口。在此实例中，假定接口24和26中的每一者代表无线接口。文件格式模块27代表实施上文所描述的文件格式中的一者或一者以上的硬件或硬件与软件模块的组合。通常，文件格式模块27执行解包封以移除包封经编码的视频数据的文件格式标头且借此输出经编码的视频数据。

视频解码器28可代表实施用于解码经编码的视频数据的一个或一个以上视频编解码器的硬件或组合硬件与软件模块。值得注意的是，使用术语“编解码器”，而不管视频解码器28是否实施给定编解码器的编码(即，压缩)与解码(即，解压缩)方面两者。因此，可将视频解码器28解释为通过仅实施编解码器的解压缩方面来实施那个编解码器。在这方面，视频解码器28可实施编解码器，而不管视频解码器28是实施编解码器的压缩与解压缩方面两者还是仅实施编解码器的解压缩方面。

虽然在图1的实例中未展示，但显示装置16还可包括代表实施一个或一个以上音频编解码器的硬件或硬件与软件的组合的其它模块。在一些例子中，视频模块与音频模块可组合于同一模块中，所述同一模块通常称作音频/视频(A/V)解码器。显示器30可包含任何类型的显示器，包括有机发光二极管(OLED)显示器、发光二极管(LED)显示器、等离子体显示器，和阴极射线管(CRT)显示器。

在图1的实例中，移动装置12还包括一个或一个以上接口32，其大体上类似于相应源装置14和显示装置16的接口24和26。移动装置12还包括实施本发明中所描述的技术的一个或一个以上方面的控制单元34。控制单元34可包含一个或一个以上处理器(图1中未展示)，所述一个或一个以上处理器执行存储到例如以下各者的计算机可读存储媒体(同样在图1中未展示)的软件指令(例如，用以定义软件或计算机程序的软件指令)：存储装置(例如，磁盘驱动器或光学驱动器)或存储器(例如，快闪存储器、随机存取存储器，或RAM)，或存储指令(例如，呈计算机程序或其它可执行体的形式)以致使可编程处理器执行本发明中所描述的技术的任何其它类型的易失性或非易失性存储器。或者，控制单元34可包含专用硬件，例如一个或一个以上集成电路、一个或一个以上专用集成电路(ASIC)、一个或一个以上专用特殊处理器(ASSP)、一个或一个以上现场可编程门阵列(FPGA)，或用于执行本发明中所描述的技术的专用硬件的上述实例的任何组合。

控制单元34包括变换模块36、参数发现模块38和人类视觉系统(HVS)反馈模块40(“HVS反馈模块40”)。根据本发明中所描述的技术的各种方面，变换模块36代表将2D视频内容20与3D视频内容22中的一者或两者变换成显示装置16可接受或与显示装置16兼容的视频数据的一个或一个以上可配置硬件模块或一个或一个以上硬件与软件可配置模块的组合。当所得的经变换的视频数据根据由视频解码器28支持的视频编解码器而被编码且根据由文件格式模块27支持的文件格式而被格式化时，视频数据可与显示装置16“兼容”。

根据本发明中所描述的技术的一个或一个以上方面，参数发现模块38代表与显示装置16介接以发现显示装置16的一个或一个以上参数42(包括由显示装置16支持的一个或一个以上文件格式)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。这些格式通常包含由显示装置16的文件格式模块27支持的一个或一个以上文件格式。通常，格式42暗示由视频解码器28支持的一个或一个以上类型的编解码器且因此参数发现模块38还可发现由视频解码器28支持的特定编解码器。

除文件格式之外，参数42可包括所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、由显示装置16支持的音频和视频编解码器、接口26的列表、当前清晰度、所支持的清晰度、所支持的色温、当前色温、所支持的亮度、当前亮度、所支持的显示格式、当前显示格式、所支持的色彩设定、当前色彩设定、所支持的输入格式、显示器类型、显示器制造商、所支持的深度范围、当前深度范围、会聚平面的所支持的位置、会聚平面的当前位置、所支持的背景对象平滑度、当前背景对象平滑度、所支持的目距配置、当前目距配置、所支持的优势眼配置、当前优势眼配置、所支持的视图数目、当前视图数目、所支持的观看距离、当前观看距离、所支持的观看角度、当前观看角度、在屏幕内的3D视频内容的所支持的显示位置、和在屏幕内的3D视频内容的当前位置，和与显示装置16及其能力有关的任何其它参数。

在任何情况下，参数发现模块38发现格式，所述格式可包括文件格式与编码格式或技术(例如，所支持的编解码器)两者。举例来说，发现称作“2D+深度”的3D文件格式暗示：视频解码器28支持3D视频编解码器，所述3D视频编解码器能够解码根据(例如)MPEG-2标准编码的“2D+深度”文件格式的经编码的2D视频数据部分，同时还解码“2D+深度”文件格式的深度部分以再现3D视频数据以用于经由显示装置30回放。

HVS反馈模块40代表分析关于由显示装置16进行的3D视频数据的显示的定性和定量度量的一个或一个以上硬件模块或硬件与软件模块的组合。根据本发明中所描述的技术的各种方面，HVS反馈模块40可分析定性和定量度量且接着重新配置变换模块36以改进输入视频数据(例如，2D视频内容20或3D视频内容22)到遵照由参数发现模块38发现的输入格式的视频数据的变换。HVS反馈模块40可与显示装置16介接以检索由显示装置16的视频解码器28输出的视频数据44，HVS反馈模块40接着分析所述视频数据44以确定这些定性和定量度量。HVS反馈模块40可经由变换模块36的此重新配置而促成较佳质量的3D视频数据回放。

根据本发明中所描述的技术的一个方面，移动装置12自动地确定3D显示装置的3D输入文件格式且将2D视频内容20变换成3D视频数据以便遵照所述3D输入文件格式。出于说明的目的，假定显示装置16包含能够呈现2D视频内容20与3D视频内容22两者的混合2D/3D无线电视。移动装置12的参数发现模块38可经由无线通信信道15与显示装置16介接以讯问文件格式模块27，以便确定由文件格式模块27支持以接收3D视频数据的至少一个输入文件格式。如上文所描述，文件格式可包含一个或一个以上3D文件格式(例如，“2D+深度”或多视图2D流格式)，以及由视频解码器28实施以解码3D视频数据的一个或一个以上编解码器(其可由所确定的文件格式来暗示)。

值得注意的是，显示装置16可实施第一文件格式，而图1中未展示的其它显示装置可实施不同于所述第一文件格式的多个不同文件格式。所述多个不同文件格式可防止2D视频数据(但更特定来说，3D视频数据)的跨平台回放，这是因为3D视频文件格式尚未被标准化或大体上未在业界采用。通过发现显示文件格式且接着将任何输入或源视频数据变换成所发现的文件格式可克服当试图在接受第二不同文件格式的显示装置上解码并呈现以第一文件格式格式化的3D视频数据时可能出现的跨平台回放问题。

最初，移动装置12的用户或其它操作者可与由用户接口模块(为便于说明，在图1中未展示)呈现的用户接口介接，以选择或以其它方式发现显示装置16。用户接口可呈现位于移动装置12的给定范围内的或连接到移动装置12同样连接到的网络(例如，802.11x无线网络、超宽带(UWB)网络，和/或Bluetooth^TM网络)的装置的列表。操作者可与用户接口介接以选择一装置(例如，显示装置16)，此后用户接口模块向参数发现模块38通知选定的显示装置16。

虽然手动选择可以此方式发生，但参数发现模块38可自动地与列表中的每一装置介接以发现用于列表上的每一装置的参数(例如，文件形式)。用户接口可接着呈现所述列表且接收来自操作者或其它用户的选择所述装置中的一者的输入。换句话说，参数发现模块38可响应于用户选择了移动装置12可介接的装置的列表上的给定装置或不必等待此选择而自动地发现参数(包括格式)。在所述发现是在无任何其它用户输入的情况下发生的意义上，发现可为“自动的”。参数发现模块38可与显示装置16介接，(例如)讯问文件格式模块27且接收由显示装置16支持的格式作为参数42中的一者，而无需任何用户输入。

参数发现模块38经由接口32中的适当一者与显示装置16介接，所述适当接口经由通信信道15耦合到显示装置16的接口26。参数发现模块38可实施借以与文件格式模块27通信的讯问协议。举例来说，参数发现模块38可实施显示接口协议或标准(例如，高清晰度多媒体接口(HDMI)协议或无线HDMI(WHDMI)协议)的各种方面，所述显示接口协议或标准提供借以确定各种参数的通信信道，所述各种参数可特征化为显示装置16的能力和特性。虽然尚未阐述定义WHDMI的特定标准，但指望HDMI的有线版本，如日期为2006年11月10日的标题为“高清晰度多媒体接口规格1.3A版(High-Definition Multimedia Interface Specification Version 1.3A)”的规格(所述规格借此以全文引用的方式并入本文中)中所阐述，存在借以讯问或以其它方式确定显示装置16的参数42(包括所支持的文件格式)的显示数据信道(DDC)。

虽然在本发明中关于HDMI和WHDMI进行描述，但所述技术可根据开放标准(例如，非专有标准)以及并非受具体支持或尚未并入到任何标准中的其它规格(专有的或开放的)来实施。举例来说，参数发现模块38可实施移动显示数字接口(MDDI)，其为在由视频电子标准协会支持的开放标准中定义的接口。或者，或结合MDDI，参数发现模块38可实施MDDI的无线扩展(称作无线MDDI(WMDDI))。此外，所述技术可关于移动行业处理器接口(MIPI)来实施。在这方面，所述技术因此不应限于任一标准接口(例如，HDMI)，而是可关于...来实施。

在以此方式发现格式42之后，参数发现模块38接着与变换模块36介接以配置变换模块36，如上文所描述，变换模块36代表将2D视频数据与3D视频数据两者变换成遵照所确定的输入格式42的3D视频数据的一个或一个以上模块。参数发现模块38可确定配置数据且将此配置数据加载到变换模块36中以便配置变换模块36，以将视频内容(例如，2D视频内容20)变换成根据输入格式42而格式化的3D视频内容。

上文所描述但为便于说明而在图1中未展示的用户接口还可呈现另一装置列表(其可称作“源列表”)以区分此列表与显示器列表(其可特征化为“目的地列表”)，所述“源列表”包括视频内容的源。移动装置12可经由接口32发现这些装置，类似于发现目的地列表的装置。作为一个实例，移动装置12经由接口32和通信信道13发现源装置14，其中用户接口呈现包括源装置14的源列表。假定操作者选择源装置14，则控制单元34可指令接口32与源装置14介接以确定存储到源装置14的存储模块18的内容20和22。控制单元34的用户接口可接着呈现代表所确定的2D视频内容20和3D视频内容22的文件名、图像或其它数据。操作者可选择2D视频内容20或3D视频内容22以用于显示于选定的目的地装置(例如，显示装置16)上。

假定操作者选择2D视频内容20以用于以3D显示于选定的显示装置16上，则变换模块36开始接收2D视频内容20，所述2D视频内容20可以上文所描述的2D文件格式中的一者而被格式化且根据第一编解码器而被编码。所配置的变换模块36可动态地(可能实时地或准实时地)将2D视频内容20(其包含经格式化的文件和经编码的视频数据)变换成以遵照自动确定的输入格式42的文件格式而编码并格式化的3D视频数据。变换模块36接着经由通信信道15和接口32、26将以遵照自动确定的输入格式42的文件格式而编码并格式化的动态产生的3D视频数据(在图1中展示为3D视频内容48)转发到显示装置16。

显示装置16的文件格式模块27接收3D视频内容48，3D视频内容48包含根据由视频解码器28支持的编解码器而编码且接着根据由文件格式模块27支持的3D文件格式而格式化的3D视频数据。文件格式模块27(归因于兼容文件格式化)解包封3D视频内容48以产生经编码的3D视频数据50。视频解码器28接着使用适当的编解码器解码经编码的3D视频数据50以产生3D视频数据44，显示器30呈现所述3D视频数据44以供观看者(例如，移动装置12的操作者)消耗。

以此方式，所述技术的此方面通过以下操作来促进跨平台3D视频回放：动态地配置变换模块36以从2D视频内容20产生3D视频数据以使得所述3D视频数据遵照由显示装置16支持的格式42。通常，此2D视频内容20可限于2D平台且虽然可假定混合2D/3D显示装置16可利用混合2D/3D平台的2D部分来呈现2D视频内容20，但在无根据本发明中所描述的技术执行的移动装置12的介入或中间变换能力的情况下，观看者将被拒绝给予3D观看体验。在这方面，本发明的技术使移动装置12能够通过促进2D视频内容20在3D视频回放平台上回放来促成跨平台视频回放。

当变换模块36变换2D视频内容20以产生呈由显示装置16支持的格式的3D视频数据(在图1中展示为3D视频内容48)且将所变换的3D视频内容48转发到显示装置16时，HVS反馈模块40可使用HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所产生的3D视频内容48的3D可视化的质量。更特定来说，在一些实例中，HVS反馈模块40与显示装置16介接以确定3D视频数据44且使用所述HVS模型分析3D视频数据44以确定所述一个或一个以上度量。

所述一个或一个以上度量可包含由3D视频数据44描绘的一个或一个以上对象中的每一者的大小和/或深度度量(其中，在一些例子中，深度度量可依据时间来表达)、由3D视频数据44描绘的一个或一个以上阴影中的每一者的阴影度量、背景对比度度量、清晰度度量、空间频率度量以及广泛多种其它度量，所述度量中的每一者更详细地描述于下文中。另外，HVS反馈模块40可与参数发现模块38介接以接收由参数发现模块38确定的一个或一个以上参数，例如所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、文件格式或与显示装置16和其能力有关的任何其它参数。HVS反馈模块40可使变换模块38的重新配置至少部分基于这些参数42。

HVS反馈模块40还可存储定义例如以下各者的一个或一个以上用户偏好的用户偏好数据：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度、在屏幕内的3D视频内容的所要的显示位置和分辨率，或与由显示装置(例如，显示装置16)进行的2D或3D视觉显示有关的任何其它偏好。此外，HVS反馈模块40还可至少部分基于这些用户偏好而重新配置变换模块38。即，HVS反馈模块40可包含HVS模型，所述HVS模型根据用户偏好数据而配置以便产生用以至少部分基于这些用户偏好而重新配置变换模块38的配置数据。

以此方式，当变换模块36当前正变换2D视频内容20(或，在替代例子中，变换3D视频内容22)时，HVS反馈模块40与变换模块36介接，以至少基于经由3D视频数据44的分析而确定的度量来重新配置变换模块36，以精细化3D视频内容48的产生。在这方面，HVS反馈模块40可动态地重新配置变换模块36以自动地精细化(且很可能改进)3D视频内容48的所感知的视觉质量。如果此精细化除了基于从3D视频数据44确定的度量之外还基于用户偏好数据，则HVS反馈模块40可针对特定用户或逐个用户地自动地重新配置变换模块36以精细化3D视频内容48的所感知的质量。因此，所述技术可不仅促进跨平台视频回放，而且促成跨平台视频回放所需的任何变换的动态精细化，以潜在地逐个用户地改进观看体验。

在一些例子中，移动装置12经由无线通信媒体与显示装置16介接。给定显示装置16代表混合2D/3D无线显示装置的以上假定，则移动装置12与显示装置16无线地介接。当与显示装置16无线地介接时，参数发现模块38可特征化为确定显示装置16的一个或一个以上显示参数42的无线显示器(WD)主机。参数发现模块38接着以一方式配置变换模块36以使得变换模块36基于显示参数而制备视频数据以便产生3D视频内容48。

此制备可涉及根据输送协议格式化(或更具体来说，包封)3D视频数据。所述输送协议定义视频数据区段、音频数据区段和深度数据区段中的每一者在多个包中的不同者中的包封。在一些例子中，可随后将视频、音频和深度数据存储于单一包内。输送协议模块将用于增强3D视频内容的回放的元数据添加于所述多个包中的一者的标头中的任选的数据字段内。此元数据可提供促进在具有特定能力的装置上回放的提示或其它指示。元数据还可定义用于产生或以其它方式变换3D视频数据以实现在具有特定能力或参数的不同2D或3D显示装置上回放的忠告或规格。

执行此制备的输送协议单元可包含实时输送协议(RTP)单元，实时输送协议(RTP)单元包含硬件或硬件与软件的组合，其为应用层(且还称为“层7”或“L7”)协议单元。术语“层”指代开放系统互连参考模型(“OSI模型”)内的层。通常，将输送协议视为属于OSI模型的输送层(其还称作“层4”或“L4”)。RTP依赖于称作通用数据报协议(UDP)的输送层协议以使用应用层功能性提供增强的输送协议。在此意义上，虽然事实为RTP驻留于应用层而非输送层处，但可将RTP视为输送协议。术语“输送协议”因此不应限于输送层协议，而是可包括OSI模型中提供输送层功能性的任何层的任何协议。

在以上文所描述的方式制备3D视频内容48之后，变换模块36将内容转发到接口32中的一个无线接口，所述无线接口将包传输到显示装置16。显示装置16接收包，解格式化所述包以解包封经编码的音频、经编码的视频和深度数据以及元数据，根据元数据解码经编码的音频和经编码的视频数据以产生音频和增强的视频数据，且经由音频回放模块(图1中未展示)和显示器30呈现音频和增强的视频数据以供观看者消耗。视频数据得以“增强”，这是因为：元数据可改进曾受益于元数据而解码的所得视频数据的解码和回放。

在这方面，所述技术的各种方面促成内聚性跨平台视频回放系统。在一个方面中，以上文所描述的方式发现文件格式且使用所述文件格式来配置变换模块36以改进跨平台的回放。在另一方面中，所述技术经由使用HVS模型所确定的动态反馈来促进回放的质量，以便在变换期间精细化3D视频回放的质量。在又一方面中，自动地确定参数且使用所述参数来制备用于由3D显示装置回放的3D视频数据的递送。此制备可涉及将元数据嵌入到用于将3D视频内容无线地传输到显示装置的包中，其中此元数据可定义促进3D视频内容的解码和进一步变换的参数。在一些方面中，可嵌入此元数据以使得其对于并不支持3D视频回放的显示器(例如，唯2D显示装置)来说是透明的。

虽然展示为单独装置，但源装置12和移动装置16可包含并入有源装置12的功能性和移动装置16的功能性的单一装置。在一些例子中，移动装置12可并入有源装置14的功能性。在这方面，所述技术不应限于图1中所展示的实例。

此外，虽然上文关于移动装置12进行描述，但可由能够进行与本发明中所描述的技术一致的视频变换的任何装置实施所述技术。此些装置在本文中大体上可称作“视频处理装置”。此外，在这方面，所述技术不应限于图1中所展示的实例。

图2为更详细地说明图1的移动装置12的实例的方框图。在图2的实例中，移动装置12包括多个接口32，例如无线接口32A和有线接口32B。无线接口32A可包含以下接口中的一者或一者以上：无线因特网接口(例如，由IEEE 802.11x标准系列定义的接口)、Bluetooth^TM无线接口、无线HDMI接口、红外线无线接口，或可借以发生无线通信的任何其它接口。有线接口32B可包括以下接口中的一者或一者以上：通用串行总线(USB)接口、微型USB接口、HDMI接口、复合电缆接口、同轴电缆接口、视频图形阵列接口，或可借以发生有线通信的任何其它接口。

移动装置12还包括视频俘获装置50、本地存储模块52和内部显示器54。视频俘获装置50代表实施用于记录3D视频数据的立体3D视频相机或用于记录2D视频数据的2D视频相机的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。本地存储模块52代表用于在本地存储数据(包括2D视频数据和3D视频数据，或如果经编码和格式化，则包括经编码和格式化的内容)的硬件或硬件与软件模块的组合。本地存储模块52可包含静态或动态存储器和/或存储装置，例如上文关于控制单元34所列出的存储器和/或存储装置中的任一者。内部显示器54代表呈现视频数据和图像数据以供内部显示器54的观看者消耗的硬件或硬件与软件模块的组合。内部显示器54可包含上文关于显示装置16的显示器30所述的显示器中的任一者。

视频俘获装置50、本地存储模块52和内部显示器54中的每一者耦合到控制单元34，控制单元34已在图2中得以进一步详细说明。在图2的实例中，控制单元34包含变换模块36、参数发现模块38和HVS反馈模块40，其与关于图1所展示的相同。然而，这些模块36到40在图2的实例中进一步详细展示为包括若干子模块和数据。举例来说，变换模块36包括预处理模块56、2D-3D处理模块58、后处理模块60、再现模块62和显示格式模块64。

虽然关于图3更详细地描述这些模块中的每一者，但简要来说，预处理模块56代表执行预处理以确定用于执行从一个平台到另一平台的视频数据的转换的信息的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。2D-3D处理模块58代表用于(如名称所暗示)基于由预处理模块56确定的信息执行2D视频数据到3D视频数据的转换的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件，其中此信息可称作“预处理信息”。后处理模块60代表修改或以其它方式调整所产生的3D视频数据(例如，深度图)以精细化3D视频回放的质量的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。再现模块62代表模型化3D场景、产生额外视图且以其它方式进一步精细化3D视频回放的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。显示格式模块64代表根据给定文件格式将所产生且随后精细化的3D视频数据格式化的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。

作为另一实例，HVS反馈模块40可包括定性评估模块66和定量评估模块68。定性评估模块66代表对由移动装置12外部的显示装置(例如，外部显示装置16的视频解码器28)解码的3D视频数据44执行定性分析以确定度量70中的一者或一者以上的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件，所述度量70关于人类视觉系统部分地定义3D视频数据44的3D可视化的质量的所感知的质量。定量评估模块68对由变换模块36的各种子模块(例如，后处理模块60、再现模块62和显示格式模块64)产生的3D视频数据执行定量分析。此分析可导致确定度量70中的额外度量。这些度量70可接着形成用于随后修改或重新配置形成变换模块36的模块56到64中的一者或一者以上以精细化由变换模块36产生的3D视频内容48的基础。此精细化可依据定性与定量度量70两者引起3D视频数据44的改进的回放。

控制单元34还包括先前关于图1的实例未展示的两个额外模块：离线处理模块72和用户接口模块74。离线处理模块72代表大体上关于属性(例如，照明类型和照明方向、对象反射率、纹理效果和氛围效果)执行图像(或视频帧)的描述符的统计分析和模型化的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。这些描述符可包含遵照定义用于多媒体内容描述符的标准的MPEG-7标准(有时称作多媒体内容描述接口)的描述符。在任何情况下，描述符大体上可代表定义由视频数据描绘的视觉特征的描述的数据。通常，描述符描述这些视觉特征的基本特性，例如与这些特征相关联的形状、色彩、纹理或运动。

用户接口模块74代表呈现用户接口的一个或一个以上硬件模块或硬件与软件模块的组合，移动装置12的操作者与所述用户接口交互以输入并接收来自移动装置12的数据。通常，用户接口模块74将图形用户接口(GUI)呈现给内部显示器54，内部显示器54可将GUI提供给用户。在一些例子中，内部显示器54可包含所谓的“触摸屏”，用户可通过所述“触摸屏”与内部显示器54交互以输入定义由GUI呈现的各种项目的选择的数据。在此意义上，与内部显示器54在图2的实例中与用户接口模块74分离的示范性描绘形成对比，可将内部显示器54视为用户接口模块74的一部分。

最初，移动装置12的操作者可与由用户接口模块74呈现的用户接口介接，以选择一个或一个以上源，所述一个或一个以上源包括操作者希望经由一个或一个以上目的地显示器显示的视频内容。这些源可包括视频俘获装置50和本地存储模块52，以及经由无线接口32A和有线接口32B(“接口32”)以通信方式耦合到移动装置12的源装置，例如图1的实例中所展示的源装置14，其经由无线通信信道13以通信方式耦合到接口32。目的地显示器可包含内部显示器54和以通信方式耦合到接口32的一个或一个以上目的地显示装置，例如图1的实例中所展示的目的地显示装置16，其经由无线通信信道15以通信方式耦合到接口32。

在选择一个或一个以上源之后，操作者还可与此用户接口或由用户接口模块74呈现的另一用户接口介接，以选择由选定源存储的特定内容。举例来说，操作者可选择源装置12作为视频内容的源。作为响应，用户接口模块74可与源装置12介接以确定由源装置14存储于存储模块18内的内容20和22。用户接口模块74可接着更新当前用户接口或呈现借以显示可用于由目的地回放的内容20、22的另一用户接口。操作者可与所呈现的用户接口交互以选择2D视频内容20和3D视频内容22中的一者或一者以上。出于说明的目的，假定操作者选择2D视频内容20。

在选择2D视频内容20之后，操作者可与当前用户接口、先前用户接口或另一用户接口介接，以选择一个或一个以上目的地。同样，出于说明的目的，假定操作者与此目的地用户接口交互以输入选择显示装置16的数据。在选择显示装置16作为由源装置14存储到存储模块18的选定的2D视频内容20的目的地后，用户接口模块74即刻接收指示所述选择的此数据，且指令适当接口32开始接收选定的2D视频内容20并传送经由由变换模块36进行的2D视频内容20的变换而产生的3D视频内容48。用户接口模块74还可与参数发现模块38介接以向参数发现模块38指示选定的目的地，以使得参数发现模块38可根据本发明中所描述的技术与适当目的地介接以确定参数76。

移动装置12的操作者还可与先前用户接口、当前用户接口或可能的由用户接口模块74呈现的不同用户接口介接，以输入指定一个或一个以上用户偏好78(“用户偏好78”)的数据。用户偏好78可包括优势眼偏好、对比度偏好、清晰度偏好、色调偏好、色温偏好，或与视频数据的显示有关的任何其它偏好。用户偏好78还可包括音频偏好(例如，环绕声偏好和音量偏好)，且所述技术不应限于唯视频用户偏好。用户接口模块74将这些用户偏好78转发到HVS反馈模块40，HVS反馈模块40可根据本发明中所描述的技术在配置或重新配置变换模块36时使用这些偏好78。

在任何情况下，在选择源装置12和目的地显示装置16和潜在的存储到源装置12的内容20和22中的一者或一者以上之后，参数发现模块38可与选定的目的地(例如，显示装置16)介接以确定参数76。参数发现模块76可(例如)经由遵照所述的HDMI标准的有线接口32与显示装置16介接。使用HDMI标准的各种方面，参数发现模块76可确定参数76，例如由文件格式模块27支持以用于接收3D视频内容的输入文件格式。其它参数76包括上文所述的与显示器30的各种能力或参数有关的参数，例如所支持的分辨率、当前分辨率、显示大小、所支持的色温、当前色温，或与显示器30和视频解码有关的任何其它参数(包括由视频解码器28支持的编解码器)。

如下文更详细描述，参数发现模块38还可特征化为无线显示器(WD)主机，其代管借以无线地发现这些参数的会话。通常，当实施这些无线显示器主机技术时，参数发现模块38实施称作“无线HDMI”或“WHDMI”的形式的HDMI。

在发现参数76之后，参数发现模块38可与变换模块36的显示格式模块64介接以配置显示格式模块64，以便根据由选定的目的地显示装置16的文件格式模块27支持的文件格式适当地格式化3D视频数据。参数发现模块38可自动地执行参数76(其包括输入文件格式)的发现与显示格式模块64的配置两者。

如上文所述，术语“自动地”的使用通常指示无需操作者介入而执行表示为自动地发生的那些动作。然而，此术语的使用并不打算暗示可不需要操作者或用户输入来起始所述的自动操作。为了说明，考虑操作者与各种用户接口交互以选择源、内容和装置的以上实例。与用户接口的交互并不有损于确定参数76和显示格式模块64的自动性质。因为在以上实例中不需要用户提供指定参数发现模块38确定这些参数76且接着配置显示格式模块64的任何输入或数据，所以操作者可能未意识到这些自动操作。在这方面，从操作者的观点来看，因为操作者未主动地指示执行这些操作，所以可将自动操作解释为显然发生。

参数发现模块38可经由应用编程接口(API)调用来配置显示格式模块64，参数发现模块38可通过所述应用编程接口(API)调用来指定显示装置16的所确定的输入文件格式。在接收2D视频内容20之前，HVS反馈模块40还可与预处理模块56、2D-3D处理模块58、后处理模块60、再现模块62和显示格式模块64介接，以基于用户偏好78而配置这些模块56到64。举例来说，用户偏好78中的一者可定义优选清晰度，HVS反馈模块40可在配置2D-3D处理模块58时利用所述优选清晰度。HVS反馈模块40可利用优选清晰度作为2D-3D处理模块58计算在尖锐图像不连续性下的深度值的准确度的指示。在另一实例中，用户偏好78中的一者可定义会聚平面的优选位置或优选深度范围，HVS反馈模块40可在配置再现模块62时利用会聚平面的所述优选位置或所述优选深度范围。HVS反馈模块40可利用优选会聚平面位置或深度范围来调整模块62的再现参数。

在任何情况下，参数发现模块38与HVS反馈模块40两者可配置变换模块36的模块56到64中的一者或一者以上。变换模块36一旦经配置便可接收2D视频内容20，2D视频内容20可包含单视图或多视图2D视频数据。单视图2D视频数据可包含来自单一视频俘获装置的单视图拍摄。多视图2D视频数据可包含来自多个视频俘获装置的多视图拍摄。通常，多视图2D视频数据实现所述多个视图中的任一者的回放且观看者通常可在回放期间在所述多个视图之间切换，然而，2D显示装置通常并不将所述多个视图中的两者或两者以上彼此同时地呈现。

预处理模块56通常接收2D视频内容20。离线处理模块72并不接收2D视频内容，而是以下文关于图3所描述的方式来支持预处理模块56。简要来说，离线处理模块72通常实施如上文所述的借以执行统计分析和模型化以产生用于供预处理模块56使用的模块的各种算法。

预处理模块56接收2D视频内容20且确定关于形成2D视频内容20的各种图像或帧的全局信息。此全局信息可与2D视频内容20的单一图像或帧或若干图像或帧有关。举例来说，全局信息可定义氛围效果(例如，指示雨、雪、风等的存在的信息)。预处理模块56还可确定2D视频内容的给定图像或帧的局部信息。用以确定所述局部信息的此局部处理可涉及确定与以下各者有关的信息：边缘的位置和强度、边缘的分类、对象的分段、照明属性的检测，和感兴趣的区域的检测。在预处理并确定全局和局部信息之后，预处理模块56将2D视频内容20和全局和局部信息转发到2D-3D处理模块58。

2D-3D处理模块58处理所接收的2D视频内容20以提取深度信息。2D-3D处理模块58可基于由预处理模块56确定的全局和局部信息而提取深度信息。举例来说，2D-3D处理模块58可从几何线性信息(例如，通过预处理模块56所确定的信息而定义的边缘信息)提取深度信息。2D-3D处理模块58可实施若干深度提取算法以(例如)从以下各者提取深度信息或值：几何结构和运动、聚焦/散焦、着色和阴影，和上文所述的几何线性信息。2D-3D处理模块58可合并经由这些算法中的一者或一者以上所提取的深度以产生深度图。所述深度图可将深度值指派给2D视频内容20的每个图像或帧的每一像素，借此产生3D视频数据，2D-3D处理模块58将所述3D视频数据转发到后处理模块60。

后处理模块60接收由2D-3D处理模块58产生的此3D视频数据且修改所述3D视频数据以精细化深度图。举例来说，后处理模块60可修改深度图，以改进所得的经变换的3D视频内容48在经由显示装置16显示时的可视化的质量。此修改可涉及全局地使深度图平滑或选择性地修改帧中的感兴趣的特定区域的对应于深度图的深度信息。在以此方式精细化深度图之后，后处理模块60将经精细化的3D视频数据转发到再现模块62。

再现模块62接收经精细化的3D视频数据且针对需要一个或一个以上视图的情形(例如在显示装置16的所确定的输入格式为多视图流格式时或显示装置16以其它方式支持多个“2D+深度(z)”视图时的情况)而模型化3D场景。在此视图再现之后，再现模块62将潜在的多视图3D视频数据转发到显示格式模块64，显示格式模块64继续根据由显示装置16支持的经配置的输入文件格式而格式化多视图3D视频数据以产生经变换的3D视频内容48。显示格式模块64接着将经变换的3D视频内容48转发到显示装置16以用于呈现给观看者。

当以上文所描述的方式变换2D视频内容20时，HVS反馈模块40与显示装置16介接以检索由显示装置16的视频解码器28输出的3D视频数据44。HVS反馈模块40接着执行对经解码的3D视频数据44的定性和定量评估。更具体来说，定性评估模块66执行与经解码的3D视频数据44的可视化的质量有关的定性评估，以确定度量70(可称作“定性度量70”)中的一者或一者以上。此可视化的质量还可包括给定观看者在观看3D视频数据44时的舒适度(如由用户偏好78定义)。为了说明，认为右眼优势观看者在观看3D视频数据44时喜欢用其右眼。在此情况下，定性评估模块66可分析3D视频数据44以确保右眼流比左眼流有利。即，如果观看者为右眼优势，则定性评估模块66可在确定给定帧或图片群组的总度量时使右眼流度量比左眼流度量偏重。

定量评估模块68可执行3D视频数据44的定量分析以确定度量78(其可称作“定量度量78”)中的一者或一者以上。举例来说，定量评估模块68可评估由后处理模块60、再现模块62和显示格式模块64中的一者或一者以上产生的3D视频数据的一个或一个以上帧中的对象的深度与大小之间的关系。定量度量78可包括对象的深度与大小之间的此关系作为一个度量。其它定量度量78可包括与基于深度图像的再现有关的度量，例如，过滤功效度量、可见不连续性度量和内插功效度量。定量度量78还可包括在深度的正规化中有用的度量。定量度量78因此可包括与以下各者有关的至少一个度量：由3D视频数据定义的对象的深度与大小之间的关系、3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，和与测量沿着时间的深度的不连续性有关的度量。定量评估模块68可进一步测量由模块60到64产生的视频数据的沿着时间的深度的不连续性，且执行大量其它形式的定量分析。

使用定性评估模块66和/或定量评估模块68，HVS反馈模块40可执行广泛多种分析。如上文部分述，此分析可涉及测量和调整由模块56到64中的一者或一者以上产生或从显示装置16接收作为3D视频数据44的3D视频数据的给定帧或图像中的任何对象的深度与大小之间的关系。所述分析还可涉及测量沿着时间的深度的不连续性、阴影或着色效果、背景对比度和空间频率。

基于这些度量，HVS反馈模块40可接着基于度量70而确定配置数据80且与变换模块36的模块56到64中的一者或一者以上介接，以重新配置这些模块56到64以便精细化经变换的3D视频内容48的所感知的视觉质量。除基于度量70而确定配置数据80之外，HVS反馈模块40还可基于参数发现模块38可转发到HVS反馈模块40的参数76而确定配置数据80。此外，HVS反馈模块40可确定或以其它方式裁定配置数据80以适应用户偏好78。因此可根据广泛多种度量、参数和偏好来确定配置数据80。

作为一个实例，HVS反馈模块80可裁定配置数据80以修正缺乏眼追踪功能性的显示装置的聚焦线索。聚焦线索包含针对不同焦距描述跨越给定帧的图像的明确度的数据。在此实例中，参数76可指示显示装置16缺乏眼追踪功能性。在此情形下，为了修正聚焦线索(其可包含HVS借以解译聚焦的在3D视频内容48中的线索)，HVS反馈模块40可确定用于2D-3D处理模块58和/或再现模块62的配置数据80，以便约束由2D-3D处理模块58执行的深度提取和/或约束由再现模块62进行的多视图再现的深度解译。

HVS反馈模块40可基于指示显示装置16的显示器30的大小的参数76而产生此配置数据80，这是因为聚焦可取决于视野和标准观看距离，视野与标准观看距离两者可从显示器的大小导出。聚焦还可取决于眼间隔(其通常经定义为左眼与右眼之间的距离)且用户偏好78可存储标准眼间隔偏好。HVS反馈模块80因此可存取用户偏好78与参数76两者以产生配置数据80，以便修正不具有借以提供以上反馈(例如，实际观看距离、实际眼方位，和实际眼间隔)的眼追踪机构的显示装置30中的聚焦失误。

如果可经由显示装置16利用眼追踪，则HVS反馈模块40可经由HVS反馈模块40借以接收3D视频内容44的同一接口接收此反馈。此机构可为耦合到显示装置16的外部装置。或者，此眼追踪机构可集成于显示装置16内。名称“眼追踪”在一些实例中可为误称，这是因为所述机构无需追踪眼移动但可更大体上追踪每一用户的定位，在所述情况下，可导出观看距离和眼定位。

在一些例子中，HVS反馈模块40可产生配置数据80，以按不同方式修正立体显示器和自动立体显示器的聚焦线索。显示装置16为立体显示装置(需要例如快门眼镜等额外观看设备来适当地呈现3D视频数据的显示装置)还是自动立体显示装置(不需要额外观看设备来适当地呈现3D视频数据的显示装置)可由参数发现模块38来确定且存储为参数38中的一者。

考虑称作“体积型显示器”的特定类型的自动立体显示器(其再次可经由参数38中的一者来指示)。体积型显示器可能不能够呈现用于多个同时观看点(其中每一观看点用于不同观看者)的真实明视野。因此，这些体积型显示器在用作自动立体显示器时通常无法正确地呈现视图相依照明(例如，遮蔽、单向反射和反射)。HVS反馈模块40可配置变换模块36的各种模块56到64以校正观看定位，以便改进体积型显示器的立体感知。

立体显示器与自动立体显示器之间的其它差异可保证不同配置且HVS反馈模块40可基于这些参数78而裁定配置数据80。举例来说，在自动立体显示器与立体显示器之间通常存在深度感知与深度性能之间的差异。HVS反馈模块40可基于这些装置能力或参数差异而以不同方式裁定配置数据80。

如上文所述，HVS反馈模块40可基于显示装置18的不同形态因数(且更特定来说，显示器30的大小)而裁定配置数据80以约束聚焦线索。内部显示器54通常具有远小于外部显示装置16的显示器30的形态因数的形态因数，且这些不同形态因数可暗示建置和显示立体图像的方式的差异。此外，形态因数可指示观看观众的潜在的大小，其中较小形态因数可暗示单一观看者，而较大显示器可暗示多个观看者。HVS反馈模块40可产生配置数据80以便考虑这些不同形态因数。

具体来说，在一个实例中，HVS反馈模块40可充分利用HVS的已知方面来基于形态因数产生配置数据80。在一个方面中，通过人眼的空间和聚焦分辨率来规定最佳体素分布。给定人眼的此已知限制，则HVS反馈模块40基于显示器的类型(立体或自动立体，包括这两种类型的3D显示技术的不同子类别)和显示器的大小而确定特定空间和聚焦分辨率。HVS反馈模块40可接着产生用于2D-3D处理模块56的配置数据80以修改深度处理。

HVS反馈模块40还可基于关于显示装置16的观看者的特定视轴线或观看角度而精细化或潜在地优化如由度量70中的一者指示的空间频率。此视轴线或观看角度可用3D视觉数据44来提供，或参数发现模块38可与显示装置16介接以发现作为参数76中的一者的此视轴线或观看角度(因为其与集成于显示装置16内的眼或观看者追踪设备有关)。HVS反馈模块40还可利用指定当前显示分辨率的参数76中的一者或一者以上，这是因为此显示分辨率可影响聚焦线索。HVS反馈模块40可接着基于这些参数76而产生配置数据80。

在另一实例中，HVS反馈模块40可产生配置数据80以精细化或潜在地优化基于深度图像的再现(DIBR)。HVS反馈模块40可分析3D视频数据44和由后处理模块60、再现模块62和显示格式模块64产生的3D视频数据以精细化DIBR的各种方面。在一个例子中，HVS反馈模块40分析此视频数据44或由模块60到64中的一者或一者以上产生的视频数据，以确保深度维度的适当过滤，以最小化且可能潜在地消除视觉假影。常常，深度过滤精细化相关于特定显示技术或能力，所述特定显示技术或能力再次可由参数发现模块38发现且因此经由参数76中的一者或一者以上而知晓。为了说明，考虑归因于未经深度过滤的再现而引起的可见不连续性在相减式显示器中潜在地大得多，这是因为这些显示器可使来自背光的直接照明可见。HVS反馈模块40因此可产生配置数据80以调整深度过滤，以便考虑不同显示能力。

HVS反馈模块40还可基于与用于填充孔的目的(例如，内插，其可在调整2D视频内容20的分辨率以适应当前分辨率时发生)的过滤有关的度量70而产生配置数据80以精细化DIBR的各种方面。过滤可包含高斯过滤或基于边缘的过滤。HVS反馈模块40还可基于与特定文件格式(例如，称作P3D的文件格式)有关的度量70而产生配置数据80以精细化DIBR，以便迫使特定像素的深度值为零(其中预期在给定图像或帧中发生遮蔽)。

还关于精细化DIBR，HVS反馈模块40可基于与阴影效果和着色有关的度量70而产生配置数据80，以便使用可见相邻像素增加区域中的阴影效果/着色。HVS反馈模块40还可增大边缘以经由高频增强(HFE)精细化DIBR，以最小化归因于深度过滤而引起的模糊，此倾向于使边缘不连续性平滑。另外，HVS反馈模块40可通过产生配置数据80来精细化DIBR，以促进深度图的动态范围再成形，借此，此配置数据80扩展较高深度值且压缩较低深度值。在一些例子中，HVS反馈模块40可基于给定观看者的HVS的感知力或灵敏度(如由用户偏好78中的一者定义)而调制扩展和压缩的范围。

还可通过HVS反馈模块40产生配置数据80而发生此DIBR精细化，配置数据80基于与眼偏好或优势有关的用户偏好78中的一者或一者以上而调整DIBR。为了说明，考虑到对于任一视图，观看者可为左眼优势或右眼优势，且观看者可将此优势作为用户偏好78中的一者进行指示。值得注意的是，观看者可经历经由用户接口呈现的测试以确定优势或可仅选择所述优势。在任何情况下，HVS反馈模块40可产生配置数据80，其基于用户偏好78中的与眼优势、灵敏度或感知力差异有关的偏好而调整各种视图，以使得视图在沿着视轴线+/-20度或高达50度的范围内细化以实现高达120色彩像素密度(cpd)的良好体素分辨率。在适当的情况下，HVS反馈模块40可产生配置数据80以采用不对称质量，以便改进深度感知，其中此不对称质量表示左眼视图的所感知的质量与右眼视图的所感知的质量不对称或不相等。

在又一实例中，HVS反馈模块40可基于与眼灵敏度有关的用户偏好78以及与内容类型、照明度水平等有关的度量70中的一者或一者以上而产生配置数据80以正规化深度。由HVS反馈模块40进行的深度的正规化还可取决于最大深度，所述最大深度是基于视频数据44和与场景改变、内容类型和构成(例如，如果存在处于无限焦距下的对象)有关的度量70来确定。由HVS反馈模块40进行的深度的正规化还可除了与再现方法有关的定量度量70之外取决于参数76(例如，显示器类型)。

在另一实例中，HVS反馈模块40可产生配置数据80以精细化3D可视化，以便最小化压力(例如，眼疲劳和恶心)。在一些方面中，HVS反馈模块40可产生配置数据80以优化3D可视化，以便最小化压力(例如，眼疲劳和恶心)。HVS反馈模块40可约束深度以最小化压力，基于场景中的对象的类型而执行选择性深度再现，对场景中感兴趣的特定对象执行用于特定深度提取的选择性深度再现，或仅提取高于特定置信水平的深度值。以此方式，HVS反馈模块40可基于度量70、参数76和用户偏好78而产生配置数据40，且重新配置变换模块36的一个或一个以上模块56到64以便精细化(如果不可能改进或甚至优化)2D视频内容20到3D视频内容48的变换。

变换模块36的经重新配置的模块56到64可接着继续根据配置数据80将2D视频内容20变换成3D视频内容48。变换模块36可接着在此动态重新配置之后开始将经精细化的3D视频内容48转发到显示装置16，此后，显示装置16便可经由显示器30呈现此经精细化的3D视频内容48以供一个或一个以上观看者消耗。此反馈机构，在此反馈机构中，HVS反馈模块40可在2D视频内容20到3D视频内容48的整个变换期间继续以便持续地精细化此视频数据，或在一些方面中，优化此视频数据以用于在由操作者选择的特定平台(例如，显示装置16)上回放。在这方面，HVS反馈模块40可实现透明(从观看者的观点来看)的实时或准实时动态反馈，所述透明的实时或准实时动态反馈以裁定3D视频内容48以用于在具体选定的显示装置(例如，显示装置16)上向特定观看者回放的方式精细化且潜在地改进(如果并不优化)3D视频内容48，如由用户偏好78定义。下文阐述HVS反馈模块40产生配置数据80且根据配置数据80重新配置变换模块36的模块56到64中的各种模块的实例。HVS反馈模块40还可实现透明(从观看者的观点来看)的实时或准实时动态反馈，所述透明的实时或准实时动态反馈可用以重新配置模块56到64，以使得在计算复杂性降低的同时保留根据用户偏好的可接受的3D视频质量。

图3为更详细地说明图2的移动装置12的变换模块38和离线处理模块72的方框图。如图3的实例中所展示，模块56到62中的每一者包含执行2D或3D视频内容到经变换的3D视频内容48的变换的各种方面的额外单元。举例来说，预处理模块56包含至少三个全局处理单元82A到82C，其在图3的实例中展示为氛围效果检测单元82A(“氛围效果检测单元82A”)、场景改变检测单元82B和相机运动检测单元82C。将这些模块视为全局处理单元，这是因为其全局地分析2D视频内容20的整个帧或多个帧(例如)以检测相应氛围效果、场景改变和相机运动。

预处理模块56还包括局部处理单元84A到84C，其分别每次处理用于单一帧内的相邻像素的给定区域的输入视频数据20或22(此处理被视为局部化或局部处理)，以检测感兴趣的区域(ROI)、边缘和对比度和/或照明。在图3的实例中，将这些局部处理单元84A到84C展示为ROI检测单元84A、边缘检测单元84B和对比度/照明检测单元84C(“对比度/照明检测单元84C”)。ROI检测单元84A代表检测ROI(例如，面部或人体)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。边缘检测单元84B代表定位边缘并将其分类(例如，将边缘分类为限定实际对象的边界、分类为定义阴影边界，或分类为定义着色效果)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。此分类还可涉及确定边缘的强度。对比度/照明检测单元84C代表检测照明属性的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。

虽然为了便于说明的目的在图3中未展示，但预处理模块56可包括额外全局或局部处理单元。举例来说，预处理模块56可包括另一局部处理单元，所述另一局部处理单元基于给定图像或帧的色度分量、所述图像或帧的色彩分量或所述图像或帧的色度分量与色彩分量两者而执行对象的分段。本发明中所阐述的技术因此不应限于图3中所展示的实例，而可包括额外全局和局部处理单元。可将由单元82A到82C以及84A到84C提取的各种信息转发到2D-3D处理以促进深度提取。

2D-3D处理模块58包括用以执行多帧深度提取技术与单帧深度提取技术两者的若干单元。多帧深度提取单元包括相机模型化单元86A和移动对象模型化单元86B。相机模型化单元86A代表模型化几何结构和运动(例如，模型化俘获几何结构和运动的相机)以提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。移动对象模型化单元86B代表将独立移动对象的背景分段以提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。

单帧提取单元包括透镜模型化单元88A、遮蔽模型化单元88B、照明模型化单元88C和几何模型化单元88D。透镜模型化单元88A代表基于在给定帧或图像中检测到的聚焦和散焦线索而提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。遮蔽模型化单元88B代表将给定帧或图像中的各种对象之间的遮蔽模型化或以其它方式检测给定帧或图像中的各种对象之间的遮蔽且基于这些遮蔽提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。照明模型化单元88C代表基于所检测的阴影和着色效果而提取单一帧或图像的深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。几何模型化单元88D代表基于单一帧或图像内的几何线性透视图的模型化而提取所述单一帧或图像的深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。

如上文所述，这些单元86A到86B和88A到88D中的许多单元依赖于由预处理模块56的单元82A到82C和84A到84C提取的信息。举例来说，照明模型化单元88C可将深度的提取基于由对比度/照明检测单元84C和边缘检测单元84B确定的对比度/照明信息。作为另一实例，遮蔽模型化单元88B可使用由边缘检测单元84B检测的边缘信息来模型化遮蔽。作为又一实例，透镜模型化单元88A可将深度提取基于由边缘检测单元84B确定的边缘信息。作为另一实例，几何模型化单元88D可基于由边缘检测单元84B确定的边缘信息而提取深度值。相机模型化单元86A和移动对象模型化单元86B可基于由氛围效果检测单元82A、场景改变检测单元82B和相机运动检测单元82C确定的信息而提取深度值。以此方式，2D-3D处理模块58可从2D视频内容20与3D视频内容22两者提取深度值。

值得注意的是，针对多视图流，变换模块36可包括多个2D-3D处理模块(例如，可调用多个2D-3D处理模块)以处理同时从多个俘获系统获取或俘获的不同流的每一帧。甚至对于单视图流，变换模块36还可包含借以处理两个或两个以上连续帧或图像的多个2D-3D处理模块。在此单视图流例子中，所述多个2D-3D处理模块中的每一者将提取特征点和用于这些点的描述符。这些描述符将接着用以设定不同帧中的特征点之间的对应性，其中对应点的位置将与由相机模型化单元86A实施的投影几何相机模型一起使用以提取深度值。

关于用不同相机单元(具有相同或不同的相机参数的每一相机位于不同空间点处)同时获取每一视图的多视图流，2D-3D处理单元58可包括类似于透镜模型化单元88A的多个相机模型化单元。这些透镜模型化单元88A中的每一者处理不同多视图的帧，其中这些帧中的每一者被同时俘获。对于单视图流，2D-3D处理单元58可调用相机模型化单元88A以每次处理所述单视图流的单一图像或帧。

在使用多帧处理单元86A到86B和单帧处理单元88A到88D中的一者或一者以上确定深度值之后，2D-3D处理模块58可合并来自各种多帧和单帧处理单元86A到86B和88A到88D的深度值或以其它方式集成这些深度值，以针对给定视图流(或，在多视图流的情况下，针对所述视图流中的每一者)的每一帧创建一复合深度图。所述深度图将一深度值指派给给定帧或图像的每一像素。关于“2D+深度”文件格式，作为一个实例，将每一帧的深度图表示为灰阶图像，其中所述灰阶图像的每一8位像素值定义帧中的对应像素的深度值。

HVS反馈模块40可产生配置数据80以配置2D-3D处理模块，以便约束由多帧和单帧深度提取处理单元86A到86B和88A到88D中的一者或一者以上进行的深度提取。作为一个实例，HVS反馈模块40可产生配置数据80以配置相机模型化单元86A，以使得用以模型化相机系统的线性方程式体系通过使用来自其它单元(例如，单元86B和88A到88D)的结果而解疑并加速，以约束一组有效对应点。

HVS反馈模块40还可产生配置数据80以影响由多帧和单帧处理单元86A到86B和88A到88D产生的深度图的合并。举例来说，2D-3D处理模块58可使用加权平均合并函数来合并这些深度图，所述加权平均合并函数将不同权重指派给所述所确定或所提取的深度图中的每一者。HVS反馈模块40可产生配置数据80以修改或配置这些权重以调整所得的复合深度图。此调整可改进经变换的3D视频内容48的可视化的质量或以其它方式降低与观看经变换的3D视频内容48相关联的压力。

在以此方式处理2D视频内容20之后，2D-3D处理模块58将2D视频内容20和所述所产生的一个或一个以上(如在多视图流的情况下)复合深度图转发到后处理模块60。后处理模块60包括深度感知单元90，深度感知单元90修改所述所得的一个或一个以上深度图以精细化经变换的3D视频内容48的可视化的质量。在一些例子中，深度感知单元90修改所述所得的一个或一个以上深度图以改进经变换的3D视频内容48的可视化的质量。深度感知单元90可在代表变换模块36的模块56到64的管线中引入一单元，借此HVS反馈模块40可进行调解以精细化深度图。为了说明，深度感知单元90可代表HVS反馈模块40可与其交互以加载配置数据80以使得HVS反馈模块40可在所述管线中进行调解以执行深度图的后处理的接口。

在一个实例中，HVS反馈模块40可产生用于深度感知单元90的配置数据80，以便配置深度感知单元90以执行以下操作：跨越多个帧或整个3D视频数据而全局地使深度图平滑，和/或选择性地修改由ROI检测单元84A识别的感兴趣的特定区域的深度信息。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的参数76而产生配置数据80：修改和约束深度值的范围，以使得这些值经裁定以用于特定显示器(例如，显示装置16)。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的度量70而产生配置数据80：动态地修改深度图以促进经变换的3D视频数据的定量改进。

在精细化所述一个或一个以上深度图之后，后处理模块60将2D视频内容和所述一个或一个以上经精细化的深度图转发到再现模块62。再现模块62包括3D模型化单元92、照明模型化单元94(“照明模型化单元94”)和内插单元96。3D模型化单元92、照明模型化单元94和内插单元96中的每一者代表模型化3D场景的各种方面以便实现从2D视频内容20产生一个或一个以上额外视图的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。

3D模型化单元92可利用来自后处理模块60的深度图来促进3D场景的产生和一个或一个以上额外视图的后续产生。照明模型化单元94可利用由照明模型化单元88C和/或对比度/照明检测单元84C确定的照明信息来促进3D场景的产生和一个或一个以上额外视图的后续产生。内插单元96可利用2D视频数据的像素信息来促进3D场景的产生和一个或一个以上额外视图的后续产生。在这方面，再现模块62产生额外视图以便实现从单视图2D视频内容20产生呈多视图流格式的3D视频内容。

虽然为便于说明而未将显示格式模块64展示为包含类似于模块56到62的额外单元，但显示格式模块64可调用各种单元以根据由参数发现模块38确定的输入文件格式98格式化从再现模块62接收的3D视频数据。在一个实例中，显示格式模块64调用色彩交错单元，以按不同色彩分量(在需要时，例如，根据立体照片文件格式)交错不同视图。作为另一实例，显示格式模块62调用空间交错单元以按不同像素位置交错不同视图。当产生多个视图时，显示格式模块64可调用在时间上多路复用各种视图以用于帧切换式显示的多视图单元，所述帧切换式显示可由配置数据80指示且经由参数76中的一者而习得。除显示格式要求之外，HVS反馈模块40还可基于配置显示格式模块64以强调、过滤或大体上修改3D视频流的度量70和/或用户偏好78而产生配置数据80。

离线处理模块72大体上可关于训练集合的各种属性执行训练集合的各种帧或图像的特定描述符的统计分析和模型化。各种属性可包括照明的类型和方向、对象反射率、纹理和氛围效果。离线处理模块72通过创建供预处理模块56的各种单元82A到82C和84A到84C使用的一个或一个以上模型来提供对预处理模块的支持。

离线处理模块72包括机器学习单元100以执行统计分析和模型化。机器学习单元100可定义且模型化考虑归因于着色而产生的跨越边缘的强度的变化的描述符(作为一个实例)或考虑由于阴影造成的跨越边缘的强度的变化的描述符(在另一实例中)。在另一实例中，机器学习单元100可定义且模型化考虑在特定照明条件下的场景中的对象的反射率属性的描述符。

机器学习单元100使用训练集合(图3中未展示)离线地模型化每一描述符的统计行为。此训练集合可由一组图像组成，所述组图像是在影响每一描述符的属性的所有潜在变化下获得。由机器学习单元100在使用训练集合经历训练之后创建的模型因此俘获描述符针对给定情景条件(例如，给定照明方向)为特定值的概率。统计行为的模型接着由预处理模块56的单元在线使用。预处理模块56利用这些模型来确定以下情况的最大可能性：针对从预处理模块56当前正处理的一个或一个以上图像或帧获得的给定描述符的特定值，场景的条件为特定条件(例如，特定照明方向)。

可将这些模型不仅扩展到照明相关情景，而且扩展到场景中的氛围效果(霾、雨、雪等)或纹理变化。所述描述符还可为局部的(如果其俘获像素的邻域内的信息)或全局的(如果其俘获整个图像的信息)。所述模型可使用马可夫随机场(Markov randomfield)俘获若干描述符之间的关系的统计行为。在这方面，离线处理模块72可使用产生供预处理模块56使用的模型的机器学习单元100来支持预处理模块56。值得注意的是，机器学习单元100可接收新训练集合，所述新训练集合可实现改进的模型化和后续变换。

图4A和4B为说明移动装置(例如，图2的移动装置12)在实施本发明中所描述的技术的各种方面时的实例操作的流程图。首先参看图4A，移动装置12的控制单元34内所包括的用户接口模块74最初可呈现用户接口，移动装置12的用户或其它操作者可与所述用户接口交互以输入定义用户偏好78的数据。用户接口模块74接收定义用户偏好78的此数据且将用户偏好78转发到HVS反馈模块40以用于配置或重新配置变换模块36(102)。

用户接口模块74还可呈现同一用户接口或另一用户接口，用户可与所述同一用户接口或另一用户接口交互以选择一个或一个以上源装置和一个或一个以上目的地装置。用户接口模块74可接着接收选择一个或一个以上源装置(例如，图1的实例中所展示的源装置14)和一个或一个以上目的地装置(例如，外部显示装置16)的数据(104)。基于这些选择，用户接口模块74可与无线接口32A和有线接口32B中的各种接口介接，以分别与所述选定的一个或一个以上源装置(例如，源装置14)和所述选定的一个或一个以上目的地装置(例如，外部显示装置16)建立通信链路或信道13和15。在确保建立这些信道13和15之后，用户接口模块74可接着与参数发现模块38介接以起始关于显示装置16的能力的参数76的发现。

参数发现模块38以上文所描述的方式经由已建立的通信信道15与显示装置16介接以确定参数76(106)。参数发现模块38可将这些参数76转发到HVS反馈模块40，HVS反馈模块40又可在配置或重新配置变换模块36时使用这些参数76。参数76中的一者可包含由外部显示装置16支持的一个或一个以上输入文件格式以接受2D和/或3D视频内容。参数发现模块38可与变换模块36(且更具体来说，显示格式模块64)介接以根据所确定的输入文件格式配置显示格式模块64，以格式化经变换的3D视频数据48(108)。或者，HVS反馈模块40可与显示格式模块64介接，以按上文关于参数发现模块38所描述的方式配置显示格式模块64。HVS反馈模块40还可与其它模块56到62介接，以最初基于参数76和用户偏好78而配置变换模块36的这些模块56到62，以便根据用户偏好78裁定用于由外部显示装置16呈现的3D视频内容48的产生。

变换模块36一旦经配置便经由通信信道13与源装置12介接，以从源装置12检索2D和/或3D视频内容20、22(110)。在接收到(例如)2D视频内容20后，变换模块36将2D视频内容20的视频数据转换成3D视频内容48，3D视频内容48根据所确定的输入文件格式而被格式化(112)。变换模块36接着将根据所确定的输入文件格式而格式化的3D视频数据作为3D视频内容48进行输出，移动装置12将3D视频内容48转发到显示装置16(114、116)。

参看图4B，在接收到3D视频内容48的至少一部分之后，显示装置16通过移除输入文件格式化标头来解包封所接收的3D视频内容48以产生经编码的3D视频数据50。显示装置16接着解码经编码的3D视频数据50以产生3D视频数据44，显示装置16经由显示器30向一个或一个以上观看者呈现3D视频数据44以供其消耗。当呈现此视频数据44时且当变换模块36将2D视频内容20转换成3D视频内容48时，HVS反馈模块40与显示装置16介接以检索视频数据44(118)。

如上文所描述，HVS反馈模块40(且更具体来说，HVS反馈模块40的定性评估模块66)分析经解码的视频数据44以确定如上文所描述的定性度量70，其中这些定性度量70描述经解码的视频数据44的可视化的质量(119)。HVS反馈模块40还可使用定量评估模块66来确定定量度量70，定量度量70在定量方面描述经解码的视频数据44的质量。基于这些度量70，HVS反馈模块40重新配置变换模块36的模块56到64以精细化经解码的视频数据44的可视化的质量(120)。

HVS反馈模块40还可将模块56到64的此重新配置基于度量70、参数76和用户偏好78中的两者或两者以上的组合。举例来说，给定与用户的优选对比度等级有关的用户偏好78中的一个特定用户偏好，则HVS反馈模块40可鉴于此优选对比度等级来分析度量78(例如，所感知的对比度等级)，且产生精细化3D视频内容48的后续产生的配置数据，以使得视频数据44展现接近(如果不等于)所述优选对比度等级的对比度等级。HVS反馈模块40还可鉴于参数76来分析度量78以便精细化3D视频内容48的产生，以使得从后续视频数据44进行的度量78分析关于由参数78定义的特定显示能力得到改进。在一些例子中，可以上述方式使用全部三个度量70、参数76和用户偏好78以产生3D视频内容48的后续产生，所述后续产生在给定参数76和用户偏好78的情况下关于度量70而被精细化。

在以上文所描述的方式重新配置之后，变换模块36继续将2D视频内容20转换成3D视频内容48(122)。变换模块36接着输出3D视频内容48，3D视频内容48包含根据所确定的输入格式而格式化的3D视频数据(124)。移动装置12将3D视频内容48转发到外部显示装置16(126)。以上过程可以可特征化为迭代过程的此方式继续，以使得针对迭代中的每一者，关于定义视频数据44的可视化的所感知的质量的度量70来精细化视频内容48(118到126)。

虽然上文关于HVS反馈模块40分析经解码的3D视频数据进行描述，但HVS反馈模块40或者可分析经编码的3D视频数据。此外，显示装置16可包括其自身的类似于HVS反馈模块40的HVS反馈模块，其分析经编码的3D视频数据或经解码的3D视频数据。以此方式，显示装置16可自身分析3D视频数据且将用其自身的HVS反馈模块所确定的所述一个或一个以上度量转发到HVS反馈模块40，HVS反馈模块40可使用这些度量来调整视频数据到3D视频数据的变换。所述技术因此不应限于此方面。

图5为说明实施本发明中所描述的技术的各种方面的实例移动装置128的方框图。移动装置128可大体上类似于图1的移动装置12。虽然关于特定装置(例如，移动装置128)来描述所述技术，但所述技术可由任何类型的装置实施，包括上述为能够实施关于移动装置12所描述的技术的各种方面的那些其它装置。

类似于图2的实例中所展示的移动装置12，移动装置128包括无线接口32A、有线接口32B、视频俘获模块50、本地存储模块52和用户接口模块74。无线接口32A、有线接口32B、视频俘获模块50和本地存储模块52中的每一者可为视频数据和/或内容的“源”(即，提供视频数据和/或内容)，且由于此原因，其可大体上被称作“源”。这些源可提供视频数据130，视频数据130可包含2D视频数据或3D视频数据(其可包括2D视频数据+额外深度信息，或2D视频数据+额外深度和遮蔽区信息，或2D视频数据+深度、遮蔽区和全局效果信息)。

移动装置128还包括图像/视频处理单元132、图像/视频编码器单元134、图像/视频缓冲器单元136、显示处理单元138、内部显示器140、无线显示器(WD)主机单元142，和无线显示接口144。图像/视频处理器单元132代表处理视频数据130以产生3D视频数据146的硬件单元或组合硬件与软件单元。图像/视频编码器单元134代表根据由图像/视频编码器单元134支持的一个或一个以上编解码器中的一者编码视频数据146以产生经编码的视频数据148的硬件单元或硬件单元与软件单元的组合。虽然展示为编码器，但图像/视频编码器单元134还可执行解码。编码器单元134输出存储到图像/视频缓冲器单元136的经编码的视频数据148，图像/视频缓冲器单元136可包含存储器或存储装置(例如，上文所描述的存储器与存储装置两者的实例)。

在一些例子中，移动装置128提供借以在本地在内部显示器140上预览3D视频数据146的预览模式，内部显示器140可包含发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管显示器、等离子体显示器、液晶显示器(LCD)或任何其它类型的显示器。在此预览模式中，图像/视频处理单元132可产生预览视频数据150A、150B(“预览视频数据150”)。预览视频数据150A可包含形成3D视频数据146的右眼透视图的右眼视频数据。预览视频数据150B可包含形成3D视频数据146的左眼透视图的左眼视频数据。当视频俘获装置50包含3D视频俘获装置时，此3D视频俘获装置50可产生右眼视频数据150A与左眼视频数据150B两者，图像/视频处理单元132可将右眼视频数据150A与左眼视频数据150B转发到显示处理单元138。

显示处理单元138代表处理经缓冲的视频数据152以根据由外部显示装置中的一者或一者以上(例如，外部显示装置154A到154N(“外部显示装置154”)中的一者或一者以上)支持的输入格式而格式化经缓冲的视频数据152的硬件单元或硬件单元与软件单元的组合。显示处理单元138可将此经格式化的经缓冲的视频数据152作为3D视频内容156进行输出。显示处理单元138可包括借以确定由外部显示装置154中的一者或一者以上支持的输入文件格式的显示格式接口(DFI)，出于便于说明的目的，在图5中未展示所述显示格式接口(DFI)。

显示处理单元138还可接收预览视频数据150中的一者或一者以上且格式化此预览视频数据150以供内部显示器140呈现。显示处理单元138可将此经格式化的预览视频数据150A、150B作为预览视频内容158A、158B(“预览视频内容158”)进行输出，内部显示器140可与将3D视频内容156输出到外部显示装置154中的一者或一者以上同时地将预览视频内容158A、158B中的一者或两者呈现给移动装置128的用户。

在内部显示器140支持3D视频内容回放的例子中，预览视频数据150可包含显示处理单元138格式化以供内部显示器140显示或呈现的3D视频数据。在内部显示器140支持3D视频内容回放与2D视频内容回放两者的例子中，图像/视频处理单元132可基于以下各者而确定是将预览视频数据150作为2D视频数据还是作为3D视频数据产生：用户偏好、应用类型(例如，2D视频数据通常对于电子邮件/文字来说是优选的，而计算机图形(CG)通常再现为3D视频数据)、操作功率模式、可用电池电力，和通常影响此类型的决策的其它偏好、度量和参数。

图像/视频处理单元132、图像/视频编码器单元134和显示处理单元138可包含以下各者中的一者或一者以上：例如执行存储到计算机可读媒体的一个或一个以上指令的通用处理器(其可称作计算机处理单元或CPU)的处理器、数字信号处理器(DSP)、图形处理单元(GPU)，或任何其它类型的处理器。或者，图像/视频处理单元132可包含专用硬件，例如现场可编程门阵列(FPGA)和专用集成电路(ASIC)。在一些例子中，可将专用硬件与一个或一个以上处理器两者组合以提供本发明中关于单元132、134和138所描述的各种操作。

虽然上文描述根据由外部显示装置154支持的输入文件格式而格式化经缓冲的视频数据152以产生3D视频内容156，但显示处理单元138一般仅支持用于有线接口的文件格式，例如HDMI、DVI和其它有线文件格式。特定来说，考虑到迄今为止尚不存在任何正式或标准化的无线文件格式，显示处理单元138不可支持无线文件格式。然而，WD主机单元142可支持无线显示文件格式且向这些无线显示器提供接口以便确定外部显示装置154中的一者或一者以上是否支持无线文件格式。WD主机单元142因此可代表提供借以确定由外部显示装置154中的一者或一者以上支持的无线显示格式的接口且接着根据所确定的无线显示格式而格式化经缓冲的3D视频数据152的硬件单元或硬件单元与软件单元的组合。因此，WD主机单元142可通过使移动装置128能够根据由一个或一个以上外部显示装置154支持的无线文件格式无线地传输3D视频内容来促进跨平台回放。

WD主机单元142可(例如)实施上文所描述的WHDMI或WMDDI协议以确定关于包含无线显示器的外部显示装置154中的那些显示装置的能力的无线显示参数，包括所支持的无线文件格式。WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152，根据无线输入文件格式中的所确定的无线输入文件格式而格式化或重新格式化(在显示处理单元138最初格式化此数据的情况下)经缓冲的3d视频数据152，且将3D视频内容156传回到显示处理单元138。显示处理单元138将此3D视频内容156转发到无线显示接口144，无线显示接口144可包含无线接口32B中的一者，但出于说明的目的而展示为分离的。无线显示接口144接着将此3D视频内容156转发到外部显示装置154中的一者或一者以上。

虽然展示为包括于移动装置128内，但WD主机单元142可驻留于移动装置128外部且经由无线接口32A或有线接口32B中的一者与移动装置128介接。当WD主机单元142位于移动装置128外部时，WD主机单元142可包含类似于无线显示接口144的无线显示接口或促进与WD客户端单元(其在下文中更详细地描述)的通信的另一类似接口。在一些例子中，WD主机单元142可包含由显示处理单元138执行以便显示处理单元138执行无线文件格式化的软件模块。就显示处理单元138包括以上例子中用以执行WD主机单元142的硬件而言，可将WD主机单元142视为包括硬件单元与软件单元两者。

在一些例子中，WD主机单元142可识别出选定的目的地装置(例如，外部显示装置154)中的两者支持不同的无线文件格式。在此例子中，WD主机单元142产生根据第一所确定的无线文件格式而格式化的第一3D视频内容156和根据第二所确定的无线文件格式而格式化的第二3D视频内容156。无线显示接口144接着将第一和第二3D视频内容156转发到外部显示装置154中的适当者。因此，虽然在图5的实例中展示为仅发送单一3D视频内容156，但3D视频内容156可包含第一和第二版本或，更一般来说，3D视频内容156的多个版本，其中每一版本根据不同的无线文件格式而被格式化。

一种无线格式可包含充分利用例如实时输送协议(RTP)的输送协议来将3D视频内容的视频数据区段、音频数据区段和深度数据区段包封于多个包中的不同者中的格式。此外，所述格式可充分利用此输送协议来包封对应于遮蔽信息和/或全局效果信息的额外信息区段，如下文关于图8的实例所展示。WD主机单元142包括输送单元158，输送单元158实施此输送协议以将3D视频内容156的各个区段包封于多个包中的不同者中。在将各个区段封装到不同包之后，输送单元158将用于增强3D视频内容156的回放的元数据添加于所述多个包中的一者的标头中的任选的数据字段内。此元数据可定义促进额外视图的再现的参数和促成特定显示器上的回放的参数。元数据还可定义用户偏好，例如所要的对比度、清晰度、色温、2D或3D屏幕分辨率，和2D或3D回放格式(柱状框、拉伸、原始状态等)。

在根据涉及输送协议的此文件格式而格式化3D视频数据152之后，WD主机单元142可将所得的3D视频内容156转发到无线显示接口144，无线显示接口144将所述包传输到外部显示装置154中的一者或一者以上。当无线显示接口144将此内容156传输到外部显示装置154中的两者或两者以上时，所述传输可称作3D视频内容156的“WD多播”。在任何情况下，此传输可与经由内部显示器140进行的预览视频数据150的显示同时发生。通常，使预览视频数据150与3D视频内容156的呈现同步。或者，可在由外部显示装置154中的一者或一者以上进行的3D视频内容156的呈现之前发生预览视频数据150的呈现。

图6为说明移动装置(例如，图5的实例中所展示的移动装置128)在执行本发明中所描述的技术的各个方面时的实例操作的流程图。最初，移动装置128的用户或其它操作者可与由用户接口模块74呈现的用户接口交互，以输入选择视频内容的一个或一个以上源和支持无线视频内容递送的外部显示装置154(其可称作“外部无线显示装置”)中的一者或一者以上的数据。用户接口模块74因此接收选择所述一个或一个以上源和外部无线显示装置154中的一者或一者以上的数据(162)。用户接口模块74将外部无线显示装置154中的选定的一者或一者以上的所述选择转发到WD主机单元140。

WD主机单元140接着经由无线显示接口(例如，无线显示接口144)与外部无线显示装置154中的所述选定者介接，以确定定义外部无线显示装置154中的所述选定者的一个或一个以上能力的参数(164)。这些参数可类似于由参数发现模块38发现的参数76。一个实例参数可包括由外部无线显示装置154中的所述选定者支持的无线输入文件格式。

其间，图像/视频处理单元132可接收来自选定源32A、32B、50和52中的一者或一者以上的视频数据130(166)。依据源50(其在图5中展示为“视频俘获装置50”)，视频俘获装置50可包含具有两个图像传感器的立体相机，所述两个图像传感器同时俘获同时入射于所述两个传感器上的图像以提供给定图像(或在视频俘获的情况下，一连串图像)的两个观看点。

视频俘获装置50可以若干方式以同步方式俘获视频数据。在第一方式中，使用以缓冲器进行的快速串行俘获或并行俘获中的任一者经由同一存储器总线接收源自所述两个传感器的数据。在串行俘获的情况下，图像/视频处理单元132考虑在深度提取期间的两个不同视图的串行俘获之间的时间偏移。在第二方式中，经由不同存储器总线接收源自所述两个传感器的数据以避免当在所述两个传感器之间共享单一总线时出现复杂化。在第三方式中，源自所述两个传感器的数据通常呈串流格式且写入到显示缓冲器以在嵌入式或外部显示器上预览。

在此预览模式中，通常可仅预览所述两个2D观看点中的一者，或换句话说，可预览来自所述两个传感器中的一者的数据流，以节省存储器带宽和/或电力。经由用户接口模块74输入的用户偏好可指示是2D还是3D(例如，将一个观看点或两个观看点发送到显示处理器)。可针对给定视频记录或图像俘获会话实时地或准实时地键入用户输入或可将用户输入指定为一般偏好。用户偏好还可基于给定应用而指示是以2D来呈现数据还是以3D来呈现数据，以使得(如上文所描述)2D用于文本、电子邮件和网页浏览且3D用于摄像机和媒体播放器。图像/视频处理单元132可基于可用电池电力或电源管理设定(在具有或不具有用户输入/介入的情况下，不具有用户输入/介入可称作“自动地”发生)而确定是将视频数据130变换成2D视频数据还是3D视频数据。

在3D预览的情况下(其中，内部显示器140以3D来呈现预览视频数据150)，显示处理单元138可接收作为两个分离流(例如，预览视频数据150A和150B)的两个观看点的原始(未经压缩)3D或图像数据。显示处理单元138还可接收直接来自传感器的2D视频数据130和来自图像/视频处理单元132、图像/视频编码器单元134或来自3D经编码图像/视频文件的3D深度信息。显示处理单元138还可接收来自经3D编码的图像/视频文件(例如，存储到本地存储模块52)的经压缩的3D数据，所述经压缩的3D数据可经由有线接口或无线接口32A、32B而串流输送到外部显示装置154中的一者。在此情况下，如果启用显示器镜射，则内部显示器140可获得来自传感器/信号处理器的未经压缩但经处理的视频流。任选地，内部显示器140可仅再现2D图像(例如，预览视频数据150中的一者)。显示处理单元138还可接收来自视频俘获装置50的单一传感器的2D数据，其中图像/视频处理单元132可包含类似于图2中所展示的变换模块36的2D-3D变换模块58的2D-3D处理模块，其将2D数据转换成3D数据。

在任何情况下，图像/视频处理单元132可将所接收的视频数据130变换成3D视频数据或以其它方式精细化3D视频数据以产生3D视频数据146和潜在的预览视频数据150(167)。图像/视频处理单元132接着将此数据转发到3D图像/视频编码器，所述3D图像/视频编码器编码3D视频数据146以输出经编码的3D视频数据148。图像/视频缓冲器单元136缓冲或以其它方式存储经编码的3D视频数据148，且显示处理单元138从图像/视频缓冲器单元136检索经缓冲的视频数据152以用于根据输入文件格式进行格式化。显示处理单元138(如上文所述)还可接收预览视频数据150，且与经缓冲的3D视频数据152的格式化同时地将此视频数据格式化以用于显示于内部显示器140上。

然而，给定显示处理单元138可能不支持用于将3D视频数据152递送到外部无线显示器154中的所述选定者的无线3D文件格式，则显示处理单元138将数据152转发到WD主机单元142。WD主机单元142接着以上文所描述的方式根据所确定的参数制备3D视频数据152(168)。特定来说，WD主机单元142可根据由外部无线显示装置154中的所述选定者中的一者或一者以上支持的无线3D文件格式而格式化3D视频数据152。

WD主机单元142接着将所制备的3D视频数据转发回到显示处理单元138，显示处理单元138将此所制备的3D视频数据(其还可称作“3D视频内容156”)转发到无线显示接口144。无线显示接口144与外部无线显示装置154中的所述选定的一者或一者以上介接，以将此所制备的3D视频数据156无线地传输到外部无线显示装置154中的这一者或一者以上(170)。

或者，如上文所述，WD主机单元142可与无线显示接口144集成，此后显示处理单元138将经缓冲的3D视频数据152转发(不执行任何格式化)到无线显示接口144。在此例子中，WD主机单元142根据由外部无线显示装置154中的所述选定者支持的所确定的无线文件格式而格式化经缓冲的3D视频数据152。无线显示接口144接着将此所制备的3D视频数据156转发到外部无线显示装置154中的所述选定者。

图7为说明已根据本发明中所描述的技术的各种方面而格式化的3D视频内容(例如，关于图5的实例所展示的3D视频内容156)的方框图。具体来说，WD主机单元142的输送单元158已根据RTP而格式化3D视频内容156。输送单元158接收经缓冲的3D视频数据152，经缓冲的3D视频数据152包含若干不同部分172A到172N(“部分172”)。这些部分可包含经缓冲的3D视频数据152的一部分，且可对应于数据152的一帧、一切片、一图片群组、一个或一个以上宏块、一个或一个以上块、一个或一个以上像素值或任何其它部分，而不管是经定义的(例如，通过标头或其它标记定义)还是未经定义的。虽然未展示，但缓冲器单元136还可缓冲音频数据，所述音频数据可与经缓冲的视频数据152一起转发。

部分172中的每一者可包含经缓冲的视频数据152的各种区段，包括视频区段174A到174N(“视频区段174”)与深度区段176A到176N(“深度区段176”)两者，以及经缓冲的音频数据的区段178A到178N(“音频区段178”)。输送单元158为这些部分172中的每一者指派对应时戳180A到180N(“时戳180”)，其在图7的实例中展示为“TS 1”到“TS N”。输送单元158接着将区段174、176和178中的每一者与时戳180中的曾被指派给驻留着区段174到178中的每一者的部分172中的对应一个部分的对应一个时戳包封在一起。

举例来说，输送单元158将时戳180A“TS 1”指派给驻留着区段174A到178A的部分172A。输送单元158接着将区段174A、176A和178A中的每一者与时戳180A“TS1”包封在一起，从而产生图7的实例中所展示的经包封的区段。此包封可符合RTP。输送单元158还可根据RTP将区段174到178中的每一者与其它标头信息包封在一起，以形成含有区段174到178中的不同一者的包，以及产生上文所描述的元数据并将元数据嵌入于这些包中的每一者的标头中，此情形在下文中关于图8更详细地描述。

关于RTP和根据RTP的包的形成的更多信息可在以下注解请求(RFC)中找到：日期为1998年1月的标题为“用于MPEG1/MPEG2视频的RTP有效负载格式(RTPPayload Format for MPEG1/MPEG2 Video)”的RFC2250；日期为1999年12月的标题为“RTP有效负载格式规范的编写者的准则(Guidelines for Writers of RTP PayloadFormat Specification)”的RFC 2736；日期为2000年11月的标题为“用于MPEG-4音频/视觉流的RTP有效负载格式(RTP Payload Format for MPEG-4 Audio/VisualStreams)”的RFC 3016；日期为2003年7月的标题为“RTP：用于实时应用的输送协议(RTP：A transport Protocol for Real-Time Applications)”的RFC 3550；日期为2003年11月的标题为“用于MPEG-4基本流的输送的RTP有效负载格式(RTP PayloadFormat for Transport of MPEG-4 Elementary Streams)”的RFC 3640；日期为2005年2月的标题为“用于H.264视频的RTP有效负载格式(RTP Payload Format for H.264Video)”的RFC 3984；以及日期为2009年10月的标题为“用于具有MPEG包围多通道音频的基本流的RTP有效负载(RTP Payload Format for Elementary Streams with MPEGSurround Multi-Channel Audio)”的RFC 5691，所述RFC中的每一者在此以全文引用的方式并入本文中。

以此方式充分利用RTP来产生格式化为RTP流的3D视频内容156可在以下意义上促进向后兼容性：唯2D显示装置可接收此3D视频内容156且仅呈现视频区段174而不考虑深度区段176。即，此唯2D显示装置可丢弃深度区段176或另外不辨识深度区段176或仅呈现作为视频区段174发送的2D视频数据。在这方面，充分利用RTP的扩展性来递送与唯2D显示装置向后兼容的深度区段176的上述文件格式可通过此向后兼容性而促成跨平台3D视频回放。

图8A到8C为说明实例区段181A到181C的方框图，在实例区段181A到181C中，已根据本发明中所描述的技术的各种方面而嵌入元数据。图8A为说明根据本发明中所描述的技术的各种方面来存储深度元数据的实例区段181A的方框图。区段181A包括有效负载类型字段182A(“有效负载类型182A”)、深度范围字段182B(“深度范围182B”)、深度分辨率字段182C(“深度分辨率182C”)、相机模型参数字段182D(“相机模型参数182D”)、最佳观看参数字段182E(“最佳观看参数182E”)和压缩类型字段182F(“压缩类型182F”)。

有效负载类型字段182A存储被存储到所述区段的数据(其在此实例中指示深度数据)的类型，所述数据还可称作“有效负载”以区别此数据与包封所述有效负载的标头数据。深度范围字段182B存储针对给定3D视频图像或视频的深度平面的宽度和大小的数据。深度平面的大小可与当前图像的大小相同或小于当前图像的大小。相机模型参数字段182D存储与非固有和固有相机模型参数有关的数据。最佳观看参数字段182E存储针对以下各者的数据：通过观看屏幕的大小和观看距离定义的观看角度，以及会聚平面、上文所述的深度范围、亮度和若干其它有关参数。压缩类型字段182F存储描述用于视频或音频区段的有效负载中的压缩的类型的数据，其可指示JPEG、H.264或专有压缩算法。

图8B为说明根据本发明中所描述的技术的各种方面存储遮蔽元数据的实例区段181B的方框图。区段181B包括有效负载类型字段184A(“有效负载类型184A”)、基线字段184B(“基线184B”)、遮蔽分辨率字段184C(“遮蔽分辨率184C”)和压缩类型字段182D(“压缩类型182D”)。有效负载类型字段184A存储被存储到所述区段的数据(其在此实例中指示遮蔽数据)的类型，所述数据还可称作“有效负载”以区别此数据与包封所述有效负载的标头数据。基线字段184B存储定义关于第一视图(当前图像是从所述第一视图获取)的位置而移位的水平距离的数据。遮蔽分辨率字段184C存储定义遮蔽平面的宽度和大小的数据，遮蔽平面的大小可与当前图像的大小相同或小于当前图像的大小。压缩类型184D可大体上类似于压缩类型182F。

图8C为说明根据本发明中所描述的技术的各种方面存储全局效果元数据的实例区段181C的方框图。区段181C包括有效负载类型字段186(“有效负载类型186”)和多个参数188A到188N(“参数188”)。有效负载类型字段184A存储被存储到所述区段的数据(其在此实例中指示全局效果数据)的类型，所述数据还可称作“有效负载”以区别此数据与包封所述有效负载的标头数据。参数188存储对应于全局效果(例如，霾、雨、雪和烟)的数据。参数188中的每一者可与不同类型的全局效果有关且指定给定全局效果的类型、密度、位置和重复。参数188可存储此信息，以按类似于在计算机图形中描述此些全局效果的方式的方式来定义全局效果。

图9为说明无线显示器(WD)主机单元(图5的实例中所展示的WD主机单元142)在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。最初，WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152和音频数据(200)。在接收到3D视频数据后，WD主机单元142的输送单元158确定3D视频数据的视频区段和深度区段(202)，例如图7的实例的视频区段174和深度区段176(202)。同样，输送单元158确定音频数据的音频区段(例如，音频区段180)(204)。

输送单元158接着确定视频数据152和音频数据的部分172中的每一者的时戳180，如上文所描述(206)。输送单元158将部分172中的相同者的区段174到178与时戳180中的对应一者包封在一起以形成包，同样如上文所描述(208)。WD主机单元142可以上文所描述的方式确定元数据，此后输送单元158将所确定的元数据嵌入于所述包的标头中(210、212)。具有嵌入的元数据的所得包可类似图8的实例中所展示的包。在嵌入元数据之后，输送单元158将所述包转发到无线装置接口144，无线装置接口144继续将所述包转发到外部无线显示装置154中的所述选定者(214)。

图10A到10E为说明各种系统216A到216E的方框图，系统216A到216E实施本发明中所描述的技术的一个或一个以上方面以促成跨平台视频回放。更具体来说，图10A为说明系统216A的方框图，系统216A包括外部WD主机单元218和外部WD客户端单元222，外部WD主机单元218与外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。外部WD主机单元218可包含与系统216A的移动装置217介接的装置。移动装置217可类似于图5的移动装置128，只是移动装置217不包括类似于移动装置128的WD主机单元142的集成式或内部WD主机单元。外部WD主机单元218可包含所谓的“软件保护器”，其经由类似于移动装置128的有线接口32B中的一者的有线接口与移动装置217介接。举例来说，外部WD主机单元218可经由通用系统总线(USB)或微型USB有线接口与移动装置217介接。

外部WD客户端单元222同样包含与系统216A的显示平台223介接的装置。类似于外部WD主机单元218，外部WD客户端222可包含所谓的“软件保护器”，其经由有线接口(例如，USB接口、复合音频/视频(A/V)接口、HDMI接口或任何其它有线接口)与显示平台223介接。

显示平台223可代表与系统216A的3D显示装置228介接的装置，例如数字视频光盘(DVD)播放器、音频/视频接收器、Bluray^TM光盘播放器、多媒体播放器、数字视频记录器(DVR)，或提供用于与3D显示装置228介接的平台的任何其它装置。在一些例子中，显示平台223可包含个人计算机(例如，膝上型计算机或桌上型计算机)，或专用于执行2D-3D转换的装置。3D显示装置228可类似于图5的实例中所展示的外部显示装置154。虽然展示为与3D显示装置228分开，但显示平台223可集成到3D显示装置228中。

如上文所述，迄今为止尚不存在借以将视频数据无线地转发到显示装置的任何标准化的无线显示协议。给定标准化的无线显示协议的此缺乏，则大多数显示平台(例如，显示平台223)不支持无线视频数据接收或传输。外部WD主机单元218和外部WD客户端单元222的使用可克服此限制。

为了说明，考虑移动装置217可为2D视频数据221的源，外部WD主机单元218可经由移动装置217与外部WD主机单元218之间的有线连接(上文所述)接收2D视频数据221。外部WD主机单元218可与外部WD客户端单元222建立无线链路220且接着经由无线链路220建立会话。此会话可包含RTP会话。当外部WD主机单元218接收到2D视频数据221时，WD主机单元218根据由外部WD客户端单元222支持的无线显示协议格式化2D视频数据221。举例来说，WD主机单元218可通过根据图7的实例中所展示的文件格式来格式化2D视频数据221而制备2D视频数据218，以下情况除外：2D视频数据221不包括任何深度区段，且因此所得的经格式化的数据不包括任何深度包，从而使得每一部分仅具有视频和音频区段。

外部WD主机单元218还可与外部WD客户端单元222介接，以确定定义显示平台223和/或3D显示装置228的能力的参数。外部WD主机单元218可与外部WD客户端单元222介接以请求这些参数。响应于此请求，外部WD客户端单元222可经由有线接口与显示平台223介接，以按上文所描述的方式(例如，使用WHDMI)发现显示平台223的能力。当显示平台223使用(例如)HDMI与3D显示装置228介接时，显示平台223还可能已发现3D显示装置228的参数。显示平台223可接着传回描述显示平台223和3D显示装置228中的一者或两者的能力的参数，外部WD客户端单元222将所述参数转发到外部WD主机单元218。外部WD主机单元218可接着基于这些参数而产生元数据且将此元数据嵌入到各种包的标头中，如上文所描述。

在任何情况下，WD主机单元218经由无线链路220将经格式化的2D视频数据221传输到外部WD客户端单元222。在接收到此经格式化的2D视频数据221后，外部WD客户端单元222可解包封各种区段以重新形成2D视频数据221，以及提取嵌入于包标头中的元数据。外部WD客户端单元22接着将重新形成的2D视频数据221连同元数据一起转发到显示平台223。

如图10A的实例中所展示，显示平台223包括可类似于图2的2D-3D处理模块58和显示格式模块64的2D-3D处理模块224和显示格式模块226。虽然类似，但2D-3D处理模块224和显示格式模块64可具有更有限的性质：2D-3D处理模块224仅可支持特定3D视频数据(例如，与另一视图相对比的深度)的产生且显示格式模块226仅可支持特定装置特定3D输入文件格式(例如，与多视图流相对比的“2D+Z”)。虽然2D-3D处理模块224与显示格式模块226两者具有更有限的性质，但模块224与226两者可配置到特定程度且可利用经转发的元数据来改进从所接收的2D视频数据221产生3D视频内容227。3D显示装置228接收并呈现3D视频内容227。

2D-3D处理模块224可包含(作为一个实例)用于基于硬件或基于软件的媒体播放器的插件程序或其它软件模块。显示格式模块226还可包含(在一个实例中)用于基于硬件或基于软件的媒体播放器的插件程序或其它软件模块。显示格式模块226可执行显示格式交错，所述显示格式交错对于多视图显示可为必需的。

如上文所描述，2D-3D处理模块224通过提取深度信息来将2D视频数据221转换成3D视频内容227的3D视频数据。此深度提取可涉及识别来自2D视频数据221的一个或一个以上帧的大型和小型特征且将其分段。深度提取还涉及将2D视频数据221分类成若干区域，例如背景区域、遮蔽区域和前景区域。一旦经分类，深度提取便基于2D视频数据221中的结构和运动而识别3D模型中的移动对象的定位和位置。深度提取的结果为用于2D视频数据221的2D图像(或帧)中的每一像素的深度值，其作为用于每一帧的N位位图图像而被存储。或者，可产生用于每一区域的深度图且在再现期间在运作中构成场景。

在采用经“2D+深度”格式化的3D视频内容227作为输入的立体显示器的情况下，将深度图中的信息和2D视频数据221格式化成“2D+z”文件格式以输入到3D显示装置228。如果3D显示装置228的显示输入文件格式为多流文件格式(其中视频的多个流或视图包封于单一容器中)，则2D-3D处理模块224可基于2D视频帧和相关联的深度图而产生对应于2D视频数据221的一个或一个以上额外辅助观看点(secondaryviewpoint)。显示格式模块226接着依据所需的观看角度、视图的数目和经定义以用于显示或由用户定义的其它参数(例如，作为元数据)而使用辅助视图交错原始2D视频数据或2D视频数据221。

图10B为说明系统216B的方框图，系统216B包括外部WD主机单元218和内部WD客户端单元230，外部WD主机单元218与内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。系统216B大体上类似于系统216A，以下情况除外：显示平台223′包括内部WD客户端单元230(而不是如同图10A中的情况，与外部WD客户端装置介接，在图10A中，显示平台223与外部WD客户端单元222介接)。出于此原因，用紧接于参考数字“223”之后的撇号来表示显示平台223′。内部WD客户端单元230可以大体上类似于外部WD客户端单元222的方式操作，但经由有线接口与显示平台223’介接。而是，内部WD客户端装置230集成于显示平台223′内且借此避免在外部与显示平台223′介接。

图10C为说明另一系统216C的方框图，系统216C包括外部WD主机单元218和外部WD客户端单元222，外部WD主机单元218与外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。系统216C类似于系统216A，但系统216C的显示平台223”包括深度-多视图(Z-MV)处理模块234。为了指示此差异，使用在参考数字“223”之后的两个撇号来表示显示平台223″。系统216A与216C之间的另一差异在于：移动装置217输出根据“2D+z”文件格式而格式化的3D视频数据232。

移动装置217可接收来自上文所描述的所述源中的任一者的2D视频数据且非实时或实时或准实时地执行2D-3D处理。或者，移动装置217可接收3D视频内容且将3D视频内容变换成“2D+z”格式(如MPEG-C第3部分中所指定)。移动装置217可使用现有文件格式(例如，MP4)包封此3D视频数据232，现有文件格式已被修改以每一帧载运一额外包来用于深度图(或“z”)信息。用于深度包的包封标头可为文件格式规格中作为信息元素指定用于用户数据的标头。使用此信息元素可实现与2D视频显示器的向后兼容性。此MP4无线显示协议中的深度包可经由时序/同步信息而与对应的视频包相关联，或者，经由用于视频包的帧唯一识别信息(例如，序列号)也可用于所述关联。

在系统216C中，外部WD主机单元218接收3D视频数据232且根据无线显示协议而格式化此数据232，从而产生类似于图7中所展示的3D视频数据的经格式化的3D视频数据232。WD主机单元218可在用于MP4文件的解析器处截取3D视频数据232且检索视频、音频和深度包。WD主机单元218接着重新包封这些包与RTP标头以形成RTP流，WD主机单元218经由实时串流协议(RTSP)将所述RTP流串流输送到外部WD客户端装置222。可根据上文关于图7的实例所描述的格式化而格式化这些流。实际上，WD主机单元218修改输送协议(例如，RTP)以载运“2D+z”3D视频数据232。

外部WD客户端单元222经由无线链路220接收这些流，解包封所述流以重新形成根据“2D+z”编码而编码的3D视频数据232且将此3D视频数据232转发到Z-MV处理模块234。Z-MV处理模块234通过从3D视频数据232再现多视图而将3D视频数据232从“2D+z”编码格式转换成多视图流编码格式。显示格式模块226接着以上文所描述的方式交错这些多视图以产生3D视频内容236，3D显示装置228接收并呈现所述3D视频内容236以供一个或一个以上观看者消耗。

图10D为说明另一系统216D的方框图，系统216D包括外部WD主机单元218和内部WD客户端单元230，外部WD主机单元218与内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。如图10D中所展示，系统216D与系统216B类似之处在于：系统216B与21D两者包括移动装置217、外部WD主机单元218、内部WD客户端单元230和一个或一个以上3D显示装置228。然而，系统216D包括移动多媒体装置237，移动多媒体装置237包括内部WD客户端单元230，而在系统216B中，显示平台223′包括内部WD客户端单元230。出于此原因，通过在参考数字“223”之后的三个撇号来表示显示平台223以识别此差异。

移动多媒体装置237可包括移动多媒体处理器(图10D中未展示)，其包括内部WD客户端单元230和Z-图形处理单元(GPU)处理模块238(“Z-GPU处理模块238”)。所述多媒体处理器可包括GPU。在此意义上，可将WD客户端单元230和Z-GPU处理模块238视为代管于具有GPU的多媒体处理器上。Z-GPU处理模块238执行深度-多视图转换过程，以便将根据“2D+z”格式而编码的3D视频数据232转换成多视图编码格式。内部WD客户端单元230与外部WD主机单元218可以与上文关于图10B的系统216B中的这些相同单元所描述的方式相同的方式彼此通信，唯一不同在于：所述通信涉及如关于图10C的系统216C所描述的3D视频数据232。

在任何情况下，内部WD客户端单元230接收根据无线显示协议而格式化的经包封的3D视频数据232，且解包封此经包封的3D视频数据232以重新形成3D视频数据232。内部WD客户端单元230将此数据232转发到Z-GPU处理模块238，Z-GPU处理模块238将GPU用作借以执行转换过程以产生根据多视图编码格式而格式化的3D视频数据242的通用计算引擎。将GPU用作通用计算引擎可涉及使用OpenCL，OpenCL包含用于编写跨越由CPU和GPU组成的异类平台执行的程序的框架结构。OpenCL包括用于编写在OpenCL装置上执行的函数的语言，加上用以定义且接着控制平台的应用编程接口(API)。

Z-GPU处理模块238可使用GPU执行实时或准实时的深度-多视图转换，且借此可实现与接受呈不同格式(例如，“2D+z”格式和多流视频格式)的3D内容的异类显示器介接。举例来说，Z-GPU处理模块238可产生根据“2D+z”格式而格式化的3D视频数据240，3D显示器228A可直接接受3D视频数据240，而无需显示平台223″进行介入处理。Z-GPU处理模块238还可产生根据多视图格式而格式化的3D视频数据241，且将此数据241转发到显示平台223″′。显示平台223″′的显示格式模块226可交错来自经多视图格式化的3D视频数据241的流以产生3D视频数据242，3D显示装置228B可接收且呈现3D视频数据242。

图10E为说明另一系统216E的方框图，系统216E执行本发明中所描述的技术的一个或一个以上方面。系统216E可类似于图10D的系统216D，但移动多媒体装置237’包括内部WD客户端单元230和2D-3D处理模块224。为了表示此差异，移动多媒体装置237′包括在参考数字“237.”之后的撇号。

在任何情况下，移动装置217可将2D视频内容或3D视频内容244转发到外部WD主机单元218，外部WD主机单元218以上文所描述的方式根据无线显示协议包封此内容244且经由无线链路220将经格式化的内容244转发到内部WD客户端单元230。如果所述内容为2D视频内容244，则内部WD客户端单元230可接着将此数据244转发到2D-3D处理单元224以执行实时或准实时的2D-3D转换(例如，深度提取)。如果显示器228A、228B中的一者或两者需要，则2D-3D处理模块224可将3D视频数据转发到Z-GPU处理模块238以产生经多视图格式化的3D视频数据，如上文所描述。或者，如果内部WD客户端单元230接收3D视频内容244且显示器228A、228B中的一者或两者需要多视图文件格式，则内部WD客户端单元230可将3D视频内容244转发到Z-GPU处理模块238，Z-GPU处理模块238产生根据多视图文件格式而格式化的3D视频数据241。

移动多媒体装置237′可接着将内容240转发到3D显示装置228A，如上文所描述。或者，移动多媒体装置237′可将3D视频数据241转发到显示平台223″′，如上文所描述。显示平台223″′(再次如上文所描述)可使用显示格式模块226交错多个视图且将所得的3D视频内容242转发到3D显示装置228B。

在系统216E中，移动装置217可选择经由通过外部WD主机单元218和内部WD客户端单元230实施的无线显示协议来驱动2D或3D视频内容。如上文所述，WD主机单元218与WD客户端单元230可交换描述客户端所连接到的显示器(一个或一个以上，经由镜射)的参数，其中这些参数包括由这些显示器支持的3D内容格式。依据无线链路220上的可用带宽，WD客户端单元230可执行2D-3D转换过程(而不是移动装置217执行所述过程)。在移动多媒体装置237′内执行转换还可促成较佳的用户体验和视觉质量。此外，依据3D显示器的参数，执行深度-多视图转换过程。另外，移动多媒体装置237′可执行从无线显示协议到显示格式的格式转译。

在所有系统216A到216E中，各种组件可利用WD主机和客户端单元来使传统上有线的显示器能够变成无线显示器或至少变成可经由无线连接存取。因此，各种内部和外部WD主机和客户端单元可通过将有线显示器转换成无线显示器而促成跨平台的3D视频回放。此外，各种WD主机和客户端单元并不强制实行特定3D内容格式，而仅提供借以在高效率地无线地传输3D视频数据的同时仍实现与唯2D显示装置的向后兼容性的无线显示输送协议。在这方面，各种内部和外部WD主机和客户端单元可进一步促成跨平台3D视频回放。

可以硬件、固件或其任何组合实施本文中所描述的技术。在一些例子中，硬件还可执行软件。描述为模块、单元或组件的任何特征可一起实施于集成式逻辑装置中或单独实施为离散但可相互操作的逻辑装置。在一些情况下，各种特征可实施为集成电路装置，例如集成电路芯片或芯片组。如果以软件实施，则可至少部分由计算机可读媒体来实现所述技术，所述计算机可读媒体包含在执行时致使处理器执行上文所描述的方法中的一者或一者以上的指令。

计算机可读媒体可形成计算机程序产品的一部分，其可包括封装材料。计算机可读媒体可包含计算机数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分由计算机可读通信媒体来实现，所述计算机可读通信媒体载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行。

可由以下各者执行所述代码或指令：一个或一个以上处理器(例如一个或一个以上DSP)、通用微处理器、ASIC、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者或适合于实施本文中所描述的技术的任何其它结构。另外，在一些方面中，本文中所描述的功能性可提供于专用软件模块或硬件模块内。本发明还预期多种集成电路装置中的任一者，所述集成电路装置包括用以实施本发明中所描述的技术中的一者或一者以上的电路。此电路可提供于单一集成电路芯片中或所谓的芯片组中的多个可相互操作的集成电路芯片中。此些集成电路装置可用于多种应用中，其中一些可包括用于无线通信装置(例如，移动电话手持机)中。

已描述本发明的各种实例。这些和其它实例在所附权利要求书的范围内。

Claims

1.一种方法，其包含：

根据定义由三维3D显示装置支持的能力的参数配置视频处理装置以产生3D视频数据；

用所述经配置的视频处理装置变换视频数据以产生所述3D视频数据；

将所述3D视频数据转发到所述3D显示装置；

在变换所述视频数据时，使用人类视觉系统HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及

在变换所述视频数据时，基于所述所确定的一个或一个以上度量而重新配置一个或一个以上模块以精细化所述3D视频数据的所述产生。

2.根据权利要求1所述的方法，其中确定一个或一个以上度量包含：

与所述3D显示装置通信以接收来自所述3D显示装置的所述经变换的3D视频数据和经解码的3D视频数据中的一者或一者以上，其中所述经解码的3D视频数据包含由所述装置转发到所述3D显示装置的所述经变换的3D视频数据的经解码的版本；以及

使用所述HVS模型分析所述经变换的3D视频数据和所述经解码的3D视频数据中的一者或一者以上以确定一个或一个以上定性度量，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量。

3.根据权利要求2所述的方法，其中所述定性度量包含依据以下各者中的至少一者而测量的视觉不适：双眼几何不对称、双眼过滤不对称、过多双眼视差、深度上的快速运动、3D假影，以及模糊量和模糊一致性，

其中所述双眼几何不对称包括不同透镜失真、产生不同放大率的不同焦距和未经修正的图像中的一者或一者以上，

其中所述双眼过滤不对称包括不同辉度、不同对比度、色差、串扰和与压缩假影有关的不同质量中的一者或一者以上，且

其中所述3D假影包含深度线索中的空间和时间不一致性。

4.根据权利要求2所述的方法，其进一步包含：

呈现用户接口，所述用户接口接收定义一个或一个以上用户偏好的输入数据；以及

根据所述所定义的用户偏好配置所述视频处理装置以将所述视频数据变换成所述3D视频数据，以便产生所述3D视频数据。

5.根据权利要求4所述的方法，其进一步包含根据所述所定义的用户偏好配置所述HVS模型以便产生配置数据，

其中确定一个或一个以上度量包含使用所述经配置的人类视觉系统HVS模型确定所述一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量，且

其中重新配置所述视频处理装置包含使用所述所产生的配置数据重新配置所述视频处理装置，以至少部分基于这些用户偏好而重新配置所述视频处理装置。

6.根据权利要求4所述的方法，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度，和在屏幕内的3D视频内容的所要的显示位置和分辨率。

7.根据权利要求1所述的方法，其进一步包含：

用所述HVS反馈模型接收由所述一个或一个以上模块产生的所述3D视频数据；以及

用所述HVS反馈模型基于所述所接收的3D视频数据而确定定量度量，其中所述定量度量包括与以下各者有关的度量中的至少一者：由所述3D视频数据定义的对象的深度与大小之间的关系、所述3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，和与测量沿着时间的深度的不连续性有关的度量，

其中重新配置所述一个或一个以上模块包含至少部分基于所述定量度量而重新配置所述一个或一个以上模块。

8.根据权利要求1所述的方法，其进一步包含自动地确定定义由所述3D显示装置支持的所述能力的所述参数，其中所述一个或一个以上参数包括由所述3D显示装置支持的输入格式，且

其中配置所述视频处理装置包含根据由所述3D显示装置支持的所述所确定的输入文件格式配置所述视频处理装置以产生三维3D视频数据。

9.根据权利要求8所述的方法，其中所述输入格式包含“2D+深度”输入文件格式、“2D+深度、遮蔽和全局效果”输入文件格式和多视图流输入文件格式中的一者。

10.根据权利要求1所述的方法，其中转发所述3D视频数据包含在产生所述3D视频数据时将所述3D视频数据转发到所述3D显示装置。

11.根据权利要求1所述的方法，其进一步包含接收由所述3D显示装置内所包括的另一HVS模型确定的一个或一个以上定性度量，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量，

其中所述定性度量包含依据以下各者中的至少一者而测量的视觉不适：双眼几何不对称、双眼过滤不对称、过多双眼视差、深度上的快速运动、3D假影，以及模糊量和模糊一致性，

其中所述3D假影包含深度线索中的空间和时间不一致性。

12.根据权利要求1所述的方法，其中所述装置包含移动蜂窝式电话、移动计算装置、便携式装置和手持机装置中的一者。

13.一种设备，其包含：

变换模块；

参数发现模块，其根据定义由三维3D显示装置支持的能力的参数配置所述变换模块以产生3D视频数据，

其中所述变换模块变换视频数据以产生所述3D视频数据；

至少一个接口，其将所述3D视频数据转发到所述3D显示装置；以及

人类视觉系统HVS反馈模块，其：在所述变换模块变换所述视频数据时，使用HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及再次在所述变换模块变换所述视频数据时，基于所述所确定的一个或一个以上度量而重新配置所述一个或一个以上模块以精细化所述3D视频数据的所述产生。

14.根据权利要求13所述的设备，其中所述HVS反馈模块与所述3D显示装置通信以：接收来自所述3D显示装置的所述经变换的3D视频数据和经解码的3D视频数据中的一者或一者以上，其中所述经解码的3D视频数据包含由所述装置转发到所述3D显示装置的所述经变换的3D视频数据的经解码的版本；以及使用所述HVS模型分析所述经变换的3D视频数据和所述经解码的3D视频数据中的一者或一者以上以确定一个或一个以上定性度量，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量。

15.根据权利要求14所述的设备，其中所述定性度量包含依据以下各者中的至少一者而测量的视觉不适：双眼几何不对称、双眼过滤不对称、过多双眼视差、深度上的快速运动、3D假影，以及模糊量和模糊一致性，

其中所述3D假影包含深度线索中的空间和时间不一致性。

16.根据权利要求14所述的设备，其进一步包含用户接口模块，所述用户接口模块呈现用户接口以接收定义一个或一个以上用户偏好的输入数据，

其中所述HVS反馈模块根据所述所定义的用户偏好配置所述变换模块以将所述视频数据变换成所述3D视频数据，以便产生所述3D视频数据。

17.根据权利要求16所述的设备，

其中所述HVS反馈模块根据所述所定义的用户偏好配置所述HVS模型以便产生配置数据，

其中所述HVS反馈模块使用人类视觉系统HVS模型确定所述一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量，且

其中所述HVS反馈模块使用所述所产生的配置数据重新配置所述视频处理装置，以至少部分基于这些用户偏好而重新配置所述视频处理装置。

18.根据权利要求16所述的设备，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度，和在屏幕内的3D视频内容的所要的显示位置和分辨率。

19.根据权利要求13所述的设备，

其中所述HVS反馈模块包括定量评估模块，所述定量评估模块接收由所述变换模块产生的所述3D视频数据且基于所述所接收的3D视频数据而确定定量度量，

其中所述定量度量包括与以下各者有关的度量中的至少一者：由所述3D视频数据定义的对象的深度与大小之间的关系、所述3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，和与测量沿着时间的深度的不连续性有关的度量，

其中所述HVS反馈模块至少部分基于所述定量度量而重新配置所述一个或一个以上模块。

20.根据权利要求13所述的设备，其进一步包含参数发现模块，所述参数发现模块：自动地确定定义由所述3D显示装置支持的所述能力的所述参数，其中所述一个或一个以上参数包括由所述3D显示装置支持的输入格式；以及根据由所述3D显示装置支持的所述所确定的输入文件格式而配置所述视频处理装置以产生三维3D视频数据。

21.根据权利要求20所述的设备，其中所述输入格式包含“2D+深度”输入文件格式、“2D+深度、遮蔽和全局效果”输入文件格式和多视图流输入文件格式中的一者。

22.根据权利要求13所述的设备，其中在产生所述3D视频数据时，所述至少一个接口将所述3D视频数据转发到所述3D显示装置。

23.根据权利要求13所述的设备，其中所述HVS反馈模块接收由所述3D显示装置内所包括的另一HVS模型确定的一个或一个以上定性度量，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量，

其中所述3D假影包含深度线索中的空间和时间不一致性。

24.根据权利要求13所述的设备，其中所述设备包含视频处理装置、移动蜂窝式电话、移动计算装置、便携式装置和手持机装置中的一者。

25.一种包含指令的计算机可读存储媒体，所述指令致使处理器：

根据定义由一个三维3D显示装置支持的能力的参数配置视频处理装置以产生3D视频数据；

将所述3D视频数据转发到所述3D显示装置；

在变换所述视频数据时，使用人类视觉系统HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；且

26.根据权利要求25所述的计算机可读存储媒体，其中所述指令还致使所述处理器：与所述3D显示装置通信以接收来自所述3D显示装置的所述经变换的3D视频数据和经解码的3D视频数据中的一者或一者以上，其中所述经解码的3D视频数据包含由所述装置转发到所述3D显示装置的所述经变换的3D视频数据的经解码的版本；且

27.根据权利要求26所述的计算机可读存储媒体，其中所述定性度量包含依据以下各者中的至少一者而测量的视觉不适：双眼几何不对称、双眼过滤不对称、过多双眼视差、深度上的快速运动、3D假影，以及模糊量和模糊一致性，

其中所述3D假影包含深度线索中的空间和时间不一致性。

28.根据权利要求26所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器：

呈现用户接口，所述用户接口接收定义一个或一个以上用户偏好的输入数据；且

29.根据权利要求28所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器：

根据所述所定义的用户偏好配置所述HVS模型以便产生配置数据；

使用所述经配置的人类视觉系统HVS模型确定所述一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；且

使用所述所产生的配置数据重新配置所述视频处理装置，以至少部分基于这些用户偏好而重新配置所述视频处理装置。

30.根据权利要求28所述的计算机可读存储媒体，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度，和在所述屏幕内的3D视频内容的所要的显示位置和分辨率。

31.根据权利要求25所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器：

用所述HVS反馈模型接收由所述一个或一个以上模块产生的所述3D视频数据；

用所述HVS反馈模型基于所述所接收的3D视频数据而确定定量度量，其中所述定量度量包括与以下各者有关的度量中的至少一者：由所述3D视频数据定义的对象的深度与大小之间的关系、所述3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，和与测量沿着时间的深度的不连续性有关的度量，且

至少部分基于所述定量度量而重新配置所述一个或一个以上模块。

32.根据权利要求25所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器：

自动地确定定义由所述3D显示装置支持的所述能力的所述参数，其中所述一个或一个以上参数包括由所述3D显示装置支持的输入格式；且

根据由所述3D显示装置支持的所述所确定的输入文件格式配置所述视频处理装置以产生三维3D视频数据。

33.根据权利要求32所述的计算机可读存储媒体，其中所述输入格式包含“2D+深度”输入文件格式、“2D+深度、遮蔽和全局效果”输入文件格式和多视图流输入文件格式中的一者。

34.根据权利要求25所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器在产生所述3D视频数据时将所述3D视频数据转发到所述3D显示装置。

35.根据权利要求25所述的计算机可读存储媒体，其中所述指令进一步致使所述处理器接收由所述3D显示装置内所包括的另一HVS模型确定的一个或一个以上定性度量，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量，

其中所述3D假影包含深度线索中的空间和时间不一致性。

36.根据权利要求25所述的计算机可读存储媒体，其中所述装置包含移动蜂窝式电话、移动计算装置、便携式装置和手持机装置中的一者。

37.一种设备，其包含：

用于根据定义由三维3D显示装置支持的能力的参数配置视频处理装置以产生3D视频数据的装置；

用于用所述经配置的视频处理装置变换视频数据以产生所述3D视频数据的装置；

用于将所述3D视频数据转发到所述3D显示装置的装置；

用于在变换所述视频数据时使用人类视觉系统HVS模型确定一个或一个以上度量的装置，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量；以及

用于在变换所述视频数据时基于所述所确定的一个或一个以上度量而重新配置一个或一个以上模块以精细化所述3D视频数据的所述产生的装置。

38.根据权利要求37所述的设备，其中所述用于确定一个或一个以上度量的装置包含：

用于与所述3D显示装置通信以接收来自所述3D显示装置的所述经变换的3D视频数据和经解码的3D视频数据中的一者或一者以上的装置，其中所述经解码的3D视频数据包含由所述装置转发到所述3D显示装置的所述经变换的3D视频数据的经解码的版本；以及

用于使用所述HVS模型分析所述经变换的3D视频数据和所述经解码的3D视频数据中的一者或一者以上以确定一个或一个以上定性度量的装置，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量。

39.根据权利要求38所述的设备，其中所述定性度量包含依据以下各者中的至少一者而测量的视觉不适：双眼几何不对称、双眼过滤不对称、过多双眼视差、深度上的快速运动、3D假影，以及模糊量和模糊一致性，

其中所述3D假影包含深度线索中的空间和时间不一致性。

40.根据权利要求38所述的设备，其进一步包含：

用于呈现用户接口的装置，所述用户接口接收定义一个或一个以上用户偏好的输入数据；以及

用于根据所述所定义的用户偏好配置所述视频处理装置以将所述视频数据变换成所述3D视频数据以便产生所述3D视频数据的装置。

41.根据权利要求40所述的设备，其进一步包含用于根据所述所定义的用户偏好配置所述HVS模型以便产生配置数据的装置，

其中所述用于确定一个或一个以上度量的装置包含用于使用所述经配置的人类视觉系统HVS模型确定所述一个或一个以上度量的装置，所述一个或一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的质量，且

其中所述用于重新配置所述视频处理装置的装置包含用于使用所述所产生的配置数据重新配置所述视频处理装置以至少部分基于这些用户偏好而重新配置所述视频处理装置的装置。

42.根据权利要求40所述的设备，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度，和在屏幕内的3D视频内容的所要的显示位置和分辨率。

43.根据权利要求37所述的设备，其进一步包含：

用于用所述HVS反馈模型接收由所述一个或一个以上模块产生的所述3D视频数据的装置；以及

用于用所述HVS反馈模型基于所述所接收的3D视频数据而确定定量度量的装置，其中所述定量度量包括与以下各者有关的度量中的至少一者：由所述3D视频数据定义的对象的深度与大小之间的关系、所述3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，和与测量沿着时间的深度的不连续性有关的度量，

其中所述用于重新配置所述一个或一个以上模块的装置包含用于至少部分基于所述定量度量而重新配置所述一个或一个以上模块的装置。

44.根据权利要求37所述的设备，其进一步包含用于自动地确定定义由所述3D显示装置支持的所述能力的所述参数的装置，其中所述一个或一个以上参数包括由所述3D显示装置支持的输入格式，且

其中所述用于配置所述视频处理装置的装置包含用于根据由所述3D显示装置支持的所述所确定的输入文件格式配置所述视频处理装置以产生三维3D视频数据的装置。

45.根据权利要求44所述的设备，其中所述输入格式包含“2D+深度”输入文件格式、“2D+深度、遮蔽和全局效果”输入文件格式和多视图流输入文件格式中的一者。

46.根据权利要求37所述的设备，其中所述用于转发所述3D视频数据的装置包含用于在产生所述3D视频数据时将所述3D视频数据转发到所述3D显示装置的装置。

47.根据权利要求37所述的设备，其进一步包含用于接收由所述3D显示装置内所包括的另一HVS模型确定的一个或一个以上定性度量的装置，其中所述定性度量关于所述人类视觉系统描述所述所产生的3D视频数据的3D可视化的所述质量，

其中所述3D假影包含深度线索中的空间和时间不一致性。

48.根据权利要求37所述的设备，其中所述设备包含移动蜂窝式电话、移动计算装置、便携式装置和手持机装置中的一者。