CN101739438A

CN101739438A - 检测脸部表情的系统和方法

Info

Publication number: CN101739438A
Application number: CN200910166603A
Authority: CN
Inventors: 黄英珪; 金亭培
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-11-04
Filing date: 2009-08-20
Publication date: 2010-06-16
Anticipated expiration: 2029-08-20
Also published as: KR20100049776A; US20100109998A1; EP2182469B1; EP2182469A2; CN101739438B; KR101527408B1; US10783351B2; EP2182469A3

Abstract

公开了一种检测脸部表情的方法和系统。所述检测脸部表情的方法包括：确定用于检测用户的脸部表情的基本数据库(DB)；估计用户的头部姿势；通过使用个性化DB和普通DB中的至少一个来提取与估计的头部姿势相应的网格模型，并使用提取的网格模型检测脸部表情；将检测的脸部表情反映到虚拟对象。

Description

检测脸部表情的系统和方法

本申请要求于2008年11月4日在韩国知识产权局提交的第10-2008-0108747号韩国专利申请的利益，该申请完全公开于此以资参考。

技术领域

本发明的一个或多个示例性实施例涉及一种检测脸部表情(facialgesture)的方法和系统，更具体地讲，涉及这样一种技术，在所述技术中，可确定输入图像的姿势，并可对每个姿势使用个性化数据库(DB：data base)，从而根据每个用户的特征来检测脸部表情。

背景技术

在处理用户的脸部图像中，用户可能期望仅使用图像装置而不需要任何单独装置来容易地对用户自己的脸部进行动画处理或将用户自己的脸部克隆到另一代理。

在计算机图形学中，上述对用户脸部的简单动画制作可能是重要的并且难的技术。对于该技术，可能要安装和使用激光扫描仪或单独的装置。然而，由于这些装置成本高并且尺寸大，所以这些装置可能不适合用作个人娱乐设备的接口。

因此，提出了一种基于图像对用户的脸部建模并估计建模中的变化的技术。一种可以查找特征点、确定姿势和拟合脸部网格模型从而估计脸部表情的变化的方法已经被使用。然而，根据用户的特征估计脸部表情的变化可能较难。

因此，需要一种根据用户姿势更准确地估计脸部表情、并检测与每个用户的特征相符的准确姿势的技术。

发明内容

根据示例性实施例，可提供一种检测脸部表情的方法。所述方法可包括：确定用于检测用户的脸部表情的基本数据库(DB)；估计用户的头部姿势；通过使用个性化DB和普通DB中的至少一个来提取与估计的头部姿势相应的网格模型，并使用提取的网格模型检测脸部表情；将检测的脸部表情反映到虚拟对象。

在本实例中，确定基本DB的步骤可包括：识别用户的脸部，确定用户是否已注册，并依据用户是否已注册来确定基本DB。

另外，当用户已注册时，确定基本DB的步骤可确定预先存储的用户的个性化DB作为基本DB。

另外，确定基本DB的步骤可包括：当用户是未注册用户时，由用户选择是否构造个性化DB；将根据用户选择而构造的个性化DB或预定的普通DB确定为基本DB。

另外，所述估计步骤可包括：提取用户的脸部区域；关于用户的脸部区域提取脸部描述符；用预先存储的多个姿势分类符对提取的脸部描述符执行投影操作。

另外，检测脸部表情的步骤可包括：通过使用个性化DB和普通DB中的至少一个来确定与估计的头部姿势相应的网格模型；将确定的网格模型拟合到用户的脸部；执行关于拟合的网格模型的网格跟踪。

另外，所述反映步骤可包括：测量用户脸部的每个特征点的变化程度；将所述变化程度反映到虚拟对象的脸部的每个特征点的移动。

根据示例性实施例，还可提供一种检测脸部表情的系统，所述系统包括：初始化执行单元，确定用于检测用户的脸部表情的基本DB；姿势估计单元，估计用户的头部姿势；脸部表情检测单元，通过使用个性化DB和普通DB中的至少一个来提取与估计的头部姿势相应的网格模型，并通过使用提取的网格模型检测脸部表情；虚拟对象反映单元，将检测的脸部表情反映到虚拟对象。

在该实例中，初始化执行单元可包括：脸部识别单元，识别用户的脸部；个性化DB构造单元，依据用户是否已注册并依据用户的选择来构造个性化DB；DB，存储个性化DB和普通DB。

示例性实施例的其他方面、特征和/或优点将在下面的描述中被部分地阐述，部分地，从所述描述中是清楚的，或可通过实施本公开而获知。

附图说明

结合附图，示例性实施例的这些和/或其他方面、特征和优点从下面的描述中将变得清楚，并更容易理解，其中：

图1是示出根据示例性实施例的检测脸部表情的方法的示图；

图2是示出在图1的检测脸部表情的方法中确定基本数据库(DB)的操作的详细配置的示图；

图3是详细示出在图1的检测脸部表情的方法中估计用户的头部姿势的操作的示图；

图4是详细示出在图1的检测脸部表情的方法中使用网格模型检测脸部表情的操作的示图；

图5是详细示出在图1的检测脸部表情的方法中将检测的脸部表情反映到虚拟对象的操作的示图；和

图6是示出根据示例性实施例的检测脸部表情的系统的构造的示图。

具体实施方式

现在将详细阐述示例性实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图描述示例性实施例，以解释本公开。

图1是示出根据示例性实施例的检测脸部表情的方法的示图。

参照图1，在操作S110，根据本实施例的方法可确定用于检测用户的脸部表情的基本数据库(DB)。在该实例中，所述方法可确定用户是否已注册，当用户已注册时，使用预定的个性化DB作为基本DB。否则，当用户是未注册用户时，所述方法可允许用户选择是否构造个性化DB。具体地讲，当用户未注册时，用户可选择构造个性化DB，并可使用与用户的特征相符的构造的个性化DB作为基本DB。当用户选择不选择构造个性化DB时，可改为使用普通DB作为基本DB。可在对每个姿势使用网格模型来提取脸部表情中使用基本DB。另外，可使用基本DB来更准确地将用户的脸部表情反映到虚拟对象(例如，化身(Avatar)等)。将参照图2更详细地描述根据实施例的操作S110的详细配置。

在操作S120，所述方法可估计用户的头部姿势。为了估计头部姿势，所述方法可提取用户的脸部区域，从脸部区域提取脸部描述符，并用预先存储的姿势分类符对提取的脸部描述符执行投影操作，从而估计头部姿势。将参照图3详细描述操作S120的详细配置的示例性实施例。

在操作S130，所述方法可通过使用个性化DB和普通DB中的至少一个来提取与估计的头部姿势相应的网格模型，并通过使用提取的网格模型来检测脸部表情。具体地讲，所述方法可通过使用个性化DB和普通DB中的至少一个来确定与估计的头部姿势相应的网格模型，并执行网格拟合(meshfitting)和网格跟踪(mesh tracking)，从而检测脸部表情。将参照图4详细描述根据实施例的操作S130的详细构造。

在操作S140，所述方法可将检测的脸部表情反映到虚拟对象。具体地讲，所述方法可在执行网格跟踪之后分析特征点变化的模式，并通过使用个性化DB和普通DB中的至少一个将用户的脸部表情精确地反映到虚拟对象。将参照图5详细描述根据实施例的操作S140的详细配置。

如上所述，所述方法可分割并估计用户的头部姿势，通过使用用户的个性化DB根据每个用户的特征精确地提取脸部表情，并将提取的脸部表情更精确地反映到虚拟对象。

图2是示出在图1的检测脸部表情的方法中确定基本DB的操作的详细配置的示图。

参照图2，在操作S210，所述方法可从输入图像识别脸部。具体地讲，可从图像装置输入用户的图像，并可从用户的输入图像中识别脸部。

在操作S220，所述方法可确定用户是否已注册。具体地讲，由于可对注册的用户预先存储与用户的特征相符的个性化DB，所以可使用预先存储的个性化DB，从而不需要重复地重构个性化DB。

在操作S230，所述方法可依据用户是否已注册来确定基本DB。

在操作S231，当用户已注册时，用户可通过使用个性化DB利用与用户的特征相符的数据。具体地讲，个性化DB可对每个确定的姿势存储数据，并识别与每个确定的姿势相应的动作单元(action unit)代码，从而检测脸部表情。因此，当用户是注册用户时，可将个性化DB确定为基本DB。

在操作S232，当用户是未注册用户时，所述方法可允许用户选择是否构造个性化DB。个性化DB可被加密或被保护(例如，用密码保护)以保护用户的特征。在操作S233和S234，可将通过用户选择而构造的个性化DB或预定的普通DB确定为基本DB。这里，当构造个性化DB时，可从用户输入用于每个姿势的多个图像。具体地讲，可输入用于至少一个姿势的多个图像，以构造个性化DB。这里，可从相机捕获多个视点的图像，并且在用户的脸部保持无表情的同时，用户的头部姿势可根据指令不同地变化。例如，头部可径直地看相机的中心，头部可采取从最右边变化到最左边以及从上边变化到下边的各种姿势。

另外，当用户选择构造个性化DB时，可从用户中存储用户标识(ID)信息和用于网格拟合的网格模型参数中的至少一个，并且可构造个性化DB。另外，当用户没有选择构造个性化DB时，可使用普通DB。

如上所述，可根据每个用户的特征构造和使用个性化DB，由此可识别与用户的特征相符的用户的更精确的脸部表情。

图3是示出在图1的检测脸部表情的方法中估计用户的头部姿势的操作的详细配置的示图。

参照图3，在操作S310，所述方法可提取用户的脸部区域。

在操作S320，所述方法可从脸部区域提取脸部描述符以估计姿势。为了提取脸部描述符，用于有效提取脸部描述符所使用的滤波器和区域可以被定义，并可通过使用先前选择的位置和滤波器来提取脸部描述符。这里，脸部描述符可包括包含与脸部区域的特征有关的信息的向量。

在操作S330，所述方法可用至少一个先前产生的姿势分类符对脸部描述符执行投影操作，从而估计近似姿势。在该实例中，姿势分类符可通过使用从先前存储的DB的学习理论来产生能够估计近似头部姿势的分类符。这里，为了估计三种头部姿势，可能需要三个头部姿势分类符。

例如，当将三个头部姿势分类符表示为C₁(左侧面)、C₂(正面)和C₃(右侧面)，并将提取的脸部描述符表示为D_f时，可用所述姿势分类符中的每一个来对提取的脸部描述符执行投影操作。这可被表现为<C₁，D_f>、<C₂，D_f>和<C₃，D_f>。这里，当通过执行投影操作获得的三个值中的最大值是<C₁，D_f>时，相应的姿势分类符(即，C₁)用于左侧面，由此可将相应的头部姿势估计为左侧面。类似地，当最大值是<C₂，D_f>时，C₂用于正面，由此可将相应的头部姿势估计为正面，当最大值是<C₃，D_f>时，C₃用于右侧面，由此可将相应的头部姿势估计为右侧面。

因此，可通过用姿势分类符对脸部描述符进行投影操作来估计头部姿势，当想要获得更多分割的头部姿势时，可用更多的姿势分类符对脸部描述符执行投影操作。

图4是示出在图1的检测脸部表情的方法中使用网格模型检测脸部表情的操作的详细配置的示图。

参照图4，在操作S410，所述方法可通过使用个性化DB和普通DB中的至少一个确定与确定的头部姿势相应的网格模型。具体地讲，在用户使用个性化DB作为基本DB的情况下，可从个性化DB中读取与用户的特征相符的网格模型参数。另外，可将用于网格拟合的参数存储在个性化DB和普通DB中的每个DB中，并可将特征点的位置和用于查找特征点位置的滤波器存储在所述参数中。用于选择特征点的方法可使用脸部动作编码系统(FACS)，即用于对人的情感表情分类的标准模型。具体地讲，可通过姿势的动作单元来确定特征点。

在操作S420，所述方法可将确定的网格模型拟合到用户的脸部上。具体地讲，确定的网格模型可存储关于中性(neutral)图像的信息，并可将网格模型拟合到用户的脸部，以与用户的各种脸部表情相符。

在操作S430，所述方法可执行关于网格模型的网格跟踪。

图5是示出在图1的检测脸部表情的方法中将检测的脸部表情反映到虚拟对象的操作的详细配置的示图。

参照图5，在操作S510，所述方法可测量用户脸部的每个特征点的变化程度。具体地讲，当执行网格跟踪时，可测量每个特征点的变化程度。在该实例中，可测量变化程度，并可分析测量的变化程度，以将注册用户的脸部表情转换为虚拟对象的脸部表情。

在操作S520，所述方法可将用户脸部的每个特征点的变化程度反映为虚拟对象的脸部的每个特征点的移动。在该实例中，为了在虚拟对象上表达用户的脸部表情，可使用个性化DB。这里，作为分析注册用户的脸部表情以转换为化身的脸部表情的方法的另一示例，一种识别由FACS表示的脸部的每个区域的动作单元并将识别的动作单元反映到化身的方法可以被给出。

如上所述，可将与包括每个用户的特征的个性化DB有关的信息反映到虚拟对象，或者通过虚拟对象反映所述信息，从而表达与用户的特征相符的用户的脸部表情的详细变化。然后，在表达用户的脸部表情的详细变化的同时，例如可在显示装置上输出或显示虚拟对象。

如上所述，可对至少一个头部姿势分类，并可对每个头部姿势识别输入图像的脸部表情，从而检测更详细的脸部表情。

另外，可构造个性化DB以与用户的特征相符，可基于个性化DB检测脸部表情，从而检测更详细的脸部表情。

参照图6，根据本示例性实施例的检测脸部表情的系统可包括初始化执行单元610、姿势估计单元620、脸部表情检测单元630和虚拟对象反映单元640。

初始化执行单元610可确定用于检测用户的脸部表情的基本DB。这里，初始化执行单元610可包括脸部识别单元611、个性化DB构造单元612和DB 613。

脸部识别单元611可识别用户的脸部。

个性化DB构造单元612可依据用户是否已注册并依据用户的选择来构造个性化DB。具体地讲，当用户是注册用户，可使用预定的个性化DB，即使当用户是未注册用户时，用户也可选择是否构造个性化DB。在该实例中，当用户选择构造个性化DB时，可存储用户ID、用于多个姿势中的每一个姿势的网格模型参数等以构造个性化DB。

DB 613可存储个性化DB和普通DB。具体地讲，DB 613可存储用于选择不构造个性化DB的用户的普通DB和单独由用户构造的个性化DB。

姿势估计单元620可估计用户的头部姿势。这里，姿势估计单元620可包括脸部区域提取单元621、脸部描述符提取单元622、姿势分类符存储单元623和分类符操作单元624。

脸部区域提取单元621可提取用户的脸部区域。

脸部描述符提取单元622可从脸部区域提取脸部描述符。这里，脸部描述符可包括包含与脸部区域的特征有关的信息的向量。

姿势分类符存储单元623可存储用于对多个姿势分类的姿势分类符。这里，姿势分类符存储单元623可存储与想要被分类的姿势的数量相同的多个姿势分类符。

分类符操作单元624可用姿势分类符对脸部描述符执行投影操作。具体地讲，可依据投影操作的结果来估计头部姿势。

脸部表情检测单元630可使用个性化DB和普通DB中的至少一个来提取与估计的头部姿势相应的网格模型，并通过使用提取的网格模型来检测脸部表情。这里，脸部表情检测单元630可包括网格模型确定单元631、网格拟合单元632和网格跟踪单元633。

网格模型确定单元631可通过使用个性化DB和普通DB中的至少一个来确定与估计的头部姿势相应的网格模型。

网格拟合单元632可将确定的网格模型拟合到用户的脸部上。

网格跟踪单元633可执行关于拟合的网格模型的网格跟踪。

虚拟对象反映单元640可将检测的脸部表情反映到虚拟对象。这里，虚拟对象反映单元640可包括特征点变化提取单元641和虚拟对象应用单元642。

特征点变化提取单元641可检测用户脸部的每个特征点的变化程度。

虚拟对象应用单元642可将变化程度应用于虚拟对象脸部的每个特征点的移动。在该实例中，可通过使用个性化DB和普通DB来将每个特征点的变化程度反映到虚拟对象，以与用户的特征相符。

如上所述，使用个性化DB检测脸部表情的方法可关于用户的输入图像将至少一个姿势分类，对每个分类的姿势构造用户DB，并执行与用户的特征相符的网格拟合。

另外，所述方法可关于用户的输入图像对至少一个姿势分类，并可对每个分类的姿势检测脸部表情，从而即使在姿势的快速变化期间也可稳定地检测脸部表情，并且可构造针对每个用户而言均不同的DB，并可利用检测的脸部表情，从而精确地检测与每个用户的特征相符的脸部表情。

可将根据以上描述的示例性实施例的检测脸部表情的方法记录在包括程序指令的计算机可读介质中，以实现通过计算机实施的各种操作。所述介质可单独包括程序指令、数据文件、数据结构等，或者程序指令、数据文件、数据结构等的组合。计算机可读介质的示例包括：磁性介质，例如，硬盘、软盘和磁带；光学介质，例如，CD ROM盘和DVD；磁光介质，例如光盘；和被具体构造为存储和执行程序指令的硬件装置，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例包括机器代码(例如，编译器产生的代码)和包含高级代码的文件，其中，可由计算机使用解释器来执行所述高级代码。所述硬件装置可被构造为用作一个或多个软件模块，以执行以上描述的示例性实施例的操作，反之亦然。软件模块可在包括脸部表情检测系统或设备的任何处理器、通用计算机或专用计算机上被执行。

尽管已经显示和描述了几个示例性实施例，但本公开不限于描述的示例性实施例。相反，本领域的技术人员应该明白，在不脱离本公开的原理和精神的情况下，可对这些示例性实施例做出改变，由权利要求及其等同项来限定本公开的范围。

Claims

1.一种检测脸部表情的方法，所述方法包括：

确定用于检测用户的脸部表情的基本数据库；

估计用户的头部姿势；

在计算机上通过使用个性化数据库和普通数据库中的至少一个来提取与估计的头部姿势相应的网格模型，并使用计算机利用提取的网格模型检测脸部表情；和

将检测的脸部表情反映到虚拟对象。

2.如权利要求1所述的检测脸部表情的方法，其中，确定基本数据库的步骤包括：

识别用户的脸部；

确定用户是否已注册；和

依据用户是否已注册来确定基本数据库。

3.如权利要求2所述的检测脸部表情的方法，其中，当用户已注册时，确定基本数据库的步骤确定预先存储的用户的个性化数据库作为基本数据库。

4.如权利要求2所述的检测脸部表情的方法，其中，确定基本数据库的步骤包括：

当用户是未注册用户时，由用户选择是否构造个性化数据库；和

将根据用户选择而构造的个性化数据库或预定的普通数据库确定为基本数据库。

5.如权利要求4所述的检测脸部表情的方法，其中，通过存储输入信息来执行个性化数据库的构造，所述信息包括用户ID信息和用于网格拟合的网格模型参数中的至少一个。

6.如权利要求1所述的检测脸部表情的方法，其中，估计步骤包括：

提取用户的脸部区域；

提取关于用户的脸部区域的脸部描述符；和

用预先存储的多个姿势分类符对提取的脸部描述符执行投影操作。

7.如权利要求6所述的检测脸部表情的方法，其中，脸部描述符包括包含与脸部区域的特征有关的信息的向量。

8.如权利要求6所述的检测脸部表情的方法，其中，所述多个姿势分类符的数量被确定为与分类的姿势的数量相同。

9.如权利要求1所述的检测脸部表情的方法，其中，检测脸部表情的步骤包括：

通过使用个性化数据库和普通数据库中的至少一个来确定与估计的头部姿势相应的网格模型；

将确定的网格模型拟合到用户的脸部；和

执行关于拟合的网格模型的网格跟踪。

10.如权利要求9所述的检测脸部表情的方法，其中，所述拟合步骤读取确定的网格模型的参数值，并调整所述参数值以与用户的脸部相符。

11.如权利要求1所述的检测脸部表情的方法，其中，所述反映步骤基于用户的个性化数据库中存储的信息将与动作单元代码相应的用户的脸部表情输出到虚拟对象上。

12.如权利要求1所述的检测脸部表情的方法，其中，所述反映步骤包括：

测量用户脸部的每个特征点的变化程度；和

将所述变化程度反映到虚拟对象的脸部的每个特征点的移动。

13.至少一种存储有计算机可读代码的计算机可读介质，所述计算机可读代码包括实现如权利要求1所述的方法的指令。

14.一种检测脸部表情的系统，所述系统包括：

初始化执行单元，确定用于检测用户的脸部表情的基本数据库；

姿势估计单元，估计用户的头部姿势；

脸部表情检测单元，通过使用个性化数据库和普通数据库中的至少一个来提取与估计的头部姿势相应的网格模型，并通过使用提取的网格模型检测脸部表情；和

虚拟对象反映单元，将检测的脸部表情反映到虚拟对象。

15.如权利要求14所述的检测脸部表情的系统，其中，初始化执行单元包括：

脸部识别单元，识别用户的脸部；

个性化数据库构造单元，依据用户是否已注册并依据用户的选择来构造个性化数据库；和

数据库，存储个性化数据库和普通数据库。

16.如权利要求15所述的检测脸部表情的系统，其中，个性化数据库构造单元包括：

存储单元，存储用户的ID和网格模型参数。

17.如权利要求14所述的检测脸部表情的系统，其中，姿势估计单元包括：

脸部区域提取单元，提取用户的脸部区域；

脸部描述符提取单元，从脸部区域提取脸部描述符；

姿势分类符存储单元，存储用于对多个姿势分类的姿势分类符；和

分类符操作单元，用姿势分类符对脸部描述符执行投影操作。

18.如权利要求14所述的检测脸部表情的系统，其中，脸部表情检测单元包括：

网格模型确定单元，通过使用个性化数据库和普通数据库中的至少一个来确定与估计的头部姿势相应的网格模型；

网格拟合单元，将确定的网格模型拟合到用户的脸部上；和

网格跟踪单元，执行关于拟合的网格模型的网格跟踪。

19.如权利要求18所述的检测脸部表情的系统，其中，虚拟对象反映单元包括：

特征点变化提取单元，测量用户脸部的每个特征点的变化程度；和

虚拟对象应用单元，将所述变化程度应用于虚拟对象的脸部的每个特征点的移动。