CN1307589C - 管理关于一个人的信息的方法和设备 - Google Patents

管理关于一个人的信息的方法和设备 Download PDF

Info

Publication number
CN1307589C
CN1307589C CNB028012356A CN02801235A CN1307589C CN 1307589 C CN1307589 C CN 1307589C CN B028012356 A CNB028012356 A CN B028012356A CN 02801235 A CN02801235 A CN 02801235A CN 1307589 C CN1307589 C CN 1307589C
Authority
CN
China
Prior art keywords
information
people
user
emotion
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028012356A
Other languages
English (en)
Other versions
CN1461451A (zh
Inventor
Y·－H·常
Y·-F·廖
L·－F·耶
J·－K·霍尔恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1461451A publication Critical patent/CN1461451A/zh
Application granted granted Critical
Publication of CN1307589C publication Critical patent/CN1307589C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

一种用于提供关于一个自然人的信息的方法和电子设备(优选一个个人数字助理，PDA或掌状计算机)包括：一个用于记录音频数据的麦克风(606)和/或用于记录自然人的图像数据的照相机(602)。提供了具有一个存储器的处理器(603，607，604)，用于处理识别该自然人的身份的音频和/或视频数据和检索关于该识别的身份的储存的信息。一个用户接口(605)用来将该储存的信息传送到一个用户。该信息可包括关于该人的交易卡信息和/或其他的信息。此外，通过该用户接口(605)可以记录，检索并对用户提供代表该人的情感/个人状态/心情的信息。

Description

管理关于一个人的信息的方法和设备
本发明涉及用于提供关于一个自然人的信息的设备，包括用于记录该自然人的音频和/或图像数据的记录器。
此外，本发明涉及提供关于一个自然人的信息的方法，包括记录该自然人的音频/图像数据的步骤。
在现有技术中已推荐了各种技术方案去处理记录人们的面部和声音的表示。处理结果已用来识别人-尤其用于选取控制应用。这样的一些应用例如已基于在话音(说话人识别)或面部识别技术基础上识别用户。此外，已推荐了各种技术用于识别一个人的心情或情感状态。
ICICS 1997的会议录，信息，通信和信号国际会议录(IEEE，Vol.1，PP.397-401)公开了一种计算机多媒体方法，它使用组合视频和音频来记录面部和声音的表示，用于文化间的情感传送。
DE 195 02 627 A1公开了一种方法和一个发射机/接收机设备，它对想要同每个其他人建立接触的人提供用于启动这种接触的装置。一个接触-寻求人可以发送能够由自愿地或准备建立个人接触的人接收的信号，这个人可以按序用声音的或视频的信号通知。
DE 198 01 666 A1公开了一种用予储存特征信息检测接收的特征信息和适配接收的特征信息的方法，以检测和指示完全的或部分的匹配。
然而，现有技术对该问题未推荐任何解决方案，即大多数人对记忆不经常见面的人具有难度。对于某些典型的与交易相关的情况，人们可以具有个人交易卡来帮助他们记住那个特定人的细节。然而，他们不能调用这个人以注意他，即使他们具有他或她前面的商务卡。
为获得与并不经常见面的人的良好关系，最重要的是能够重新调用以前我们已见过的人在我们的头脑中的印象。
当在开始章节中述及的电子设备还包括一个具有存储器的处理器时将解决上述问题，该处理器用于处理音频和/或视频数据，以识别该自然人的身份，和用于检索关于被识别的身份的存储的信息；和一个用户接口，用于对一个用户提供储存的信息。
因此该电子设备能帮助用户记忆该用户不经常见面的人。由此可以帮助获得改善的交易关系或改善的人际关系。
由此由于为记住而调用人是较容易的事，所以迫切想知道谁是谁将花费不大的努力。此外，可以减少用户在消除由不同人的模糊信息引起的误解方面的努力。这将由此可以导致更有效地使用时间。
在一个有利的实施例中，该设备包括用于采集音频数据的麦克风；以及用于采集图像数据的照相机。由于麦克风和照相机都可在市场上买到，它们具有很小的物理尺寸，所以它们能同很小的便携式设备整体地组合在一起。
此外，可配置该处理器来处理音频数据以确定这个人的声调，和储存该声调的表示。方便之处在于声调一般包括关于这个人的大量信息，特别地包括一个正在说话人的心情状态或情感。
再者，能配置该处理器以使声调的表示与一种情感表示相关。因此一种给定的声调能够同一个预定的情感相关。
此外，能配置该处理器来处理图像数据以确定一个人的面部表情，并储存该面部表情的表示。通常面部表情与一个人的情感或心情状态紧密相关。这样又提供一种设备，其具有寄存或识别一个人的情感或心情状态的良好基础。
当配置该处理器以便使一种面部表情的表示与一种情感表示相关时，则一个面部表情就可以同一种预定型情感相链接。
能配置该处理器使得将一种面部表情的表示和一种声调的表示同一种情感表示的结合起来。由此可得到一种情感的更详细的或增强的寄存/识别。
在一优选实施例中，声调的表示包括代表说话速率，等音调线，或话音强度的值。
处理音频/图像数据包括产生是一个人的特征的数据。由此可以根据记录的数据来识别一个人。
在一个最佳实施例中该设备被配置来对用户提供储存关于一个人的信息和使该信息与是那个人的特征的数据相关的选项。由此一个用户能补充他或她自己的特征或与一个给定人相关的其他类型的信息。
当这种信息包括文本，照片，或图像序列时这是特别有利的。
当设备配置来储存面部表情表示和/或声调表示的历史时，用户可以编辑一个人的历史。由此又可帮助用户更好地了解这个人。
当该设备配置来储存情感表示的历史时，可以得到对这个人的更多的个人了解。
该设备能配置来将一个目前的情感表示同在该情感表示的历史中以前储存的表示相比较；并将关于该比较的信息传送到用户。这可帮助该用户比采用详细观看历史记录更快地得到关于这个人的信息。
本发明还涉及到一种方法。
以下结合优选实施例和参照附图更全面地说明本发明，其中：
图1表示检索有关一个人的信息的方法的第一流程图；
图2表示检索有关一个人的信息的方法的第二流程图；
图3表示检索有关一个人的信息的设备的第一流程图；
图4表示检索有关一个人的信息的设备的第二流程图；
图5表示储存和检索有关一个人信息的设备的一个方块图；
图6表示用于处理有关一个人信息的设备的第二个方块图；以及
图7表示具有照相机单元和麦克风的便携式数字助理(PDA)。
图1表示用于检索有关一个人的信息的一种方法的第一流程图。该流程开始于步骤101，领先于该方法中的第一步骤，步骤102，其中一个携带个人数字助理(PDA)的用户会见一个人。该用户开始对这个人谈话，同时对他是否以前碰见这个人主意不定。接着，当会话继续的同时，在步骤103，该用户使得在他的PDA中的个人信息检索，PIR功能起动。
当会话继续时，在步骤109，PDA记录这个人的话音以得到音频数据。音频数据在PDA中进行处理，以便借助他或她的话音来识别这个人。如果能识别这个人，PDA询问数据库以求得关于这个人的信息。这在步骤108执行。如果询问的结果表示求得关于欲识别的人的信息，用户被通知求得关于用户目前正在交谈的那个人的信息。在步骤107该信息被提供给该用户。接着在步骤105，用户可以不感到奇怪他以前是否曾见过此人，因为他被用关于那个人的信息更新。该信息可包括用户自己的相对于那个人的特点。接着在步骤106，会话可以继续或在其结束前终止。因此，该用户被用相对于那个人的信息所更新-例如通过提供电子商务卡，该卡具有那个人的姓名，(商务)地址，等等。
图2表示用于检索有关一个人的信息的一种方法的第二流程图。该流程始于步骤201，领先于该方法中的第一步骤，步骤202，其中一个用户会见一个人。该用户开始与这个人交谈，同时想他以前必定见过这个人，但他并没有把握。在步骤203，用户再次启动在他的PDA中的个人信息检索功能。这涉及到在步骤204用户正记录那个人的音频数据，同时会话继续。相应地，在步骤210由该PDA记录音频数据。当然也可记录图像/视频。
在该记录期间或为识别这个人而此后不久处理该数据，为的是借助他的话音来识别这个人。如果记录这个人的图像/视频数据，则可以借助他的面部或整个表现来识别这个人。
在步骤208，如果可以识别这个人，则PDA询问数据库DB以求得关于这个人的信息。在步骤207，如果询问结果表明求得关于欲识别的人的信息，则用户被通知关于用户已会见过的这个人的信息已求得和该信息被提供到该用户。接着，在步骤205，用户被用该信息更新。接着，在步骤211会话可以继续。
在会话期间或后来，在步骤212和213，用户可操作PDA以便更新，编辑，或添加在会话期间用户刚采集到的那个人的信息。
在步骤206该方法结束。除了记录音频数据之外或作为一种选择方案，用户可以记录这个人的图象或视频序列。由此，为识别这个人可以处理记录的图像数据。
图3表示用于检索关于一个人的信息的设备的第一流程图。该方法响应一个用户的命令由PDA执行，以提供用户用于重新调用关于自然人的信息的装置。
在步骤301，根据接收一个用户的指令，同时记录的音频和图像数据在步骤303和302分别执行。在该记录期间或在刚完成记录之后，处理该视频和图像数据，以便从能用来识别一个给定人的音频和视频数据提取特征。
在步骤307将验证所提取的配置在特征简档中的特征是否与在先储存的特征简档相匹配。如果检测到的是匹配(是)，在步骤308识别与那个简档相关的人和检索在先储存的与这个人相关的信息。接着，在步骤305，由一个用户接口将该信息提供到用户。
另外，如果检测到的是不匹配(否)，在步骤309将创建一个临时的无名人。即储存该特征简档然而不将一个用户指定的名与该简档相关。在步骤310，对该临时的无名人创建一个引用以便由该用户继续增加信息。这是有利的，因为之后当与这个人的会话结束时允许用户输入关于一个人的信息。
图4表示用于检索关于一个人的信息的设备的第二流程图。同样，该方法响应一个用户的命令由PDA执行，以提供用户用于重新调用关于自然人的信息的装置。在该流程图中，用户备有储存和检索关于一个人的情感和/或心情/个人状态的选项。
在步骤401根据接收一个用户的指令，同时记录的音频和图像数据在步骤403和402分别执行。在该记录期间或在刚停止记录之后，在步骤404处理该视频和图像数据，以便从能用来识别一个给定人的音频和视频数据提取特征。
在步骤407将验证所提取的配置在特征简档中的特征是否与在先储存的特征简档相匹配。如果检则到的是匹配(是)，在步骤408识别与那个简档相关的人和检索在先储存的与这个人相关的信息。在接着的步骤411中处理该视频和图像数据，以便从能用来识别被识别人的情感或心情/个人状态的音频和视频数据提取特征。
接着，在步骤405，关于这个人的信息和他或她的情感或心情/个人状态由一个用户接口提供到该用户。
另外，如果检测的是不匹配(否-在步骤407)，则在步骤409创建一个临时无名人。在步骤410对该临时的无名人用户创建一个引用，以便继续增添信息。
在接着的步骤412中，用户有机会利用一个用户接口，该接口使他或她去编辑和/或更新关于一个人的信息。如果该用户选择这样的选项，则在步骤413打开一个编辑程序。
同样，在步骤414，用户备有编辑和/或更新关于一个人的情感或心情/个人状态的选项。在步骤415，如果用户选择改变该信息，则在步骤415打开一个编辑程序。
在步骤406，该方法结束。
图5表示用于储存和检索关于一个人的信息的设备的方块图。
参考数字501通常指定一个个人数字助理(PDA)·PDA包括一个中央处理器509，用于执行基本操作系统(OS)处理和应用程序处理/包括用于实施按本发明方法的程序的程序。
为处理图像数据，该处理器可操作地连接到一个图像处理器503，用于预处理来自照相机502的图像数据。
同样，为处理音频数据，该处理器还可操作地连接到一个音频处理器505，用于预处理来自一个麦克风504的音频数据。
为使一个用户同PDA相互作用，PDA包括一个具有一个人机对话的显示器506的用户接口装置和一个扬声器507。该人机对话显示器能通过显示包括图像和视频序列的文本和图对一个用户提供信息。
PDA能从用户接收输入在于人机对话显示是触敏式的。由此有可能形成呈现在该人机对话显示器上的一个键盘。另外地，或附加地，能解释在该显示器上的用户的手写入。
为储存关于一个人的信息，PDA包括一个数据库508，用于以一种结构的和可搜索的方式储存该信息。
为了同一个固定的计算机，因特网上的计算机，其他的PDA，或包括移动电话的其他的电子设备通信，PDA包括一个输入/输出(I/O)接口510。I/O接口可以是一个无线接口，例如所谓的IrDa或一个蓝牙接口。
由于PDA是一个便携式的或移动设备，所以主要由一个可充电电池511供电。
图6表示用于处理关于一个人信息的设备的第二方块图。
该方块图包括四个主要处理装置；图像处理器603，音频预处理器607，个人识别处理器604，和情感识别处理器608。此外，图像预处理器603从照相机602采集图像数据，和音频预处理器607从麦克风606采集音频数据。通过用户接口605一个用户备有一个装置，用于寄存关于被识别人的身份或被识别的/被寄存的情感。该信息储存在数据库609中。
在一优选实施例中，图像预处理器603配置来处理代表人面部(表情)的图像数据。这是有利的，因为人的面部包括许多信息，其可用来1)识别特定的人和2)确定这个人的情感。
音频预处理器607配置来处理代表人的话音和他们的声调的音频数据。这是有利的，因为人的话音包括能由信号处理技术提取的信息和是对单个人的特性的信息。同样，对于多数情况，一个人的声调是这个人的情感的表示。
这样，预处理器603和607配置来提取可以用来1)识别一个具体的人和2)确定该人的情感的特征。
与识别一个具体人相关的特征被施加到人-识别处理器604；而与确定该人的情感相关的特征被施加到情感-识别处理器608。由此一个给定的图像和/或音频记录能够用来识别人的身份和确定该人的情感。
虽然上述处理器在处理图像和音频数据以鉴别对一个给定人的不同的情感或声调是很有效的，但是简便的是一个用户能修改寄存的情感信息。由此一个用户能改变声调和该相关人的情感之间的关系。用户接口605提供用于该功能的装置。
此外，用户接口605可用来寄存，更新，或编辑关于一个人的信息。
该方块图可以由一个PDA，一个移动电话，一台个人计算机，一台膝上型计算机，一个客户-服务器计算机系统或其他类型电子设备实施。
图7表示一种便携式数字助理(PDA)，具有照相机单元和麦克风。在该PDA实施例中通常由参考数701表示，它包括一个人机对话显示器703，一个麦克风708和按钮704。PDA具有一个接口705，用于连接到照相机单元702。该照相机单元702包括一台照相机709，它可以直接由照相机单元操作或由PDA操作。照相机记录的图像通过该接口705传送到PDA。
应指出储存关于个人的信息可包括商务卡，其具有姓名，地址，公司名，e-mail地址，网址，位置，专长等等。此外该信息可包括关于同那个人相会的内容的特征，等。
此外，应指出，交替地或除了储存/处理一个人的声调外，该人的声纹可以储存/处理。一个人的声纹可以由处理语音数据加以提取，从而基于该语音数据识别这个人。一个人的声纹可考虑对一个人是唯一的；声纹是其中包括由这个人的自然话音系统的尺度所确定的特征，例如由他的发音系统的长度和宽度所确定。

Claims (11)

1.一种提供关于一个自然人的信息的方法，该方法包括步骤：
记录该自然人的音频和/或图像数据；
处理音频和/或可视数据，以识别该自然人的身份，并且识别被确定身份的人的情感；
检索储存的关于被识别身份的信息并且将该储存的信息提供给用户；
将目前的情感表示同在情感表示历史中在先储存的表示相比较；以及
将关于比较结果的信息提供给该用户。
2.按权利要求1的方法还包括步骤：处理音频数据以确定这个人的声纹和/或声调；并储存声纹和/或声调的表示。
3.按权利要求2的方法还包括将声调的表示与一种情感的表示相关的步骤。
4.按权利要求1的方法还包括步骤：处理图像数据以确定这个人的面部表情；并储存该面部表情的表示。
5.按权利要求4的方法还包括将面部表情表示同一种情感表示相关的步骤。
6.按权利要求1的方法还包括提供用户储存关于一个人的信息和将那个信息与对这个人是特征的数据相关的选项。
7.一种提供关于一个自然人的信息的设备，包括：
一个记录器，用于记录该自然人的音频和/或图像数据；
一个具有存储器的处理器，用于处理音频和/或可视数据，以识别该自然人的身份，和检索关于被识别的身份的储存的信息；以及
一个用户接口，用于将储存的信息提供给一个用户。
8.按权利要求7的设备，其中该处理器配置来将声调的表示与一种情感的表示相关。
9.按权利要求7的设备，其中该处理器配置来将面部表情表示与一种情感表示相关。
10.按权利要求7的设备，其中该处理器配置来将面部表情表示和声调表示同一种情感表示相结合。
11.按权利要求7的设备，其中该设备配置来提供用户储存关于一个人的信息和将那个信息与对那个人是特征的数据相关的选项。
CNB028012356A 2001-04-17 2002-04-11 管理关于一个人的信息的方法和设备 Expired - Fee Related CN1307589C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201393.4 2001-04-17
EP01201393 2001-04-17

Publications (2)

Publication Number Publication Date
CN1461451A CN1461451A (zh) 2003-12-10
CN1307589C true CN1307589C (zh) 2007-03-28

Family

ID=8180161

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028012356A Expired - Fee Related CN1307589C (zh) 2001-04-17 2002-04-11 管理关于一个人的信息的方法和设备

Country Status (6)

Country Link
US (1) US7058208B2 (zh)
EP (1) EP1382003A1 (zh)
JP (1) JP2004533640A (zh)
KR (1) KR20030010729A (zh)
CN (1) CN1307589C (zh)
WO (1) WO2002086801A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035247A (zh) * 2012-12-05 2013-04-10 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US7627143B1 (en) * 2002-04-19 2009-12-01 At&T Intellectual Property I, L.P. Real-time remote image capture system
US20050239511A1 (en) * 2004-04-22 2005-10-27 Motorola, Inc. Speaker identification using a mobile communications device
US20060013446A1 (en) * 2004-07-16 2006-01-19 Stephens Debra K Mobile communication device with real-time biometric identification
JP4871552B2 (ja) * 2004-09-10 2012-02-08 パナソニック株式会社 情報処理端末
US7693306B2 (en) 2005-03-08 2010-04-06 Konami Gaming, Inc. System and method for capturing images from mobile devices for use with patron tracking system
US7353034B2 (en) 2005-04-04 2008-04-01 X One, Inc. Location sharing and tracking using mobile phones or other wireless devices
US20070149222A1 (en) * 2005-12-27 2007-06-28 Berislav Hodko Methods, application server, and terminal for directive person identification and communication
US20070239457A1 (en) * 2006-04-10 2007-10-11 Nokia Corporation Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management
US20080279454A1 (en) * 2007-05-07 2008-11-13 Lev Jeffrey A Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition
US8144939B2 (en) 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US20090193344A1 (en) * 2008-01-24 2009-07-30 Sony Corporation Community mood representation
US8447065B2 (en) * 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device
KR101471204B1 (ko) * 2008-12-19 2014-12-10 주식회사 케이티 이미지에서의 의류 검출 장치와 그 방법
BR112012025683A2 (pt) * 2010-04-07 2016-07-05 Max Value Solutions Intl Llc método e sistema para serviços de guia de pronúncia de nomes
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US9646046B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US10628985B2 (en) 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US9503786B2 (en) 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US9204836B2 (en) 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US9028255B2 (en) * 2010-10-06 2015-05-12 Dominic William Massaro Method and system for acquisition of literacy
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US9842299B2 (en) 2011-01-25 2017-12-12 Telepathy Labs, Inc. Distributed, predictive, dichotomous decision engine for an electronic personal assistant
US11636420B2 (en) 2011-02-22 2023-04-25 Theatro Labs, Inc. Configuring, deploying, and operating applications for structured communications within observation platforms
WO2012115988A2 (en) 2011-02-22 2012-08-30 Expeditus Of Melitene Llc Observation platform for using structured communications
US10134001B2 (en) 2011-02-22 2018-11-20 Theatro Labs, Inc. Observation platform using structured communications for gathering and reporting employee performance information
US10699313B2 (en) 2011-02-22 2020-06-30 Theatro Labs, Inc. Observation platform for performing structured communications
US9542695B2 (en) 2011-02-22 2017-01-10 Theatro Labs, Inc. Observation platform for performing structured communications
US10204524B2 (en) 2011-02-22 2019-02-12 Theatro Labs, Inc. Observation platform for training, monitoring and mining structured communications
US9407543B2 (en) 2011-02-22 2016-08-02 Theatrolabs, Inc. Observation platform for using structured communications with cloud computing
US9602625B2 (en) 2011-02-22 2017-03-21 Theatrolabs, Inc. Mediating a communication in an observation platform
US11605043B2 (en) 2011-02-22 2023-03-14 Theatro Labs, Inc. Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics
US10069781B2 (en) 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US10375133B2 (en) 2011-02-22 2019-08-06 Theatro Labs, Inc. Content distribution and data aggregation for scalability of observation platforms
US11599843B2 (en) 2011-02-22 2023-03-07 Theatro Labs, Inc. Configuring , deploying, and operating an application for structured communications for emergency response and tracking
US20130060568A1 (en) * 2011-02-22 2013-03-07 Steven Paul Russell Observation platform for performing structured communications
EP2678820A4 (en) 2011-02-27 2014-12-03 Affectiva Inc VIDEO RECOMMENDATION BASED ON AN AFFECT
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9530067B2 (en) 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US20150286873A1 (en) * 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
US10373515B2 (en) 2017-01-04 2019-08-06 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10235990B2 (en) 2017-01-04 2019-03-19 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10318639B2 (en) 2017-02-03 2019-06-11 International Business Machines Corporation Intelligent action recommendation
KR20180115599A (ko) * 2017-04-13 2018-10-23 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 가이드 및 피드백 시스템
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
KR102364032B1 (ko) * 2017-09-28 2022-02-17 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
US10607612B2 (en) * 2017-10-19 2020-03-31 International Business Machines Corporation Hierarchical intimacy for cognitive assistants
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0944019A2 (en) * 1998-03-16 1999-09-22 Hewlett-Packard Company A person identifier and management system
WO2001016892A1 (en) * 1999-08-31 2001-03-08 Accenture Llp System, method, and article of manufacture for a border crossing system that allows selective passage based on voice analysis

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1257073B (it) * 1992-08-11 1996-01-05 Ist Trentino Di Cultura Sistema di riconoscimento, particolarmente per il riconoscimento di persone.
US5617855A (en) * 1994-09-01 1997-04-08 Waletzky; Jeremy P. Medical testing device and associated method
DE19502627A1 (de) 1995-01-19 1996-08-08 Peter Wolschke Verfahren und Vorrichtung zur Kontaktaufnahme zwischen Personen
US6320974B1 (en) * 1997-09-25 2001-11-20 Raytheon Company Stand-alone biometric identification system
US6173260B1 (en) * 1997-10-29 2001-01-09 Interval Research Corporation System and method for automatic classification of speech based upon affective content
DE19801666A1 (de) 1998-01-17 1999-07-29 Vdls Messtechnik Gmbh Verfahren zur Detektion
US6487531B1 (en) * 1999-07-06 2002-11-26 Carol A. Tosaya Signal injection coupling into the human vocal tract for robust audible and inaudible voice recognition
DE29914964U1 (de) * 1999-08-26 1999-11-11 Bernhardt Wolfgang Distanz-Stimmlagendetektor
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations
US6728679B1 (en) * 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6804391B1 (en) * 2000-11-22 2004-10-12 Microsoft Corporation Pattern detection methods and systems, and face detection methods and systems
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0944019A2 (en) * 1998-03-16 1999-09-22 Hewlett-Packard Company A person identifier and management system
WO2001016892A1 (en) * 1999-08-31 2001-03-08 Accenture Llp System, method, and article of manufacture for a border crossing system that allows selective passage based on voice analysis

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035247A (zh) * 2012-12-05 2013-04-10 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置
CN103035247B (zh) * 2012-12-05 2017-07-07 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置
CN107274916A (zh) * 2012-12-05 2017-10-20 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置

Also Published As

Publication number Publication date
US20030035567A1 (en) 2003-02-20
US7058208B2 (en) 2006-06-06
EP1382003A1 (en) 2004-01-21
CN1461451A (zh) 2003-12-10
KR20030010729A (ko) 2003-02-05
JP2004533640A (ja) 2004-11-04
WO2002086801A1 (en) 2002-10-31

Similar Documents

Publication Publication Date Title
CN1307589C (zh) 管理关于一个人的信息的方法和设备
CN109147770B (zh) 声音识别特征的优化、动态注册方法、客户端和服务器
JP6351562B2 (ja) 情報処理システム、受付サーバ、情報処理方法及びプログラム
EP2210214B1 (en) Automatic identifying
US7606856B2 (en) Methods, systems, and computer program products for presenting topical information referenced during a communication
CN103761242B (zh) 检索方法、检索系统以及自然语言理解系统
CN100470540C (zh) 在移动电话系统中存储和检索多媒体数据和相关注释数据
JP2002199085A (ja) 移動通信端末装置、音声認識方法、およびそのプログラムを記録した記録媒体
WO2017175363A1 (ja) 情報処理システム、受付サーバ、情報処理方法及びプログラム
CN102915350A (zh) 一种查询联系人信息的方法、装置和设备
CN109215643A (zh) 一种交互方法、电子设备及服务器
JP2002216026A (ja) 情報通信システム、エージェント端末、情報配信システム、エージェントプログラムが記憶された記憶媒体、エージェントアクセスプログラムが記憶された記憶媒体、専用処理プログラムが記憶された記憶媒体、エージェントプログラム、エージェントアクセスプログラム、及び、専用処理プログラム
CN107453980A (zh) 即时通信中问题响应方法及装置
JP2008113418A (ja) データを中央でストリングする方法
JP4469867B2 (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
CN109102807A (zh) 个性化语音数据库创建系统、语音识别控制系统与终端
JP3761158B2 (ja) 電話応答支援装置及び方法
CN115766945A (zh) 一种目标用户的确定方法及装置
JP2009224886A (ja) 個人情報記録機器、電話機、及び会話促進情報提供方法
CN104301488B (zh) 一种拨号记录生成方法、设备及移动终端
TW201738830A (zh) 資訊處理系統、受理伺服器、資訊處理方法及程式
JP2021117245A (ja) 学習方法、評価装置、データ構造、及び評価システム
JP3847674B2 (ja) 音声通信方法、音声通信装置、プログラム及び記録媒体
CN109005293A (zh) 一种手机在线求职app的简历更新系统
KR100844494B1 (ko) 이동통신 단말기의 특정인별 데이터 관리 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee