CN100430934C - 成像方法与系统 - Google Patents

成像方法与系统 Download PDF

Info

Publication number
CN100430934C
CN100430934C CNB2003101183726A CN200310118372A CN100430934C CN 100430934 C CN100430934 C CN 100430934C CN B2003101183726 A CNB2003101183726 A CN B2003101183726A CN 200310118372 A CN200310118372 A CN 200310118372A CN 100430934 C CN100430934 C CN 100430934C
Authority
CN
China
Prior art keywords
image
user
emotion
emotion information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003101183726A
Other languages
English (en)
Other versions
CN1510903A (zh
Inventor
E·A·菲德罗威斯卡亚
S·恩德里霍维斯基
T·A·马特拉斯泽克
K·A·帕鲁斯基
C·A·扎克斯
K·M·塔西尔
M·J·特勒克
F·马林奥
D·哈雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32229950&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN100430934(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN1510903A publication Critical patent/CN1510903A/zh
Application granted granted Critical
Publication of CN100430934C publication Critical patent/CN100430934C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Abstract

本发明提供了一种成像方法。依照这一实施例,捕获场景的图像。在捕获时收集情感信息。将情感信息与图像相关联。

Description

成像方法与系统
技术领域
本发明涉及图像捕获系统,具体地说,本发明涉及能捕获情感信息的图像捕获系统。
背景技术
越来越多地用数字形式记录静态和动态图像。可用数字静态或数字视频摄影机来捕获数字静态和动态图像。还可通过将业已用其它方式记录的图像转换成数字形式来获得数字静态和动态图像。例如,公知可使用模拟-数字转换器将模拟的电子视频信号转换成数字图像。还公知可以用光学扫描仪从记录在照片、胶片、底片和负片上的图像来获得数字图像。
用户利用家用计算机或其它图像处理设备可以很容易地观看、存储、检索和打印数字静态和动态图像。如Fredlund等人1995年8月3日提交的共同授予的US专利第5666215号所述,这种图像可以上载到网站上以便观看。使用网站浏览器,可以观看上载的数字图像,选择这些图像进行打印,以电子的方式将这些图像传给其它家庭成员和/或朋友,或者将这些图像存入联机数据库和影集。
由于目前更多地使用数字摄影机来摄影并且目前越来越多地使用将通常的静态图像、模拟视频图像和基于胶片的运动图像转换成数字形式的技术,故而可用的数字图像的数量迅速增加。但是,用户并不立即印制或以其它方式使用数字图像,而是将数字图像上载至电子存储设备或数据存储媒体,以供以后使用。因此,越来越多地用个人计算机、个人数字助理、计算机网络、光、磁和电子存储介质、所谓的机顶盒电视设备和其它电子图像存储设备来存储数字静态和动态图像。
所以,以能由用户很容易访问的方式对这类存储设备上的数字静态和动态图像进行分类和编目正变得越来越重要。某些用户创建大型个人数据库来组织这类存储设备上的数字静态和动态图像。业已开发出了多种计算机程序来帮助用户做到这一点。但是,由于浏览和分类图像需要时间和精力,故这些数据库一般很少使用和更新。
因此,所需的是一种帮助组织和分类图像的方法,这种方法只需对图像捕获后的分析和分类给予较少的关注。
即便在用户投入将图像组织进数据库所需的时间和精力,一般也都是按诸如捕获日期、地点、事件、人物之类的多种类别来组织数据库。还使用其它的类别。这些类别通常不会在本质上帮助用户确定特别重要或有价值的图像的位置。相反,用户必须记住图像、在何时捕获了该图像以及/或者用户是如何对该图像进行分类的。
因此,所需要的是更有用的对图像进行组织的基础。从多种研究和观察资料中已知事件及图像的最难忘的类别是与用户捕获图像时的感觉或用户在事件发生过程或在现场体验的情感反应有关的那些类别。可用于明确用户情感状态特征的信息称为情感信息。情感信息表示用户对事件的心理、生理和行为反应。情感信息可以涉及记录的原始生理信号及其解释。可利用情感信息根据用户的主观重要性、喜好程度或特定感情的强烈程度和本质来对数字静态和视频图像进行分类。这种分类能有助于快速发现、浏览和共享那些有价值的图像。
在本技术中公知有多种根据用户对图像的反应来获取情感信息的方法。监控生理状态以获得情感信息的系统的一个实例是穿戴式捕获系统,这种系统能根据人体的生物信号将图像分成重要或不重要。载于1998年86届电气和电子工程师协会(I EEE)会议录第2123-2151页中Mann的题为“人类智能:作为智能信号处理新框架和应用的‘WearComp’”的文章说明了这种系统。在这篇文章中,Mann说明了在穿戴者受到带枪抢现金的强盗的攻击时这种系统是如何进行潜在操作的实例。在这种情况下,系统检测诸如穿戴者在脚步速率没有相应增加情况下心率突然增加之类的生理信号。然后,系统根据生物信号推断出可视信号的高度重要性。这又会触发记录来自穿戴者摄影机的图像并将这些图像发送给能判断出危险程度的朋友或亲戚。
载于1998年第二次国际可穿戴式计算机研讨会会议录中的Healey等人的题为“StartleCam:可穿戴式自动摄影机”说明]这种系统的另一个实例。在该文提出的这种系统中,使用了这样一种可穿戴式摄影机,它带有一计算机和能监控皮肤传导率的生理传感器。这种系统是检测惊愕反应-皮肤导电系数的快速变化--为基础的。皮肤导电率的这种变化通常与觉醒、恐惧或压力有关。在检测到惊愕反应时,将穿戴者的数字摄影机最近捕获的数字图像缓存保存起来,并将该缓存可选择地以无线的方式传给远程计算机。这种有选择地存储数字图像可形成用于穿戴者的“记忆”文档,其目的是模拟穿戴者自己的有选择的记忆反应。在另一种模式中,可在业已检测到来自穿戴者微小反应时将摄影机设置成按特定频率自动地记录图像,以指示他们的注意力水平已经下降。
Mann等人提出的系统用生理信号将图像分成“重要的”(即使得生物学反应快速变化)或“不重要的”(即不使得生物学反应快速变化)并且触发可穿戴式摄影机仅存储/或传送“重要的”的图像。但是,他们的系统具有几种缺陷。
所述系统不关联、不存储并且不传送生理信号或任何其它“重要的”标识随同相应的图像。结果,“重要的”图像可能很容易地迷失在数据库的其它图像中,因为,在这些“重要的”图像中没有什么东西指示这些图像是“重要的”。例如,在不同的系统中使用数字图像文件时、在通过可记录的接触式盘或其它媒介传送图像时、在将图像上载至联机照片服务提供者时等等,就会出现这种情况。所述系统也不关联、不存储并且不传送用户的标识随同相应的图像。所以,在一个以上的用户使用系统时,不可能区分出哪个用户将图像反应为“重要的”。
此外,所述系统只提供“重要-不重要”的二分分类,不能更精细地区分所捕获的图像间的相对重要程度。结果,在用户数据库中获取图像的一段时间之后,重要图像的数量太多以致不能为重要性属性的目的服务了,除非是用户要改变其数据库中每一个图像的属性,而这是一个漫长且令人厌烦的过程。
另外,所述系统仅根据一般的“重要的”属性提供图像分类。例如,这类系统不能区别出重要的图像是唤起了用户正的(快乐)反应还是唤起了用户负的(不快乐)反应。所以,在所述系统中没有考虑广泛的人类情感反应(例如喜悦、悲伤、气愤、恐惧、关注等),这些情感反应对用户没有用处。
因此,还需要有一种经过改进的用于获得情感信息并用情感信息来方便存储和检索图像的方法。
发明内容
捕获场景的图像。在捕获时收集情感信息。将情感信息与场景图像相关联。
在本发明的另一个方面中,提供了一种成像方法的另一个实施例。在这一实施例中,可捕获场景的图像。在捕获时收集情感信息。至少部分地根据所收集的情感信号来确定所捕获的图像的相对重要程度。将该相对重要程度与场景图像相关联。
在本发明的又一个方面中,提供了一种摄影方法。依照这种方法,可捕获场景的图像。在捕获时获得摄影者的至少一部分的图像。至少部分地根据对摄影者图像的解释来确定情感信息。将情感信息与场景图像相关联。
在本发明的再一个方面中,提供了一种成像方法。依照这种方法,可捕获图像流,并且在图像捕获过程中收集相应的情感信息流。将情感信息流与图像流相关联。
在本发明的再一个方面中,提供了一种用于确定情感信息的方法。依照这种方法,可获得情感信号,以获得人的面部特征和生理特征。分析面部特征并分析生理特征。根据对人的面部和生理特征的分析确定人的情感状态。
在本发明的另一个方面中,提供了一种成像系统。该成像系统具有用于捕获用户选定的图像的图像捕获系统。存储器存储该图像。一组传感器用于在捕获图像时捕获来自用户的情感信号。处理器用于将情感信息与所捕获的图像相关联。
根据本发明的一种成像方法,它包括下列步骤:捕获场景的图像;收集捕获时的情感信息,该信息包括人的面部特征、眼图像、和生理特征;以及将情感信息与场景图像相关联;其中,把捕获时的情感信息与场景图像相关联的步骤包括:根据收集的生理特征来确定兴奋程度;根据收集的眼图像来确定感兴趣程度;根据收集的面部特征来确定喜好程度;至少部分地根据所确定的感兴趣程度、兴奋程度、或喜好程度,而确定场景图像的相对重要程度。
根据本发明的一种摄影方法,它包括下列步骤:捕获场景的图像;获得捕获时摄影者的图像;至少部分地根据对摄影者的图像的解释确定情感信息;将情感信息与场景图像相关联,其中,所确定的情感信息包括根据从摄影者图像得来的摄影者的面部特征而确定的摄影者的情感类别,以及独立于摄影者的面部特征而确定的情感类别的独特性程度。
根据本发明的一种用于确定情感信息的方法,它包括下列步骤:获得情感信号,这些信号包括人的面部特征、眼图像和生理特征;分析上述面部特征以确定喜好程度;根据生理特征来确定兴奋程度;根据眼图像来确定感兴趣程度;至少部分地根据所确定的感兴趣程度、兴奋程度、或喜好程度,而确定场景图像的相对重要程度;把所确定的重要程度与环境刺激相关联,该环境刺激是情感信号曾即将被获得时该人所面对过的。
根据本发明的一种图像捕获系统,它包括:一图像捕获系统,它适用于捕获用户选定的图像;一存储器,它存储上述图像;以及;一组传感器,它适用于在捕获时捕获来自用户的情感信号,该信号至少包括面部特征、眼图像、以及生理特征其中之一;一处理器,它适用于根据所捕获的情感信号来确定情感信息,并适用于将情感信息与所捕获的图像相关联,其中所述处理器至少适用于以下之一:根据所捕获的面部特征而确定喜好程度;根据生理特征而确定兴奋程度;或根据眼图像而确定感兴趣程度。
附图说明
图1a示出了本发明图像捕获系统的手持式实施例;
图1b示出了本发明图像捕获系统的穿戴式实施例;
图1c示出了另一种用于在捕获时形成与场景相关联的情感信息的穿戴式图像捕获系统;
图2a和2b包括示出了本发明一个实施例的流程图,其中,根据对面部表情的分析提供情感信息;
图3a和3b包括示出了本发明一个实施例的流程图,其中,根据对面部表情的分析提供情感信息;
图4a和4b包括示出了实施例方法的流程图,其中,根据对凝视时间的分析提供情感信息;
时间的分析提供情感信息;
图5a和5b包括示出了一种方法的流程图,其中,根据对皮肤导电率的分析提供情感信息;
图6a和6b包括示出了一种方法实施例的流程图,其中,根据对面部特征和生理特征的结合分析提供情感信息;
图7a和7b包括示出了一种方法的另一实施例的流程图,它用于根据对面部特征和生理特征的结合分析提供情感信息。
具体实施方式
本发明提供了一种用于在用户观看场景时收集情感信息并将该信息及其解释与所捕获的特定场景的图像相关联的方法。对情感信息的解释可以提供用户喜好的几种分级(例如用户喜欢该场景的程度)。还可以提供场景对用户相对重要程度。此外,可根据场景激起的具体的情感(例如欢乐、悲伤、恐惧、愤怒等)来对情感信息进行解释。
场景被定义为观察者所看到的某种事物。它可以是活动或事件发生的地点、观看者看到的一群人和/或物体、一系列活动和事件、风景或风景的一部分等等。图像捕获设备所记录或显示的场景称为场景图像。图像捕获设备的实例包括数字静态摄相机、手持式摄影机、穿戴式摄影机、将诸如静态或动态图像之类的图像记录到胶片上的通常的摄影机、模拟摄影机等等。用户可以通过摄影机的取景器或在用作取景器的摄影机预览屏幕上直接观察到场景。
正如这里所使用的那样,术语图像包括但不限于静态图像、动态图像、诸如立体图像或其它景深图像之类的多视点图像以及其它形式的深度静态和动态图像。
人们可以为多种目的和应用捕获不同场景的图像。捕获可记忆的事件是普通人、专业摄影师或记者共同具有的活动。这些事件对个人或群体是有意义的或在情感上是重要的。这类事件的图像能吸引特别的注意、引发记忆和激发情感,或者,概括地说,他们能产生心理反应。这些心理反应伴随有生理和/或行为的变化。
代表用户对特定场景或场景图像的心理、生理和行为反应的信息在本文中称为情感信息。情感信息包括原始的生理和行为信号(例如皮肤导电反应、心率、面部表情等)及其生理解释(例如喜欢、不喜欢等)和与情感分类(例如恐惧、气愤、欢乐等)的联系。用户的生理反应变化时,情感信息就会变化。例如,在用户突然看到危险的事故、令人吃惊的活动或美丽的场景时就会发生这种情况。
情感标记被定义为确定情感信息并存储与特定场景图像有关的情感信息的过程。在连同用户标识数据存储情感信息时,在本文中称为“个人情感信息”。用户标识数据可以是与用户唯一相关的任何类型的信息。用户标识数据可以是诸如全局唯一ID(GUID)、用户号码、社会保险号等之类的个人标识代码。用户标识还可以是完整的合法名字、绰号、计算机用户名等。用户标识数据还可以包括诸如面部图像或描述、指纹图像或描述、视网膜扫描图等信息。用户标识数据还可以是因特网地址、蜂窝电话号或其它标识。
在连同相应图像存储个人情感信息时,称为“个人情感标记”。情感信息和用户标识是图像“元数据”的类型,“元数据”是用于与图像相关的任何信息的术语。可以包括在个人情感信息中的其它图像元数据的实例包括来自场景图像的信息以及诸如图像捕获时间、捕获设备、捕获地点、捕获日期、图像捕获参数、图像编辑历史等之类的非图像捕获数据,而所说的个人情感信息将存储在情感标记内。
可通过将个人情感信息存储在图像文档内例如使用Exif图像文档中的带标记的图像文档格式IFD而将个人情感信息与数字图像相关联起来。另外,情感信息可根据JPEG标准格式ISO10918-1(ITU-T.81)存储在包含第一图像(或第二图像)的联合图像专家组(JPEG)文档的一个或多个应用段内。这就使得单个的工业标准图像文档能包含存储为正常JPEG图像的按JPEG压缩的第一图像以及按专用形式存储的用通常的JPEG阅读器所忽略的情感信息。在另一个实施例中,个人情感信息可存储在独立于图像的数据库内。这种信息还可以连同保密和存取许可信息一道存储,以便防止对信息的非法访问。
当用户用图像捕获设备观看特定的场景或场景图像时,可手工或自动地进行情感标记。就手工情感标记而言,用户可用手工控制器来输入情感信息,所述控制器可例如包括摄影机控制钮、触摸屏或声音识别接口,以提供他/她对场景的反应。例如,在吃惊的情况下,用户可“单击”表示“吃惊”反应的摄影机按钮或仅说出诸如“哇!”之类的关键词。
就自动情感标记而言,图像捕获设备可使用下列将在以下加以解释的情感信号之一或它们的组合以收集情感信息:
眼睛运动特征(例如眼睛凝视的持续时间、瞳孔大小、眨眼频率、凝视方向、眼球加速度、从眼睛运动模式中抽出的特征和参数、它们的复杂性等等);
生物计量或生理反应(例如皮肤电流反应(GSR)、手的温度、心率、肌电图(EMG)、呼息模式、脑电图(EEG)、脑成像信号等);
面部表情(例如,微笑、皱眉等);
声音特征(例如,音量、速率、音调等);
包括面部运动的身体姿势(例如,捏鼻梁、在耳朵周围摩擦等)。
依照下述本发明的一个实施例,根据面部表情、眼睛凝视的持续时间、皮肤电流反应自动地确定情感信息。还可以使用其它组合。
参照图1a-1c,说明了本发明的图像捕获系统的三个示例性实施例。图1a所述的系统是特定用户2手中的手持式图像捕获设备6,该用户直接或通过取景器24或在预览屏22上观看场景4。应该认识到,数字静态摄相机、手持式数字摄影机、穿戴式摄影机等可以看作是图像捕获设备6。图像捕获设备6的穿戴式实施例的实例如图1b和图1c所示。
图像捕获设备6包括捕获模块8以捕获场景4的图像。捕获模块8包括取像透镜(未示出)、图像传感器(未示出)以及A/D转换器(未示出)。捕获模块还可包括话筒(未示出)、音频放大器(未示出)以及音频A/D转换器(未示出)。捕获模块8提供数字静态或动态图像信号和相关的数字音频信号。图像捕获设备6还包括中央处理单元(CPU)14以及数字存储设备12,该设备能存储诸如捕获模块8提供的数字静态或动态运动图像之类的高分辨率图像文档以及相关的元数据。数字存储设备12可以是微型磁性硬驱动器、闪存式EPROM存储器或其它类型的数字存储器。
图像捕获设备6被示出配备有诸如无线调制解调器或利用因特网服务提供商20等通信服务商交换包括数字静态和视频图像在内的数据的其它通信接口之类的通信模块18。通信模块18可以使用有标准无线频率的无线通信系统例如公知的蓝牙系统或IEEE标准802.15系统、数字寻呼系统、通常的蜂窝电话系统或其它无线系统。另外,通信模块18可用红外线、激光或其它光学通信方案与其它设备交换信息。在另一个实施例中,图像捕获设备6可具有这样的通信模块18,它用来使用诸如通用串行总线缆、IEEE标准1394线缆、电线等其它电学数据通路、波导或光学数据通路之类的数据交换硬件,以便在图像捕获设备6与其它设备之间交换包括数字图像和情感信息在内的信息。
为了提供情感信息,图像捕获设备6包括手动控制器13和一组传感器15,它们可检测到用户的生理信号。用户2可以用控制器13来输入情感信息,控制器13可例如包括手工控制按钮、触摸屏或声音或姿势识别接口。
情感信息也可用一组传感器15来收集。例如,在图1a所示的实施例中,这组传感器15包括皮肤电流反应传感器16,它们安装在图像捕获设备6的表面上。在穿戴式实施例中,成组传感器15中的任何一个都可如图1b所示安装在任何位置,在该位置处,皮肤电流反应传感器16位于通常的用于支承镜片的侧部29上。成组传感器15还可包括脉管传感器17,它以有用的方式包括在侧部29的接近用户头部的太阳穴的动脉的那部分上,以便于测定温度和/或心率读数。成组传感器15还可包括如图1b所示的位于耳朵附近的振动传感器19,并且可用于在耳朵附近或通过与耳朵的接触检测听得见的振动。振动传感器19可用于检测发自用户的声音以及发自其它声源的声音。成组传感器15的任何一个都可按其它有用的结构来定位。成组传感器15的任何一个都可以是小型化的,因此,它们的存在不会改变图像捕获设备6的可穿戴式实施例的外观。例如,如图1c的实施例所示,用于检测皮肤电流反应的传感器16是安装在通常镜框28的鼻梁架26上可穿戴式图像捕获设备6的一部分。
在其它实施例中,成组传感器15可包括神经系统传感器以及用于监视来自神经细胞的电学活动以便与环境互动的其它设备。这些传感器15的实例包括美国乔治亚州亚特兰大的Neural Signal Inc公司出售的脑通信器和肌肉通信器。这些设备分别监视神经细胞的电信号以及某些神经发射的信号,以便检测例如使普通人极端运动的信号。这些信号可传给计算机,在计算机中,软件将这些信号解码成有用的信息。应该注意,这种技术可用于检测情感信息以及在确定情感信息时有用的其它信息。例如,可以监视沿着承载有来自耳朵的声音信息的神经的神经活动,并用该活动来确定这样的音频信息,该音频信息反映了观察者在事件中实际所听见的内容。
图像捕获设备6还包括用户摄影机10,它用于记录用户2的眼睛运动、瞳孔大小和面部表情的视频图像。用户摄影机10可包括例如通常的电荷耦合器成像器、互补金属氧化物成像器或电荷注入器。还可以使用其它成像技术。用户摄影机10所捕获的图像可包括用于构成用户图像或用户面部某种特征的视频图像。用户摄影机10所捕获的图像还可包括能从中获取情感信息的其它形式的视频图像。例如,表示眼睛位置和瞳孔大小的图像无需构成用户眼睛的整个数字图像。相反,可使用具有低分辨率或非线性成像模式的其它形式的图像,以便减少成本或简化成像结构。
用户摄影机10所捕获的视频图像在由CPU14处理之前存储在数字存储设备12上。用户摄影机10可例如包括红外敏感的摄影机。在这一实施例中,一组红外发光二极管(红外LED)向用户瞳孔发射红外光。用户摄影机10检测用户眼睛发射的红外信号。根据用户的面部图像来跟踪瞳孔。有用的用户摄影机10的一个实例是由美国纽约Armonk的国际商用机器公司开发的蓝眼(Blue Eyes)摄像系统。用户摄影机10的另一个有用的实例是美国维吉尼亚卅Fairfax的LC技术公司出售的Eyegaze系统。也可以使用由美国麻萨诸塞州波士顿的应用科学实验室出售的远程跟踪的眼睛跟踪摄影机ASL 504型。在共同授与的US专利申请第10/303978中详细地示出并说明了用户摄影机的其它有用实施例,该申请题为“带眼睛监控的摄影机系统”,由Miller等人于2002年11月25日提交。
用户摄影机10可连接到或位于如图1a所示的手持式图像捕获设备6的内部、在诸如图1b所示穿戴式图像捕获设备6之类的头部上安装的镜框28上、或者如图1c所示的穿戴式图像捕获设备6的远程框上。在图1c的情况下,用户摄影机10特别适于捕获用户的多种面部特征,包括瞳孔大小、眼睛和眉毛的运动。在图1b所述的情况中,用户摄影机10能最佳地捕获眼睛运动和其它眼睛特征。用户摄影机10还可与图像捕获设备6相分离,在这种实施例中,用户摄影机10可包括能捕获图像捕获设备6的用户的图像的任何图像捕获设备并能将图像传给图像捕获设备。可用任何公知的无线通信系统以无线方式从远程用户摄影机10传送图像。
可用诸如例如1999年TENCON的IEEE会议录第72至75页刊载的ko等人的题为“用于眼睛头部控制的人机接口的面部特征跟踪”的文章中所述的多种算法来进行特征跟踪。这种能进行实时面部特征跟踪的算法可以用它从所处理的面部图像中辨别出的候选块来画出完整的图,然后计算每一对块的相似度测定值。作为具有最大相似度的块来确定眼睛的位置。根据眼睛的位置确定嘴、唇角和鼻孔的位置。跟踪这些已定位了的特征。
在例如发表于Vision Research第41卷3587至3596页[2001]中Pelz等人的题为“复杂任务中眼球运动行为和知觉策略”的文章中可以找到这样的可穿戴式图像捕获设备6,它具有用来记录眼睛运动的的用户摄影机10。上述文章说明了呈头盔/护目镜形式的可穿戴式轻重量的眼睛跟踪器,它包括:含有红外发射器的模块;小型的眼睛摄影机;以及,用于使摄影机与发射的光束相共轴的光束分裂器。反射能使瞳孔发光以形成明亮的瞳孔图像。外部的镜子使光路朝护目镜的前部折射,在那里,热反射镜使I R射向眼睛并将眼睛图像反射回眼睛摄影机。第二小型摄影机安装在护目镜上,以便捕获来自用户视角的场景图像。
在图1b和图1c中,示出了用户摄影机10包括两个部件,它们能捕获双眼的眼睛特征。但是,应该注意,用户摄影机10可用能捕获用户双眼或仅一只眼睛的眼睛特征的一个部件来表示。
图像捕获设备6配备有CPU14所使用的适当的软件,它用于创建和使用个性化的情感信息。这一软件一般存储在数字存储设备12上并且能用通信模块18来上载或更新。此外,使CPU14就可从捕获模块8所提供的场景图像中抽出的非情感信息进行图像处理和分析的软件程序也存储在数字存储设备12上。再有,数字存储设备12还可存储有:与个人用户概要文件有关的信息,个人用户概要文件可以是专用的数据库,它包括诸如与典型反应模式有关的定量信息之类的概括用户反应特征的信息;以及,能使CPU14访问上述专用数据库的软件程序。上述个人用户概要文件可在创建和使用个性化情感信息时由CPU14来查询。个人用户概要文件由就用户2的反应而学到的新信息来加以更新。
应该认识到,上述图像捕获设备6的所有部分和组件均可实现为图像捕获设备6的成整体的部分或者实现为用导线相连或以无线方式相连的在物理上是独立的部分。
以下说明使图像捕获设备6根据对诸如从面部表情中抽出的喜爱程度或情感类别以及从面部表情中抽出的特殊程度之类的面部特征的分析来确定情感信息的方法的多种实施例。其它的实施例示出了用于根据诸如从瞳孔大小和眼睛运动中抽出的感兴趣程度或从皮肤电流反应中抽出的兴奋程度之类的生理信息确定情感信息的方法。另外的实施例示出了用面部分分析和生理信息的组合来获得情感信息的方法。
参照图2a和2b,示出了这样的流程图,它说明了本发明用于根据特定用户对特定场景图像的子集的喜爱程度提供情感信息的方法的实施例。在这一实施例中,根据特定用户的面部表情来确定情感信息。
用户2首先启动图像捕获设备6(步骤110)。在一个最佳实施例中,实现本发明方法的软件应用程序业已安装在图像捕获设备6上并且自动地启动(步骤112)。另外,用户可利用图像捕获设备6上的适当控制钮(未示出)来手工地启动所述应用程序。
用户2输入诸如用户ID和口令之类的标识数据(步骤114)。在另一个实施例中,用户摄影机10与面部识别软件一道使用,以便自动地确定用户2的身份并提供诸如用户名、个人识别码或其它标识之类的适当的用户标识。在又一个实施例中,用户标识数据可用例如通信模块18从对设备6为外部数据源例如射频转发器中获得。在再一个实施例中,图像捕获设备6是利用用户标识数据进行了预编程的,因此不需要步骤114。
图像捕获设备6可选择地提供信号选择,所述信号可以记录下来,以便在用户观看场景时确定用户的情感反应(步骤116)。用户选择预定的信号,即在这种情况下是面部表情(步骤118)。在另一个实施例中,图像捕获设备6预编程成使用一个或多个情感信号,从而不需要步骤116和118。
然后用户2可引导成像设备以便对要捕获的场景构图。捕获模块8捕获场景的第一图像(步骤120),同时,用户摄影机10捕获用户2的第一面部图像(步骤130)。
图像捕获设备6暂时将场景图像(步骤122)和面部图像(步骤132)存储起来并且自动地分析用户2的面部表情(步骤134)。面部表情可用诸如载于1995年麻州剑桥出版的ICCV95会议录Essa等人的题为“用动态模型和运动能量进行面部表情识别”的文章中的算法之类的用于面部表情识别的公知算法来加以分析。这种算法是以与各种表情相关的面部肌肉活动的概率分布的知识以及皮肤和肌肉的详细物理模型为基础的。这种物理模型用于通过比较来自视频信号的经估算的肌肉活动与从情感表示的视频数据库中获得的典型肌肉活动而识别面部表情。
面部表情还可以用其它公知的算法来分析。可以在载于Roboticsand AutonomouS System2000年第31卷第131至146页的J.J.Lien等人的“面部表情中活动单元的方向、跟踪与分类”中找到这种算法的一个实例。在载于Psychophsiology第36卷第253至263页[1999]的Bartlett等人的题为“用计算机图像分析来测定面部表情”的文章中找到相似的算法。这些算法是以识别特定面部活动-基本的肌肉运动-为基础的,载于加州Palo Alto的Consulting PsychologistsPress公司出版的Ekman等人[1978]的题为“面部活动编码系统”一文中说明了这些特定面部活动。在“面部活动编码系统(FACS)中,将基本的面部活动结合起来表示任何的面部表情。例如,自发的微笑可用两种基本面部活动来表示:1)称为大颧肌的肌肉使嘴角上升;以及,2)称为眼轮匝肌的肌肉使眼睛起皱。所以,当在视频信号中检测到上升的嘴角和起皱的眼睛时,就意味着人正在微笑。作为面部表情分析的结果,可在检测到用户面部微笑时将用户的脸识别为微笑或在未检测到微笑时将用户的脸识别为未微笑。
图像捕获设备6确定微笑的大小(步骤136)。如果未检测到微笑,则微笑的大小等于0。如果对给定的图像已经检测到微笑,则按特定图像开始之后头三秒中嘴角之间最大距离除以人眼间距离来确定图像的微笑大小。
用上述面部识别算法来确定用户2的眼睛之间的距离。考虑嘴的大小与有关用户2的头的测量值之间的比率(例如眼睛之间的距离)的必要性源于这样的原因即:从面部图像中抽出的嘴的大小取决于用户2到用户视频摄影机10的距离、头的位置等等。用户2的眼睛之间的距离用于考虑这种依赖性,但是,也可以使用诸如脸的高度或宽度、脸的面积之类的其它测量值。
图像捕获设备6确定喜好程度(步骤138)。如果未检测到微笑,则微笑大小和喜好程度为0。如果确实检测到微笑,则绝对喜好程度对应于微笑大小。将相对喜好程度定义为微笑大小除以与用户2的个人用户概要文件相关的平均微笑大小。对个人用户概要文件中的平均微笑大小数据可持续地更新并存储在数字存储设备12上。然后,可用微笑大小数据来更新与平均微笑大小有关的个人用户概要文件(步骤139)。
将所获得的喜好程度与用户2形成的阈值作比较(步骤140),如果所获得的喜好程度在阈值之上,则图像捕获设备6就创建一个为相应图像的个人情感标记,它指示对该捕获的特定图像的喜好(步骤144)。在另一个实施例中,还可根据个人用户概要文件例如根据先前累积的用户喜好程度分布的概率自动地建立用于喜好程度的阈值。在一个实施例中,这种概率可以等于0.5,因此,用于喜好程度的阈值会对应于在至少50%的场合下出现的值。在另一个实施例中,个人情感标记可包括从一系列喜好值中选出的值,从而能区分出捕获到的多种图像之间的相对喜好程度。
图像捕获设备6将相应的图像和指示喜好程度的个人情感标记作为图像元数据的一部分存储在包含有场景图像的图像文件中(步骤146)。另外,指示喜好程度的个人情感标记可以连同用户标识数据和图像标识存储在独立的文件中。在这样做时,数据存储在指示文件位置的图像元数据内。此外,与用户2观看某一图像的日期(即在捕获当时)有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中,原始面部图像作为情感信息连同图像标识和用户标识存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中,并且,在以后可选择用独立的系统进行分析。例如,可用通信模块18(见图1)和因特网服务提供商20将场景图像和原始面部图像传送给独立的桌面计算机(未示出)或计算机服务器(未示出),它们可执行上述与步骤134-138有关的分析。
用通信模块18将相关的图像、个人情感标记和任何其它的图像元数据发送给数字图像的个人数据库(步骤148)。可例如用独立的桌面计算机(未示出)或计算机服务器(未示出)来存储这种个人图像数据库。
在所示的实施例中,如果所获得的喜好程度在阈值之下,则删除用户的面部图像(步骤142)。在另一个实施例中,如果所获得的喜好程度在阈值之下并且如果用户2仍然在观看同一场景或诸如例如预览屏幕22上的捕获的场景图像,则图像捕获设备6可选择捕获下一个面部图像并重复步骤132至140,以便确定在用户2观看同一场景或捕获的场景图像时用户2是否改变了其面部表情。
如果阈值被设为0,则将如上所述那样将图像捕获设备6记录的所有场景图像和相应的情感信息(喜好程度或在另一实施例中是原始面部图像)存储起来。
如果用户保持电源开(步骤124),则重复捕获下一场景图像的过程(步骤120-124),同时重复确定和存储所捕获的图像(步骤130-146)的个人情感标记(步骤126)。
只要用户保持图像捕获设备6的电源开,图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。如果关闭电源,图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程(步骤128)。
可在数字成像系统中用喜好程度来按系统和连续的方式将图像归类成特定用户喜爱的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中,可以确定对场景图像的二元喜好程度。当在步骤136中检测到微笑时,将相应的图像分类成喜欢的,二元喜好程度等于1。另外,在未检测到微笑时,将图像分类成不喜欢的,二元喜好程度等于0。
然后,将根据二元喜好程度确定的情感信息存储成个人情感标记,它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识数据存储在数字存储设备12上的单独文件内。此外,根据用户面部表情的实际图像的情感信息还可连同图像标识和用户标识存储在单独的文件内。
在另一个实施例中,仅在情感信息超过诸如用于相对微笑大小之类的阈值时,才由图像捕获设备6将所捕获的图像传给因特网提供商20。因此,仅将超过喜好阈值的图像存储在用户的个人图像数据库内。在这一实施例中,元数据存储在指示这类文件满足喜好阈值的图像文件中。
参照图3a和3b,示出了一流程图,它说明了本发明用于在图像捕获过程中提供能标明用户反应的情感类别的情感信息的另一个实施例。在这一实施例中,根据对用户面部表情的分析来获得情感信息。
在又一个实施例中,可以确定场景图像的情感类别。可将面部表情分成较广范围的情感类别,诸如“高兴”、“悲伤”、“厌恶”、“吃惊”等。作为面部识别的结果,激发“高兴”面部表情的场景被分配至“高兴”情感类别,激发“悲伤”面部表情的场景被分配至“悲伤”情感类别,等等。可用一系列用于这些类别的值诸如很高兴、略微高兴、中性和略微悲伤及很悲伤等对场景图像进行分类。
然后,将根据情感类别所确定的情感信息存储为个人情感标记,它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识存储在数字存储设备12上的单独文件内。
可将面部表情分成较广范围的情感类别,诸如“高兴”、“悲伤”、“厌恶”、“吃惊”等。在2002年Journal of Cognitive Neuroscience中发表的Dailey等人的题为“EMPATH:对面部表情进行分类的神经网络”一文中说明了对面部表情进行分类的公开算法。该算法根据开发前馈神经网络将面部表情分成六个基本情感类别:“高兴”、“悲伤”、“害怕”、“生气”、“厌恶”和“吃惊”,所述神经网络包括三层神经元,它们执行三个层次的处理:知觉分析、对象表示以及分类。在这一模型中,第一层模拟一组具有与视觉皮层中复杂细胞相类似性质的神经元。第二层中的单元从数据中抽取出规律。第三层的输出被分进六个基本情感。因此,可用六个数来对各面部表情进行编码,每一个数为一种情感。与不同情感相对应的数均为正的,且和为1,因此,可将它们解释为概率。
下列方法可根据用户的面部表情来确定情感类别并且进一步提供用于这些类别的一系列的值,具体地说,图3a和3b说明并示出了情感类别的“特殊”程度。与特定情感的模糊性或不确定性相反,一个情感类别的特殊性反映了该情感的的唯一性或“纯洁性”。在普遍语言中,这种情感通常被称为“混合的感觉”。
图3的实施例的步骤150至172一般对应于图2的实施例的步骤110至132。
在这一实施例中,图像捕获设备6通过应用Dailey等人所述的神经网络方法自动地分析用户2的面部表情(步骤174)。结果,使用户的面部表情与6个数相关联,每个数用于一个基本情感。
通过按最大的数选择情感类别可以确定一个情感类别(EC)(步骤176)。例如,如果所述的数分别是用于“高兴”、“悲伤”、“害怕”、“生气”、“厌恶”和“吃惊”的0.5、0.01、0.2、0.1、0.19和0,则所确定的情感类别是高兴,因为,高兴具有最大的相应数0.5。因此,激发“高兴”面部表情的场景被赋于了“高兴”类别,激发“悲份”面部表情的场景被赋于了“悲份”类别等等。
当几个类别有相同的数时,可将一个类别随机地选择为面部表情。另外,在几个类别具有相同的数时,可用其它情感或非情感信息来帮助选择一个类别。
图像捕获设备6确定情感类别的独特程度(步骤178)。根据在前一步骤176形成的6种情感的数字来计算独特性程度(DDEC),所述的数字为方便起见用N1、N2、N3、N4、N5和N6来表示。在本发明中用下式确定情感类别EC的独特性程度:
D D EC = ( N 1 2 + N 2 2 + N 3 2 + N 4 2 + N 5 2 + N 6 2 )
DDEC对应于情感类别EC的绝对独特性程度。将相对独特性程度定义为情感类别EC的绝对独特性程度除以特定用户的相应情感类别的用户概要文件中形成的DDEC的平均值。用户概要文件的平均DDEC数据可经常地加以更新并作为用户2的个人用户概要文件的一部分存储在数字存储设备12上。就情感类别DDEC的平均独特性程度查询和更新个人用户概要文件(步骤180)。
将所获得的独特性程度与用户2建立或为用户2建立的阈值作比较(步骤180)。如果所获得的独特性程度在阈值之上,则图像捕获设备6形成用于相应图像的个人情感标记,它用这种捕获的特定图像的独特性程度来表示一种情感类别(步骤184)。
在另一个实施例中,还可根据个人用户概要文件例如根据与特定情感类别相对应的先前累积的用户独特性程度分布的概率自动地建立用于独特性程度的阈值。在一个实施例中,这种概率可以等于0.5,因此,用于独特性程度的阈值会对应于在至少50%的场合下出现的值。在另一个实施例中,个人情感标记可包括从一系列独特性值中选出的值,从而能区分出捕获到的多种图像之间的相对独特性程度。
图像捕获设备6将相应的图像和用独特性程度指示情感类别的个人情感标记作为图像元数据的一部分存储在包含有场景图像的图像文件中(步骤186)。另外,用独特性程度指示情感类别的个人情感标记可以连同用户标识数据和图像标识存储在独立的文件中。此外,与用户2观看某一图像的日期(即在捕获当时)有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中,原始面部图像作为情感信息连同图像标识和用户标识存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中,并且,在以后可选用独立的系统进行分析。例如,可用无线调制解调器18(见图1)和因特网服务提供商20将场景图像和原始面部图像传送给独立的桌面计算机(未示出)或计算机服务器(表示出),它们可执行上述与步骤174-178有关的分析。
用通信模块18将相关的图像、个人情感标记和其它的图像元数据发送给因特网服务提供商20、数字图像的个人数据库(步骤188)。可例如用独立的桌面计算机(未示出)或计算机服务器(未示出)来存储这种个人图像数据库。
在所示的实施例中,如果所获得的独特性程度在阈值之下,则删除该用户的面部图像(步骤182)。如果所获得的独特性程度在阈值之下并且如果用户2仍然在观看诸如例如预览屏幕22上的捕获的场景图像,则图像捕获设备6可有选择地捕获下一个面部图像并重复步骤172至180,以便在用户2观看同一场景或预览屏幕22上捕获的场景图像时确定用户2是否改变了其面部表情。
如果阈值被设为0,则将图像捕获设备6记录的所有场景图像和相应的情感信息(带有独特性程度的情感类别或在另一实施例中是原始面部图像)作为情感信息连同图像标识数据和用户标识永久地存储在图像捕获设备6上的独立文件内或作为图像元数据的一部分永久存储在个人情感标记内。
只要用户2保持图像捕获设备6的电源开,图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。在步骤168中,如果关闭电源,图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程。
如果用户2保持电源开(步骤124),则重复捕获下一场景图像的过程(步骤160-166),同时重复确定和存储所捕获的图像(步骤170-186)的个人情感标记。
可在数字成像系统中用情感类别及其独特性程度来按系统和连续的方式将图像归类成特定用户的情感显著或喜爱的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中,只有场景图像的情感类别可以在没有独特性程度的情况下确定。当检测到情感类别时(步骤174),则按特定的情感对相应的图像进行分类。但是,如果两个或多个情感类别具有在步骤176中的计算产生的相类似的数字,则可分配成中性类别。
将根据情感类别确定的情感信息存储成个人情感标记,它包括作为图像元数据一部分的用户标识数据。还可以将上述情感信息连同图像标识和用户标识数据存储在数字存储设备12上的单独文件内。此外,根据用户面部表情的实际图像的情感信息还可连同图像标识和用户标识存储在单独的文件内。
在上述实施例中,从用户2的面部特征中抽出情感信息。图4a和4b示出了说明本发明另一实施例的流程图,其中,就感兴趣程度根据生理特征即眼睛凝视信息来提供情感信息。就这一实施例而言,根据眼睛凝视时间来确定感兴趣程度,所述眼睛凝视时间是用户2的眼睛在凝视于不同位置之前凝视在场景的特定位置上的时间。
1993年载于Psychophysiology第30卷第261-273页的Lang等人的题为“观看图片:情感、面部、内心深处和行为反应”一文中所述的数据表明,平均而言,观看时间以线性的方式与图像导致观察者的感兴趣或注意程度相关。因此,这种关系可将凝视时间解释为用户对场景的一定区域感兴趣的程度。上述Lang等人的文件仅就第三方场景图像比较了观看时间与感兴趣程度。在本发明中,就场景及第一方场景图像直接评价凝视时间信息,并将其作为图像元数据的一部分存储为个人情感标记或连同用户标识和图像标识存储在独立文件内。
在图4a和4b的实施例中,步骤210-228的方法一般对应于图2中步骤110-128的方法,仅有一点不同:在步骤218中,用户选择“凝视时间”信号。另外可选,图像捕获设备6可预编程能捕获“凝视时间”信息。
在这一实施例中,当用户在图像合成、捕获和捕获后立即浏览过程中观看场景时(步骤230),图像捕获设备6中的用户摄影机10能在诸如30秒的时间窗之类的时间窗中捕获眼睛图像的样本。在某些实施例中,时间窗可由用户2来修改。
将用户2的眼睛凝视方向的坐标以诸如60Hz的取样率之类的取样率存储起来。在某些实施例中,可由用户2来修改取样率。还可以根据诸如来自眼睛凝视的负荷率、场景内容变化的时间率或可用于存储情感数据的存储量之类的其它因素来修改取样率。
将原始凝视坐标分成眼睛的凝视组(步骤234)。眼睛凝视通常被定义为至少50ms的时间,在这段时间里,凝视坐标不会改变超过1度的视角。就每一凝视而言,均确定开始时间、结束时间和凝视坐标。此外,可对每一次凝视均确定平均瞳孔直径。根据起始时间和结束时间测定眼睛凝视的持续时间(步骤236)。
对每一次眼睛凝视来说,图像捕获设备6均确定感兴趣程度(步骤238)。将绝对感兴趣程度定义为相应的凝视时间。对特定的用户来说,将相对感兴趣程度定义为凝视时间除以平均凝视时间。平均凝视时间可以不断更新并存储在数字存储设备12中作为用户2的个人用户概要文件的一部分。就用户2的平均凝视时间查询和更新个人用户概要文件(步骤239)。
将所获得的感兴趣程度与为用户建立的阈值作比较(步骤240)。如果所获得的感兴趣程度在阈值之上,则图像捕获设备6形成感兴趣程度的个人情感标记(步骤244)。另外可选,可根据个人用户概要文件例如根据先前累积的用于用户2的用户感兴趣程度分布的概率自动地建立用于感兴趣程度的阈值。这种概率之一可以等于0.5,因此,用于感兴趣程度的阈值会对应于在至少50%的场合下出现的值。
在一个实施例中,图像捕获设备6将相应的图像和感兴趣程度作为图像元数据的一部分存储在个人情感标记内(步骤246)。另外可选,感兴趣程度可以连同用户标识数据和图像标识存储在独立的文件中。在这样做时,数据存储在图像元数据内,该图像元数据则指示带有个人情感信息的文件的位置。此外,与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
在另一个实施例中,将场景图像和原始眼睛图像存储起来。可在以后通过CPU14或接收所存储的图像的独立设备(未示出)中的处理器来分析原始眼睛图像。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库,如先前就步骤148所述(步骤248)。
如果所获得的感兴趣程度在阈值之下,则删除相应的眼睛图像(步骤242)。如果所获得的感兴趣程度在阈值之下并且用户2仍然在观看同一场景或诸如例如预览屏幕22上的捕获的场景图像,则图像捕获设备6可选捕获眼睛图像的另一个片段并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤232至240。
如果阈值被设为0,则将图像捕获设备6记录的所有场景图像和相应的情感信息(感兴趣程度或在另一实施例中是原始眼睛图像)作为情感信息连同图像标识数据和用户标识存储在图像捕获设备6上的独立文件内或作为图像元数据的一部分存储在个人情感标记内。
只要用户2保持图像捕获设备6的电源开,图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。在步骤168中,如果关闭电源,图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程。
如果用户保持电源开,则重复捕获下一场景图像的过程(步骤220-226),同时重复确定和存储所捕获的图像(步骤230-246)的个人情感标记。
如上所述,可在数字成像系统中用感兴趣程度来按系统和连续的方式将图像归类成特定用户的喜爱或高价值的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请第10/036123号所述。
在另一个实施例中,可用用户摄影机10和中央处理器14获得来自用户眼睛图像的其它信息。例如,这种信息的实例包括但不局限于眼球加速度、眼泪信息、眼睛温度、虹膜形式、血管形式和血管大小。可用这些信息确定用户的身份、情感状态和/或健康状态。可将这些信息作为情感标记的一部分存储起来。
情感信息的另一个来源源于用户2所产生的生理信号。图5说明了本发明的一个实施例,其中,根据生理信号来确定情感信息。在这一实施例中,生理信号是皮肤导电率,根据兴奋程度来表示源于皮肤导电率的情感信息。
皮肤导电率的变化是皮肤导电反应的测量值。皮肤导电率反映了皮肤导电率大小的变化,它被测量为对某一事件--观看场景或场景图像--的反应。如1993年载于Psychophysiology第30卷第261-273页的Lang等人的题为“观看图片:情感、面部、内心深处和行为反应”一文所述,皮肤导电率的变化取决于图像导致观看者的振奋程度:导电率越高,则振奋或兴奋程度越低,反之,导电率越低,则振奋程度越高。还可用皮肤导电反应幅度的测量值来确定感兴趣或注意程度。
在这一实施例中,步骤310-328的方法一般对应于图2中步骤110-128的方法,仅有一点不同:在步骤318中,用户可手动地指示图像捕获设备6去捕获至少作为情感信息一部分的皮肤导电反应信息。另外可选,图像捕获设备6可预编程能捕获皮肤导电反应信息。图像捕获设备6用皮肤导电反应传感器16在诸如5秒的时间窗之类的时间窗中测量皮肤导电反应信号(步骤330)。在某些实施例中,时间窗可由用户2来修改。皮肤导电反应传感器16的一个实例例如是USA纽约W.Chazy的Thought Technology公司出售的ProComp检测器系统中的SC-Flex/Pro传感器。
用取样率例如60Hz的取样率将皮肤导电反应皮肤导电率信号存储起来(步骤332)。某些实施例中,可由用户2来修改取样率。还可以根据诸如场景内容变化率、皮肤导电反应的时间变化率或可用于存储情感数据的存储量来修改取样率。对皮肤导电反应导电率信号进行过滤,以减少数据中的噪音(步骤334)。然后确定皮肤导电反应导电率信号的振幅(步骤336)。
图像捕获设备6根据皮肤导电反应信号确定兴奋程度(步骤338)。对场景的绝对兴奋程度等于经过过滤的皮肤导电反应皮肤导电率信号的振幅。将相对兴奋程度定义为皮肤导电反应信号的振幅除以特定用户的平均皮肤导电反应信号。对平均皮肤导电率可持续地更新并作为用户心理生理概要文件存储在数字存储设备12上。为了计算相对兴奋程度,从个人用户概要文件中检索出平均皮肤导电率反应。就皮肤导电率反应信息更新个人用户概要文件(步骤339)。
将所获得的兴奋程度与为该用户形成的阈值作比较(步骤340),如果所获得的兴奋程度在阈值之上,则图像捕获设备6就创建一指示兴奋程度的个人情感标记(步骤344)。在另一个实施例中,还可根据个人用户概要文件例如根据先前累积的用户兴奋程度分布的概率自动地建立用于兴奋程度的阈值。这种概率之一可以等于0.5,因此,用于兴奋程度的阈值会对应于在至少50%的场合下出现的值。另外可选,个人情感标记可包括从一系列兴奋值中选出的值,从而能区分出捕获到的多种图像之间的相对兴奋程度。
图像捕获设备6将相应的图像和个人情感标记中的兴奋程度作为图像元数据的一部分存储起来(步骤344和346)。另外可选,兴奋程度可以连同用户标识数据和图像标识存储在独立的文件中。此外,与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中,原始皮肤导电反应信号作为情感信息连同图像标识和用户标识数据存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中。
将相关的图像、个人情感标记和任何其它的图像元数据发送给数字图像的个人数据库,如以上就步骤148所述那样(步骤348)。
在步骤342中,如果所获得的兴奋程度在阈值之下,则删除相应的皮肤导电信号。如果所获得的兴奋程度在阈值之下并且用户2仍然在观看同一场景或诸如预览屏幕22上的捕获的场景图像,则图像捕获设备6可选测量皮肤导电率信号的下一个片段5秒钟并在用户2观看同一场景或捕获的同一场景图像时重复步骤332至340。
如果阈值被设为0,则将图像捕获设备6记录的所有场景图像和相应的情感信息存储起来。然后更新个人用户概要文件(步骤339)。
如前所述,可在数字成像系统中用兴奋程度来按系统和连续的方式将图像归类成特定用户喜爱、重要或兴奋的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
应该认识到,各用户2可能对图像有不同的生理和面部表情。某些用户可能会表现出强烈的生理反应同时仅表现出有节制的面部表情。另一些用户则可能会表现出适度的生理反应同时仅表现出强烈的面部表情。还有一些用户可能会表现出适度的生理和面部反应。因此,通过将不同类型的情感信息组合起来,可以获得用户2对场景的情感反应的更有效的表示。以下的实施例示出了用组合的生理和面部反应信息解释情感信息以便于解释情感信息的方法。
参照图6a和6b,示出了一流程图,它说明了本发明用于根据就图2-4所述的三种情感信号即喜好程度、感兴趣程度和兴奋程度的组合来提供情感信息的另一个实施例,将所述三种情感信号进一步组合起来以获得正的重要性的整体测量值。
在这一实施例中,步骤410-428的方法对应于图2中步骤110-128的方法,仅有一点不同:在步骤418中,用户选择使用“组合”信号。另外可选,图像捕获设备6可预编程能使用“组合”信号。
图像捕获设备6根据面部表情确定喜好程度(DP),如以上就图2中的步骤130至139所述(步骤430和432)。图像捕获设备6还根据凝视时间以在图3中的步骤230至239同样的方式确定感兴趣程度(DI)(步骤434和436)。图像捕获设备6还根据皮肤导电率以在图5中的步骤330至339同样的方式确定兴奋程度(DE)(步骤438和440)。
图像捕获设备6根据上述三种测量值之和确定正的重要性程度(或“喜爱”):
正的重要性=DP+DI+DE
在另一个实施例中,根据上述三种测量值的加权和确定正的重要性程度:
正的重要性=wDPDP+wDIDI+wDEDE
其中,根据先前就特定用户获得的各标准化的(除以最大值)信号中的标准偏差来确定权值wDP、wDI和wDE。在这种情况下,信号中的标准偏差越大,正的重要性的测量值中用于信号的贡献权重就越大。因此,给定的信号的标准偏差越低,则正的重要性的测量值中用于信号的贡献权重就越低。这种相关性的缘由源自于这样的假设:特定用户的特定测量值的标准偏差反映了不同场景间的个别的差异度。这就意味着最高标准偏差中的信号具有更多的区分能力,因而对考虑和确定特定用户的正的重要性的整体测量值来说更为重要。
例如,如果对用户A来说不同的场景激发了多种面部表情和不太多的皮肤导电反应,则根据面部表情给喜好程度(DP)的测量值的权值wDP要大于根据皮肤导电率给兴奋程度(DE)的测量值的权值wDE。另一方面,如果对用户B来说不同的场景激发了不太多的面部表情和很多的皮肤导电反应,则权重间的关系会相反。可在步骤443从个人用户概要文件中获得与相应信号的最大值和标准偏差有关的数据。然后就这一信息更新个人用户概要文件。
将所获得的正的重要性程度与阈值作比较(步骤444)。阈值可以事先确定。阈值也可以由用户2来建立或者为用户2而建立。如果所获得的正的重要性程度在阈值之上,则图像捕获设备6形成指示正的重要性程度的个人情感标记(步骤448)。在另一个实施例中,可根据个人用户概要文件例如根据先前累积的正的重要性程度分布的概率自动地确定阈值。所述概率可以选定为与具有先前0.5概率的正的重要性程度相对应。
图像捕获设备6将相应的图像和正的重要性程度作为图像元数据的一部分存储在个人情感标记内(步骤450)。另外可选,正的重要性程度可以连同用户标识数据和图像标识存储在独立的文件中。此外,与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库,如先前就图2的步骤148所述(步骤452)。
如果所获得的正的重要性程度在阈值之下,则删除相应面部图像片段、眼睛图像和皮肤导电率信号(步骤446)。
如果所获得的正的重要性程度在阈值之下并且用户2仍然在观看同一场景或诸如预览屏幕22上的捕获的场景图像,则图像捕获设备6可选测量下一个图像片段、眼睛图像和皮肤导电率信号,并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤432至444。
如果阈值被设为0,则将图像捕获设备6记录的所有场景图像和相应的情感信息(正的重要性程度,在另一实施例中是原始面部图像、眼睛图像和皮肤导电反应信号)存储起来。
如前所述,可在数字成像系统中用正的重要性程度来按系统和连续的方式将图像归类成特定用户的喜爱、重要或兴奋的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中,可用面部表情、眼睛特征和生理反应的不同组合来创建个人情感标记,以便根据诸如“欢乐”、“恐惧”、“生气”等之类的较广范围的情感类别对场景进行分类。这种分类的实例如表1所示。
表1:根据面部表情、眼睛特征和生理反应的组合的情感分类
Figure C20031011837200301
可用一系列用于这些类别的值诸如很高兴、略微高兴、中性和略微悲伤及很悲伤等对图像进行分类。
然后,将根据情感类别所确定的情感信息存储为个人情感标记,它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识存储在计算机上的单独文件内。
参照图7,示出了说明本发明另一实施例的流程图,其中,以组合的方式用生理和面部分析确定情感信息。在这一实施例中,与用户对图像的反应有关的情感信息是以就图2-5所示的四种情感信号即喜好程度、独特性程度、感兴趣程度和兴奋程度的组合为基础的,将上述四种情感组合起来以获得重要性的整体测量值。这一实施例适用于诸如图1c所示的可穿戴式图像捕获设备6之类的实施例。
在这一实施例中,步骤510-528的方法对应于图6中步骤410-428的方法,仅有两点不同:用户选择使用“组合的不同”信号,或者,图像捕获设备6可预编程能使用“组合的不同”信号。
图像捕获设备6如先前就图3中步骤170-179所述那样确定独特性程度(DD)(步骤530和533)。
图像捕获设备6确定重要性程度(或情感反应的级别)。在这一实施例中,重要性程度的测量值是以四种测量值之和为基础的:
重要性=DP+DD+DI+DE
重要性=DPwDP+DDwDD+DIwDI+wDEDE
其中,根据先前就特定用户获得的各标准化的(除以最大值)信号中的标准偏差来确定权值wDP、wDD、wDI和wDE。在这种情况下,信号中的标准偏差越大,重要性的测量值中用于信号的贡献权重就越大。因此,给定的信号的标准偏差越低,则重要性的测量值中用于相应信号的贡献权重就越低。这种相关性的缘由源自于这样的假设:特定用户的特定测量值的标准偏差反映了不同场景间的个别的差异度。这就意味着最高标准偏差的信号具有更多的区分能力,因而对考虑和确定特定用户的重要性的整体测量值来说更为重要。
例如,如果对用户A来说不同的场景激发了多种面部表情和不太多的皮肤导电反应,则根据面部表情给喜好程度(DP)的测量值的权值wDP要大于根据皮肤导电率给兴奋程度(DE)的测量值的权值wDE。另一方面,如果对用户B来说不同的场景激发了不太多的面部表情和很多的皮肤导电反应,则权重间的关系会相反。可从个人用户概要文件中获得与相应信号的最大值和标准偏差有关的数据。然后就这一信息更新个人用户概要文件(步骤543)。
将所获得的重要性程度与阈值作比较(步骤544)。阈值可以事先确定。阈值也可以由用户2来建立或者为用户2而建立。如果所获得的重要性程度在阈值之上,则图像捕获设备6形成指示重要性程度的个人情感标记(步骤548)。在另一个实施例中,可根据个人用户概要文件例如根据先前累积的重要性程度分布的概率自动地确定阈值。所述概率可以选定为与具有先前0.5概率的重要性程度相对应。
图像捕获设备6将相应的图像和重要性程度作为图像元数据的一部分存储在个人情感标记内(步骤550)。另外可选,重要性程度可以连同用户标识和图像标识存储在独立的文件中。此外,与用户观看某一图像有关的信息也可以作为一个单独的条目记录进个人情感标记。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库,如先前就图2的步骤152所述(步骤552)。
如果所获得的重要性程度在阈值之下,则删除相应面部图像片段、眼睛图像和皮肤导电率信号(步骤546)。在另一实施例中,如果所获得的重要性程度在阈值之下并且用户2仍然在观看同一场景或例如预览屏幕22上的捕获的场景图像,则图像捕获设备6可选测量下一个面部图像片段、眼睛图像和皮肤导电率信号并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤532至544。
如果阈值被设为0,则将图像捕获设备6记录的所有场景图像和相应的情感信息(重要性程度,在另一实施例中是原始面部图像、眼睛图像和皮肤导电反应信号)存储起来。
在其它实施例中,可用这三个或其它情感信号(诸如来自于声音、EEG、脑扫描图、眼睛运动和其它)的不同组合来创建个人情感标记,以便根据较广范围的情感类别对场景进行分类。此外,用诸如位置信息、图像分析、日历和时序信息、时间和日期信息之类的非情感信息来帮助更好地确定诸如与图像有关的重要程度之类的情感信息。
如前所述,可在数字成像系统中用重要性程度来按系统和连续的方式将图像归类成特定用户的喜爱、重要或兴奋的图像,如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。还可在图像捕获设备6中用重要程度来确定图像压缩、分辨率和存储。图像捕获设备中用于创建和使用个人情感标记的计算机程序可记录在一个或多个存储介质上,例如记录在诸如磁盘(如软盘)或磁带之类的磁性存储介质上、诸如光盘、光带或机读条码之类的光学存储介质上、诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备上、或其它用于存储具有实现本发明方法的指令的计算机程序的物理设备或介质上。
个人情感标记可包括指定相对重要性程度的信息。如前所述,可仅根据情感信息来确定相对重要程度。另外可选,可组合地用情感和非情感信息来确定相对重要程度。非情感信息的实例包括那些诸如能从全球定位系统或类似的电子定位器中获得的之类的日期和时间信息、位置信息。对图像本身的图像分析也可用作能影响相对重要程度的非情感信息的来源。例如,通过现有的图像处理和图像理解算法可以很容易地识别场景中存在有特定的主题。Luo等人1998年12月31日提交的共同授与的US专利第6282317B1公开了一种这类算法,该专利说明了用于通过识别作为语义显著特征的人体、脸、天空、草等以及与颜色、纹理、亮度等相关的“结构”显著特征并将这些特征组合起来生成信念图而自动确定照片主题的方法。
Luo等人2000年12月14日提交的题为“用于检测数字图像中人体图的图像处理方法”的共同转让的US专利第US 2002/0076100A1中公开的另一种图像处理技术能检测数字彩色图像中的人体图。该算法首先将图像分成相同彩色或纹理的非重叠区,其后检测人类皮肤颜色的候选区和人脸的候选区,然后,对每个候选的人脸区而言,均通过根据预定的人体图的图形模型来区分人脸区附近的区域、给出人体皮肤颜色区的优先级,从而构造出人体图。用诸如在2002年载于第五届I EEE国际自动面部和姿势识别大会会议录第0197-0201页的Liu等人的题为“使用基于核心的费舍尔判别分析的面部识别”一文中所述之类的面部识别算法确定的在场景中有人或有特定的人可用来增加相对重要程度。该算法还可用于有选择地处理图像,以便增强图像的质量、突出主题,如Luo等人于2000年8月18日提交的题为“用于突出图像主题的数字图像处理系统和方法”的共同授与的US专利申请第09/642533所述,上述算法还用于与所识别出的人共享图像或出于保密的考虑将图像传给代理机构。
在上述实施例中,业已将图像和图像捕获系统说明为是数字图像和数字图像捕获系统。与本发明的原理相一致,可用模拟的电子形式或诸如胶片或底板之类的光学介质来捕获场景的图像。在用上述形式中的一种来捕获图像时,可以通过与带某种标识码的图像分开记录情感信息而连同图像一道来记录表示情感信息的数据,上述标识码指示情感信息要与之相关联的图像。
另外可选地,可关联模拟电子图像对情感信息进行编码和记录。在使用胶片或底板时,可用光学的方式或用磁性的方式将情感信息记录到胶片或底板上。还可将情感信息记录到与胶片或底板相关联的电子存储器上。
依照本发明,将情感信息说明为是在捕获时或在捕获期间捕获的。正如本文所使用的那样,这些术语包括了构成或捕获图像的任何时间段。当例如拍照者正在验证所捕获的图像是否满足其要求时,这类时间段还可包括紧挨着捕获时刻后的时间段。

Claims (10)

1.一种成像方法,它包括下列步骤:
捕获场景的图像;
收集捕获时的情感信息,该信息包括人的面部特征、眼图像、和生理特征;以及
将情感信息与场景图像相关联;
其中,把捕获时的情感信息与场景图像相关联的步骤包括:
根据收集的生理特征来确定兴奋程度;
根据收集的眼图像来确定感兴趣程度;
根据收集的面部特征来确定喜好程度;以及
至少部分地根据所确定的感兴趣程度、兴奋程度、或喜好程度,而确定场景图像的相对重要程度。
2.如权利要求1的方法,其特征在于,它还包括下列步骤:
收集用户标识数据;以及
将情感信息和用户标识数据与场景图像相关联。
3.如权利要求1的方法,其特征在于,收集捕获时的情感信息的步骤进一步包括根据面部特征来确定独特性程度,而且,用以确定相对重要程度的步骤包括根据所确定的感兴趣程度、兴奋程度、喜好程度以及所确定的独特性程度,而确定相对重要程度。
4.如权利要求3的方法,其特征在于,所述收集捕获时的情感信息的步骤包括:把独特性程度确定为多个情感类别分数的各分数的每个数字表示的平方和的方根。
5.如权利要求1的方法,其特征在于,它还包括下列步骤:在捕获时获得非情感信息并解释情感信息和非情感信息,以确定场景图像的相对重要程度。
6.一种摄影方法,它包括下列步骤:
捕获场景的图像;
获得捕获时摄影者的图像;
至少部分地根据对摄影者的图像的解释确定情感信息;以及
将情感信息与场景图像相关联,
其中,所确定的情感信息包括根据从摄影者图像得来的摄影者的面部特征而确定的摄影者的情感类别,以及独立于摄影者的面部特征而确定的情感类别的独特性程度。
7.一种用于确定情感信息的方法,它包括下列步骤:
获得情感信号,这些信号包括人的面部特征、眼图像和生理特征;
分析上述面部特征以确定喜好程度;
根据生理特征来确定兴奋程度;
根据眼图像来确定感兴趣程度;
至少部分地根据所确定的感兴趣程度、兴奋程度、或喜好程度,而确定场景图像的相对重要程度;以及
把所确定的相对重要程度与环境刺激相关联,该环境刺激为情感信号被获得时该人所面对过的。
8.一种图像捕获系统,它包括:
图像捕获系统,它适用于捕获用户选定的图像;存储器,它存储上述图像;以及;一组传感器,它适用于在捕获时捕获来自用户的情感信号,该信号至少包括面部特征、眼图像、以及生理特征其中之一;以及,
处理器,它适用于根据所捕获的情感信号来确定情感信息,并适用于将情感信息与所捕获的图像相关联,其中所述处理器至少适用于以下之
根据所捕获的面部特征而确定喜好程度;
根据生理特征而确定兴奋程度;或
根据眼图像而确定感兴趣程度。
9.如权利要求8的图像捕获系统,其特征在于,所述处理器进一步适用于至少部分地根据所确定的感兴趣程度、兴奋程度、或喜好程度,而确定场景图像的相对重要程度。
10.如权利要求8的图像捕获系统,其特征在于,所述图像捕获系统适用于根据所确定的感兴趣程度、兴奋程度、喜好程度、或相对重要程度,而删除所捕获的图像。
CNB2003101183726A 2002-11-25 2003-11-25 成像方法与系统 Expired - Fee Related CN100430934C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/304,127 US7233684B2 (en) 2002-11-25 2002-11-25 Imaging method and system using affective information
US10/304127 2002-11-25

Publications (2)

Publication Number Publication Date
CN1510903A CN1510903A (zh) 2004-07-07
CN100430934C true CN100430934C (zh) 2008-11-05

Family

ID=32229950

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101183726A Expired - Fee Related CN100430934C (zh) 2002-11-25 2003-11-25 成像方法与系统

Country Status (4)

Country Link
US (2) US7233684B2 (zh)
EP (1) EP1422639A3 (zh)
JP (1) JP2004178593A (zh)
CN (1) CN100430934C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942475A (zh) * 2013-01-23 2014-07-23 三星电子株式会社 用户终端和用于在用户终端中识别用户的图像处理方法
CN104137096A (zh) * 2012-03-01 2014-11-05 株式会社尼康 电子设备

Families Citing this family (284)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
US7043048B1 (en) 2000-06-01 2006-05-09 Digimarc Corporation Capturing and encoding unique user attributes in media signals
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
GB2395853A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Association of metadata derived from facial images
US8339462B2 (en) 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
GB2404511B (en) * 2003-07-26 2007-08-22 Hewlett Packard Development Co Image capture device having a learning function
US9836751B2 (en) * 2003-07-31 2017-12-05 International Business Machines Corporation Self-contained and automated eLibrary profiling system
JP2005122128A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 音声認識システム及びプログラム
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US7437005B2 (en) * 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
JP2005266984A (ja) * 2004-03-17 2005-09-29 Konica Minolta Holdings Inc 画像処理システム
US8572221B2 (en) * 2004-05-26 2013-10-29 Facebook, Inc. System and method for managing an online social network
JP4641389B2 (ja) * 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
DE102004027443B3 (de) * 2004-06-04 2005-07-21 Dräger Safety AG & Co. KGaA Messsystem für die berührungslose Körperkerntemperatur-Bestimmung
JP2006025007A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
US9704502B2 (en) * 2004-07-30 2017-07-11 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
US9779750B2 (en) 2004-07-30 2017-10-03 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
US7463792B2 (en) * 2004-08-17 2008-12-09 Peterschmidt Eric T System and method of archiving family history
KR100763900B1 (ko) * 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
JP4511304B2 (ja) * 2004-10-12 2010-07-28 シャープ株式会社 行動履歴記録装置、行動履歴管理システム、行動履歴記録方法およびプログラム
US7586517B2 (en) * 2004-10-27 2009-09-08 Panasonic Corporation Image pickup apparatus
IL165586A0 (en) * 2004-12-06 2006-01-15 Daphna Palti Wasserman Multivariate dynamic biometrics system
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7742079B2 (en) * 2005-02-07 2010-06-22 Sony Corporation Digital camera with automatic functions
GB0502844D0 (en) 2005-02-11 2005-03-16 Univ Edinburgh Storing digital content for access using a captured image
US8235725B1 (en) * 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
US7734654B2 (en) * 2005-08-16 2010-06-08 International Business Machines Corporation Method and system for linking digital pictures to electronic documents
US7707171B2 (en) * 2005-09-16 2010-04-27 Imagini Holdings Limited System and method for response clustering
US8775975B2 (en) 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
US20080235284A1 (en) * 2005-09-26 2008-09-25 Koninklijke Philips Electronics, N.V. Method and Apparatus For Analysing An Emotional State of a User Being Provided With Content Information
JP2007104529A (ja) * 2005-10-07 2007-04-19 Eastman Kodak Co デジタルカメラおよびタイムラグ設定方法
JP2007133531A (ja) * 2005-11-09 2007-05-31 Advanced Telecommunication Research Institute International 注目状態検出装置、及び注目状態検出方法
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7636450B1 (en) 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7720258B1 (en) 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7706577B1 (en) * 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US8334993B2 (en) * 2006-03-01 2012-12-18 Fotomedia Technologies, Llc Methods, systems, and computer program products for associating an image with a communication characteristic
US7610255B2 (en) * 2006-03-31 2009-10-27 Imagini Holdings Limited Method and system for computerized searching and matching multimedia objects using emotional preference
US8650141B2 (en) * 2006-03-31 2014-02-11 Imagini Holdings Limited System and method of segmenting and tagging entities based on profile matching using a multi-media survey
KR100763236B1 (ko) * 2006-05-09 2007-10-04 삼성전자주식회사 생체 신호를 이용하는 동영상 편집 장치 및 방법
JP4175390B2 (ja) * 2006-06-09 2008-11-05 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4829012B2 (ja) * 2006-06-14 2011-11-30 富士フイルム株式会社 人物撮像装置,その制御方法およびその制御プログラム
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP4757173B2 (ja) * 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4961984B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
US9122645B1 (en) 2006-12-20 2015-09-01 Qurio Holdings, Inc. Method and system for tagging within virtual groups
US7995794B2 (en) * 2007-03-02 2011-08-09 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device
US20090024049A1 (en) 2007-03-29 2009-01-22 Neurofocus, Inc. Cross-modality synthesis of central nervous system, autonomic nervous system, and effector data
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2008137581A1 (en) 2007-05-01 2008-11-13 Neurofocus, Inc. Neuro-feedback based stimulus compression device
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
US20080306995A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for images and associated meta data
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
JP5542051B2 (ja) 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US20090083129A1 (en) 2007-09-20 2009-03-26 Neurofocus, Inc. Personalized content delivery using neuro-response priming data
US8327395B2 (en) 2007-10-02 2012-12-04 The Nielsen Company (Us), Llc System providing actionable insights based on physiological responses from viewers of media
US8150807B2 (en) * 2007-10-03 2012-04-03 Eastman Kodak Company Image storage system, device and method
CN101917898A (zh) 2007-10-31 2010-12-15 埃姆申塞公司 对来自观众的生理响应提供分散式收集和集中式处理的系统和方法
US20090132264A1 (en) * 2007-11-16 2009-05-21 Wood Mark D Media asset evaluation based on social relationships
US8886952B1 (en) 2007-12-06 2014-11-11 The United States Of America As Represented By The Director Of The National Security Agency Method of controlling a transaction
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP5231827B2 (ja) * 2008-02-04 2013-07-10 富士フイルム株式会社 画像表示装置、表示制御方法及び表示制御プログラム
CN101271528B (zh) * 2008-04-11 2012-06-27 北京中星微电子有限公司 一种输出图像的方法及装置
US20120081282A1 (en) * 2008-05-17 2012-04-05 Chin David H Access of an application of an electronic device based on a facial gesture
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US8160311B1 (en) * 2008-09-26 2012-04-17 Philip Raymond Schaefer System and method for detecting facial gestures for control of an electronic device
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
US8401248B1 (en) 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
EP2384583A1 (en) 2009-01-20 2011-11-09 Hewlett-Packard Development Company, L.P. Image processing
US8364971B2 (en) * 2009-02-26 2013-01-29 Kynen Llc User authentication system and method
CN102439972B (zh) 2009-02-27 2016-02-10 基础制造有限公司 基于耳机的电信平台
JP5127067B2 (ja) * 2009-03-06 2013-01-23 パナソニック株式会社 画像検索装置及び画像検索方法
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
CN101853259A (zh) * 2009-03-31 2010-10-06 国际商业机器公司 添加和处理带有情感数据的标签的方法和设备
US8482626B2 (en) * 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
US8271544B2 (en) * 2009-05-01 2012-09-18 Creative Technology Ltd Data file having more than one mode of operation
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP5315157B2 (ja) * 2009-07-27 2013-10-16 キヤノン株式会社 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
KR101661211B1 (ko) * 2009-08-05 2016-10-10 삼성전자주식회사 얼굴 인식률 개선 장치 및 방법
US8326002B2 (en) 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
MY166124A (en) * 2009-08-21 2018-05-24 Samsung Electronics Co Ltd Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system
WO2011021909A2 (en) 2009-08-21 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
EP2473100A4 (en) 2009-09-01 2014-08-20 Exxonmobil Upstream Res Co METHOD OF USING HUMAN PHYSIOLOGICAL RESPONSES AS INPUT DATA FOR HYDROCARBON MANAGEMENT DECISIONS
JP5609045B2 (ja) * 2009-09-02 2014-10-22 ソニー株式会社 撮像制御装置および方法
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US8332255B2 (en) * 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
US9619469B2 (en) * 2009-12-22 2017-04-11 Apple Inc. Adaptive image browsing
JP5110098B2 (ja) * 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
JP2011193275A (ja) * 2010-03-15 2011-09-29 Nikon Corp 表示装置
JP5249273B2 (ja) * 2010-03-25 2013-07-31 パナソニック株式会社 生体情報計測システム
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
US8655428B2 (en) 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
US8180208B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Identifying a photographer
US8180209B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Determining camera activity from a steadiness signal
US8200076B2 (en) * 2010-05-19 2012-06-12 Eastman Kodak Company Estimating gender or age of a photographer
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US9204836B2 (en) 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US9503786B2 (en) 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US9646046B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US20130245396A1 (en) * 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US8976230B1 (en) * 2010-06-28 2015-03-10 Vlad Vendrow User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
US8824747B2 (en) 2010-06-29 2014-09-02 Apple Inc. Skin-tone filtering
US8326001B2 (en) * 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
US20120076368A1 (en) * 2010-09-27 2012-03-29 David Staudacher Face identification based on facial feature changes
US9183632B2 (en) * 2010-11-24 2015-11-10 Nec Corporation Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program
JPWO2012070428A1 (ja) * 2010-11-24 2014-05-19 日本電気株式会社 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム
US9196042B2 (en) * 2010-11-24 2015-11-24 Nec Corporation Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Iptv 제어를 위한 원거리 시선 추적 장치 및 방법
US8526686B2 (en) * 2010-12-24 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Dynamic profile creation in response to facial recognition
EP2659486B1 (en) * 2010-12-30 2016-03-23 Nokia Technologies Oy Method, apparatus and computer program for emotion detection
US20120203640A1 (en) * 2011-02-03 2012-08-09 U Owe Me, Inc. Method and system of generating an implicit social graph from bioresponse data
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
WO2012158234A2 (en) 2011-02-27 2012-11-22 Affectiva, Inc. Video recommendation based on affect
US8760551B2 (en) 2011-03-02 2014-06-24 Canon Kabushiki Kaisha Systems and methods for image capturing based on user interest
JP5617697B2 (ja) * 2011-03-04 2014-11-05 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8655027B1 (en) 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
WO2012149448A1 (en) * 2011-04-29 2012-11-01 Wellness & Prevension, Inc. Method and system for user initiated electronic messaging
US8698940B2 (en) 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Switchable imaging apparatus for viewing and capture
US8446514B2 (en) 2011-05-09 2013-05-21 Intellectual Ventures Fund 83 Llc Capturing images using a switchable imaging apparatus
US8698941B2 (en) 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Imaging apparatus with switchable beam deflector array
US8610814B2 (en) 2011-05-09 2013-12-17 Intellectual Ventures Fund 83 Llc Switchable imaging apparatus for display and capture
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20130022220A1 (en) 2011-07-20 2013-01-24 Google Inc. Wearable Computing Device with Indirect Bone-Conduction Speaker
WO2013015775A1 (en) * 2011-07-22 2013-01-31 Hewlett-Packard Development Company, L.P. Visual media on a circular buffer
US9442565B2 (en) * 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
US8781565B2 (en) 2011-10-04 2014-07-15 Qualcomm Incorporated Dynamically configurable biopotential electrode array to collect physiological data
US20140254939A1 (en) * 2011-11-24 2014-09-11 Ntt Docomo, Inc. Apparatus and method for outputting information on facial expression
US9380257B2 (en) 2011-11-29 2016-06-28 Sony Corporation Portable electronic equipment and method of recording media using a portable electronic equipment
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
US9607025B2 (en) 2012-09-24 2017-03-28 Andrew L. DiRienzo Multi-component profiling systems and methods
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
CN103838357B (zh) * 2012-11-22 2018-03-06 腾讯科技(北京)有限公司 一种画面交互方法、装置、系统和移动终端
US9378655B2 (en) 2012-12-03 2016-06-28 Qualcomm Incorporated Associating user emotion with electronic media
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
JP6081788B2 (ja) * 2012-12-05 2017-02-15 三星電子株式会社Samsung Electronics Co.,Ltd. 動画像処理装置及び動画像処理方法
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
KR102091848B1 (ko) * 2013-01-04 2020-03-20 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10623480B2 (en) 2013-03-14 2020-04-14 Aperture Investments, Llc Music categorization using rhythm, texture and pitch
US10061476B2 (en) 2013-03-14 2018-08-28 Aperture Investments, Llc Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood
US20150182163A1 (en) * 2013-12-31 2015-07-02 Aliphcom Wearable device to detect inflamation
US10242097B2 (en) 2013-03-14 2019-03-26 Aperture Investments, Llc Music selection and organization using rhythm, texture and pitch
US10225328B2 (en) 2013-03-14 2019-03-05 Aperture Investments, Llc Music selection and organization using audio fingerprints
US11271993B2 (en) 2013-03-14 2022-03-08 Aperture Investments, Llc Streaming music categorization using rhythm, texture and pitch
US9875304B2 (en) 2013-03-14 2018-01-23 Aperture Investments, Llc Music selection and organization using audio fingerprints
US9282284B2 (en) * 2013-05-20 2016-03-08 Cisco Technology, Inc. Method and system for facial recognition for a videoconference
CN104219438A (zh) * 2013-05-29 2014-12-17 杭州美盛红外光电技术有限公司 影像录像装置及影像录像方法
WO2014190930A1 (zh) * 2013-05-29 2014-12-04 Wang Hao 影像信息摄录装置和影像信息摄录方法
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP6180285B2 (ja) * 2013-11-06 2017-08-16 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
JP2015092646A (ja) 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US20150178915A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Tagging Images With Emotional State Information
US20220147562A1 (en) 2014-03-27 2022-05-12 Aperture Investments, Llc Music streaming, playlist creation and streaming architecture
US9639742B2 (en) * 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9323984B2 (en) * 2014-06-06 2016-04-26 Wipro Limited System and methods of adaptive sampling for emotional state determination
CN105468620A (zh) * 2014-09-03 2016-04-06 雅虎公司 多媒体界面成像方法、系统和穿戴式设备
KR102299764B1 (ko) * 2014-11-28 2021-09-09 삼성전자주식회사 전자장치, 서버 및 음성출력 방법
JP2015080269A (ja) * 2015-01-07 2015-04-23 株式会社ニコン 表示装置
CN107683446B (zh) * 2015-03-13 2020-11-03 苹果公司 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备
US10438215B2 (en) 2015-04-10 2019-10-08 International Business Machines Corporation System for observing and analyzing customer opinion
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
JP6464925B2 (ja) * 2015-05-26 2019-02-06 株式会社Jvcケンウッド タギング装置、タギングシステム、タギング方法及びタギングプログラム
US20180160174A1 (en) * 2015-06-01 2018-06-07 Huawei Technologies Co., Ltd. Method and device for processing multimedia
US9600715B2 (en) 2015-06-26 2017-03-21 Intel Corporation Emotion detection system
CN105095873B (zh) * 2015-07-31 2018-12-18 小米科技有限责任公司 照片共享方法、装置
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
WO2017025485A1 (en) * 2015-08-07 2017-02-16 Sensomotoric Instruments Gesellschaft Für Innovative Sensorik Gmbh Communication system and method for providing a bionic virtual meeting room
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器(美国)知识产权公司 信息提示装置的控制方法和信息提示装置
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection
US10783431B2 (en) * 2015-11-11 2020-09-22 Adobe Inc. Image search using emotions
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
WO2017096099A1 (en) * 2015-12-01 2017-06-08 Integem, Inc. Methods and systems for personalized, interactive and intelligent searches
US10425664B2 (en) * 2015-12-04 2019-09-24 Sling Media L.L.C. Processing of multiple media streams
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US20170223017A1 (en) * 2016-02-03 2017-08-03 Mastercard International Incorporated Interpreting user expression based on captured biometric data and providing services based thereon
US9886584B2 (en) * 2016-02-25 2018-02-06 International Business Machines Corporation Optimized redaction system
US10904420B2 (en) 2016-03-31 2021-01-26 Sony Corporation Control device and control method for managing a captured image
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US9959678B2 (en) 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
US10430988B2 (en) * 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US10835120B2 (en) * 2016-08-23 2020-11-17 Welch Allyn, Inc. Extended medical test system
US9769166B1 (en) * 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
US10657718B1 (en) 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
US10321050B2 (en) 2016-11-29 2019-06-11 International Business Machines Corporation Determining optimal photograph capture timing based on data from wearable computer eyewear devices
US11399778B2 (en) * 2017-04-07 2022-08-02 National Institute Of Advanced Industrial Science And Technology Measuring instrument attachment assist device and measuring instrument attachment assist method
US10740823B1 (en) * 2017-04-28 2020-08-11 Wells Fargo Bank, N.A. Financial alert system based on image of user spending behavior
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US11587097B2 (en) * 2017-08-17 2023-02-21 James A. STOB Organization location verification
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US11249945B2 (en) * 2017-12-14 2022-02-15 International Business Machines Corporation Cognitive data descriptors
CN108197220A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 照片分类方法、装置、存储介质及电子设备
JP7222683B2 (ja) * 2018-12-06 2023-02-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN111247787A (zh) * 2018-12-29 2020-06-05 深圳市大疆创新科技有限公司 拍照方法及拍照终端
KR20210133962A (ko) 2019-03-11 2021-11-08 소니그룹주식회사 정보 처리 장치 및 정보 처리 시스템
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术(北京)有限公司 智能设备的控制方法、装置、设备和介质
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
CN114079730B (zh) * 2020-08-19 2023-09-12 华为技术有限公司 一种拍摄方法和拍摄系统
WO2022119810A1 (en) * 2020-12-02 2022-06-09 Innsightful, Inc. System and method for prevention, diagnosis, and treatment of health conditions
US11361421B1 (en) 2021-05-21 2022-06-14 Airbnb, Inc. Visual attractiveness scoring system
US11200449B1 (en) 2021-05-21 2021-12-14 Airbnb, Inc. Image ranking system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001026021A1 (en) * 1999-10-01 2001-04-12 Glaxo Group Limited Remote patient assessment system
WO2001071636A2 (en) * 2000-03-23 2001-09-27 Mitsubishi Chemical Corporation Personalized health profiling system and method
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
WO2002027640A2 (en) * 2000-09-29 2002-04-04 Lifelink, Inc. System and method for wireless communication of sensed data to a central server
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
US20020101619A1 (en) * 2001-01-31 2002-08-01 Hisayoshi Tsubaki Image recording method and system, image transmitting method, and image recording apparatus

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164831A (en) 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
JP2828324B2 (ja) 1990-06-21 1998-11-25 富士通株式会社 遠隔監視システム
US5734424A (en) * 1990-08-08 1998-03-31 Canon Kabushiki Kaisha Image pickup apparatus capable of providing moving video signal and still video signal
JPH0498979A (ja) * 1990-08-17 1992-03-31 Fuji Photo Film Co Ltd ビデオカメラ
JP3098276B2 (ja) * 1991-05-20 2000-10-16 日本電信電話株式会社 表情認識装置
JPH07226911A (ja) 1994-02-15 1995-08-22 Eastman Kodak Japan Kk 電子スチルカメラ
JPH07261279A (ja) * 1994-02-25 1995-10-13 Eastman Kodak Co 写真画像の選択システム及び方法
US5477264A (en) 1994-03-29 1995-12-19 Eastman Kodak Company Electronic imaging system using a removable software-enhanced storage device
US5791692A (en) 1995-05-31 1998-08-11 Eastman Kodak Company Dual sided photographic album leaf and method of making
JPH08339446A (ja) * 1995-06-09 1996-12-24 Sharp Corp 対話装置
JP3493847B2 (ja) 1995-11-15 2004-02-03 株式会社日立製作所 広域医療情報システム
US6003991A (en) 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5760917A (en) 1996-09-16 1998-06-02 Eastman Kodak Company Image distribution method and system
US5742233A (en) 1997-01-21 1998-04-21 Hoffman Resources, Llc Personal security and tracking system
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6463163B1 (en) * 1999-01-11 2002-10-08 Hewlett-Packard Company System and method for face detection using candidate image region selection
KR100979664B1 (ko) * 1999-03-10 2010-09-02 유니버시티 오브 피츠버그 오브 더 커먼웰쓰 시스템 오브 하이어 에듀케이션 지방 유래 간세포 및 격자
US6727953B1 (en) * 1999-03-23 2004-04-27 Eastman Kodak Company Digital camera including printer for printing on an authenticated receiver
US6163361A (en) * 1999-04-23 2000-12-19 Eastman Kodak Company Digital camera including a printer for receiving a cartridge having security control circuitry
US6287252B1 (en) 1999-06-30 2001-09-11 Monitrak Patient monitor
US6294993B1 (en) 1999-07-06 2001-09-25 Gregory A. Calaman System for providing personal security via event detection
US6775381B1 (en) * 1999-07-19 2004-08-10 Eastman Kodak Company Method and apparatus for editing and reading edited invisible encodements on media
US6282231B1 (en) 1999-12-14 2001-08-28 Sirf Technology, Inc. Strong signal cancellation to enhance processing of weak spread spectrum signal
US6671405B1 (en) 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
US6893396B2 (en) 2000-03-01 2005-05-17 I-Medik, Inc. Wireless internet bio-telemetry monitoring system and interface
US20010043279A1 (en) * 2000-03-07 2001-11-22 Masahito Niikawa Digital camera
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
US6438323B1 (en) 2000-06-15 2002-08-20 Eastman Kodak Company Camera film loading with delayed culling of defective cameras
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
WO2002025633A1 (fr) * 2000-09-20 2002-03-28 Kaori Tsuruta Procede/systeme de reproduction d'images, procede/systeme de mise en forme d'images, album electronique, et systeme de creation/d'emission/de distribution pour un tel album
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6697502B2 (en) 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
JP3822796B2 (ja) * 2001-02-08 2006-09-20 シャープ株式会社 情報処理装置、情報処理プログラムおよび記録媒体
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
JP2002330370A (ja) * 2001-05-02 2002-11-15 Tryforce International:Kk 映像配信装置、映像配信方法および映像配信システム
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
JP4163412B2 (ja) * 2001-12-19 2008-10-08 オリンパス株式会社 印刷システム、画像処理装置及びその方法
TW550517B (en) * 2002-01-11 2003-09-01 Ind Tech Res Inst Image pre-processing method for improving correction rate of face detection
US6926429B2 (en) 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP2003280785A (ja) 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001026021A1 (en) * 1999-10-01 2001-04-12 Glaxo Group Limited Remote patient assessment system
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
WO2001071636A2 (en) * 2000-03-23 2001-09-27 Mitsubishi Chemical Corporation Personalized health profiling system and method
WO2002027640A2 (en) * 2000-09-29 2002-04-04 Lifelink, Inc. System and method for wireless communication of sensed data to a central server
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
US20020101619A1 (en) * 2001-01-31 2002-08-01 Hisayoshi Tsubaki Image recording method and system, image transmitting method, and image recording apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137096A (zh) * 2012-03-01 2014-11-05 株式会社尼康 电子设备
CN103942475A (zh) * 2013-01-23 2014-07-23 三星电子株式会社 用户终端和用于在用户终端中识别用户的图像处理方法

Also Published As

Publication number Publication date
US7418116B2 (en) 2008-08-26
EP1422639A2 (en) 2004-05-26
JP2004178593A (ja) 2004-06-24
EP1422639A3 (en) 2006-05-03
CN1510903A (zh) 2004-07-07
US20070201731A1 (en) 2007-08-30
US7233684B2 (en) 2007-06-19
US20040101212A1 (en) 2004-05-27

Similar Documents

Publication Publication Date Title
CN100430934C (zh) 成像方法与系统
CN100352255C (zh) 用于健康监视和个人安全的成像方法和系统
US7271809B2 (en) Method for using viewing time to determine affective information in an imaging system
US7327505B2 (en) Method for providing affective information in an imaging system
US7003139B2 (en) Method for using facial expression to determine affective information in an imaging system
US10111611B2 (en) Personal emotional profile generation
US9646046B2 (en) Mental state data tagging for data collected from multiple sources
CN110084089A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
US20100086204A1 (en) System and method for capturing an emotional characteristic of a user
US20170095192A1 (en) Mental state analysis using web servers
DE102016101650A1 (de) Korrektur von bias in messwerten der affektiven reaktion
CN102577367A (zh) 时移视频通信
CN103209642A (zh) 在社交网络上分享情感
EP1324227A2 (en) Method for creating and using affective information in a digital imaging system
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
JP6649005B2 (ja) ロボット撮影システムおよび画像管理方法
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
CA3050456C (en) Facial modelling and matching systems and methods
Suryani et al. Multi-modal asian conversation mobile video dataset for recognition task
JP2006350983A (ja) 端末装置で用いられる情報を配信する個人診断システム、プログラムおよび情報記憶媒体。
JP2014182681A (ja) 共有情報提供システム
US11936720B2 (en) Sharing digital media assets for presentation within an online social network
US20230045762A1 (en) Sharing digital media assets for presentation within an online social network
Watanabe et al. Photoloop: Implicit approach for creating video narration for slideshow
Money et al. Are affective video summaries feasible

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081105

Termination date: 20101125