CN1267855C - 红眼修正方法及实施该方法的装置 - Google Patents
红眼修正方法及实施该方法的装置 Download PDFInfo
- Publication number
- CN1267855C CN1267855C CNB2004100879871A CN200410087987A CN1267855C CN 1267855 C CN1267855 C CN 1267855C CN B2004100879871 A CNB2004100879871 A CN B2004100879871A CN 200410087987 A CN200410087987 A CN 200410087987A CN 1267855 C CN1267855 C CN 1267855C
- Authority
- CN
- China
- Prior art keywords
- pixel
- red
- blood
- eye illness
- shot eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Abstract
本发明涉及红眼修正方法及实施该方法的装置,根据所定的肤色检测条件,从摄影图象数据中抽出肤色象素;根据所定的白色检测条件,从摄影图象数据中抽出白色象素;根据所定的红色检测条件,从摄影图象数据中抽出红色象素;将红色象素作为红眼象素候补,根据使用在该红眼象素候补的周边区域内的肤色象素和白色象素各存在个数的判别条件,将红眼象素候补认定为红眼象素。变更认定的红眼象素的象素值,进行红眼修正。从而提供不采用图案识别这一复杂的图象处理技术,而且不进行预先指定眼睛位置这种前期作业,具有令人满意的可靠性的红眼修正技术。
Description
技术领域
本发明涉及一种修正摄影图象数据中产生的红眼的红眼修正方法、红眼修正程序及实施该方法的图象处理装置。
背景技术
以人及动物等为被拍摄对象进行闪光灯摄影时,闪光灯的一部分光线被其眼球内的血管等反射后返回照相机侧,从而往往在摄影图象中产生所谓“红眼现象”,即眼睛的中央成为红色或与实际根本不同的颜色。随着数码相机的普及以及将底片的摄影图象数字化的胶片扫描器的普及,利用图象处理技术解决红眼问题的方案,已有多种问世。毫无疑问,也能依靠作业人员的技术进行这种修正作业,即作业人员通过监视器一边用眼睛确认红眼部分的象素,一边将该象素的色调修正成实际的色调。但是,考虑到进行这种作业的繁琐性及所需技术熟练的程度等,可知它并非一件易事。因此,想到了利用图案识别技术等,抽出瞳孔位置,或抽出图象内的红色部分,对该部分进行颜色变换这种自动化技术。但是,要想正确检测出红眼区域,图象处理技术就变得异常复杂,装置本身也就相当于昂贵。
例如,有一种技术是:首先指定包含色调不良的眼区域在内的区域,在该区域中使用考虑了明亮度及红色的程度的组合的特征量,利用红眼部分和与之相邻的白眼及皮肤部分之间出现的低谷,按照所述特征量的每个峰值进行区域分割,从而将红眼部分、白眼及皮肤部分分离(例如,参阅专利文献1)。该技术中,利用了红眼部分由于越靠近瞳孔部中心来自视网膜的反射强越强,所以明亮度具有从中央向周边部分逐渐下降的趋势,因而包含捕捉光在内明亮度分布成山峰状,以及虹彩部在蓝眼人种的眼睛中红色程度的值的大小和成了红眼的瞳孔部形成的低谷。就是说,它是根据有关带有红色程度的颜色在眼睛区域的强度分布,区别红眼、白眼及皮肤,而不是检测红色象素、白色象素及肤色象素,从而识别红色象素的技术。另外,该技术需要预先指定眼睛区域,所以为了完全自动化需要难以实现的图象认别眼睛区域的技术。
另外,还有的技术是抽出面部特有的多个颜色成分图象,检测被拍摄者的红眼位置,即:从拍摄的图象内抽出低色度区域及低照度区域中的至少一个区域和肤色区域,使用这些抽出信号,例如取其逻辑积,抽出包含人物的眼睛在内的区域,进而使用抽出的红色部分的信号,从包含眼睛在内的区域,在发生红眼时,抽出该红眼位置,根据这样得到的红眼位置数据,将红眼位置的红色修正成别的颜色,例如一般的黑眼睛的颜色(例如,参阅专利文献2)。该技术虽然不需要预先指定眼睛区域,但由于使用肤色和红色认识红眼位置,所以容易产生错误识别。
[专利文献1]特开2000-76427号公报(段落号0009-0011、0058-0071、第10图)
[专利文献2]特开平6-258732号公报(段落号0006-0009、0019-0023、第6图)
发明内容
鉴于上述实况,本发明的课题是提供不采用图案识别这一复杂的图象处理技术,而且不进行预先指定眼睛位置这种前期作业,具有令人满意的可靠性的红眼修正技术。
为了达到上述目的,采用本发明的修正摄影图象数据产生的红眼的红眼修正方法,由以下工序构成:根据所定的肤色检测条件,从所述摄影图象数据中抽出肤色象素的工序;根据所定的白色检测条件,从所述摄影图象数据中抽出白色象素的工序;根据所定的红色检测条件,从所述摄影图象数据中抽出红色象素的工序;将所述红色象素作为红眼象素候补,根据使用在该红眼象素候补的周边区域内的所述肤色象素和所述白色象素各存在个数的判别条件,将所述红眼象素候补认定为红眼象素的工序;变更所述认定的红眼象素的象素值,进行红眼修正的工序。
在该红眼修正方法中,根据个别设定的检测条件,从整个摄影图象中检测肤色象素、白色象素和红眼象素,根据位于该红眼象素候补的周边区域内的肤色象素和白色象素的个数判断该红眼象素候补的周边是眼睛区域,其红眼象素是否构成红眼。由于根据给红眼区域的色调带来特征的肤色、白色和红色的分布状况,认定红眼象素,所以与现有技术的红眼检测方法相比,不进行预先指定眼睛位置这种前期作业,而且尽管是简单的方法,却能够以令人满意的可靠性检测红眼象素。
肤色象素和白色象素,其颜色成分(例如R·G·B成分)极其相似,摄影条件变化后,其区别就相当困难。例如,在钨灯光的环境下拍摄白色后,就成为发黄色的颜色,所以难以与肤色区别。因此,在本发明的适当的实施方式之一中,所述肤色检测条件,使用各象素的象素值——R·G·B成分值的各自的差分值和该象素的光亮度值进行定义;所述白色检测条件,使用白色象素候补的肤色色度和位于该白色象素候补周边的所述肤色象素的平均肤色色度定义;所述红色象素检测条件,用红色色度定义。就是说,白色象素的检测条件采用依赖于周边的肤色象素的平均肤色色度的值。具体地说,将由肤色象素的平均的R·G·B成分值变位到一定程度的肤色的补色侧的颜色,断定为白色,尽管摄影条件有某种程度的变动,也能够区别白色和肤色。
在这里,变更认定的红眼象素的象素值,进行红眼修正。但作为这种变更的最简单而且有效的方法,提议降低所述认定的红眼象素的色度。通过降低色度,就能使该红眼象素变成发灰的颜色,获得没有不谐调之感的照片打印件。毫无疑义,红眼象素的颜色具有和实际瞳仁的颜色吻合的颜色,是最理想的,所以在预先设定了该瞳仁的颜色时,进行使所述认定的红眼象素的象素值接近与瞳仁颜色对应的象素值的红眼修正,就是行之有效的方法。
总之,由于被拍摄对象的不同,在眼睛区域以外,也出现白色、肤色和红色好象成为红眼区域那样分布的区域。其结果,造成误认为是红眼象素,对这种红眼象素强行修正后,反而成为具有不谐调之感的照片打印件,所以如果能够预先根据拍摄条件等,预测红眼判断的难易度,那么按照这种红眼判断的难易度,调整红眼修正的修正程度,就是十分有益的。例如,在特殊的照明之下摄影时,由于对各种颜色不容易区别,所以将红眼修正的程度降低到一半以下,即使出现错误判断,也不至于破坏整体颜色的匀称。
另外,本发明还将使计算机实施上述红眼修正方法的程序及记录该程序的媒体,作为权利的对象。
进而,本发明还将实施上述红眼修正方法的图象处理装置,作为权利的对象,这种图象处理装置,包括:根据所定的肤色检测条件,从所述摄影图象数据中抽出肤色象素的肤色象素检测部;根据所定的白色检测条件,从所述摄影图象数据中抽出白色象素的白色象素检测部;根据所定的红色检测条件,从所述摄影图象数据中抽出红色象素的红色象素检测部;将所述红色象素作为红眼象素候补,根据使用在该红眼象素候补的周边区域内的所述肤色象素和所述白色象素各存在个数的判别条件,将所述红眼象素候补认定为红眼象素的红色象素决定部;变更所述认定的红眼象素的象素值,进行红眼修正的红眼修正部。当然,这种图象处理装置也可以获得上述红眼修正方法中所有的作用效果。
本发明的其它特征及优点,可通过使用以下附图的实施方式的讲述得到揭示。
附图说明
图1是采用本发明的红眼修正技术的照片打印装置的外形图。
图2是照片打印装置的印刷台结构的示意图。
图3是讲述照片打印装置的控制器内各部件的功能要素的方框图。
图4是表示红眼修正处理单元的功能构成的方框图。
图5是红眼修正处理整体的流程图。
图6是肤色检测的子程序。
图7是白色检测的子程序。
图8是红色检测的子程序。
图9是红眼判断的子程序。
图10是讲述红眼判断处理时周边区域的划分的说明图。
具体实施方式
关于本发明的实施方式,根据附图进行讲述。
图1是表示采用本发明的红眼修正技术的相片打印装置的外形图。该相片打印装置,由作为对感光纸P进行曝光处理和显影处理的相片打印机的印刷台1B,和对从显影后的底片2a及数码相机的存储卡2b等图象输入介质中取得的摄影图象进行处理,生成、传输在印刷台1B中使用的打印数据的操作台1A构成。
该相片打印装置,也被称作“数字小型制作室”,由图2可知:印刷台1B在拉出存放在2个感光纸盒11中的滚筒状的感光纸P后,用裁纸刀12将其切成打印尺寸,与此同时还用支持打印机部13,将颜色修正信息及每格图象的编号等打印处理信息打印在该被切断的感光纸P的背面,并且用打印曝光部14,对感光纸P的表面进行摄影图象曝光,将该曝光后的感光纸P送入具有多个显影处理槽的处理槽组件15中进行显影处理。在干燥之后,由装置上部的横向进给输送带16输送到分类器17的感光纸P即相片打印件P,在该分类器17的多个托盘上,以用户单位分开的状态存放(参阅图1)。
为了用与上述的对感光纸P进行的各种处理一致的输送速度输送感光纸P,敷设着感光纸输送机构18。感光纸输送机构18由包含对感光纸输送方向而言,配置在打印曝光部14的前后的夹送器式组件18a在内的多个夹持输送滚轮对构成。
在打印曝光部14中,设置着对向副扫描方向输送的感光纸P,根据来自操作台1A的打印数据沿主扫描方向照射R(红)、G(绿)、B(蓝)3原色的激光线的行式曝光头。处理槽组件15包括:贮存成色显影处理液的成色显影槽15a、贮存漂白定影处理液的漂白定影槽15b和贮存稳定处理液的稳定槽15c。
在所述操作台1A的台式控制台的上部位置,配置着从底片2a的一格摄影图象中取得摄影图象数据(以下简称“图象数据”)的胶片扫描器20。从数码相机等安装的作为摄影图象记录媒体2b使用的各种半导体存储器及CD-R等中取得图象数据的介质阅读器21,组装在作为该相片打印装置的控制器3而发挥作用的通用计算机中。该通用计算机进而还与显示各种信息的监视器23、作为在进行各种设定及调整之际使用的输入操作部而利用的操作输入器件——键盘24及鼠标25连接。
该相片打印装置的控制器3,以CPU为核心部件,用硬件或软件或它们两者构成旨在进行相片打印装置的各种动作的功能部。如图3所示,作为与本发明特别相关的功能部,可以列举:调出由胶片扫描器20及介质阅读器21读取的图象数据,为下面的处理而进行必要的预处理的图象输入部31;构成编制包含各种窗口及各种操作按钮等在内的图形操作画面及用户通过这种图形操作画面的操作输入(利用键盘24及鼠标25等)生成控制指令的图形用户接口(以下简称“GUI”)的GUI部33;根据GUI部33发送来的控制指令及直接由键盘24等输入的操作指令,为了生成所需的打印数据,对由图象输入部31传发的图象数据进行图象处理的打印管理部32;生成旨在使监视器23显示在颜色修正等的预先判断打印作业时,作为打印源图象及预想精修图象的模拟图象进而由GUI部33发送来的图形数据的摄象信号的摄象控制部35;根据图象处理结束后处理过的图象数据,生成适合于安装在印刷台1B上的打印曝光部14的打印数据的打印数据生成部36;按照顾客的需要,将原始的图象数据及图象处理结束后处理过的图象数据等转换成旨在写入CD-R的形式格式化的格式部37等。
图象输入部31,在摄影图象记录媒体是底片2a时,将预扫描方式和正式扫描方式的扫描数据分别发送给存储器30,进行符合各自目的的前处理。另外,摄影图象记录媒体是存储卡2b时,调出的图象数据如果包含简略图象数据(低析象度数据),就与旨在用监视器23一览显示等而使用的摄影图象的正式数据(高析象度数据)分别发送给存储器30。但假如不包含简略图象数据时,则根据正式数据制作缩小的图象,作为简略图象数据发送给存储器30。另外,该图象输入部31还与被称作“相片打印受理装置”的采用自助方式接收相片打印的装置连接,从该相片打印受理装置接收记录着打印尺寸及打印张数的打印定货数据、记录着摄影条件等的图象属性数据和图象数据后,将图象数据传发给存储器30;将打印定货数据及图象属性数据传发给打印管理部32。在通常的相片打印定货时,打印尺寸及打印张数的打印定货数据以及需要时有无闪光灯摄影及被拍摄对象的信息、照相机种类等属性数据,由操作人员通过键盘24的操作输入,给予打印管理部32。
打印管理部32包括:管理打印尺寸及打印张数等的打印定货处理组件60,对存储器30展开的图象数据实施颜色修正及过滤(钝化及锐化等)之类的照片修描处理的图象处理组件70。在该实施方式中,还在打印管理部32中特意配置着根据输入的有无闪光灯摄影及照相机种类等属性数据,预测红眼发生的可能性及红眼修正的难易性的红眼判断困难度预测部80,但也可以将其省略。红眼判断困难度预测部80最好具有根据输入的属性数据,通过计算预测红眼发生的可能性(未使用闪光灯时不产生红眼)及红眼修正的难易性(红眼判断的难易性随着摄影条件而变化)的功能。但实际上,可以由操作人员进行这种预测后人工输入。
在所述图象处理组件70中,包含采用本发明的技术的红眼修正处理单元90。该红眼修正处理单元90,如图4所示,由下列部件构成:设定管理肤色检测条件、白色检测条件、红色检测条件的判断条件设定部91;由根据所述肤色检测条件从图象数据中检测肤色象素的肤色象素检测部92a、根据所述白色检测条件从图象数据中检测白色象素的白色象素检测部92b、根据所述红色检测条件从图象数据中检测红色象素的红色象素检测部92c构成的特定颜色象素检测部92;由存储检测出来的肤色象素的位置的肤色象素映射93a、存储检测出来的白色象素的位置的白色象素映射93b、存储检测出来的红色象素的位置的红色象素映射93c构成的特定颜色象素映射93;设定管理根据检测出来的红色象素判断红眼象素的红眼判断条件的判断条件设定部94;将检测出来的红色象素作为红眼象素候补的同时,根据所述红眼判断条件将所述红眼象素候补认定为红眼象素的红眼象素决定部95;存储认定的红眼象素的位置的红眼象素映射96;一边参照该红眼象素映射96,一边变更红眼象素的象素值,进行红眼修正的红眼修正部97。
红眼象素决定部95,参照红色象素映射93c将红色象素作为红色象素候补的同时,从肤色象素映射和白色象素映射中对在该红色象素候补的周边区域内肤色象素和白色象素各自存在的个数进行计数,将其各自的计数值与用红眼判断条件规定的判别值进行比较,决定是否将所述红色象素候补认为红眼象素。
因为一般说来,将红眼象素的色度降低后,该红色象素就发灰,成为瞳仁似的颜色,所以变更红眼象素的象素值进行红眼修正的红眼修正部97,进行降低色度的处理。可是,如果是具有特别的瞳仁颜色的人,仅仅降低色度,却往往不能成为实际的瞳仁的颜色。针对这种情况,在本实施方式中设置了瞳仁颜色设定部98,可以在红眼修正处理中,变更象素值,以便使红眼象素的象素值接近与瞳仁颜色对应的象素值。
下面,讲述这种结构的红眼修正处理单元90进行红眼修正的步骤。图5所示的流程图表示出其整个流程。首先,从存储器30展开的图象数据中进行肤色象素检测(#10)、白色象素检测(#30)、红色象素检测(#50)。因为检测到的红色象素成为红眼象素的候补,所以对各红色象素,根据其周边的肤色象素和白色象素的分布状态,进行检查,看它是否能作为红眼象素认定,满足判别条件时,将该红色象素作为红眼象素(#70)。被定为红眼象素后,对该象素实施色度减少处理及向瞳仁颜色靠扰处理等红眼修正处理(#90)。这时,修正的程度,使用预先设定的值或根据红眼判别的难易性决定的值。
下面,详细讲述上述的各处理。肤色象素的检测,根据肤色象素检测部92a中的图6所示的子程序进行。首先,从判断条件设定部91调出肤色检测条件(#11)。该肤色检测条件,如果将受到注意的象素R·G·B光亮度值分别作为R、G、B,并且使(R+G+B)/3=I,那么,就可以用下列判定式表示:
[fs_gb_lo<G-B<fs_gb_hi]、而且
[fs_rg_l0<R-G<fs_rg_hi]、而且
[fs_br_lo<B-R<fs_br_hi]而且
[I>fs_I]
满足这4个条件构成的肤色判定条件的受到注意的象素,即被看作肤色。在这里,R·G·B光亮度值是8比特彩色数据(0~255)时,上述各常数可以按照如下方法设定(以下,将R·G·B光亮度值作为8比特彩色数据):
fs_gb_lo=-24、fs_gb_hi=16、fs_rg_lo=-16、fs_rg_hi=64
fs_br_lo=-88、fs_br_hi=8、fs_I=104
调出受到注意的象素的象素值——R·G·B光亮度值(#12),检查是否满足上述肤色判定条件(#13),将满足该肤色判定条件的象素位置作为肤色象素的象素位置存储(#14)。对构成图象数据的所有象素进行该肤色检测,对所有象素进行的肤色检查完毕后(#15),根据存储的肤色象素的象素位置,编成肤色象素映射93a(#16)。此外,该肤色象素映射93a的编制,还可以每逢检测肤色象素时,在步骤#14的阶段中进行。
接着,在白色象素的检测中,根据白色象素检测部92b中图7所示的子程序实施。首先,调出用肤色象素检测子程序编制的肤色象素映射93a(#31),由肤色象素的R·G·B光亮度值求出肤色色度系数SF,编制肤色色度映射(#32)。该肤色色度系数SF,用下述公式计算:
SF=SF_rg×(R-G)+SF_br×(B-R)
在这里,设定成为sF_rg=0.7、SF_br=-1.2,肤色象素的色度越高,肤色色度系数SF的值就越大,越是靠近肤色的补色侧,肤色色度系数SF的值就越小。
接着,从判断条件设定部91调出白色检测条件(#33)。进而,从图象数据中依次调出受到注意的象素R·G·B光亮度值(#34)。白色检测条件分作2个阶段,首先检查是否满足第1阶段的检测条件(#35)。该第1阶段的检测条件用下式表示:
[abs(G-B)<ws_gb]、且
[abs(R-G)<ws_rg]、且
[abs(B-R)<ws_br]、且
[I<ws_I]
abc()是求出()内的数值的绝对值的函数表达。满足由这4个条件构成的第1阶段的检测条件的受到注意的象素,被视为白色象素候补。在这里,上述各常数,可设定为如下:
ws_gb=ws_rg=ws_br=45、ws_I=112。
受到注意的象素成为白色象素候补时(在#35中Yes分岔),施加第2阶段的检测条件。在该检测条件中,由于作为条件要素之一,包含着旨在进行白色象素检测的在受到注意的象素附近的肤色象素的平均色度系数和白色象素候补的色度系数,所以首先参阅在步骤#32中编制的肤色色度映射,计算位于以受到注意的象素为中心的40×40象素附近区域的肤色象素的色度系数的平均值Ave-SF(#36)。该附近区域的尺寸,与输出灰度度密切相关,在这里,设输出灰度度为400dpi左右。进而,使用和计算肤色色度SF的公式相同的公式,求出该受到注意的象素(白色象素候补)的色度系数SFw(#37)。经过这种预处理后,检查是否满足第2阶段的检测条件。该第2阶段的检测条件,用下式表达:
[SFw-Ave_SF<sh_SF]
常数sh_SF的值被设定为一12。满足该第2阶段的检测条件(在#38中Yes分岔)的受到注意的象素(白色象素候补),被视为白色象素,将该象素位置作为白色象素的象素位置存储(#39)。对构成图象数据的所有的象素,进行涉及这2个阶段的白色检测,对所有的象素进行的白色检查结束后(#40),根据存储的白色象素的象素位置,编制白色象素映射93b(#41)。此外,该白色象素映射93b的编制,也可以每逢检测白色象素时,在步骤#39的阶段进行。
红色象素的检测,根据红色象素检测部92c中的图8所示的子程序进行。首先,从判断条件设定部91调出红色检测条件(#51)。由于该红色检测条件,使用红色色度系数SatR,所以首先调出受到注意的象素的R·G·B的光亮度值(#52),按照下述要领,由该R·G·B的光亮度值,求出红色色度系数SatR(#53)。
将min()作为用“、”断开的()内的数值取最小值的函数表达、将max()作为用“、”断开的()内的数值取最大值的函数表达后,
用mn=min(G、B)和mx=max(G、B)求出系数mn和系数mx,在R>mx且R>Rsh时,使用SatR=100×(R-mn)/(R+1)的关系式;在R<=mx或R<=Rsh时,使SatR=0,求出SatR值。在这里,常数Rsh在R、G、B光亮度值为8比特彩色数据时,是50左右为宜。
这样求出的红色色度系数大于判定常数:Sh_SatR的,是红色检测条件,在这里,由于判定常数设定成Sh_SatR=50,所以,检查是否满足红色检测条件的[SatR>50](#54),将满足该红色判定条件的受到注意的象素的象素位置作为红色象素的象素位置存储(#55)。对构成图象数据的所有的象素进行该肤色检测,对所有的象素进行的肤色检查结束后(#56),根据存储的红色象素的象素位置,编制红色象素映射93c(#16)。此外,该红色象素映射93c的编制,还可以每逢检测红色象素时,在步骤#55的阶段中进行。
红眼象素的决定,根据红色象素检测部92c中图9所示的子程序进行。首先,从红眼判断条件设定部94调出红眼判断条件(#71)。进而,由于在红眼象素的判断中,使用肤色象素、白色象素和红色象素的信息,所以还调出肤色象素映射93a、白色象素映射93b和红色象素映射93c(#72)。因为成为红眼象素的候补的象素是红色象素,所以作为红眼象素判断的受到注意的象素,依次设定红眼象素(#73)。接着,在以受到注意的象素为中心的周围,设置40×40象素的处理对象周边区域(#74)。设定该周边区域后,一边参照肤色象素映射93a和白色象素映射93b,一边求出该周边区域存在肤色象素的个数和白色象素的个数(#75)。
计算由40×40象素构成的周边区域内的肤色象素的个数和白色象素的个数之际,为了简化计算,如图10示意性地所示,划分成8×8象素的区段,求出5×5=25个区段的各区段的每一个中的肤色象素的个数和白色象素的个数,则非常方便。而且,对位于同一区段内的红色象素(在图中用A和B表示),求出某一个红色象素相关的肤色象素的个数和白色象素的个数后,对其它的红色象素也能够挪用,所以还能减少计算的工作量。
红眼判别条件,作为周边区域存在的肤色象素的个数和白色象素的个数为各自的判别值以上,该判别值可以通过试验求得。另外,该判别值与上述周边区域的尺寸关系特别密切,可以利用在步骤#74中设定的周边区域的尺寸,自动设定适当的判别值。例如,在普通的人物照片中,由40×40象素构成周边区域时,肤色象素的个数的判别值是250~300象素数,白色象素的个数的判别值是15~30象素数。
检查是否满足使用这种判别值的红眼判断条件(#76),将满足该红眼判断条件的受到注意的象素(红色象素)的象素位置,作为红眼象素的象素位置存储(#77)。对用红色象素映射93c规定的所有的红色象素进行该红眼象素的决定处理,对所有的象素进行的红眼判断结束后(#78),根据存储的红眼象素的位置,编制红眼象素映射96(#79)。此外,该红眼象素映射96的编制,还可以每逢决定红眼象素时,在步骤#77的阶段中进行。
这样,编制规定图象数据中的红眼象素的位置的红眼象素映射96后,通过适当的红眼修正处理,修正红眼象素。在该实施方式中,采用降低红眼象素的色度进行红眼修正。该色度减少的计算式如下所示:
d=(R+G+B)/3、
R’=(1-t)×d+t×R、
G’=(1-t)×d+t×G、
B’=(1-t)×d+t×B。
就是说,红眼象素的光亮度值(R、G、B)变更成(R’、G’、B’)后,红眼就成为无不谐调之感的瞳仁颜色。此外,在这里,系数t表示红眼修正的修正程度。该值为1时的修正,成为无;该值为0时,修正的程度最大,即其颜色成为灰色。该修正程度:t,根据情况而定,既可以通过红眼判断难易性预测部70,按照预测的红眼修正的难易度设定,还可以在不能预测其困难性时,采用以前设定的值,最好是0.45~0.55。这样,可以使正确的红眼检测带来的防止红眼的优点和红眼的误检测导致的摄影图象的紊乱得到协调,获得无不谐调之感的相片打印件。
降低红眼象素的色度来修正红眼,在实际的瞳仁颜色呈明亮的灰色及绿色时,未必能产生良好的效果。针对这种情况,作为红眼修正处理,可以采用使红眼象素的光亮度值接近通过任选件中的瞳仁颜色设定部98设定输入的瞳仁颜色具有的光亮度值的处理。这时,系数t表示从红眼象素的光亮度值到瞳仁颜色的光亮度值的浓淡直线中的任意位置,系数t为0,是无修正;系数t为1时,则完全向瞳仁颜色的光亮度值移动。能够以其间的数值,向任意的浓淡值移动。
总之,以适当的程度,实施红眼修正处理的图象数据,在实施必要的图象处理后,变换成打印数据,传发给打印曝光部14。打印曝光部14,根据打印数据,使最终成为照片打印件的感光纸P曝光。
在上述实施实施方式中,印刷台1B采用了所谓银盐照片打印方式,即:对感光纸P,用具有曝光机的打印曝光部14进行摄影图象的曝光,对该曝光后的感光纸P进行多个显影处理。但是,毫无疑问,本发明的印刷台1B,并不限于这种方式。例如:可以采用向胶片及纸上喷出墨水形成图象的喷墨打印方式及使用感热复制片的热复制方式等各种照片打印方式。
本发明可以作为装入需要从产生红眼的摄影图象数据中检测红眼象素的图象处理装置中的技术,得到广泛利用。
Claims (9)
1、一种红眼修正方法,修正摄影图象数据中产生的红眼,其特征在于,包括:
根据所定的肤色检测条件,从所述摄影图象数据中抽出肤色象素的工序;
根据所定的白色检测条件,从所述摄影图象数据中抽出白色象素的工序;
根据所定的红色检测条件,从所述摄影图象数据中抽出红色象素的工序;
将所述红色象素作为红眼象素候补,根据使用在该红眼象素候补的周边区域内的所述肤色象素和所述白色象素各存在个数的判别条件,将所述红眼象素候补认定为红眼象素的工序;
变更所述认定的红眼象素的象素值,进行红眼修正的工序。
2、如权利要求1所述的红眼修正方法,其特征在于:所述肤色检测条件,使用各象素的象素值——R·G·B成分值的各自的差分值和该象素的光亮度值进行定义;所述白色检测条件,使用白色象素候补的肤色色度和位于该白色象素候补周边的所述肤色象素的平均肤色色度定义;所述红色象素检测条件,用红色色度定义。
3、如权利要求1或2所述的红眼修正方法,其特征在于:降低所述认定的红眼象素的色度,进行所述红眼修正。
4、如权利要求1或2所述的红眼修正方法,其特征在于:使所述认定的红眼象素的象素值接近与瞳仁颜色对应的象素值,进行红眼修正。
5、如权利要求1或2所述的红眼修正方法,其特征在于:在变更所述认定的红眼象素的象素值、进行红眼修正之际,按照预先预测的红眼判断难易度,调整该变更的程度。
6、如权利要求3所述的红眼修正方法,其特征在于:在变更所述认定的红眼象素的象素值、进行红眼修正之际,按照预先预测的红眼判断难易度,调整该变更的程度。
7、如权利要求4所述的红眼修正方法,其特征在于:在变更所述认定的红眼象素的象素值、进行红眼修正之际,按照预先预测的红眼判断难易度,调整该变更的程度。
8、一种图象处理装置,修正摄影图象数据中产生的红眼,其特征在于,由以下部件构成:
根据所定的肤色检测条件,从所述摄影图象数据中检测肤色象素的肤色象素检测部;
根据所定的白色检测条件,从所述摄影图象数据中检测白色象素的白色象素检测部;
根据所定的红色检测条件,从所述摄影图象数据中检测抽出红色象素的红色象素检测部;
将所述红色象素作为红眼象素候补,根据使用在该红眼象素候补的周边区域内的所述肤色象素和所述白色象素各存在个数的判别条件,将所述红眼象素候补认定为红眼象素的红眼象素决定部;
变更所述认定的红眼象素的象素值,进行红眼修正的红眼修正部。
9、如权利要求8所述的图象处理装置,其特征在于:具有预测红眼判断的难易度的红眼判断难易度预测部,所述红眼修正部,按照该红眼判断难易度,变更所述认定的红眼象素的象素值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003366132A JP4431949B2 (ja) | 2003-10-27 | 2003-10-27 | 赤目補正方法及びこの方法を実施する装置 |
JP2003366132 | 2003-10-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1612164A CN1612164A (zh) | 2005-05-04 |
CN1267855C true CN1267855C (zh) | 2006-08-02 |
Family
ID=34420101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100879871A Expired - Fee Related CN1267855C (zh) | 2003-10-27 | 2004-10-26 | 红眼修正方法及实施该方法的装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7486317B2 (zh) |
EP (1) | EP1528509A3 (zh) |
JP (1) | JP4431949B2 (zh) |
CN (1) | CN1267855C (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
JP2005310068A (ja) * | 2004-04-26 | 2005-11-04 | Noritsu Koki Co Ltd | 白目補正方法及びこの方法を実施する装置 |
JP4522323B2 (ja) * | 2005-06-02 | 2010-08-11 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US7907786B2 (en) * | 2005-06-06 | 2011-03-15 | Xerox Corporation | Red-eye detection and correction |
CN100354875C (zh) * | 2005-09-29 | 2007-12-12 | 上海交通大学 | 基于人脸检测的红眼去除方法 |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
US7567707B2 (en) * | 2005-12-20 | 2009-07-28 | Xerox Corporation | Red eye detection and correction |
EP1987475A4 (en) | 2006-02-14 | 2009-04-22 | Fotonation Vision Ltd | AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
KR100862341B1 (ko) * | 2006-11-13 | 2008-10-13 | 삼성전기주식회사 | 사람의 피부 영역 검출장치 및 그 방법 |
US8315463B2 (en) * | 2006-11-14 | 2012-11-20 | Eastman Kodak Company | User interface for face recognition |
US7764846B2 (en) * | 2006-12-12 | 2010-07-27 | Xerox Corporation | Adaptive red eye correction |
ITVA20060079A1 (it) * | 2006-12-19 | 2008-06-20 | St Microelectronics Srl | Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
WO2008109708A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Red eye false positive filtering using face location and orientation |
JP2008234342A (ja) * | 2007-03-20 | 2008-10-02 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
JP5089405B2 (ja) | 2008-01-17 | 2012-12-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに撮像装置 |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
CN101447026B (zh) * | 2008-12-26 | 2013-02-13 | 北京中星微电子有限公司 | 一种红眼检测装置及其检测方法 |
US8559668B2 (en) * | 2009-06-01 | 2013-10-15 | Apple Inc. | Red-eye reduction using facial detection |
US8300929B2 (en) * | 2009-10-07 | 2012-10-30 | Seiko Epson Corporation | Automatic red-eye object classification in digital photographic images |
CN102004907A (zh) * | 2010-11-23 | 2011-04-06 | 无锡港湾网络科技有限公司 | 一种基于“红眼现象”的人脸检测方法 |
JP6155785B2 (ja) * | 2013-04-15 | 2017-07-05 | オムロン株式会社 | 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 |
WO2014203082A2 (en) * | 2013-05-28 | 2014-12-24 | Marvell World Trade Ltd. | Systems and methods for red-eye correction |
US9355315B2 (en) * | 2014-07-24 | 2016-05-31 | Microsoft Technology Licensing, Llc | Pupil detection |
US11403788B2 (en) * | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3036285B2 (ja) | 1993-03-05 | 2000-04-24 | ミノルタ株式会社 | 赤目位置検出装置 |
US6631208B1 (en) | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
JP4050842B2 (ja) | 1998-06-15 | 2008-02-20 | 富士フイルム株式会社 | 画像処理方法 |
US6718051B1 (en) * | 2000-10-16 | 2004-04-06 | Xerox Corporation | Red-eye detection method |
US6873743B2 (en) * | 2001-03-29 | 2005-03-29 | Fotonation Holdings, Llc | Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances |
EP1288860A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst |
EP1293933A1 (de) * | 2001-09-03 | 2003-03-19 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten |
EP1288858A1 (de) | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten |
EP1288859A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten |
US7058209B2 (en) * | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
GB2385736B (en) * | 2002-02-22 | 2005-08-24 | Pixology Ltd | Detection and correction of red-eye features in digital images |
CA2477097A1 (en) * | 2002-02-22 | 2003-08-28 | Pixology Software Limited | Detection and correction of red-eye features in digital images |
US7116820B2 (en) * | 2003-04-28 | 2006-10-03 | Hewlett-Packard Development Company, Lp. | Detecting and correcting red-eye in a digital image |
US7310443B1 (en) * | 2003-09-17 | 2007-12-18 | Sonic Solutions, Inc. | Automatic red eye detection and correction in digital images |
US7295686B2 (en) * | 2003-09-29 | 2007-11-13 | Primax Electronics Ltd. | Method of processing red eye in digital images |
-
2003
- 2003-10-27 JP JP2003366132A patent/JP4431949B2/ja not_active Expired - Fee Related
-
2004
- 2004-10-21 EP EP04025018A patent/EP1528509A3/en not_active Withdrawn
- 2004-10-26 US US10/974,661 patent/US7486317B2/en not_active Expired - Fee Related
- 2004-10-26 CN CNB2004100879871A patent/CN1267855C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20050117173A1 (en) | 2005-06-02 |
US7486317B2 (en) | 2009-02-03 |
EP1528509A2 (en) | 2005-05-04 |
EP1528509A3 (en) | 2009-10-21 |
JP4431949B2 (ja) | 2010-03-17 |
CN1612164A (zh) | 2005-05-04 |
JP2005128942A (ja) | 2005-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1267855C (zh) | 红眼修正方法及实施该方法的装置 | |
CN100366047C (zh) | 红眼修正方法及实施该方法的装置 | |
CN1691063A (zh) | 白眼修正方法及实施该方法的装置 | |
US7933454B2 (en) | Class-based image enhancement system | |
US8254679B2 (en) | Content-based image harmonization | |
JP4335476B2 (ja) | 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 | |
JP3557659B2 (ja) | 顔抽出方法 | |
AU2003204466B2 (en) | Method and system for enhancing portrait images | |
CN1713209A (zh) | 照片图象处理方法及其装置 | |
Rosenthal et al. | Color statistics of objects, and color tuning of object cortex in macaque monkey | |
CN1674630A (zh) | 缺陷象素修正方法、程序及实现该方法的缺陷象素修正系统 | |
US20020136450A1 (en) | Red-eye detection based on red region detection with eye confirmation | |
US20070274573A1 (en) | Image processing method and image processing apparatus | |
WO2005022465A2 (en) | Detecting and correcting redeye in an image | |
JP2002109525A (ja) | 画像の顕著性及びアピール性に基づく画像処理パス変更方法 | |
JP2009207146A (ja) | 芸術的シーン画像を検出するシステムおよび方法 | |
JP2011066734A (ja) | 画像処理装置 | |
CN1614992A (zh) | 图象锐化处理方法和实施该方法的图象处理装置 | |
JP3516786B2 (ja) | 顔領域抽出方法及び複写条件決定方法 | |
Browne et al. | Deep learning to enable color vision in the dark | |
JP4708250B2 (ja) | 赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラム | |
US20030198367A1 (en) | Method for processing digital image information from photographic images | |
Gasparini et al. | Automatic redeye removal for smart enhancement of photos of unknown origin | |
Safonov | Automatic red eye detection | |
JP2007193553A (ja) | 画像処理方法、画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060802 Termination date: 20111026 |