CN102150163B - 交互式图像选择方法 - Google Patents
交互式图像选择方法 Download PDFInfo
- Publication number
- CN102150163B CN102150163B CN200980136044.4A CN200980136044A CN102150163B CN 102150163 B CN102150163 B CN 102150163B CN 200980136044 A CN200980136044 A CN 200980136044A CN 102150163 B CN102150163 B CN 102150163B
- Authority
- CN
- China
- Prior art keywords
- image
- user
- classification
- data
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002452 interceptive effect Effects 0.000 title description 4
- 238000010187 selection method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000002085 persistent effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000006397 emotional response Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000009329 sexual behaviour Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Abstract
一种在被分为多个图像类别(104a、104b、104c)的多个数字图像(102)中进行图像选择的方法，所述方法包括以下步骤：‑为每个图像分配至少一个强度值(112、112i、112j、112k)，‑允许用户在所述多个数字图像中选择(120)图像，‑采集(122)用户数据，‑以采集的用户数据为函数更新(130)被分到与用户选择的图像相同的类别中的所有图像的强度值，以及‑用户选择图像的情况下，自动选择(142)被分到与用户选择的图像相同的至少一个类别中的至少一个附加图像，所述附加图像的强度值超过阈值，‑使选择的图像可用于(146)后续使用。
Description
技术领域
本发明涉及一种图像集的个性化(intuitu personae)以及交互式浏览和选择方法。所谓的个性化方法用于根据用户的意愿并可以根据用户和图像的图标内容之间的关系调整图像浏览和图像选择。
该方法适于浏览数字图像集，特别应用于家庭照片。但是，该方法也可以应用于照片编辑、视频编辑以及照相产品(诸如相册)的计算机辅助设计的领域。可以在计算机上执行该浏览方法，也可以在任何具有显示屏和内置或远程计算能力的多媒体设备上执行该浏览方法。
背景技术
随着数码相机使用的增长，以及现有照片集的数字化，包括数千个图像的个人图像集变得普遍。
大量图像通常被分类呈现在较小的子集中，以避免过于复杂的浏览。分类典型地可以基于图像的文本注释、附加到图像的元数据形式的标记或标签、或者要求用户明确输入的任何其他形式的静态分类。但是，这样的分类也具有缺陷。一个缺陷是在当前时刻对应于图像集的给定用户的品味的分类不一定对应于在另一时刻或者在不同的使用环境下其他可能用户或相同用户的品味。另一个缺陷是由于要求用户输入的分类通常表现为非常复杂的任务，许多图像/照片可能保持未标记或未分类。
为了避免用户费力地进行分类，一些检索系统依赖目标图像内容分析，而不是依赖现有的图像标记或标签。可用于分类或图像检索的图像内容数据可以来自于所谓的图像的低水平分析或高水平分析。低水平分析包括例如色彩分析、空间频率分析、纹理分析或直方图分析等。而高水平分析则涉及用于从图像的语义内容提取信息的算法。作为高水平分析的示例，处理引擎可用于在图像语义内容中识别诸如人脸、皮肤、动物、天空、水、海洋、草等等。
相应地，可以独立或者组合使用语义内容以及上面提到的一些其他的低水平特征，从而计算图像之间的相似性，并最终基于其相似性对图像进行分类。
作为现有的分类和图像检索方法的示例，可以参考文献(1)至(3)，其具体内容显示在说明书的末尾。
发明内容
如上所述，基于图像注释或图像标记的现有的分类和检索方法很大程度上依赖于人的输入。
这样的方法对于大的图像集或者人的注解不清楚的图像集而言是不适当的。
基于目标图像分析(无论是高水平分析还是低水平分析)的分类和/或检索方法较好地适用于大的图像集或者之前没有被注释或标记的图像集。但是，基于预设算法或计算方法的分类或检索过程不必匹配每个可能用户的品味、图像使用的变化环境或者特定用户的需求。
本发明还基于这样的观察结果：对于用户而言，在用户观看照片的同时采集可能的用户输入比在系统的以及交互式图像分类方法中采集输入复杂度更低。
本发明提出一种用于克服上述缺陷的方法，以及一种为用户提供更自然的图像搜索的方法，更接近的涉及旧的“鞋盒”范例。
本发明还提出一种可能的图像显示，其能够增强自然且直观的图像搜索的感觉。
为了达到上述目的，本发明更确切地提出了一种在被分为多个图像类别的多个数字图像中选择待显示的图像的方法。所述方法包括以下步骤：
-为每个图像分配强度值，
-允许用户在多个数字图像中选择图像，
-采集用户数据，
-以采集的用户数据为函数更新被分到与用户选择的图像相同的类别中的图像的强度值，以及
-用户选择图像之后，自动选择被分到与用户选择的图像相同的至少一个相同的类别中的至少一个附加图像，所述附加图像是基于其强度值被选择的，
-使选择的图像可用于后续使用，例如显示、打印、处理或交换。
特别地，可以选择强度值超过阈值的附加图像。
为简化起见，只要上下文清楚地显示，术语“数字图像”用于概括地指代可能被显示或打印的图像的图标内容，并指代存储在存储器中的相应数字数据或元数据。但是应理解，如果涉及图像处理，则该术语指代数据，以及如果涉及与用户的交互，则该术语指代可视的显示或打印。多个图像或图像集可以是存储在图像处理设备可访问的远程、内置或可移动存储器中的全部或部分图像。可以对所述集关闭或开放以更新。
本发明允许自动选择并可以为用户显示除了用户自身已经选择的第一图像之外的一个或多个图像。其目的是选择尽可能精密匹配选择环境和确认的用户兴趣的附加图像。图像类别和图像强度值的组合使用能够一起选取特别是一起显示相关的或部分相关的图像。例如，同一个人在不同位置的图像。
可以通过强度值没有超过阈值的适当类别的一些附加图像来完成上述附加图像的选择。例如，可以选择具有低强度值或者甚至最低强度值的一些附加图像。此外，所述方法可以包括在当前浏览环境下选择一个或多个随机的或预料之外的图像，即非选择类别中的图像。这一小部分附加图像为用户提供可选的浏览方向。
强度值用作一种度量，其给出对于图像集之中的给定图像而言用户兴趣的量度。用户兴趣并不是直接测量的，而是来自于根据一套推理规则所采集的用户数据。如下所述，采集的用户数据可以包括隐式的和/或显式的用户数据。
可以为图像集的每个图像分配一个或多个强度值。当为图像集的每个图像使用多个强度值时，一种选择是为每个图像分别设定对于集的多个可能用户中的某个用户特定的强度值。由于强度值用于反映用户对图像的兴趣，因此多个强度值能够反映不同用户的兴趣并匹配不同用户的品味。
如上所述，在被分到图像类别中的图像集上执行所述方法。图像类别可以预设，也可以在过程中改变。例如，如果通过高水平或低水平图像分析确定了预定数量的具有类似图像特征的图像，其中该图像特征与其他已有类别中的图像的特征不同，则可以增加附加的图像类别。附加的图像类别还可以来自于用于生成新类别的明确的用户输入。
还应指出，相同图像可以属于不同的类别。例如，在诸如生日的给定时间或给定事件拍摄的包含被识别为人P的脸部的语义特征的图像可以属于多个类别。该图像可以属于第一类别，即“人P”，第二类别，即“生日”，以及还可以是基于拍摄月份或日期的第三类别。
一般而言，图像可以被分为一个或多个类别或类型，例如：
-对应于图像的语义内容的类别，
-对应于根据观看者的环境的，图像对于当前观看者的重要性的类别：这种类别可以与拍摄图像的地理位置或者当执行所述图像选择方法时用户所在的或假设用户所在的地理位置相关。地理数据可以取自明确的用户输入，或者取自集成在图像捕捉设备或图像浏览设备中的定位设备。如果一个或多个类别对应于例如通过GPS系统(全球定位系统)确定的用户的地理位置，则该类别可以仅仅是进行动态类别改变的临时类别。另一个可能的类别是：
-对应于根据观看者的生活经历的，图像对于当前观看者的重要性的类别：这样的类别可以涉及例如生日、婚姻、聚会等等。更一般而言，当可获得关于用户的特定信息时，例如在图像上识别出的人是用户的新生儿，可以使用这样的类别。
其他可能的类别是：
-对应于捕捉图像的时间范围或日期范围的类别，
-对应于与图像数据一起作为元数据存储的关键词的类别，
-用户在选择/观看设备上在相同时间段内选择的图像的类别。
如果图像集还未被分类，那么本发明可以附加地包括以下预备步骤：
-采集图像，
-基于图像数据和/或图像元数据计算结果确定采集的图像的特征，
-搜索为一系列图像计算的特征之间的相似性，和/或搜索计算的特征与图像类别的预设特征之间的相似性，
-将具有相似特征的图像分到共同的类别中。
采集图像的步骤可以包括在存储器中读取图像数据，从服务器下载数据，或者甚至通过照相机或扫描仪捕捉图像。
所述方法还可以包括：每当在预设数量的图像中发现相似性时，自动生成图像的新类别。
在此，相似性被理解为给定程度的相似性。例如，如果图像的至少一个特征的相似性比与现有类别的特征的相似性强，则所述图像被放入新的图像类别中。
可以根据相似性计算的算法来确定用于比较相似性程度的度量。例如，如果相似性计算是图像数据的交叉关联，那么交叉关联的值可以直接用作相似性程度的量度。
相似性搜索还可以使用基于图像捕捉的地理位置、图像捕捉时间范围、或语义内容的计算特征的逻辑比较。
在本发明的更简单的实施例中，还可以随机地将图像分到类型中。
本发明的一个关键问题是图像强度值的更新，即测量对于集的给定图像所认定的用户具有的兴趣的数据的更新。
该更新是基于采集的用户数据以及一个或多个预定的更新规则。用户数据应理解为涉及与用户相关的一些信息的数据或者反映用户行为的数据。
例如，用户数据的采集可以包括以下动作中的一个或多个：
-测量用户观看的每幅图像的显示持续时间，
-测量用户浏览的图像之间的相似性，
-响应问题的明确的用户反馈，
-采集关于用户的姓名、生日、年龄、位置的数据；
-对显示用户选择的图像时在计算机键盘/鼠标上执行的点击进行计数，
-捕捉用户脸部的附加图像，
-通过分析用户生理机能：脸部变化、瞳孔大小、皮肤导电性来测量用户对观看的图像的情绪反应，并将其作为观看者对选择的图像的反应的量度，
-采集相同用户先前观看的图像的数据。
可以通过用于执行本发明的方法的设备，通过监测用户的交互行为来获得所有上述数据。
图像捕捉的先前示例，特别是用户的脸部照片，可用于人脸识别算法，以便识别用户的脸部以及确定集中的哪些图像中还存在用户的脸部。这依赖于这样的假设，即用户可能对表示其脸部的图像有兴趣。
人脸识别算法同样是公知的，因此在此不再描述其细节。
根据用户数据，可以对与选择图像相同的一个或多个类别中的图像强度值进行更新。
可以通过一个或多个预定更新规则来更新强度值，其中：
-更新值与选择图像的显示持续时间成比例，
-更新值与选择图像的语义内容和用户脸部图像的关联性或相似程度成比例，
-更新值与用户情绪反应的幅度或类型的函数(可以通过例如生理变化的任意数量的已知方法来测量)成比例，
-当在选择图像的元数据中发现用户的姓名、生日或位置时，预设更新值，
-更新值与显示选择图像时执行的点击数成比例。
更新规则可以被选择为是已经采集的用户数据的类型的函数。
虽然优选的仅基于从用户数据获得的假定兴趣来更新强度值，但是也可以基于从图像直接获得的语义内容来更新强度值。
还可以基于不包含在图像中的数据来更新强度值，即某一图像的值可能是高的，因为它是新生儿的第一张图像。
如上所述，可以进行附加图像的自动选择。该选择考虑用户选择的图像所属的类别，以及该类别中图像的强度值。
可以选择强度值超过阈值的一个或多个附加图像。该阈值可以预定，且可以对所有图像均相同。该阈值还可以对不同类别中的图像不同。其可以是给定类别中的图像的数量的函数和/或给定类别中的图像的平均强度值的函数。
可以使用可变阈值来控制保留的附加图像的数量。这可以使图像的数量与例如用于观看选择图像的显示装置的显示能力相匹配。因此，阈值还可以被设定为显示装置的显示能力的函数。
根据另一个选择，附加图像的数量的阈值还可以是从采集的用户数据获得的认定的用户兴趣的函数。
选择图像，即用户选择的图像，以及由浏览方法自动选择的附加图像，最终可用于后续的使用。该最后的步骤可以包括显示选择图像，打印选择图像和/或将相应的图像数据发送到远程设备，例如多媒体设备、电视机、数码相框、服务器、具有拍照功能的手机，等等。
使图像可用还可以包括允许用户使用选择图像的数据作为后续浏览或图像处理的起点。
由于附加图像与用户选择的图像同时显示，本发明的方法可能导致显示的图像的数量大于用户选择的图像的数量。
因此，可能还需要以如下方式显示图像：在用户的浏览计划中，附加图像不干扰或误导用户，而是可用作后续浏览的向导。
因此，根据一种改进，对应于不同类别的选择图像优选地显示在显示屏的不同区域中和/或以作为图像的强度值的函数的相对尺寸显示每一选择图像。
下文将描述使用所述特征的可能显示布局的示例。
本发明还涉及例如集成电路或数据存储装置的载体上的能够执行根据本发明的方法的计算机程序或软件。
该程序可以是适于执行所述方法的形式的任何代码，包括源代码。
本发明还涉及一种存储介质，包括适于执行所述方法的指令。
参考附图中的图片，在以下描述中，本发明的其他特征和优点将显现。所述描述是以非限制性说明的方式给出的。
附图说明
图1是显示根据本发明的图像选择方法的流程图。
图2是显示图像分类方法的流程图，该图像分类方法可以作为根据图1的方法的初始步骤来执行。
图3显示根据图1的方法选择的图像的可能显示布局。
具体实施方式
在以下描述中，不同附图中相同或相似的部件用相同的附图标记表示。
图1的附图标记100涉及对应于分类图像集102的规定的图像选择方法的第一步骤。如下所述，该第一步骤可以包括在不同的类别中对图像进行初步分类。数字图像集102包括图像的多个类别104a、104b、104c，每个类别包括多个图像102、102i、102j。相同类别中的图像具有相似的图像特征。例如，一个类别可以包含为给定事件(例如生日聚会)拍摄的所有图像，或者在同一天或相同的时间范围内拍摄的所有图像。一个类别可以包含在图像中通过人脸识别算法识别出某人的脸的所有图像。
如果图像具有对应于所述类别的特征，则相同的图像可以属于多个不同的图像类别。例如，在某一天、在某人的生日宴会上拍摄的某人的图像可以属于上述类别中的每一个。在图1的示例中，以粗线表示的图像102i属于类别104b和104c两者。以双线表示的图像102j属于类别104a、104b、和104c。
在步骤110中，该方法为每个图像102、102i、102j、102k分配一个或多个强度值112、112i、112j、112k。当该方法开始运行时，所有的强度值可以被设置为相同的初始值。所述值还可以被初始设定为图像的语义内容或其他图像特征的函数。例如，较新的图像或者人脸识别算法识别出人脸的图像比较旧的图像或没有人脸的图像具有更高的初始强度值。
关于图像属于某一类别以及图像的强度值的信息可以通过独立的数据或数据文件的形式来存储，或者可以是图像元数据的一部分。
由于在方法运行时会更新强度值，因此分配给图像的初始强度值并不重要。
每次方法重新开始时，步骤110都可以包括向每个图像分配给定用户之前运行过程时所指定的强度值。强度值可以存储在存储器中。
在附加的步骤114中，可以请求用户输入其姓名或其他类型的识别信息。在步骤110中可以使用用户识别信息为每个图像获取为该特定识别的用户所存储的各自的强度值。
所述方法允许用户使用任何目前已知的浏览方法来浏览图像集，并允许用户选择图像。用户选择图像由附图标记120表示。可以通过按下选择按钮、触摸屏幕、点击计算机鼠标等方式来执行选择。
当浏览图像集时，更概括地说，当用户与用于执行本发明的方法的设备进行交互时，采集用户数据。这对应于图1中的步骤122。也可以在其他时间采集用户数据，并在存储器中存储用户数据直到所述方法使用该数据。
如上所述，用户数据可以包括关于用户的例如其生日、其地址、用户脸部照片或可能要求用户作为输入值输入的任何其他参考信息的数据。其他用户数据可以包括关于用户浏览所述集或观看所述集的图像时用户的行为或生理反应。后者可以包括如下数据：图像被观看多久，观看图像时进行了多少次点击或数据输入，图像是否被处理或改变，等等。
根据一套预定规则，图像的可用的用户数据被转换为认定的用户兴趣(userinterest)，相应地，在后续步骤130中更新图像的强度值。
如上所述，根据一个可能的规则，可以通过与图像的相对显示持续时间成比例的值来更新该图像的强度值数据。这是基于这样的固有规则，即用户倾向于对其感兴趣的图像观看更长时间。然后，这样的图像的强度值被增大。
相反，可以认为从用户已处理的图像子集中被丢弃的图像是用户不感兴趣的图像。其强度值可以被减小。
更复杂的规则可以基于对图像内容进行的计算。其可以是交叉关联计算或人脸识别。例如，可以认为通过人脸识别算法被识别出用户脸部的图像是用户感兴趣的图像，其强度值可以被增大。
图像的强度值被增大或减小的量可以被预设为与可度量的用户数据成比例，或者相对于所述集的其他图像或相同分类的其他图像进行加权。
此外，还可以基于不与用户相关联的而是基于图像的低水平分析或高水平分析的计算或数据来更新图像的强度值。例如，对于具有较差对比度和较差锐度的图像，可以自动减小其强度值。
在图1中，用符号“+/-1”表示图像强度值的更新。
应强调，如果用户数据变为可用，并且用于更新由用户选择的给定图像的强度值，则不仅该图像的强度值被更新，而且与用户选择的图像相同的类别内的所有图像的强度值也被更新。
可以通过与选择图像的更新值相同的值或比选择图像的更新值更小的值来更新与选择图像相同的类别内的任何图像的强度值。
还要指出，当选择图像属于多个不同类别时，可以通过相同或不同的更新值来更新所有类别中的图像强度值。
换言之，当用户数据被采集并且对应于某一更新规则时，使用该数据来更新用户选择的图像的强度值，并顺次更新被分到与用户选择的图像相同的类别内的图像的强度值。
图1中的下一步骤142包括自动选择附加的图像。该选择是基于一个或多个图像的用户选择120。
附加选择的图像取自用户选择的图像所属的图像类别。该选择是基于强度值，并可以保留具有最高强度值的图像。
例如，可以选取属于用户选择的图像的类别并且具有高于阈值的强度值的图像。可以预定该阈值，或者该阈值可以是图像集中的所有图像或者与用户选择的图像相同的类别中的所有图像的平均强度值的加权函数。也不排除其他阈值计算方法，特别是以运行所述方法的设备的显示性能为函数的阈值计算方法。
在显示步骤146中，同时或相继显示用户选择的图像和附加的自动选择的图像。可以通过打印步骤或者其他后续的图像处理步骤来代替或完成显示步骤。
附加步骤144可以包括基于类别和/或选择图像的强度值计算显示布局。
图1中以虚线显示的框150表示适于执行本发明并且具有存储装置的设备，该存储装置能够存储当被机器读取和执行时适于执行本发明的指令。该设备例如可以是多媒体设备、相框、或计算机。
虽然可以在已经被分类的图像集上执行本发明的方法，但是也可以事先执行自动分类过程。参考图2简要的描述该过程。
该过程的第一步骤210包括收集图像集。这可以通过例如由捕捉设备捕捉图像、从远程设备下载图像或者在存储器设备中读取图像来实现。
下一步骤212包括为图像集的每一图像确定图像特征。可以通过高水平分析或低水平分析以及相应的计算来建立图像特征。如上所述，可以使用人脸识别引擎或算法。提供图像特征还可以包括仅读取已经附加到图像数据上的元数据。一个示例是图像的捕捉时间的特征。
在步骤214，将图像的特征与对应于预设类别或先前生成的类别的预设特征相比较。类别的预设特征可以被设定为一定范围的值。例如，对应于生日的类别可以包括对应于预定日和月的一定范围的捕捉时间。具有该范围内的捕捉时间的每一图像可以被分到该类别中。其他示例可以包括交叉关联计算的阈值，人脸识别的阈值，海洋、沙滩或风景检测的阈值，等等。当然，也可以基于明确的用户输入将图像分到某一类别中。
当一些图像的特征不对应于任一现有类别时，可以执行附加步骤216。这样的图像可以被分到特殊类别中，或者可用于设置新类别。当给定数量的图像具有某一范围内的相似特征时，在步骤217中可以为这些图像生成新类别。
最后的步骤220对应于将图像分到类别中。该步骤的结果是可用于前述选择方法的被分类的图像集102。图像的分类可以包括为图像生成表示类别的元数据。
图3显示了如上所述选择的图像的显示布局的示例。
空间方向302、303、304、305、306、307被分配给选择图像所属的每个图像类别。所述方向可以在360°上有规律的分布，或者可以根据选择图像的显示尺寸在360°上无规律的分布。
用户选择的图像310显示在中心，位于所有空间方向的交叉点上，围绕该图像，分布自动选择的附加图像312。如图3所示，附加图像显示得比用户选择的图像小，并且其尺寸从中心300减小。
特别地，显示尺寸和与中心的距离可以是附加特征的强度值的减函数。具有较高强度值并且被认为是用户更感兴趣的附加图像312L可以以较大尺寸显示，并且位置更靠接用户选择的图像。具有较低强度值的图像312S则较远且较小。
如上所述，属于相同类别的所有图像沿着相同的空间方向对齐。
如果图像属于多个类别，则可以多次显示该图像或者沿着单一方向限制其显示。
以图像的类别和强度值为函数分布显示的图像能使用户更容易浏览图像集，并能使用户认识到以相同方式或在相同区域内显示的图像之间的可能联系。换言之，显示可以被表述为类别和强度的角函数或极函数。
柱状图、角度扇形图等其他布局也是适当的，只要空间关系或分布对应于类别并且参考强度值生成显示差别即可。还例如，可以以图像的强度值为函数计算每个显示图像的显示持续时间。
显示可以是二维显示或三维显示。
引用文献
1、US2006/0050933
2、US 7,043,474
3、US 6,922,699。
部件列表
100分类图像的规定
102，102i，102j，102k图像
104，104a，104b，104c类别
110强度值分配
112，112i，112j，112k强度值
114用户输入
120图像选择
122数据采集
130强度值更新
142图像的自动选择
144显示布局计算
150多媒体设备
210收集步骤
212图像特征确定步骤
214比较步骤
216比较步骤
217类别生成
220分类步骤
302，303，304，305，306，307空间方向
310用户选择的图像
312，312L，312S附加图像。
Claims (12)
1.一种在被分为多个图像类别的多个数字图像中进行图像选择的方法，所述方法包括：
-为每个图像分配至少一个强度值，
-响应于用户在所述多个数字图像中选择至少一个图像，采集用户数据，
-依据采集的用户数据，更新用户所选的所述至少一个图像的强度值，通过与所述至少一个图像的更新值相同的值或更小的值来更新被分到与所述至少一个图像相同的类别中的所有图像的强度值，以及
-响应于用户选择所述至少一个图像，自动选择被分到与用户选择的所述至少一个图像相同的至少一个类别中的至少一个附加图像，所述附加图像的选择基于其强度值，以及
-以基于所选图像的类别或强度值布置的布局来显示所选图像。
2.根据权利要求1所述的方法，还包括：选择强度值超过阈值的附加图像。
3.根据权利要求1所述的方法，其中采集用户数据包括以下中的至少一个：
-测量用户观看的每幅图像的显示持续时间，
-采集关于用户的姓名、生日、年龄、位置的数据；
-对显示用户选择的图像时在计算机键盘/鼠标上执行的点击进行计数，
-捕捉用户脸部的图像，
-采集相同用户先前观看的图像的数据，以及
-测量用户观看至少一个图像的情绪反应。
4.根据权利要求2所述的方法，其中通过以下更新值来更新强度值数据：
-与选择图像的显示持续时间成比例的更新值，
-与选择图像的语义内容和用户脸部的捕捉图像的关联性成比例的更新值，
-当在选择图像的元数据中发现用户的姓名、生日或位置时，预设更新值，
-与显示选择图像时执行的点击数成比例的更新值，
-与观看者对选择图像的情绪反应成比例的更新值，以及
-与先前观看的图像的强度值成比例的更新值。
5.根据权利要求1所述的方法，其中对应于可能从图像数据中提取的特征将图像分别分到类别。
6.根据权利要求5所述的方法，其中图像被分到以下类别中的至少一个：
-对应于图像的语义内容的类别，
-对应于捕捉图像的时间范围的类别，
-对应于与图像数据一起作为元数据存储的关键词的类别，
-用户在选择/观看设备上在相同时间段内选择的图像的类别，
-通过图像捕捉位置或用户位置选择的图像的类别，以及
-通过对观看者的重要性选择的图像的类别。
7.根据权利要求1所述的方法，进一步包括：
-采集图像，
-基于图像数据和/或图像元数据计算结果确定所述图像的特征，
-搜索为一系列图像确定的特征之间的相似性，和/或搜索计算的特征与图像类别的预设特征之间的相似性，
-将具有相似特征的图像分到共同的类别中。
8.根据权利要求7所述的方法，进一步包括：每当在预设数量的图像中发现相似性就自动生成图像的新类别。
9.根据权利要求1所述的方法，还包括：基于来自多个用户的输入更新多个强度值，其中所述多个强度值中的每个强度值对应于关于相应用户的数据。
10.根据权利要求1所述的方法，其中对应于不同类别的选择的附加图像被显示在显示屏的不同区域中。
11.根据权利要求1所述的方法，其中以依据选择的附加图像的强度值的相对尺寸来显示每一选择的附加图像。
12.根据权利要求1所述的方法，进一步包括：随机选择附加图像，和/或选择强度值低于阈值的附加图像，和/或选择没有被分到与用户选择的图像相同的类别中的附加图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB0818089.5A GB0818089D0 (en) | 2008-10-03 | 2008-10-03 | Interactive image selection method |
| GB0818089.5 | 2008-10-03 | ||
| PCT/EP2009/060451 WO2010037591A1 (en) | 2008-10-03 | 2009-08-12 | Interactive image selection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102150163A CN102150163A (zh) | 2011-08-10 |
| CN102150163B true CN102150163B (zh) | 2017-01-18 |
Family
ID=40019976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980136044.4A Expired - Fee Related CN102150163B (zh) | 2008-10-03 | 2009-08-12 | 交互式图像选择方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8731308B2 (zh) |
| EP (1) | EP2335167A1 (zh) |
| JP (1) | JP5524219B2 (zh) |
| CN (1) | CN102150163B (zh) |
| GB (1) | GB0818089D0 (zh) |
| WO (1) | WO2010037591A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
| JP5641743B2 (ja) * | 2010-02-02 | 2014-12-17 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| JP2012073998A (ja) * | 2010-08-31 | 2012-04-12 | Casio Comput Co Ltd | 画像配信システム、画像表示装置、画像配信サーバー、及びプログラム |
| KR20120028491A (ko) * | 2010-09-15 | 2012-03-23 | 삼성전자주식회사 | 이미지 데이터 관리장치 및 방법 |
| US8953895B2 (en) * | 2010-11-29 | 2015-02-10 | Panasonic Intellectual Property Corporation Of America | Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus |
| CN102650998A (zh) * | 2011-02-28 | 2012-08-29 | 鸿富锦精密工业（深圳）有限公司 | 外观设计专利展示系统及方法 |
| US9542421B2 (en) | 2012-01-24 | 2017-01-10 | Google Inc. | Sequencing electronic files |
| US20140108405A1 (en) * | 2012-10-16 | 2014-04-17 | Realnetworks, Inc. | User-specified image grouping systems and methods |
| JP2014167761A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 環境評価装置、方法およびプログラム |
| TWI550419B (zh) | 2013-12-30 | 2016-09-21 | 宏達國際電子股份有限公司 | 用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面 |
| JP6162057B2 (ja) * | 2014-02-25 | 2017-07-12 | 株式会社Ｎｔｔドコモ | 表示装置及び表示方法 |
| JP6704680B2 (ja) * | 2015-05-19 | 2020-06-03 | シャープ株式会社 | 表示装置、情報処理プログラムおよび情報処理方法 |
| CN106407872A (zh) * | 2015-07-30 | 2017-02-15 | 中兴通讯股份有限公司 | 一种图片处理装置及其方法 |
| CN106909870A (zh) * | 2015-12-22 | 2017-06-30 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
| JP2021057002A (ja) * | 2019-06-06 | 2021-04-08 | パナソニックＩｐマネジメント株式会社 | コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6922699B2 (en) * | 1999-01-26 | 2005-07-26 | Xerox Corporation | System and method for quantitatively representing data objects in vector space |
| EP1024437B1 (en) * | 1999-01-26 | 2010-04-21 | Xerox Corporation | Multi-modal information access |
| GB2367158B (en) * | 2000-09-26 | 2004-10-20 | 6S Ltd | Method and system for archiving and retrieving items based on episodic memory of groups of people |
| US7043474B2 (en) | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
| EP1699530B1 (en) * | 2003-12-31 | 2012-07-04 | Given Imaging Ltd. | System and method for displaying an image stream |
| US7624123B2 (en) * | 2004-02-26 | 2009-11-24 | Ati Technologies, Inc. | Image processing system and method |
| JP2007527065A (ja) | 2004-03-02 | 2007-09-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像グループを表すアイコンを生成する方法、当該方法を実行するよう構成されるコンピュータシステム、コンピュータプログラムプロダクト及びデータキャリア |
| JP4610614B2 (ja) | 2004-06-21 | 2011-01-12 | グーグル インク． | 単一画像に基づくマルチ生体認証システムおよび方法 |
| JP2006081020A (ja) | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム |
| JP4287392B2 (ja) | 2005-02-18 | 2009-07-01 | 富士フイルム株式会社 | プリント推奨画像選択装置、方法およびプログラム |
| JP2006172097A (ja) * | 2004-12-15 | 2006-06-29 | Fuji Photo Film Co Ltd | プリント推奨画像自動選択装置、方法並びにプログラム |
| US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| JP4762731B2 (ja) * | 2005-10-18 | 2011-08-31 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム |
| JP4929723B2 (ja) * | 2006-01-16 | 2012-05-09 | 株式会社ニコン | 検索装置及び検索プログラム |
| JP5001569B2 (ja) * | 2006-04-04 | 2012-08-15 | 富士フイルム株式会社 | 画像表示制御装置ならびにその制御方法およびそのプログラム |
| JP4769624B2 (ja) * | 2006-04-25 | 2011-09-07 | 富士フイルム株式会社 | 画像再生装置ならびにその制御方法およびその制御プログラム |
| AU2006202063B2 (en) | 2006-05-16 | 2009-03-12 | Canon Kabushiki Kaisha | Method for navigating large image sets using sort orders |
| CN101535996A (zh) * | 2006-11-14 | 2009-09-16 | 皇家飞利浦电子股份有限公司 | 用于识别由数字图像捕获的对象的方法和设备 |
-
2008
- 2008-10-03 GB GBGB0818089.5A patent/GB0818089D0/en not_active Ceased
-
2009
- 2009-08-12 JP JP2011529492A patent/JP5524219B2/ja not_active Expired - Fee Related
- 2009-08-12 WO PCT/EP2009/060451 patent/WO2010037591A1/en active Application Filing
- 2009-08-12 EP EP09781764A patent/EP2335167A1/en not_active Withdrawn
- 2009-08-12 US US13/122,153 patent/US8731308B2/en not_active Expired - Fee Related
- 2009-08-12 CN CN200980136044.4A patent/CN102150163B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB0818089D0 (en) | 2008-11-05 |
| WO2010037591A1 (en) | 2010-04-08 |
| CN102150163A (zh) | 2011-08-10 |
| US8731308B2 (en) | 2014-05-20 |
| US20120114257A1 (en) | 2012-05-10 |
| EP2335167A1 (en) | 2011-06-22 |
| JP5524219B2 (ja) | 2014-06-18 |
| JP2012504806A (ja) | 2012-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102150163B (zh) | 交互式图像选择方法 | |
| US11461392B2 (en) | Providing relevant cover frame in response to a video search query | |
| US11340754B2 (en) | Hierarchical, zoomable presentations of media sets | |
| US20220004573A1 (en) | Method for creating view-based representations from multimedia collections | |
| Zerr et al. | Privacy-aware image classification and search | |
| AU2020200239B2 (en) | System and method for user-behavior based content recommendations | |
| US8473525B2 (en) | Metadata generation for image files | |
| CN103902656B (zh) | 媒体对象元数据关联和排名 | |
| US20180089228A1 (en) | Interactive image selection method | |
| WO2008014408A1 (en) | Method and system for displaying multimedia content | |
| WO2013075324A1 (en) | Image attractiveness based indexing and searching | |
| WO2013032755A1 (en) | Detecting recurring themes in consumer image collections | |
| US20150082248A1 (en) | Dynamic Glyph-Based Search | |
| CN113297406A (zh) | 图片搜索方法、系统及电子设备 | |
| KR20090003939A (ko) | 컴퓨터의 인물 이미지 파일 관리 방법 | |
| Zerr et al. | I Know What You Did Last Summer!: Privacy-Aware Image Classification and Search | |
| WO2016016539A1 (fr) | Procede, systeme et plateforme de constitution et d'exploitation d'une base de donnees multimedia | |
| KR20140075903A (ko) | 소셜 네트워크 서비스 아카이브의 분류방법 | |
| Lee et al. | Interaction design for personal photo management on a mobile device | |
| Das et al. | Collaborative content synchronization through an event-based framework | |
| Paniagua Laconich | Event-centric management of personal photos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: GAOZHI 83 FOUNDATION LLC Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK Effective date: 20130401 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20130401 Address after: Nevada, USA Applicant after: Gaozhi 83 Foundation Co.,Ltd. Address before: American New York Applicant before: Eastman Kodak Co. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180518 Address after: Texas, USA Patentee after: Mau new gate Venture Capital Co., Ltd. Address before: Nevada, USA Patentee before: Gaozhi 83 Foundation Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170118 Termination date: 20190812 |