CN103782251A - 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法 - Google Patents

Abstract

本发明涉及一种用于利用用户的眼球运动操作计算机设备的方法。所述方法包括以下步骤：检测用户的眼球运动，分析用户的眼球运动以指定检测到的用户的眼球运动中的眼球运动模式以及用于完成所述眼球运动模式的时间段，确定与眼球运动模式和时间段的组合相关联的命令，以及根据所述命令操作所述设备。

Description

利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法

技术领域

本发明涉及一种利用用户的眼球运动可操作的计算机设备和利用用户的眼球运动操作所述计算机设备的方法。

背景技术

电子图书（也被称为电子书籍、电子书或数字图书）被认为是以数字形式在计算机或其它数字设备上生成、发行和可阅读的基于文本和图像的发行物。通常在被称为电子阅读器或电子书设备的专用硬件设备上阅读电子书。诸如智能电话的计算机设备也可以用于阅读电子书。

随着更多人开始使用计算机设备阅读电子书，期望用于操作所述计算机设备的更方便的操作。

眼球跟踪是研究热点之一。眼球跟踪是测量眼球注视的点和用户的眼球相对于头部的动作的过程。存在用于测量眼球运动的许多方法。最流行的变体使用从其中提取眼球位置的视频图像。在许多人机交互应用中使用眼球注视的检测。存在侵入式和非侵入式两种方式以估计眼球注视。对于侵入式技术，用户需要佩戴头饰相机以将眼球的位置与相机上的屏幕的视图固定，或者使用相机上的红外光以检测眼球。对于非侵入式方式，用户仅需要简单的相机用于对用户的眼球成像并不必要佩戴任何其他设备。当前，诸如智能电话和便携式电子游戏机的大多数计算机设备具备用于对用户成像的相机并且可以作为电子阅读器。

运动模式分析（MPA）是基于非语言行为的严谨分析的、用于评估决策过程中个人的核心动机的综合系统。

在US20080143674A1中示出识别用户的眼球运动模式的眼球跟踪装置。

本发明的目的是提供利用用户的眼球运动来操作计算机设备的更方便的操作。

发明内容

根据本发明的一方面，提供一种利用用户的眼球运动可操作的计算机设备。所述计算机设备包括用于检测用户的眼球运动的部件，用于分析用户的眼球运动以指定检测到的用户的眼球运动中的眼球运动模式以及用于完成所述眼球运动模式的时间段的部件，用于确定与眼球运动模式和时间段的组合相关联的命令的部件，以及用于根据所述命令操作所述设备的部件。

根据本发明的另一方面，提供一种用于利用用户的眼球运动操作计算机设备的方法。所述方法包括下列步骤：检测用户的眼球运动，分析用户的眼球运动以指定检测到的用户的眼球运动中的眼球运动模式以及用于完成所述眼球运动模式的时间段，确定与眼球运动模式和时间段的组合相关联的命令，以及根据所述命令操作所述设备。

附图说明

根据与附图有关的下列描述，本发明的这些和其他方面、特征以及优点将变得清楚，附图中：

图1是根据本发明的实施例的计算机设备的示例框图；

图2A图示根据本发明的实施例的计算机设备的基本使用环境；

图2B图示除了增加的光学线与图2A中示出的相同的基本环境；

图3（a）到（c）图示用于从文本行的左边向右边阅读在计算机设备的显示器上呈现的页面上的一文本行的基本阅读过程；

图4（a）到（c）图示用于从页面的顶部向底部阅读在计算机设备的显示器上呈现的页面的基本阅读过程；

图5示出作为图4（a）到（c）中示出的用于阅读在计算机设备的显示器上呈现的页面的阅读过程的结果检测到的眼球运动模式；

图6图示根据图5中示出的眼球运动模式，如何将在计算机设备的显示器上示出的页面滚动到下一页面；

图7（a）到（f）示出根据本发明的眼球运动模式和用于完成所述眼球运动模式的时间段的不同种类的组合，所述组合生成用于操作计算机设备的不同种类的命令；

图8（a）到（c）图示在显示器上的不同位置跟踪的眼球运动模式；以及

图9是示出根据本发明的实施例的用于利用用户的眼球运动操作计算机设备的方法的流程图。

具体实施方式

在下列描述中，将描述本发明的实施例的各种方面。为了解释，阐述具体配置和细节以提供彻底理解。然而，本领域技术人员也清楚在没有这里呈现的具体细节的情况下也可以实践本发明。

图1图示根据本发明的实施例的计算机设备110的示例框图。计算机设备110可以是平板电脑、智能电话和电子阅读器等等。计算机设备110包括CPU（中央处理单元）111、眼球运动检测器112、贮存器113、显示器114和用户输入模块115。如图1中所示，诸如RAM（随机存取存储器）的存储器116可以连接到CPU111。

眼球运动检测器112是用于检测设备110的用户的眼球并监视眼球的运动和眼球注视的元件。眼球运动检测器112还被配置为检测和采集显示器114上的眼球注视位置并测量每次眼球注视的时间。为了眼球注视跟踪，眼球运动检测器112可以采用许多不同类型的技术。例如，眼球运动检测器112可以采用三个步骤以实现眼球注视跟踪：在第一步骤中，基于类哈尔特征检测用户面部上的眼球，在第二步骤中，使用Lucas Kanade算法执行眼球的动作的跟踪，在第三步骤中，使用高斯过程检测眼球注视。本领域技术人员将认识到上面描述的技术不是用于眼球注视跟踪的唯一解决方案，并且许多其他技术可以用于眼球注视跟踪。

显示器114被配置为向设备110的用户可视地呈现文本、图像、视频和任何其他内容。显示器114可以是触摸屏，使得除了用户输入模块115之外，其可以向用户提供在显示器114上操作设备110的可能性。

用户输入模块115可以包括设备110上的键或按钮以输入字符或命令，并且还包括识别利用键或按钮输入的所述字符或命令的功能。如果显示器114是触摸屏并且设备110被配置为可以在显示器114上输入字符和命令，则用户输入模块115可以是可选的。

如下面将解释的，贮存器113被配置为存储用于CPU111的软件程序和数据以驱动和操作眼球运动检测器112、显示器114和用户输入模块115。

图2A图示根据本发明的实施例的计算机设备的基本使用环境。图2B图示除了增加的光学线与图2A中示出的相同的基本环境。图2A和2B中，利用参考标号“11”指示图1中示出的计算机设备110。

图2A和2B示出用户12正在阅读或浏览在设备11的显示器上呈现的内容。设备11具备相机10，用于对用户12的面部成像以检测用户12的眼球并监视眼球的动作和眼球注视。相机10负责捕捉用户12的面部并且检测用户12的眼球注视点16。相机10可以是图1中示出的眼球运动检测器112的元件。

图2B中，虚线14表示相机10的视场或范围。用户注意力的一般区域由两根虚线15大致示出。

图3（a）到（c）图示用于从文本行的左边向右边阅读在设备11的显示器上呈现的页面上的一文本行的基本阅读过程。用户的左右眼20在阅读过程期间移动。如图3（a）中所示，注视点21在阅读过程开始时位于文本行的前面。然后，如图3（b）中所示，注视点22移动到文本行的中间，并且最后，如图3（c）中所示，注视点23移动到文本行的结尾。由眼球运动检测器112（图1）检测这些眼球运动并且测量文本行上每次眼球注视的时间段。通过由图1中示出的CPU111对在文本行上每次眼球注视的时间段求和来大致计算阅读一文本行的总时间。

图4（a）到（c）图示用于从页面的顶部向底部阅读在设备11的显示器上呈现的整个页面的基本阅读过程。如图4（a）所示，起初，用户30从文本行31的左边向右边阅读页面上的第一文本行31。然后，用户30从文本行32的左边向右边阅读第二文本行32，并且对于其他文本行重复相同的阅读过程（图4（b））。最后，用户30从文本行33的左边向右边阅读最后的文本行33（图4（c））。以参考图3（a）到（c）描述的相同的方式，由眼球运动检测器112（图1）检测在用户30阅读页面上的文本行期间的眼球运动，并且测量在文本行上每次眼球注视的时间段。通过由CPU111（图1）对在文本行上每次眼球注视的时间段求和来大致计算阅读页面的总时间。

作为阅读在图4（a）到（c）中示出的设备的显示器上呈现的页面的阅读过程的结果，由所述设备检测到如图5中图示的眼球运动模式。图5中示出的每个黑点指示用户的眼球注视点。箭头意指用户的眼球注视点的移动方向。如从图5中可以看出，用户的眼球注视点以锯齿形从每文本行的左边向右边并且从顶部文本行向底部文本行移动。

在图4（a）到（c）中示出的该基本阅读过程中，例如，设备11（图2A和2B）被配置为当用户从开头向结尾阅读显示器上的页面时将在显示器上呈现的页面翻转到下一页面。

这里将参考图1、5和6解释用于翻转显示器上的页面的操作机制。在设备110的贮存器113中，存储包括眼球运动模式和命令的表。在表中，每个命令与相应的眼球运动模式相关联。当如图6中的模块55中图示的用户50从开头向结尾阅读页面51时，使用CPU111和眼球运动检测器112检测到图5中示出的锯齿形眼球运动模式。然后，CPU111将所检测到的眼球运动模式与在贮存器113中存储的表中的眼球运动模式相比较。如果在表中找到与所检测到的眼球运动模式相匹配的眼球运动模式，则CPU111执行与表中所匹配的眼球运动模式相关联的命令。如果命令是“翻转显示器上的页面”，则如图6中的模块56中图示的由CPU111将显示器上的页面51滚动到下一页面52。根据本发明的实施例，如上所述可以利用由包括相机10（图2A和2B）的眼球运动检测器112（图1）检测到的用户的眼球运动将在设备的显示器上呈现的页面51翻转，然后，如图6中的模块57中所图示，用户50可以开始从开头54阅读下一页面52。

图7（a）到（f）示出根据本发明的眼球运动模式和用于完成眼球运动模式的时间段的不同种类的组合，所述组合生成用于操作计算机设备的不同种类的命令。

图7（a）图示其中眼球注视点从左边向右边移动的眼球运动模式。“左”命令与该眼球运动模式和用于完成该眼球运动模式的阈值时间段T的组合相关联。如果检测到该眼球运动模式并且用于完成所述眼球运动模式的时间段t小于预定阈值时间段T，则执行“左”命令，使得诸如电子书的内容的前一页面从左侧进入并在显示器上示出。

图7（b）示出其中眼球注视点从顶部向底部移动的眼球运动模式。“下一”命令与该眼球运动模式和用于完成该眼球运动模式的阈值时间段T的组合相关联。如果检测到该眼球运动模式并且用于完成所述眼球运动模式的时间段t小于预定阈值时间段T，则执行“下一”命令以在显示器上示出内容的下一页面。

图7（c）到（f）进一步示出不同的眼球运动模式。与如图7（a）和（b）中示出的情况相似，命令与该眼球运动模式和用于完成该眼球运动模式的阈值时间段T的组合相关联，并且如果检测到图7（c）到（f）中示出的眼球运动模式并且用于完成所述眼球运动模式的时间段t小于预定阈值时间段T，则执行对应的命令。在这些示例中，图7（c）中的眼球运动模式可以与用于指示正在显示器上呈现的内容的版本的“版本”命令相关联，图7（d）中的眼球运动模式可以与用于跳到内容的最后页面的“结尾”命令相关联，图7（e）中的眼球运动模式可以与用于跳到内容的第一页面的“首页”命令相关联以及图7（f）中的眼球运动模式可以与用于将正在显示器上呈现的内容旋转的“旋转”命令相关联。这些命令以及眼球运动模式和阈值时间段的组合彼此相关联并且存储在贮存器113（图1）中。

在上面描述的示例中，如果时间段t等于或大于T，则将不执行命令。认识到当时间段t满足T≤t时，用户仅阅读或观看显示器上的内容。

应注意更多不同的阈值时间段可以与眼球运动模式相关联。参考图7（a）作为示例，除了上面描述的阈值时间段T之外，阈值时间段T/2可以与眼球运动模式相关联。在该示例中，如果用于完成所检测到的眼球运动模式的时间段t满足t<T/2，则可以执行“左”命令，使得两个或更多前一页面从左侧进入并在显示器上示出所述页面，而如果时间段t满足2/T≤t<T，则在显示器上示出从左侧进入的单个前一页面。如从这些示例中可以看出，通过将多个阈值时间段与单个眼球运动模式相关联，使用单个眼球运动模式可以生成多个命令。

此外，应注意，除了一个或多个阈值时间段之外，要跟踪的眼球运动模式在显示器上的不同位置可以与眼球运动模式相关联。

图8（a）到（c）图示在显示器上的不同位置处跟踪到眼球运动模式。示出在显示器的左侧上（图8（a））、在显示器的中间（图8（b））和在显示器的右侧上（图8（a））跟踪到眼球运动模式。

假设阈值时间段T与其中眼球注视点从顶部向底部移动的眼球运动模式相关联，例如，“字体大小”命令可以与眼球运动模式、用于完成该眼球运动模式的阈值时间段T以及在显示器上跟踪到的眼球运动模式的位置（如图8（a）中示出的左侧位置）的组合相关联，“下一”命令可以与眼球运动模式、用于完成该眼球运动模式的阈值时间段T以及在显示器上跟踪到的眼球运动模式的位置（如图8（b）中示出的中间位置）的组合相关联，以及“缩放”命令可以与眼球运动模式、用于完成该眼球运动模式的阈值时间段T以及在显示器上跟踪到的眼球运动模式的位置（如图8（c）中示出的右侧位置）的组合相关联。

在检测到如图8（a）到（c）中示出的眼球运动模式并且用于完成所述眼球运动模式的时间段t小于预定阈值时间段T的情况下；

1）如果如图8（a）中所示在显示器的左侧上跟踪到眼球运动模式，则执行“字体大小”命令以允许用户调整显示器上的字体大小；

2）如果如图8（b）中所示在显示器的中间跟踪到眼球运动模式，则执行“下一”命令以在显示器上示出内容的下一页面；以及

3）如果如图8（c）中所示在显示器的右侧上跟踪到眼球运动模式，则执行“缩放”命令以放大显示器上的内容。

当然，更多不同的阈值时间段可以与眼球运动模式的不同位置中的每一个相关联。与不同阈值时间段或眼球运动模式的不同位置与单个眼球运动模式相关联的情况相比较，通过将不同阈值时间段和显示器上眼球运动模式的不同位置与单个眼球运动模式相关联可以使用单个眼球运动模式生成更多命令。

眼球运动模式和阈值时间段的不同组合存储在贮存器113（图1）中。每种组合可以包括显示器上眼球运动模式的位置。此外，不同命令以所述不同命令与贮存器113中的相应的组合相关联的状态存储的贮存器113中。这些不同组合和与它们相关联的命令可以以表格式存储在贮存器中。

应注意，显示器上由用户形成的眼球运动模式可以不与图7和8中指示的眼球运动模式中的一种完全相同，并且在本发明的上述实施例中，即使与其基准眼球运动模式相比眼球运动模式在一定容限范围内变形，也可以检测到眼球运动模式。

此外，应注意，关于显示器的大小，图7和8中示出的每种眼球运动模式的相对大小不限于图7和8中图示的示例。只要设备可以检测到眼球运动模式，显示器上的眼球运动模式就可以是任何大小。

图9是示出根据本发明的实施例的用于利用用户的眼球运动操作计算机设备的方法的流程图。下面将参考图1和9描述用于操作计算机设备的方法。

在步骤S102，通过设备110的眼球运动检测器112检测到计算机设备110的用户的眼球运动。在该步骤中，由眼球运动寄检测器112检测到设备110的用户的眼球并监视眼球的动作和眼球注视。此外，由眼球运动检测器112检测到显示器114上的每个眼球注视位置并测量每次眼球注视的时间。

在步骤S104，由设备110的CPU111分析所检测到的用户的眼球运动。在该步骤中，由设备110的CPU111指定在所检测到的眼球运动中包括的眼球运动模式和用于完成所述眼球运动模式的时间段。CPU111通过将所检测到的眼球运动与存储在贮存器113中的眼球运动模式相比较而确定眼球运动模式。如果指定眼球运动模式，则CPU111通过计算用于所指定的眼球运动模式的总眼球注视时间而指定用于完成所指定的眼球运动模式的时间段。在该步骤中，还可以由CPU111指定显示器114上所指定的眼球运动模式的位置。

在步骤S106，由CPU111确定与眼球运动模式和用于眼球运动模式的阈值时间段的组合相关联的命令。在该步骤中，CPU111搜索贮存器113以找到与所指定的眼球运动模式相匹配的眼球运动模式。然后，CPU111确定用于完成所指定的眼球运动模式的所指定的时间段是否满足与所匹配的眼球运动模式相关联的预定阈值时间段。如果所指定的时间段满足预定阈值时间段，则由CPU111确定与所匹配的眼球运动模式和用于所匹配的眼球运动模式的预定阈值时间段的组合相关联的命令。

在步骤S106中，如果显示器上眼球运动模式的位置也与眼球运动模式和阈值时间段的组合相关联，并且由CPU111指定显示器114上所指定的眼球运动模式的位置，则由CPU111确定与包括所匹配的眼球运动模式、用于所匹配的眼球运动模式的阈值时间段以及显示器上所匹配的眼球运动模式的位置的三个要素的组合相关联的命令。

在步骤S108中，CPU111执行所确定的命令，并且然后根据所述命令操作计算机设备110。

相关领域普通技术人员基于这里的教导可以容易地确定本原理的这些和其他特征以及优点。应理解本原理的教导可以以硬件、软件、固件、专用处理器或其组合的各种形式实现。

更优选地，本原理的教导被实现为硬件和软件的组合。此外，软件可以实现为在程序贮存单元上有形地实施的应用程序。可以将应用程序上载到包括任何适当架构的机器，并由所述机器执行该应用程序。优选地，机器在具有诸如一个或多个中央处理单元（“CPU”）、随机存取存储器（“RAM”）和输入/输出（“I/O”）接口的硬件的计算机平台上实现。计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是可以由CPU执行的微指令代码的部分或应用程序的部分或其任何组合。此外，各种其他外围单元可以连接到诸如附加的数据贮存单元的计算机平台。

应进一步理解，因为附图中描绘的组成系统组件和方法中的一些优选地在软件中实现，取决于对本原理进行编程的方式，系统组件或处理功能块之间的实际连接可能不同。鉴于这里的教导，相关领域普通技术人员将能够设想这些和相似实现方式或本原理的配置。

虽然这里已参考附图描述了图示的实施例，应理解本原理不限于那些精确的实施例，并且相关领域普通技术人员可以在不背离本原理的范围或精神的情况下，在其中实现各种改变和修改。如在所附权利要求中阐述的本原理的范围包括全部这种改变和修改。

Claims (13)

1.一种利用用户的眼球运动可操作的计算机设备（110），所述设备包括：

用于检测（112）所述用户的眼球运动的部件；

用于分析（111）所述用户的眼球运动以指定所检测到的用户的眼球运动中的眼球运动模式以及用于完成所述眼球运动模式的时间段的部件；

用于确定（111）与所述眼球运动模式和所述时间段的组合相关联的命令的部件；以及

用于根据所述命令操作（111）所述设备的部件。

2.如权利要求1所述的设备，其中所述设备（110）还包括用于存储（113）眼球运动模式和用于所述眼球运动模式的时间段的不同组合，以及与相应的组合相关联的不同命令的部件。

3.如权利要求2所述的设备，

其中所述检测部件（112）被配置为收集所述用户的眼球注视位置，

其中所述分析部件（111）被配置为：

确定所收集的用户的眼球注视位置是否与存储在所述贮存部件（113）中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段。

4.如权利要求2所述的设备，其中所述设备（110）还包括显示器（114），其中所述分析部件（111）被配置为识别所检测到的显示器上眼球运动模式的位置，并且其中所述相应的组合还包括所述显示器上眼球运动模式的位置，

其中所述检测部件（112）被配置为收集所述用户的眼球注视位置，

其中所述分析部件（111）被配置为：

确定所收集的用户的眼球注视位置是否与存储在所述贮存器（113）中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段；并且

其中所述确定部件（111）确定与所述眼球运动模式、所述时间段和所述显示器上眼球运动模式的位置的组合相关联的命令。

5.一种利用用户的眼球运动可操作的计算机设备（110），所述设备包括：

检测器（112），用于检测所述用户的眼球运动；以及

处理器（111），被配置为：

分析所述用户的眼球运动以指定所检测到的用户的眼球运动中的眼球运动模式和用于完成所述眼球运动模式的时间段；

确定与所述眼球运动模式和所述时间段的组合相关联的命令；以及

根据所述命令操作所述设备。

6.如权利要求5所述的设备，其中所述设备还包括贮存器（113），用于存储眼球运动模式和用于所述眼球运动模式的时间段的不同组合，以及与相应的组合相关联的不同命令。

7.如权利要求6所述的设备，其中所述检测器（112）被配置为收集所述用户的眼球注视位置，

其中所述处理器（111）被进一步配置为：

确定所收集的用户的眼球注视位置是否与存储在所述贮存器（113）中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段。

8.如权利要求6所述的设备，其中所述设备还包括显示器（114），其中所述处理器（111）被配置为识别所检测到的显示器上眼球运动模式的位置，并且其中所述相应的组合还包括所述显示器上眼球运动模式的位置，

其中所述检测器（112）被配置为收集所述用户的眼球注视位置，

其中所述处理器（111）被进一步配置为：

确定所收集的用户的眼球注视位置是否与存储在所述贮存器（113）中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段；以及

确定与所述眼球运动模式、所述时间段和所述显示器上眼球运动模式的位置的组合相关联的命令。

9.一种用于利用用户的眼球运动操作计算机设备的方法，所述方法包括下列步骤：

检测（S102）所述用户的眼球运动；

分析（S104）所述用户的眼球运动以指定所检测到的用户的眼球运动中的眼球运动模式以及用于完成所述眼球运动模式的时间段；

确定（S106）与所述眼球运动模式和所述时间段的组合相关联的命令；以及

根据所述命令操作（S108）所述设备。

10.如权利要求9所述的方法，其中所述设备包括贮存器，其中眼球运动模式和用于所述眼球运动模式的时间段的不同组合，以及与相应的组合相关联的不同命令存储在所述贮存器中。

11.如权利要求10所述的方法，其中所述检测步骤（S102）包括收集所述用户的眼球注视位置；

其中所述分析步骤（S104）包括：

确定所收集的用户的眼球注视位置是否与存储在所述贮存器中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段。

12.如权利要求10所述的方法，其中所述设备包括显示器，其中所述分析步骤（S104）进一步识别所检测到的显示器上眼球运动模式的位置，并且其中所述相应的组合还包括所述显示器上眼球运动模式的位置，

其中所述检测步骤（S102）包括收集所述用户的眼球注视位置，

其中所述分析步骤（S104）包括：

确定所收集的用户的眼球注视位置是否与存储在所述贮存器中的不同组合中的任何眼球运动模式一致；以及

确定用于完成所述眼球运动模式的时间段；并且

其中所述确定步骤（S106）包括确定与所述眼球运动模式、所述时间段和所述显示器上眼球运动模式的位置的组合相关联的命令。

13.一种由计算机可读的贮存介质，所述贮存介质存储用于利用用户的眼球运动可操作的计算机设备（110）的程序，所述设备包括：

检测器（112），用于检测所述用户的眼球运动；以及

处理器（111），

所述程序使得所述处理器（111）：

通过所述检测器检测（S102）所述用户的眼球运动；

分析（S104）所述用户的眼球运动以指定所检测到的用户的眼球运动中的眼球运动模式和用于完成所述眼球运动模式的时间段；

确定（S106）与所述眼球运动模式和所述时间段的组合相关联的命令；以及

根据所述命令操作（S108）所述设备。

Images