CN101300621A - 用于提供三维图形用户界面的系统和方法 - Google Patents

用于提供三维图形用户界面的系统和方法 Download PDF

Info

Publication number
CN101300621A
CN101300621A CNA2006800405213A CN200680040521A CN101300621A CN 101300621 A CN101300621 A CN 101300621A CN A2006800405213 A CNA2006800405213 A CN A2006800405213A CN 200680040521 A CN200680040521 A CN 200680040521A CN 101300621 A CN101300621 A CN 101300621A
Authority
CN
China
Prior art keywords
virtual space
objects
space
output
final user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800405213A
Other languages
English (en)
Other versions
CN101300621B (zh
Inventor
E·E·贝克哈什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SpaceTime3D Inc
Original Assignee
SpaceTime3D Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37865595&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101300621(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by SpaceTime3D Inc filed Critical SpaceTime3D Inc
Publication of CN101300621A publication Critical patent/CN101300621A/zh
Application granted granted Critical
Publication of CN101300621B publication Critical patent/CN101300621B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/954Navigation, e.g. using categorised browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 

Abstract

提供了用于提供改进的三维图形用户界面的方法和系统。在一个实施例中,该方法一般包括:从最终用户那里接收输入,以及响应接收到的最终用户输入,从至少一个计算机源捕获计算输出。计算输出可以作为显示给最终用户的三维虚拟空间内的两个或更多对象呈现出来。在一个实施例中,该方法进一步包括生成时间线,该时间线包括在虚拟空间内呈现的每一个对象的图标。在另一个实施例中,该方法进一步包括提供一种数据库,用于存储和分类有关在虚拟空间内呈现的每一个对象的数据。

Description

用于提供三维图形用户界面的系统和方法
对相关申请的交叉引用
本申请要求2005年9月13日提出的美国临时专利申请No.60/717,019的优先权,这里全文引用该申请作为参考。
版权声明
此专利文献包含的材料受版权保护。版权所有者不反对当此专利文献或相关材料出现在美国或其他国家的专利局的文件中时复制此专利文献或相关材料,但在别的方面却保留全部版权权利。
技术领域
本发明针对用于操作和访问计算机上的信息的图形用户界面,具体来说,涉及三维(“3D”)交互式计算界面和分类界面,包括来自实时和静态源的信息,包括,但不仅限于,来自Web的元搜索结果;来自API、Web服务、搜索引擎、应用程序,以及网络的信息;以及最终用户的桌面上的文件。
背景技术
当前,人们使用计算机的方式是向计算机中输入信息以取得给定输出。常常这会是一系列繁琐的步骤(鼠标点击和键盘输入),才能运行应用程序和文档或导航到信息。为获得新的计算体验,人们常常必须关闭他们的当前应用程序和文档,隐藏它们或通过将它们拖到彼此的上方,使他们在有限的桌面上重叠起来,然后,挖掘文件夹内的文件夹,才能在日后再次查找到它们。用户的桌面是有限的,必须一次又一次地反复执行相同的任务。这会浪费时间,因为(i)需要许多次鼠标点击操作才能打开和关闭文档,(ii)要求人记住她(他)为给定目的可能需要的程序和文档的全部组合,(iii)要求人创建详细的分层的文件夹系统,以有助于存储和调用应用程序和文档的过程。这主要因为最终用户在他们的桌面上拥有的空间有限。
人们当前在操作系统内进行计算,操作系统在2D(二维)可视显示器中呈现计算机输出,如文档、应用程序,以及操作系统的界面。在通过启动程序被加载到计算机中之后,操作系统控制计算机中的所有其他程序。通常,操作系统的召集了显示此输出的式样的组件叫做GUI或图形用户界面。成功的GUI将使用包括利用诸如图标之类的图形元件的比喻,以使操作系统的输入和输出更容易管理的屏幕呈现。大多数计算机操作系统包括利用二维图形的GUI,以捕获、处理,和以2D形式(只有高度和宽度)输出来自最终用户的所有输入。
此输出通常被限制在大小有限的桌面上绘制的具有给定长度和宽度的窗口(即,计算机的工作区)的范围内。当计算机的输出超过此有限的工作图形区域时,GUI(窗口)的元素通常被拖到彼此的上面,以便GUI组件彼此重叠在一起。在某些操作系统中,在桌面上的这些重叠窗口下面产生了阴影,使它们显得好像它们有深度。此技术可使最终用户更加轻松地识别重叠窗口。
我们生活在3D(三维)世界中,我们看到,根据数学的三维坐标系,物体不仅有水平位置(x)和垂直位置(y),而且还具有深度(z)(也称为时间)。对于创建最终用户的计算会话,这种以视觉计算机比喻方式表达深度或时间的想法是非常重要的。通过在不重叠或替代在有限的桌面上所存在的内容的虚拟空间中绘制计算机的新的输出(而不是替换),创建贯穿深度和时间的新的虚拟空间。例如,如果一个人移近URL http://www.vahoo.com的网页,然后点击一个超级链接(例如,finance),则其窗口中的当前网页将被替换为Yahoo!Finance的网页。
3D在计算中主要用于下列领域:(1)游戏,(2)CAD/医学可视化,以及(3)虚拟世界。虚拟世界是其用户可以栖息并通过化身与其进行交互的计算机模拟的环境。这种栖息通常以似人机器人(或其他图形或基于文本的化身)的两维或三维图形表示的形式来表示。
许多桌面操作系统的导航窗口使用控件和按钮,以使最终用户导航到文件系统的层次结构中的其他文件夹和窗口。常常,在导航到新窗口时,新窗口替换当前窗口的显示。相应地,非常希望提供一种改进的图形用户界面,可以使用户有效地在虚拟空间中导航,其中,窗口的组可以轻松地组织、存储和检索。
发明内容
本发明解决了采用当前技术的系统和方法的缺点。具体来说,本发明旨在提供用于提供改进的3D图形用户界面的系统和方法。
根据这里所描述的实施例的一个方面,提供了一种图形用户界面,该图形用户界面使用用户的计算机的二维(“2D”)显示器,以在模拟的实时3D沉浸式(immersive)笛卡儿空间显示三维(“3D”)对象。
在一个实施例中,提供了一种系统,其中,新的计算输出占用了原始输出附近的虚拟空间,而不会丢失原始输出。当最终用户点击网页上的超级链接时,在虚拟空间中出现新的网页,该新的网页链接到但是不替换其窗口中的当前网页;而是在新的虚拟空间中绘制新的网页。这样,最终用户就可以访问在时间上过去的视觉计算时刻。
根据这里所描述的实施例的另一个方面,提供了一种用于提供三维图形用户界面的方法,包括接收来自最终用户的输入、响应接收到的最终用户输入,从至少一个计算机源捕获计算输出,并将计算输出作为显示给最终用户的三维虚拟空间内的至少两个对象呈现出来。
在一个实施例中,该方法进一步包括生成时间线,该时间线包括在虚拟空间内呈现的每一个对象的图标,其中,图标是根据对象在虚拟空间内呈现的时间接线性的时间顺序组织的,该方法还包括在虚拟空间内显示时间线。在另一个实施例中,该方法进一步包括提供数据库模块(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间一起呈现的数据库模块内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于提供三维图形用户界面的系统,包括显示屏幕、用于从最终用户那里接收输入的输入设备、可操作地连接到显示屏幕和用户输入设备的处理器模块,以及可操作地连接到处理器模块的存储器模块。优选情况下,存储器模块包括可执行代码,用于让处理器模块响应接收到的最终用户输入,从至少一个计算机源捕获计算输出,并将计算输出作为显示在显示屏幕上的三维虚拟空间内的至少两个对象呈现出来。
在一个实施例中,优选情况下,存储器模块进一步包括让处理器模块生成时间线并在虚拟空间内显示时间线的可执行代码,该时间线包括在虚拟空间内呈现的每一个对象的图标,其中,图标是根据对象在虚拟空间内呈现的时间按线性的时间顺序组织的。在另一个实施例中,存储器模块进一步包括可执行代码,用于让处理器模块提供数据库模块(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间一起呈现的数据库模块内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于在计算机网络中提供三维图形用户界面的系统,包括连接到计算机网络的服务器和与服务器关联地执行的用户界面应用程序,以提供从最终用户那里接收输入的功能,响应接收到的最终用户输入,从至少一个计算机源捕获计算输出,以及将计算输出作为显示给最终用户的三维虚拟空间内的至少两个对象呈现出来。
在一个实施例中,与服务器关联地执行的用户界面应用程序进一步提供生成时间线以及在虚拟空间内显示时间线的功能,该时间线包括在虚拟空间内呈现的每一个对象的图标,其中,图标是根据对象在笛卡儿空间内呈现的时间按线性的时间顺序组织的。在一个实施例中中,与服务器关联地执行的用户界面应用程序进一步提供如下功能:提供数据库模块(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间一起呈现的数据库模块内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于提供三维图形用户界面的网络系统,包括:包括彼此进行通信的多个服务器的计算机服务器网络;可操作地连接到计算机服务器网络的至少一个显示屏幕;用于从最终用户那里接收输入的至少一个输入设备,该输入设备可操作地连接到计算机服务器网络;以及软件模块,用于向最终用户提供一系列屏幕显示,该软件模块可被计算机服务器网络的一个或多个服务器访问。优选情况下,软件模块包括用于指示服务器响应接收到的最终用户输入而从至少一个网络源捕获计算输出,并将计算输出作为显示在显示屏幕上的模拟三维笛卡儿空间内的至少两个对象呈现出来的指令。
在一个实施例中,软件模块进一步包括指示服务器生成时间线并在笛卡儿空间内显示时间线的指令,该时间线包括在笛卡儿空间内呈现的每一个对象的图标,其中,图标是根据对象在笛卡儿空间内呈现的时间按线性的时间顺序组织的。在另一个实施例中,软件模块进一步包括指令,用于指示服务器提供数据库模块(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间一起呈现的数据库模块内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于存储计算机程序的计算机可读取的记录介质,该计算机程序使计算机执行:从最终用户那里接收输入;响应接收到的最终用户输入,从至少一个计算机源捕获计算输出;以及将计算输出作为显示给最终用户的模拟三维笛卡儿空间内的至少两个对象呈现出来。
在一个实施例中,计算机程序使计算机生成时间线并在笛卡儿空间内显示时间线,该时间线包括在笛卡儿空间内呈现的每一个对象的图标,其中,图标是根据对象在笛卡儿空间内呈现的时间按线性的时间顺序组织的。在另一个实施例中,计算机程序使计算机提供数据库模块(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间一起呈现的数据库模块内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种3D图形用户界面,该图形用户界面将用户从一个计算位置带到另一个计算位置,同时产生三维(“3D”)的无限空间的错觉。通过捕获用户的传统的二维桌面的输出,3D GUI通过以3D的方式绘制窗口或程序的其他图形表示,在3D空间无缝地将此输出呈现出来。在本发明的一个实施例中,3D GUI预期用户接下来可以寻找什么(例如,搜索结果中的下一个网页),消除了休眠的计算时间,并通过自动地绘制新的计算体验而同时在视觉上记录旧的,将用户置于点击减少的计算环境中。
因为3D GUI以3D方式产生无限空间的错觉,因此,它可以产生用户的计算会话的视觉历史,其中,用户可以通过简单地导航到以前记录的状态或视点,访问过去的视觉计算事件(或快照)。相应地,3D GUI可以充当用户的计算会话的视觉按时序排列的历史,其中,用户可以通过3D空间中的它们的位置(或视点),命名它们当前具有的计算机体验,并在以后通过调用名称或标题,再访问它。3DGUI通过记住用户最后离开的位置-在视觉上-以便下一次用户需要相同的系列输入以取得该相同的给定输出,自动化计算,3D GUI将在3D空间(用户最后离开的位置的视觉历史)给用户导航。
在一个实施例中,3D GUI可以作为计算机的桌面上的浏览器窗口内的Active X控件运行(连同诸如Internet Explorer之类的Web浏览器程序)。此外,本发明还可以作为独立的应用程序运行,或嵌入在HTML页面内。例如,佩带了不同式样的珠宝的模特儿的一系列照片的3D虚拟空间(被保存在3D GUI中)可以嵌入在珠宝电子商务站点,具体方法是,根据组件的语法,将3D GUI的Active X控件版本的代码嵌入到HTML页面的标记语言中。
程序可以,例如,和Internet Explorer、其他Web浏览器或独立应用程序一起运行。3D GUI可使用户在他们的计算机或Web上创建3D空间。通过编程访问或帮助器应用程序(例如,通过3D空间内的交互式图标代表)3D GUI可使用户查找数据、应用程序、由应用程序所创建的文件、桌面窗口、HTML页面,以及3D应用程序,它有助于或请求它们的交互式3D空间中的这些文件和程序的图形输出。一般而言,本发明在3D无限空间中显示来自用户的2D有限桌面的图形,同时保留2D程序的功能和文档。用户能够在3D空间内使用这些文件和应用程序,无需限制。
根据这里所描述的实施例的另一个方面,3D GUI可使用户即时地创建一个或多个3D空间,以有助于文件和应用程序的图形输出。例如,用户可以具有将多个3D空间链接在一起,从而产生3D空间的网络的选项。不管文件或应用程序位于什么位置(例如,在同一个文件夹内、在子文件夹中,在不同计算机上,在网络内,在不同网络上,跨因特网等等),用户通过其本机程序完全可以访问文件,或通过默认浏览器完全可以访问网站。如此,3D GUI可使不同的计算机程序的输出在视觉上聚焦于一个可展开的、可改变的3D空间中。
通过考虑优选实施例的下列详细描述,那些精通本技术的人将更加完整地理解所说明的3D图形用户界面,并实现额外的优点和其目标。将参考将首先简要地描述的所附的图形。
附图说明
图1A-1C提供了详细描述了用于提供改进的三维图形用户界面的过程的一个实施例的方框图。
图2是说明了基于用户输入的周期性地重绘3D笛卡儿空间的过程的流程图。
图3是显示了实现了虚拟空间中的交互式复合纹理映射,以及交互性和持久性的典型的处理信息方法的流程图。
图4A和4B提供了显示用于从超级链接创建网页或其他内容的3D输出的过程的流程图。
图5A是用于提供3D GUI的系统的一个实施例的方框图。
图5B是用于在计算机网络中提供3D GUI的系统的一个实施例的方框图。
图5C是用于提供3D GUI的网络系统的一个实施例的方框图。
图6是详细描述了用于排序3D堆栈中的网页阵列的过程的方框图。
图7是显示了用于排序3D堆栈中的网页阵列的过程的方框图。
图8是其中多个用户可以以协作方式同时查看和修改虚拟空间的过程和系统的流程图。
图9显示了3D GUI应用程序窗口的一个实施例。
图10显示了3D GUI应用程序窗口的另一个实施例。
图11显示了具有打开的数据库模块的3D GUI应用程序窗口的实施例。
图12显示了3D GUI应用程序窗口的一个实施例的虚拟空间内的窗口的布局。
图13A和13B显示了具有打开的数据库模块的3D GUI应用程序窗口的另一个实施例。
图14显示了具有画笔功能的3D GUI的实施例。
图15显示了3D GUI应用程序窗口中的窗口和时间线图标的示范性布局。
图16A和16B显示了3D GUI应用程序窗口中的3D堆栈和时间线图标的示范性布局。
图17A-17C显示了3D GUI应用程序窗口中的窗口和时间线图标的示范性布局。
图18显示了3D GUI应用程序窗口中的3D堆栈和时间线图标的另一个示范性布局。
图19显示了为最终用户将广告提供到虚拟空间中的3D GUI的实施例。
图20显示了数据库模块内打开了“Favorites”帮助器应用程序的3D GUI。
图21显示了数据库模块内打开了“Searches”帮助器应用程序的3D GUI。
图22显示了在虚拟空间内打开的音乐文件的示范性帮助器应用程序的3D GUI。
具体实施方式
本发明满足了提供改进的三维图形用户界面的系统和方法的必要性。具体来说,本发明旨在提供一种系统和方法,它们通过接收来自最终用户的输入、响应接收到的最终用户输入,从至少一个计算机源捕获计算输出,并将计算输出作为显示给最终用户的三维虚拟空间内的至少两个对象呈现出来,显示三维图形用户界面。优选情况下,该方法进一步包括生成时间线,该时间线包括虚拟空间内呈现的每一个对象的图标,其中,每一个图标都是根据对象在虚拟空间内呈现的时间按线性的时间顺序组织的。在随后的详细描述中,类似的元素编号用于描述一个或多个图形中所显示的类似的元素。
这里描述了这样的系统,该系统用于执行以下操作:(i)有选择地从不同的源(本地计算机或网络)捕获计算输出和信息(网页、应用程序、文档、桌面和/或在计算机上可以可视化的任何东西);(ii)使捕获的输出和信息通过在共同的3D虚拟空间中呈现或绘图来在视觉上聚焦;(iii)通过利用新颖的3D GUI以有意义的方式组织此呈现的输出,以使最终用户以更加容易和更有效的方式组织、可视化、搜索和排序此捕获的输出和信息;以及(iv)共享这些虚拟空间,保存这些虚拟空间,将它们发布到Web上,通过电子邮件发送它们,或使多个用户通过同时查看和修改它们来进行协作。
这里描述了用于基于2D操作系统的输出的现有基础架构,创建和管理此新的3D计算体验的系统。下面进一步详细描述了图1A-1C中所描绘的此系统的优选实施例。根据这里所描述的实施例的一个方面,提供了用于创建3D交互式计算接口和分类接口的系统和方法,包括来自实时和静态源的信息,包括来自Web的元搜索结果;来自API、Web服务、搜索引擎输出、应用程序输出,以及网络的信息;以及独特的交互式3D接口中的最终用户的台式机/笔记本电脑的文件。
“元搜索”是指其中查询被提交到一个以上的搜索引擎或目录,并且其中,从所有引擎报告结果(可能在删除重复和排序之后)的搜索。“API”是指能使一个程序使用由另一个程序(无论通过调用该程序或通过被该程序调用)所提供的功能的接口。在较高的级别,API是一组由编程系统提供的功能,如此,特定系统中的API的组合说明了该系统可以执行什么操作。“Web”是指由公共协议链接在一起的服务器的网络,允许对数百万的超文本资源进行访问。它也称为WWW、W3和World Wide Web。“Web服务”是指通过因特网在各种平台和框架上运行的不同软件应用程序之间进行交互操作的标准方法。它是通过网络并基于XML标准提供信息服务的软件,通过URI(通用资源标识符)地址和XML定义的信息接口访问XML标准。“实时”是指一种传输或数据处理模式,其中,在交互式对话中输入数据,在该会话中,应用程序可以足够快地作出响应,以影响以后的数据输入。
本发明提供了一种图形用户界面(GUI),该图形用户界面使用最终用户的计算机的二维显示器来在模拟的实时三维沉浸式笛卡儿空间中显示信息(例如,映射到3D对象的网页及其他信息)。程序在Web浏览器(例如,Internet Explorer和Mozilla Firefox)内运行或作为与本地操作系统兼容的独立应用程序来运行。3D GUI程序在计算机的桌面上的二维窗口内创建三维空间的外观,如图10的实施例中所显示的。该程序可以利用无所不在交互式和沉浸式3D呈现浏览器或播放器,它们将基于浏览器所固有的绘图语言编写的高级语言代码(程序),对3D绘图指令进行处理。
程序通过遵守透视图的视觉规则,在最终用户的计算机的二维显示器或窗口内创建看起来是无穷大的模拟三维笛卡儿空间,在透视图中,显得更靠近自己的几何形状或对象显得较大(涉及它们的空间属性),显得距离较远的对象或几何形状显得较小,如图10-12的示范性实施例所示。程序通过在由从观察者感觉到的距离确定的相对于彼此的空间中重绘对象,在二维窗口内模拟三维空间。在远处的对象显得较小,而靠近的对象显得较大。
程序创建模拟的实时三维沉浸式笛卡儿空间的交互性。当用户沉浸在此3D空间中时,程序将从用户那里获取由事件处理程序进行处理的指令,事件处理程序是由图形用户界面启动的控件呈现的,这些控件可以通过移动得靠近它、远离它,改变他们的角度或两者,改变他们的透视图或视点(被定义为本地坐标系或三维空间中的位置或可视透视图)。一旦程序接收到用户启动的输入,以改变场景的可视透视图,程序将重绘场景,以反映用户启动的输入,以及对可视透视图的更改。
根据这里所描述的实施例的一个方面,提供了一种用于提供三维图形用户界面的系统和方法。请参看图5A,在一个实施例中,系统710包括显示屏幕712和用于从最终用户那里接收输入的输入设备714、716。系统710进一步包括处理器模块718(可操作地连接到显示屏幕712和用户输入设备714、716)和存储器模块720(可操作地连接到处理器模块718)。
优选情况下,存储器模块720包括可执行代码,用于让处理器模块718响应接收到的最终用户输入,从至少一个计算机源捕获计算输出,并将计算输出作为显示在显示屏幕712上的三维虚拟空间内的至少两个对象呈现出来。在一个实施例中,优选情况下,存储器模块720进一步包括让处理器模块718生成时间线340的可执行代码,该时间线340包括在虚拟空间300内呈现的每一个对象的图标,其中,图标是根据对象在虚拟空间300内呈现的时间按线性的时间顺序组织的。在另一个实施例中,优选情况下,存储器模块720进一步包括可执行代码,用于让处理器模块718提供罗盘或数据库模块440(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间300一起呈现的数据库模块440内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于在计算机网络中提供三维图形用户界面的系统。请参看5B,在一个实施例中,系统730包括连接到计算机网络(734、736、738、740)的服务器732和与服务器732关联地执行的提供从最终用户那里接收输入的功能的用户界面应用程序;响应接收到的最终用户输入,从至少一个计算机源捕获计算输出;以及将计算输出作为显示给最终用户的三维虚拟空间内的至少两个对象呈现出来。在一个实施例中,优选情况下,与服务器732关联地执行的用户界面应用程序提供生成时间线340以及在虚拟空间300内显示时间线340的功能,该时间线340包括在虚拟空间300内呈现的每一个对象的图标,其中,图标是根据对象在笛卡儿空间300内呈现的时间按线性的时间顺序组织的。在另一个实施例中,优选情况下,与服务器732关联地执行的用户界面应用程序提供如下功能:提供罗盘或数据库模块440(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间300一起呈现的数据库模块440内的一个或多个对象的数据。
根据这里所描述的实施例的另一个方面,提供了一种用于提供三维图形用户界面的网络系统。请参看5C,在一个实施例中,网络系统750包括:包括彼此进行通信的多个服务器(752、754、756、758)的计算机服务器网络751;与计算机服务器网络751进行通信或可操作地连接到计算机服务器网络751(直接或间接地)的至少一个显示屏幕712;用于从最终用户那里接收输入的至少一个输入设备(714、716),输入设备(714,716)可操作地连接到计算机服务器网络751;以及软件模块760,用于向最终用户提供一系列屏幕显示,软件模块760可被计算机服务器网络751的一个或多个服务器(752、754、756、758)访问。
优选情况下,软件模块760包括用于指示服务器(752、754、756、758)响应接收到的最终用户输入而从至少一个网络源捕获计算输出,并将计算输出作为显示在显示屏幕712上的模拟三维笛卡儿空间300内的至少两个对象呈现出来的指令。在一个实施例中,软件模块760进一步包括用于指示一个或多个服务器(752,754,756,758)生成时间线340的指令,该时间线340包括在笛卡儿空间300内呈现的每一个对象的图标,其中,图标是根据对象在笛卡儿空间300内呈现的时间按线性的时间顺序组织的。在另一个实施例中,软件模块760进一步包括执行如下操作的指令:用于指示一个或多个服务器(752,754,756,758)提供罗盘或数据库模块440(用于存储和分类有关在虚拟空间内呈现的每一个对象的数据),将数据库模块内的超级链接提供到虚拟空间内呈现的每一个对象的相应的视点,并显示有关与虚拟空间300一起呈现的数据库模块440内的一个或多个对象的数据。
在3D GUI创建的3D沉浸式空间内,用户的视点可以改变,其中,“视点”被定义为用户可以从中查看场景或文件的本地坐标系(3D空间)中的特定位置或透视图。如此,可以使用叫做“罗盘”440的界面,以帮助用户名、图、浏览3D空间中的视点,如图11的示范性实施例中所显示的。这里,罗盘或数据库模块440(位于虚拟空间300的显示器的左边),可以用来记录当用户沉浸在3D空间时的任何时候用户的当前视点。例如,条目442显示了罗盘440中的索引的视点“Yahoo!”。罗盘440可以用来将一个或多个名称分配到记录的视点,和/或将视点的名称作为名称集合中的一个名称存储在关系数据库中。名称构成了3D空间的图以及浏览该图的方法。例如,在一个实施例中,提供了一种线性图,叫做时间线340,具有多个图标(502、504、506、508)。时间线中的图标502、504、506、508代表罗盘440中索引的视点,并分别对应于窗口510、512、514、518。罗盘也可以充当到存储的名称/视点的关系数据库的用户界面。罗盘可以具有下拉菜单,其中,每一个菜单都是存储了由用户分配的或由应用程序自动地生成的视点的名称和/或字段的记录(在关系数据库中)。罗盘可以是可展开的,以有助于有菜单或记录的无穷大的阵列,从而创建了表或记录的组。
在如图11所示的实施例中,3D GUI窗口的资源管理器窗格在涉及Windows环境时充当罗盘440。在此窗格中,可以看出标记为“节省的空间”450、“桌面”451、“收藏夹”452、“Web浏览器”453、“搜索”454、“图像搜索”455、“电影搜索”456、“搜索”457、“图像”458、“声音/音乐”459、3D 460,以及“便笺”461。这些选项卡代表了编程访问或帮助器应用程序,下面进行了进一步详细的描述。
如图11的实施例所示,选择叫做“Web浏览器”453的选项卡,展开它下面的Web浏览器菜单,以及网页(主窗口或虚拟空间中显示的)(其URL是http://www.yahoo.com,在涉及罗盘440时,其视点名称的是“http://www.yahoo.com-Yahoo!”442)的视点名称。更具体来说,在罗盘440的菜单列出了网页(主窗口或虚拟空间中显示的)(其URL是http://www.yahoo.comhttp://www.google.comhttp://www.ebay.comhttp://www.msn.com)(在它们涉及罗盘时,也是这样列出的,其视点名称是″http://www.yahoo.com  -Yahoo!″442、″http://www.google.com-Google″443、″http://www.ebay.com-ebay″444和″http://www.msn.com-MSN″445)的四个视点的名称。如此,最终用户可以使用编程访问或帮助器应用程序(450-461)让它们的内容呈现在3D虚拟空间中,可以让它们的内容的视点表示形式自动地索引和组织于罗盘440中,并可以通过3D图标(502、504、506、508)让罗盘440中的图形事件的线性表示形式索引在时间线340上。
在本发明的优选实施例中,可以使帮助器应用程序在窗口内(例如,在3D空间内)显示文件和程序的输出。在本发明的替代的实施例中,可以使编程访问或帮助器应用程序通过自定义界面(其图形设计看起来像它们试图代表的现实世界的对象)显示信息。例如,请参看图22的实施例,用户可以为音乐文件运行帮助器应用程序或编程访问。在点击声音/音乐的帮助器应用程序的图标之后,3D GUI将提示用户查找他们的本地计算机上、网络计算机或万维网上的音乐文件。然后,帮助器应用程序将在3D空间(300)中绘制音乐文件(优选情况下,以压缩光盘的形式存在)的界面(680、682、684)。然后,用户可以与音乐文件的图形表示(例如,CD的图形表示)进行交互,以运行和播放界面690中显示的音乐文件。
存储的视点的命名可以作为罗盘中的一个菜单中的单个名称存在,或作为多个菜单中的多个名称的组合存在。在一个实施例中,每一个视点都只与每一个菜单中的一个名称关联。这样,用户可以选择多个菜单中的多个名称,以创建有意义的名称的组合,这些名称组合动态地基于选定的名称的关系,检索存储的视点。用户可以编辑罗盘的菜单,从而,添加或删除类别或展开菜单。所有这些都可以在用户创作和与他的或她的3D场景进行交互时实时地发生。用户也可以能够将两个或更多不同的罗盘界面组合起来,从而,创建一个或多个3D空间的较大的虚拟图和导航系统。罗盘中的命名的视点可以链接到当前场景中的一个视点,本地台式机上的另一个3D文件中的视点,或万维网上托管的另一个3D文件中的视点。这样,罗盘创建导航的装置,该装置在任何给定文件(本地台式机文件、Web上的文件等等)之间的抽象。
在本发明的一个实施例中,3D GUI进一步用于生成存储的视点的自定义2D图和它们在罗盘中的特定菜单项的名称。具体来说,3DGUI为通过罗盘命名和创建的每一个视点创建3D图标,并将它们绘制到3D空间中,相应的名称作为路标被分配给它们,使用户绘制3D空间的所有视点的图,并在视点之间绘制线路,以看见不同的视点之间的关系。
请参看图11的实施例,以无穷多的图的可能性提供了线性图340(在虚拟空间300的下白边处绘制),从而,可以使3D GUI将存储的视点的图表达为3D图标,它们在罗盘440中的特定菜单项的名称(在最终用户将鼠标放在它们上方时)被表达为时间线340。这里,时间线340是代表在最终用户以这样的顺序点击每一个3D图标(最初在罗盘440中创建的和索引的)的情况下,从第一视点到最后一个视点的动画的线性的进展的图。本质上,每一个3D图标(502、504、506、508)都是跳转到新的位置或视点(当点击时)的超级链接或图形。
本系统利用叫做“时间线”的独特的图形用户界面,该图形用户界面允许最终用户(i)索引和跟踪,(ii)导航到和(iii)重放在虚拟空间内发生的每个视觉事件和重要操作(在它正在发生时,实时地),做法是,通过在虚拟空间内按线性时间顺序绘制这些视觉事件的图标(参见图18)。如这里所使用的,“视觉事件”是指通常通过添加从其他来源(自动地通过编程访问或由最终用户人工地)捕获的信息和输出所引起的,并在3D虚拟空间内绘制的3D虚拟空间的外观的变化(参见图1和2-方框22、24、26)。
在一个实施例中,作为来自最终用户的输入的结果启动的,或以别的方式通过编程访问启动的每一个新的操作(产生视觉事件),自动地存储在罗盘中,然后作为动态时间线线性图340上的图标绘制(参见图11、12,以及13A)。那些精通本技术的人员将理解,将不可能列出将构成一个视觉事件(作为时间线340上的图标绘制)的计算事件的每一种可能的类型。在一个实施例中(如图11、12,以及13A)所示,时间线340是以直线方式在页面的下白边上水平地绘制的。在另一个实施例中(未显示),时间线可以在页面的左边或右边垂直地绘制的。
在时间线中绘制的每一项是代表最终用户启动的用于导致视觉事件(为其创建了时间线上的图标)的操作的图标。例如,相对于水平时间线,时间线上的一个给定项左边的项在该给定项之前发生,而时间线上的一个给定项右边的项在该给定项之后发生。请参看图18的说明性实施例,为其在时间线340上绘制了图标612的视觉事件(610)在为其在时间线340上绘制了图标622的视觉事件(620)之前发生。类似地,为其在时间线340上绘制了图标632的视觉事件(630)在为其在时间线340上绘制了图标622的视觉事件(620)之后发生。
这样,最终用户可以通过点击时间线上的任何图标(以线性顺序、随机顺序、等等)(该图标将最终用户绑定到视点(在虚拟空间内绘制了其涉及可视事件的信息))返回到过去的计算体验(在创建图标并将其添加到时间线时,在虚拟空间中的某些视点或x,y,z坐标中绘制的);在此情况下,在当前实施例中的其自己的独特的3D或可视堆栈中。
请参看图13A,在一个实施例中,提供了叫做“桌面”451的帮助器应用程序,可被用户用来将数据库模块440的菜单441中显示的项拖放中虚拟空间300中。提供了呈现时间线340的形式的动态线性图(在虚拟空间的下白边绘制),以将最终用户的输入的操作表达为为时间线340上的图标。万一用户点击时间线340上的任何图标,则用户的视点将改变为为操作或视觉事件创建的3D堆栈(即,3D中可视化的堆栈)中的第一项。最终,时间线340是帮助器应用程序(450-461)在3D GUI的舞台或虚拟空间300内捕获和绘制的所有项或输出的线性图。
在图16A中所显示的另一个实施例中,最终用户选择叫做Yahoo!Search(520),并向帮助器应用程序的文本输入字段(530)中键入搜索项(例如,“Albert Einstein”或“Thomas Edison”)。帮助器应用程序通过Web服务或其他技术(图4A和4B)收集搜索请求的信息,并在独特的3D堆栈560(通过图标562在时间线340中表示)中绘制搜索结果。由帮助器应用程序在其自己的3D堆栈中对搜索结果的绘图构成视觉事件或改变为为其绘制了图标并且图标被添加到时间线中的3D虚拟空间。
最终用户可以选择叫做Yahoo!图像搜索(520)的另一个帮助器应用程序,并在“Yahoo!图像搜索”文本输入字段的搜索字段(530)中输入相同搜索项。Yahoo!Image Search帮助器应用程序通过与Yahoo!的Web服务进行连接,收集此搜索请求的信息,然后,在被转换为预先绘制的3D堆栈或以3D可视化的堆栈的右侧(3D笛卡儿虚拟空间中的+x)的其自己的独特的3D堆栈570中绘制搜索结果。此外,虚拟空间内的新的可视堆栈的图形构成了可视事件,其中,代表堆栈570另一个图标572被添加到时间线(最后一个图标562的右侧)。
参考图16B,在最终用户通过″address″:command-lineinterface 464在诸如http://www.google.com之类的虚拟空间(图1A-1C-方框60)内创建Web浏览器页面的情况下,其中,最终用户可以输入URL,并将它添加到虚拟空间中(图1A-1C-方框60),在被转换为预先绘制的3D堆栈560,570的右侧(3D笛卡儿虚拟空间中的+x)的右侧的其自己的3D堆栈580中绘制新的网页。此将向时间线中添加另一个图标582(最后一个图标572的右侧)。如果最终用户在虚拟空间内导航,改变他们的视点,并选择了3D GUI系统的“记录视点”功能(图1A-1C-方框50),这将记录虚拟空间内的x,y,和z位置(视点),将此添加到数据库模块中,如在叫做“收藏夹”的选项卡下。
如图20所示,当用户点击“记录视点”图标650时,系统记录虚拟空间内的x,y和z位置(“视点”),并将此作为叫做“收藏夹”452下的项652添加到罗盘440中。优选情况下,系统可使用户命名视点,并在3D虚拟空间内绘制3D图标654,作为路标,指出虚拟空间内的存储的视点的位置。优选情况下,系统在被转换为时间线上的预先绘制的图标的右侧的时间线340上绘制新创建的视点的3D图标656,因为这将被分类为可视事件。如此,被添加到虚拟空间的每一个可视事件,被存档,通过其图标,实时地在时间线上表达出来。
从左到右连续地点击时间线上的每一个图标将产生对最终用户的视点的连续的更改。如此,虚拟空间内的可视事件在发生时被存档,并按线性顺序实时地在时间线上表达出来。用户可以通过简单地点击时间线上的代表在虚拟空间内绘制的“可视事件”(为其在时间线上创建了图标)的图标,在时间上后退。通过点击时间线上的项,将会把最终用户的视点改变为虚拟空间中的最初绘制了可视事件的位置;在此情况下,每一个3D堆栈中的第一项。
在3D GUI系统内,将项添加到时间线的过程是动态的,在创建新的可视事件时发生。当作者之外的最终用户查看虚拟空间时(要么通过电子邮件,要么访问服务器上的保存的空间的发布的URL)。在第一次查看另一个最终用户创作的虚拟空间时,一个最终用户可以以线性的方式从左到右地点击时间线上的图标,并按时间顺序体验到在虚拟空间的作者在创建虚拟空间时所体验到的那样。如此,时间线按时间顺序捕获或记录虚拟空间的可视变化,如此,查看它的其他人可以通过从左到右地连续地点击时间线上的图标。
优选情况下,3D GUI利用被用于基于此系统执行为它编程的代码的应用程序或运行时环境。例如,程序可以利用交互式和沉浸式3D呈现浏览器,该浏览器基于浏览器程序所固有的绘图语言编写的高级语言代码(程序),对3D绘图指令进行处理。有许多可以用来实现这一点的编程语言以及运行时环境/3D呈现浏览器。运行时环境或浏览器可以是(1)独立应用程序,(2)Web浏览器内的Active X控件或对象,和/或(3)网页中的嵌入对象。
此系统或3D交互式计算接口将在计算机桌面上创建所谓的虚拟空间,它通过浏览器程序运行。虚拟空间只不过是一种程序(在运行时环境/3D呈现浏览器内运行),通过在由从观察者感觉到的距离确定的相对于彼此的虚拟空间中重绘对象,在平面的2D显示内模拟3D空间,图-2。在远处的对象显得较小,而靠近的对象显得较大。
此外,在最终用户的计算机的二维显示器或窗口内绘制的模拟三维笛卡儿空间的主题,优选情况下,以循环方式被重新绘制(图1和2-方框22、24、26),以刷新场景,以便基于最终用户的响应,对绘制的对象的更改必须足够快速地发生,以便体验感觉起来确实好像是交互式的。
负责虚拟空间的信息类似于任何其他文件,其中,可以任意地存储、命名和修改组成该文件的信息(图1A-1C-方框94)。此外,因为使用3D虚拟空间来(1)表达它用于输入和输出的图形用户界面,(2)作为可视化待在系统上排序和搜索的信息的舞台,作为操作系统的文件系统的一部分的许多命令也可以应用于保存的虚拟空间。此外,每一个保存的虚拟空间(图1A-1C-方框96)都可以充当通过帮助器应用程序(图1A-1C-方框32、34、36、38,40)被添加到虚拟空间的所有项目的容器,帮助器应用程序充当允许信息流入系统的虚拟空间的桥路。因特网的一个比较流行的功能是下载文件,以及将文件从一个计算机传输到另一个计算机,利用虚拟空间作为媒体向电子邮件中输出和添加文件、内容和信息或传输这些文件是新颖而有用的。那些精通本技术的人员将认识到,一旦作为文件存档了虚拟空间,则它可以轻松地被通过电子邮件发送或通过FTP发送到另一个服务器或计算机,如任何其他电子邮件或文件那样轻松地发送。
在当前计算范例中,电子邮件消息是作为带有诸如图片、视频、声音,以及可执行文件之类的二进制文件的附件的消息向彼此发送的。一旦接收到电子邮件消息,要查看附件,收件人必须(i)选择文件,(ii)使用他们的电子邮件软件,对每一个文件进行解码,(iii)下载它,以及(iv)使用创建该文件的单独的程序在其自己的新窗口中启动该文件,或查看它。相比之下,在3D GUI中,被添加到虚拟空间(参见图1A-1C-方框32,42,50,58,60,62,72,74,84,86,88,90,92,94,104)的诸如图片、视频、声音、网页之类的所有文件或其他内容,可以作为整体在一个文件中通过电子邮件发送。一旦电子邮件的收件人接收到该电子邮件,他们就可以利用一次点击访问带有所有其内容的虚拟空间,通过点击到保存的空间的超级链接,无论是(i)附加到电子邮件还是(ii)保存在服务器中(图1A-1C-方框98)。这样做,会打开虚拟空间,并呈现所有内容,最终用户无需一个一个地分别打开文件。
更具体来说,一旦通过电子邮件接收到虚拟空间,或者,虚拟空间从服务器或通过Web上的FTP下载到最终用户的计算机,到负责显示电子邮件或FTP文件的网页中的保存的空间的超级链接看见可以利用一次点击执行通过电子邮件发送的或传输的文件的Active X控件或应用程序的嵌入的HTML<object>标记。一般而言,此标记包含执行该控件所需的信息,该信息可以位于GUI服务器上或在别处。如此,3D GUI系统(在本发明的此实施例中作为Active X控件配置的)可以在任何计算机上运行,允许带有最终用户的内容的保存的虚拟3D空间通过电子邮件、文件传输协议或其他方法发送到任何其他计算机,最终用户可以利用一次点击即可访问虚拟空间内的所有内容。
在本系统的一个实施例中,3D GUI程序允许最终用户向GUI服务器(图8-方框282)发布他们的空间,如通过点击程序内的发布按钮或类似的元件。3D GUI程序通过将文件上传到服务器或将文件推到服务器来保存文件,并创建此文件的地址作为URL(图8-方框284和286)。一个或多个用户(图8-方框290i-290n)可以同时访问此发布的URL。通过访问此URL,将启动每一个最终用户的客户端计算机上的3D GUI Active X控件,独立地将文件的最近的版本下载到多个用户中的每一个用户的计算机(图8-方框288),如此他们可以与虚拟空间进行交互并使用虚拟空间。最初,每一个最终用户将执行最初在他们的客户端计算机上下载的虚拟空间文件的相同版本。服务器将保留通过客户端和服务器计算机之间的网络通信下载了文件的所有最终用户(被称为“多个用户”)的索引。
通过可视事件对多个用户的虚拟空间中的任何一个虚拟空间的任何改变将被以日志形式记录在其自己的文件中。这里,可视事件是指通常通过添加从其他来源捕获的信息和输出所引起的,并在3D虚拟空间内绘制的3D虚拟空间的外观的变化(图2-方框22,24,26)。术语“以日志形式记录”是指在实际将变化写入到主文件之前将变化记录到日志的文件系统。来自每个客户端计算机的每一个新的可视事件的每一个以日志形式记录的变化的每一个文件,将通过网络连接推到服务器(图8-方框296),并作为日志条目被添加到原始文件中。一旦服务器接收到了文件的日志条目,它会将对原始文件中的添加内容推到多个用户的所有客户端计算机,产生了该变化的客户端计算机除外。如此,新的可视事件或来自多个用户中的所有用户的以日志形式记录的文件将被更新到多个用户中的所有用户的虚拟空间。优选情况下,此过程以循环方式很快地重现,从而允许来自多个用户中的所有用户的所有变化实时被反映出来。
3D GUI程序提供模拟的实时三维沉浸式笛卡儿空间的交互性。当最终用户沉浸在此3D空间中时,程序将从用户那里获取由事件处理程序进行处理的指令,事件处理程序是由图形用户界面启动的控件呈现的,这些控件可以改变它们的透视图或视点(是指本地坐标系或三维空间中的位置或可视透视图)。如此,最终用户将能够通过在虚拟空间中(例如,网页)移动得更靠近对象或远离对象,和/或改变网页在虚拟空间中的角度或透视图,在虚拟空间中取得多个、独特的视点。
在本发明的一个实施例中,帮助最终用户改变他们在虚拟空间中的透视图的图形用户界面控件叫做“导航器”,从图11和12可以看出。通过点击导航器上的图标,最终用户可以改变他们在3D虚拟空间中的透视图或视点。在如图11和12所示的实施例中,(1)通过导航器上的“+”按钮,会将最终用户沿着3D笛卡儿空间中的z轴向前移动;(2)通过导航器上的“-”按钮,会将最终用户沿着3D笛卡儿空间中的z轴向后移动;(3)通过导航器上的“向上箭头”按钮,会将最终用户沿着3D笛卡儿空间中的y轴向上移动;(4)通过导航器上的“向下箭头”按钮,会将最终用户沿着3D笛卡儿空间中的y轴向下移动;(5)通过导航器上的“向左箭头”按钮,会将最终用户沿着3D笛卡儿空间中的x轴向左移动;以及(6)通过导航器上的“向右箭头”按钮,会将最终用户沿着3D笛卡儿空间中的x轴向右移动。
一旦程序接收到用户启动的输入,以改变场景的可视透视图,程序将重绘场景,以反映用户启动的输入,以及对可视透视图的更改,如图2所示。程序重新计算场景/3D笛卡儿空间中的对象的形状和大小或几何形状,以反映最终用户在本地坐标系中的位置或可视透视图。为了获得逼真的实时体验,程序将以循环的方式重绘场景。
事件处理程序是一种用于告诉程序响应特定的事件(例如,点击鼠标、拖动滚动条,或按动按钮)程序如何操作的计算机程序。程序的自定义事件处理功能将由事件调度器执行,事件调度器是操作系统的负责检测图形用户界面(GUI)事件并调用执行程序中的处理那些事件的功能的那一部分(参见en.wikipedia.org/wiki/Event handler)。
程序重新计算场景/3D笛卡儿空间中的对象的形状和大小或几何形状,以反映最终用户在本地三维坐标系中的位置或可视透视图(基于由事件处理程序收集到的输入)。为了获得逼真的实时体验,程序将以循环的方式重绘场景。如此,最终用户可以控制他们在3D沉浸式空间中的导航、位置,以及视点,给予它们在选择的任何角度或视点可视化3D空间内的任何几何形状的自由(参见图2)。
根据这里所描述的实施例的一个方面,提供了用于通过来自搜索引擎输出的交互式元搜索结果,产生来自超级链接的网页的3D输出的方法和系统。参考图4A和4B的实施例,提供了图形用户界面,如3D场景内的输入界面或帮助器应用程序(方框162),一旦最终用户在他们的3D空间内,它们可使最终用户输入搜索项或搜索项的组合。帮助器应用程序或编程访问可以允许最终用户不仅输入搜索项,而且,还可以输入应该从其中始发搜索结果的源(例如,eBay、Yahoo!、Google、电子邮件、桌面、MySpace、MSN,或任何其他可用的信息源(如图4A和4B所示-方框164)。相应地,必须自定义适当的帮助器应用程序,以捕获或将3D GUI系统与信息的起源连接。万维网上的大多数搜索引擎、门户和信息的发布者需要不同的编程访问技术,以通过Web服务暴露他们的信息,以允许其他系统与它们的信息进行连接。那些精通此技术的人应该理解,必须作出轻微的改变,以将3D GUI桥接到此信息,而不会偏离系统。例如,该方法可以包括与http://www.google.com进行连接,以便于将信息桥接到3D GUI系统中。
类似于搜索引擎的网络爬虫通过访问超级链接、存储URL,以及索引每一个遇到的页面的关键字和文字,浸游万维网的方式,在一个实施例中,3D GUI程序可以实时地进行万维网搜索,通过作为3DGUI内的子窗口,打开所选定的搜索引擎的主页的一个2D HTML页面(通过操作系统的Web浏览器控件(图4A和4B-方框184184)在屏幕外绘制的(隐藏))(在此情况下,http://www.google.com图4A和4B-方框184),在最终用户的选择的搜索系统或网站中使用这些搜索项。然后,我们的程序将搜索项输入到搜索引擎的主页的屏幕外文本输入字段中(图4A和4B-方框188),模拟回车,检索搜索结果(图4A和4B-方框192),对每一个HTML页面中查找的搜索结果进行分析,识别搜索引擎作为搜索结果返回到最终用户的每一个超级链接,并将此存储在阵列中。在一种方法中,对于此阵列的每一个元素或将显示在给定超级链接的URL中查找到的网页的搜索系统的结果页面中发现的每一个超级链接,程序将在3D空间中打开一个新的网页或窗口(在搜索结果页面后面)。
如果最终用户进行新的搜索,对于输入到输入界面中每一个搜索短语,程序将利用它们的选择的屏幕外搜索系统的URL打开一个新的浏览器窗口,将关键字短语作为临时区域传输到此搜索页面,并模拟回车。一旦搜索结果出现,它们会再次进入程序。然而,每一个新的搜索结果都让其自己的浏览器窗口在屏幕外绘制,然后进入3D笛卡儿空间。
此外,应该指出的是,Windows操作系统中的Web浏览器控件向应用程序中添加浏览、文档查看,以及数据下载能力。使用此控件的应用程序将允许用户浏览万维网上的站点,以及本地文件系统和网络上的文件夹。Web浏览器控件用于本发明的某些实施例中。然而,值得注意的是,3D GUI系统可以利用操作系统外壳的任何一部分或Web浏览器控件之外的其他组件,作为从计算机捕获和显示输出的方法。
对于此阵列的每一个元素或将显示在给定超级链接的URL中查找到的网页的搜索系统的结果页面中发现的超级链接,3D GUI程序将在3D虚拟空间中打开一个新的网页或窗口(在搜索结果页面后面,图4A和4B-方框202)。如此,3D GUI与搜索引擎的网络爬虫类似,只是这里,系统在3D虚拟空间中实时地可视化它遇到的实际网页、信息和超级链接,而不是将它作为索引存储在数据库中。在图4A和4B-方框202,可以识别在两个网页的前面绘制的搜索结果页面。系统默认在所谓的“3D堆栈”(即,以3D方式可视化的堆栈,有时简称为3D堆栈)绘制每一个新的网页,如图所示,其中,每一个新的网页都占用类似于现有的网页的位置的x,y,z坐标;只是它沿着z轴进一步被绘制到更远的距离(从给定透视图,它显得较小),并在x或y或x,y轴两者上平移,以允许最终用户从任何给定透视图看见多个网页。例如,在图9的实施例中,可以看出虚拟空间300中绘制的四个3D堆栈302、304、306、308的鸟瞰图,其中,每一个3D堆栈(在此实施例中,每一个都包含大约十个项目)都代表一个新的搜索。
请参看图10的实施例,框架366和371提供了使用搜索引擎(例如,Google)进行的两个搜索结果。每一次搜索都会导致创建其自己的3D堆栈(360,370),每一个堆栈都包括大约十个网页。3D虚拟空间300中的这些3D堆栈(360,370)的动态创建是默认完全形态,供3D GUI显示引擎用来输出3D虚拟空间的组织的信息的输出内查找到的元素。在另一个实施例中,显示引擎可以加载其他自定义模板以实现一个或多个不同完全形态(例如,3D堆栈等等)。
继续参考图10,提供了导航器380的另一个实施例。通过点击导航器380上的图标,如下一页382和前一页384,最终用户可以轻松地改变他/她的透视图或视点,以与导航器380上的按钮的含义一致。例如,通过导航器380上的下一页382,会将最终用户绑定到3D堆栈中的下一页的特写视点(例如,,从页面/框架/窗口361移动到页面/框架/窗口364)。另外,(a)通过+按钮390,会将最终用户沿着3D笛卡儿空间中的+z轴向前移动,(b)通过-按钮392,会将最终用户沿着3D笛卡儿空间中的-z轴向后移动。
还在屏幕的底部附近提供了一组导航按钮396。通过点击按钮324,会显示出3D堆栈的第一页(例如,,堆栈360的页面361),而通过按钮406,会移近3D堆栈的最后一页(例如,堆栈360的页面368)。换句话说,通过点击按钮398,会将最终用户绑定到3D堆栈中的第一页的特写视点,而通过点击按钮406,会将用户绑定到堆栈中的最后一页的特写视点。类似地,通过点击按钮400,会显示出前一页,而通过按钮404会移近给定堆栈中的下一页。通过点击按钮402,会使程序拍摄窗口和对象的当前笛卡儿空间布局的快照,这可以使用户稍后移近当前笛卡儿空间。通过点击“下10页”按钮(未显示),在3D堆栈中绘制下十个页面,将它添加到原来的十个页面中,在3D堆栈中总共产生了二十个页面。通过点击“前10页”按钮408,会将最终用户绑定到3D堆栈中的前10个页面(例如,从第二十页后移到第十页)。
在图10的实施例中也显示了补充的导航按钮410,用于改变他/她在3D虚拟空间300中的透视图或视点。例如,(a)通过向上箭头412,会将最终用户沿着3D笛卡儿空间中的+y轴向上移动,(b)通过向下箭头414,会将最终用户沿着3D笛卡儿空间中的-y轴向下移动,(c)通过向左箭头414,会将最终用户沿着3D笛卡儿空间中的-x轴向左移动,以及(d)通过向右箭头416,会将最终用户沿着3D笛卡儿空间中的+x轴向右移动。
当最终用户点击3D堆栈中表示的Web浏览器控件的任何纹理图上的关闭按钮420时,3D GUI会从3D堆栈中删除页面,使被删除的页面之后向前的下一页动画化,以替换堆栈中的被删除的页面的位置,使前面已动画化的页面之后的页面动画化为在它被移动之前前面动画化的页面的原始位置,使3D可视堆栈中的向前的下一页动画化,以替换前面已动画化的页面的位置,使堆栈中的下一页动画化为前面已动画化的页面的位置,以及重复此过程,直到到达3D堆栈的末尾或阵列中的最后一个元素。
此外,在本发明的另一个实施例中,可以轻松地自定义3D GUI,以接纳动态地计算3D堆栈内绘制的每一个网页的位置或x,y,z坐标(或其他项目)的公式,以获得所谓的自定义完全形态的全景,从而,元素的配置或模式(虚拟空间中的x,y,z坐标)作为整体如此统一,以至于不能仅仅作为其各部分的总和来描述。例如,在一个实施例中(未显示),绘制的网页的不同完全形态或模式呈现三维立方体的形状,其中,每一个网页都在立方体的三个侧面的交叉点处绘制(不同于图9中的列完全形态)。
在另一个实施例中,3D GUI从帮助器应用程序检索图像,然后,这些图像被呈现于矩阵中,其中,四个图片位于沿着虚拟空间内的x和y平面的每一个3D堆栈的两行和两列中。在再一个实施例中,可视完全形态是一个矩阵,其中,十六个图片位于沿着虚拟空间的完全形态内的x和y平面的每一个3D堆栈的四行和四列中。
根据这里所描述的实施例的另一个方面,可以使3D GUI“完全形态”提供“链入/链出”功能,与虚拟空间内的搜索结果中的任何对象或Web页面的完全形态。首先,在用户请求的情况下,程序将自动地允许最终用户绘制3D虚拟空间内的任何给定Web页面或对象“链出”的所有Web页面或对象。其次,在用户请求的情况下,程序将自动地允许最终用户绘制“链入到”3D虚拟空间内的任何给定Web页面或对象的所有Web页面或对象。
也可以使3D GUI系统的显示引擎输出适合于电子邮件的自定义完全形态。3D笛卡儿空间中绘制的标记,它们的位置和“链入/链出”的角度可以被自定义,以显示对应于呈现的数据的类型的任何标题。用于绘制3D堆栈中显示的信息的3D笛卡儿空间中的每一个坐标或位置和“链入/链出”,是可以在自定义模板(与程序兼容,以改变3D笛卡儿空间中的完全形态的外观)内修改的变量。这可以通过使用模板中的利用程序的可扩展的本质的xml编码数据来完成的。那些精通本技术的人员将能够创建同该系统一道工作的这些可扩展的数据表。程序可以通过模板文件立即处理多个模板,并通过来自界面面板的输入,应最终用户的请求,实时地在不同主题之间进行切换。
在一种方法中,在3D堆栈中显示的3D笛卡儿空间中的每一个坐标或位置都是由自定义模板(与程序兼容,以改变3D笛卡儿空间中的完全形态的外观)修改的变量。这是通过使用模板文件中的利用程序的可扩展的本质的xml编码数据来完成的。例如,可以在立方体配置的拐角处组织一簇八个窗口,其中,可以通过立方体布局,旋转每一个窗口,以通过簇中的页面,进行排序。可以通过连接每一个簇的线段来表示“链入和链出”功能。值得注意的是,立方体簇只是示范性的,具有可变数量的页面的簇也是可以的。例如,在另一个实施例中,在具有锥体配置的簇中表示了五个窗口,其中,该锥体包括矩形基座,有四个点和单一的点位于矩形基座的上方。
在本发明的一个实施例中,3D GUI可以是用户的计算会话的历史可视时序,其中,应用程序可以通过记录该计算会话的该日期和时间的视点,存档每一个新的可视事件的日期和时间,并通过恢复该日期和时间的视点,再访问这些可视事件。这里,我们将“可视事件”叫做通常通过添加从其他来源捕获的信息和输出所引起的,并在3D虚拟空间内绘制的3D虚拟空间的外观的变化(图2-方框22、24、26)。在本发明的一个实施例中,创建如图21所示的虚拟空间。此外,还利用叫做“Yahoo!Search”的帮助器应用程序,进行搜索,并在其自己的3D堆栈中的3D虚拟空间中绘制搜索结果的网页。选择罗盘440中的搜索选项卡454,该选项卡在它下面按时间顺序显示了在窗格中在虚拟空间内绘制每一个搜索结果或网页的日期和时间(看见罗盘440的菜单441中的条目660-672)。
我们将程序中的可以将信息存储在与诸如视点之类的程序关联的3D GUI中的一个区域叫做“罗盘(compass)”。罗盘可以具有存储了信息的多个类别。通过改变类别,可以使最终用户访问不同信息,可以使人基于选择的驻留了信息的类别,过滤或发现信息。
这里,我们看到,在虚拟空间300中所显示或绘制的事件(674,676)对应于为罗盘的搜索选项卡中的每一个事件索引的存档日期和时间。由于3D虚拟空间具有(i)被称为(x)的水平位置,(ii)被称为(y)的垂直位置,和(iii)也称为时间的深度(z)的位置,可以看出,如何通过进一步沿着(z)轴在新的位置绘制新的输出,创建最终用户的计算会话的可视历史,并给它加盖时间戳(例如,读做2006年8月8日-6:00下午的条目670)。事实上,系统可以被编程为在自定义帮助器应用程序帮助下,在要在3D虚拟空间中绘制的下一可视事件中存档任何信息,并与适当的操作系统控件或其他输出相结合。例如,图形事件可以是,通过在标记为“address:”464的命令行界面键入诸如http://www.yahoo.com之类的URL,接下来是回车键,在GUI的3D虚拟空间中创建网页。
3D GUI通过记住用户最后离开的位置-在视觉上-以便下一次用户需要相同的系列输入以取得该相同的给定输出,在计算中自动化导航,3D GUI将在记录的3D空间(用户最后离开的位置的视觉历史)给用户导航,输出到虚拟空间的项目将按照它们的原样被呈现。
请参看图13A,在一个实施例中,3D GUI作为InternetExplorer Web浏览器内的Active X控件来运行应用程序。可以在资源管理器窗格中选择“保存的空间”选项卡,以暴露它下面的菜单中的所有保存的空间。通过点击保存的空间,将会将3D虚拟空间加载到主窗口中。窗口490显示了叫做Desktop 451(其名称显示为罗盘440中的一个选项卡)的另一个帮助器应用程序的输出。在所显示的实施例中,保存的Microsoft Word文档500在3D虚拟空间300内的窗口490中运行,在项目492、494、496、498旁边。这些项目的所有输出都是通过最终用户的输入,通过帮助器应用程序,使用叫做“交互性和持久性”的方法捕获的(看见如图3所示的典型的方法)。这里作为虚拟空间300保存的此输出可以将来自不同的源的东西结合在一起,并一起作为一个整体保存在虚拟空间300中。
此外,Microsoft Word文档500(其输出正在3D虚拟空间窗口490中运行被最终用户通过拖放操作(图1A-1C-方框78)从标记为Desktop 451的帮助器应用程序(在显示为图形事件的3DGUI应用程序的资源管理器窗格中)的菜单中输入(到3D虚拟空间300)。通过使用叫做Desktop 451的帮助器应用程序,以Microsoft Word文档500被添加到虚拟空间300的同样的方式,任何文件、文档、应用程序或桌面都可以通过拖放操作被添加到3DGUI虚拟空间(图1A-1C-方框78)。此外,一旦文件、文档、应用程序或桌面被添加到虚拟空间300中,它完全是交互式的,并正常运行,无异于,或接近于,当它不在三维笛卡儿空间300中时程序运转的原来的方式。
图13B显示了保存的虚拟空间,其文件名是ncn(510),在3DGUI窗口的资源管理器窗格441中索引了来自叫做“Yahoo!Search”(520)的帮助器应用程序的逐条的输出。通过点击这些被索引名称(视点)中的一个,会将最终用户绑定到由帮助器应用程序所创建的一个视点,该帮助器应用程序将3D虚拟空间中的此特定网页的输出的有利的视点/透视图引入到最终用户的视图中。如此,搜索选项卡454下的窗口(罗盘或数据库模块440)的资源管理器窗格中索引的每一个名称既充当由帮助器应用程序收集到的搜索结果的索引,又充当搜索结果内的每一个网页的3D虚拟空间内的有利的视点的超级链接或触发器。
在某些情况下,可能难以与3D虚拟空间内的文件、文档、应用程序、桌面或其他输出进行交互。如果最终用户占用了虚拟空间中的不利的视点(在虚拟空间内歪斜地绘制对象),这会是这种情况。在这样的情况下,3D GUI系统使用叫做“Bind to the HUD”的技术,涉及通过在HUD上绘制来使文件、文档、网页、应用程序、桌面或其他输出带入到视图中。那些精通相关技术的人将认识到,术语“HUD”或“抬头显示(heads-up display)”一般是指将信息直接投射到人的视野中的方式。此技术在军用航空技术中首先采用,但是,也在其他应用场合试验性地使用。这可以通过改变最终用户在虚拟空间内的视点,以使它直接在最终用户的视野中。
当最终用户在虚拟空间内的视点导致网页歪斜时,正态分布的形状朝着一侧或另一侧发生扭曲。在这样的情况下,3D GUI系统利用“Bind to the HUD”功能,其中,通过点击图标或底部(类似于Windows操作系统环境中的最小化按钮),触发最终用户的视点在虚拟空间内的变化,以便网页直接在最终用户的视野内,从而使得交互更容易。在一个实施例中,这是这样完成的:通过暴露网页(最初被隐藏或离开屏幕)的2D版本,并将它定位在3D虚拟空间的前面的层中,以便最终用户可以与2D中的此层进行交互。此外,最终用户通过点击适当的按钮(再次,类似于Windows操作系统环境中的最小化按钮),可以自由地与HUD拆散或将最初被隐藏的或离开屏幕的2D网页再次隐藏。如此,最终用户可以在2D和3D之间切换,以便有选择地捕获计算输出和信息(网页、应用程序、文档、桌面和/或在计算机上可以可视化的任何东西),它们是通过使用此技术,在3D虚拟空间内绘制的。
因为3D GUI利用表面上无限的空间,应用程序和文档的输出不必关闭、隐藏或存档。它们被呈现,并可以永久地在视觉上打开(通过在3D虚拟空间记录它们的输出),它们如用户最后保留它们的一样。3D GUI通过允许用户记录它们曾经在视觉上执行的一切来这样做,并让它们通过无限的空间对它进行再访问。在用户需要新的计算体验的情况下,他们简单地创建更加虚拟的空间,并通过帮助器应用程序或编程访问,在此新创建的虚拟空间内绘制新的应用程序和文档。
在用户需要旧的计算体验的情况下,3D GUI改变屏幕的图形输出,以在视觉上代表它们在旧的计算体验过程中看见的东西(例如,在特定日期和时间记录的特定视点处的数据或在文件名下存档的数据)。此旧的计算体验可以保存在文件中,作为所谓的“保存的空间”。保存的空间与任何其他文件相同,因为它存储信息,该信息被最终用户在任何时候通过利用保存空间命令选择的3D GUI程序在虚拟空间中看见。此外,3D GUI可以有系统地存档任何新的可视变化或按日期和时间添加到虚拟空间,并按日期和时间调用在过去的虚拟空间中所看到的内容。这样,3D GUI可以让人在计算时间中后退(在视觉上)。
根据本发明的一个实施例,3D GUI提供重新绘制为新颖的模拟的实时3D沉浸式笛卡儿空间的用户的计算机的2D显示的全面的功能和交互性(包括图形窗口、桌面、HTML页面以及通用程序输出的选择性的和隔离的捕获),其中,2D图形被绘制到或映射到3D对象。
3D GUI发明是提供了3D舞台的新颖的系统,以将信息桥接到操作系统的输出,并处理来自操作系统的输出的此信息。可以使这里所说明的3D GUI系统从任何操作系统捕获任何输出,以操作系统的语言,不管对操作系统的任何编程或结构变化,它输出的方式,或用于对操作系统进行编程或与它进行交互的编程事件的序列。
在一个实施例中,3D GUI系统实现了操作系统控件或其他操作系统输出到无限地沉浸式交互式3D笛卡儿空间的交互式复合纹理映射,以便于搜索、排序和浏览信息的GUI系统(例如,但不仅限于网页、应用程序、文档、窗口、网络、Web服务等等)。
不管(1)进入到程序中的信息的类型(通过操作系统的输出),无论它是网页、图片、窗口、应用程序、桌面屏幕、pdf文件,等等,或(2)程序捕获信息的方法,无论是通过API、Meta Search还是Web服务,或(3)用来提供它的编程访问(控件、窗口、桌面、图像、VNC),程序将信息如此引入到模拟三维交互式笛卡儿空间中,以便被引进的信息完全是交互式的,并正常运行,无异于,或接近于,当它不在三维笛卡儿空间中时程序运转的原来的方式。
根据这里所描述的实施例的一个方面,从操作系统提供了特殊控件,以便正在被处理的信息(例如,网页)正确地在3-D空间中起作用,如在3D中应有的那样。相应地,在计算领域,“控件”被定义为能进行用户交互或输入,常常启动操作,显示信息或设置值的对象。例如,为了使万维网上的网页在最终用户的计算机的2-D桌面上的典型的窗口中的操作系统中正确地起作用,必须由操作系统程序或CONTROL读取该网页的语言(HTML),以便使该网页正确地显示和起作用。由Windows操作系统使用的一个这样的特定控件叫做Web浏览器控件,它负责处理网页以及典型的桌面窗口。当前,使用2-D范例,可视化大多数Windows控件。一个这样的控件的名称叫做MSHTML/Web浏览器控件,用于在窗口内的Windows桌面上呈现HTML网页及其他内容。
网页,与最终用户简单地查看的图片不同,需要进行互动,才能正确地在虚拟空间中起作用。由于3D交互式虚拟空间内的最终用户的视点可以改变,因此,基于最终用户在虚拟空间内的导航,正在被绘制的对象的形状和大小也会变化。如果在3D虚拟空间内绘制的对象具有诸如映射到它们的诸如控件之类的操作系统输出,则必须创建特殊系统,以确保最终用户可以与3D虚拟空间中的映射的对象进行交互,输入和输出的响应性与2D桌面中的响应性相同。如此,这里描述了交互式3D复合纹理映射,它充当从操作系统的二维输出(例如,正在为其显示二维效果的编程访问利用控件,以及一个控件能够显示的所有信息)到三维交互式笛卡儿空间的可视桥路,其中,从最终用户选择的任何视点,代表的对象在沉浸式空间中保持完全正常运行(参见图3)。
如此,程序提供了重新绘制为新颖的模拟的实时3D沉浸式笛卡儿空间的最终用户的计算机的二维显示的全面的功能和交互性(包括一个控件可以显示的图形窗口、桌面、HTML页面以及通用程序输出的选择性的和隔离的捕获,或非控件项),其中,2D图形被绘制到或映射到3D对象。
当沉浸在此3D空间中时,最终用户可以看到它们的捕获的和重新绘制的二维计算机显示组件,并完全地与它们进行交互,产生了全新的计算方式。当与他们的映射的或重新绘制的二维显示进行交互时,最终用户可以通过移动得靠近它、远离它,改变它们的角度或两者,改变他们的透视图或视点(被定义为本地坐标系或三维空间中的位置或可视透视图)。
在一个示范性实施例中,通常将在2D桌面上输出的操作系统的控件的可视输出(例如,Web浏览器控件/msHTML)被纹理映射到GUI系统的3D沉浸式虚拟空间中的3D几何形状(例如,立方体、锥体等等)。这是从可能的操作系统控件、API或任何输出的无穷大的库中选择的一个操作系统控件,其输出可以由3D GUI捕获,并被绘制到3D空间中的任何对象中。此外,操作系统的控件的可视输出的起源和方法可以被纹理映射到GUI系统的3D沉浸式虚拟空间中的3D几何形状,不管它是什么,或它是如何捕获的。
请参看图3,该图提供了交互性和持久性图形,显示了实现虚拟空间中的交互式复合纹理映射以及交互性和持久性所需的信息的处理。在该图形中,此过程是通过启动3D GUI应用程序而启动的,该应用程序可以安装在客户端计算机或服务器计算机上。
在服务器上运行的3D GUI可以向通过网络链接的计算机提供信息和软件。这里,客户端是客户端/服务器关系中的发出请求的应用程序或用户。例如,3D GUI客户端应用程序通过Web有效地发出从3D GUI服务器获取信息的客户端请求。3D GUI程序本身是在其与获得并返回请求的信息的计算机的关系中的客户端。处理该请求并发回信息的计算机是3D GUI服务器。
在此实施例中,3D GUI应用程序将在计算机上本地运行,而不是通过网络连接作为Web应用程序或网络应用程序来运行的。然而,这两种配置都是可能的。在本发明在服务器或其他这样的计算机上执行的情况下,客户端计算机的用户将可以访问其他计算机的操作系统的输出。最初,如所描述的,应用程序是由图形中的LaunchApplication启动的。在计算机桌面上创建虚拟空间“创建交互式3D笛卡儿空间”,它通过程序运行。虚拟空间只不过是一种程序(在运行时环境/3D呈现浏览器内运行),通过在虚拟空间中重绘对象,在平面的2D显示内模拟3D空间。取决于手头的应用程序或计算目的,程序将基于预定的程序自定义,捕获用户输入的请求。
通过编程访问,应用程序将来自3D虚拟空间的用户请求传输到2D桌面,并启动用户请求,或通过API调用直接传输到计算机的操作系统。如果用户请求直接从3D传输到2D,无需API调用,通过模拟或再现请求或从事件处理程序画外输入到隐藏的2D反射镜组件,并同步地再次捕获响应或从2D反射镜输出的变化,并将它映射回任意的3D几何形状,传输用户请求。我们说画外,是因为2D桌面或操作系统控件被隐藏,最终用户看不见,注意力被集中在3D虚拟空间中。如此,最终用户可以利用来自他们的2D桌面的相同输出,通过充当2D输出的3D窗口的3D虚拟空间,进行计算,设置用于利用无缝地无限的虚拟空间进行计算的舞台。
基于程序自定义,应用程序将使最终用户手到擒来地“确定适当的OS控件以检索请求的信息类型”。例如,这可以包括(但不仅限于):(1)打开网页,(2)打开文件或文档,(3)启动应用程序,(4)创建窗口或(5)本地或通过网络连接执行任何其他程序。
如此,一旦指定和定位了适当的操作系统控件,便为此系统控件执行应用程序接口调用。为了在虚拟空间内启用此控件或其他操作系统应用程序接口的可用性和功能,3D GUI会将OS控件的可视输出、位图或API blit或映射到任意3D几何形状。短语“任意3D几何形状”用于阐明,此几何形状可以是通过利用特定完全形态的模板3D GUI被自定义到的虚拟空间的主题所特有的。
值得注意的是,3D GUI不仅限于用于捕获此图或“OS控件的可视输出”或模拟或将用户的请求传递到反射镜的一种方法,因为每一个操作系统都具有用于处理控件以及它们的输出的独特方法。
在3D虚拟空间内,利用设备输入事件处理程序来将鼠标点击、光标位置、键盘输入和移动从映射到3D几何形状上的操作系统控件传递到在2D环境中运行的反射镜控件。
当前,此方法或捕获操作系统输出并将它绘制到3D虚拟空间的循环过程是为了克服操作系统的手头的缺点实现的解决方法或手动过程。在另一个实施例中,操作系统可以在未来的某个时间(3D GUI系统可以利用此API)利用一个简单API调用,来包括此功能或类似于它的功能。
以循环的方式重复此过程:(1)从虚拟空间中的3D几何形状上的操作系统控件映射可视,(2)扫描设备输入事件处理程序,以及(3)将此输入传递到在2D环境中运行的反射镜控件或直接传递到操作系统,以创建与虚拟空间中的所述操作系统控件或操作系统输出进行交互的实时体验,不管最终用户在虚拟空间中的视点或透视图。3DGUI应用程序实时运行,其中,接收信息,并立即作出响应,而在虚拟空间和2D图或操作系统API输出之中,没有任何时间延迟。此同步通信是有益的,因为太多的延迟将使系统滞后。
从图3可以看出,在没有操作系统控件或编程访问用于捕获操作系统控件的图或可视输出的情况下,包括一个偶然性,以通过blit(将图像、或图像的一部分从一个位置复制到另一个位置),周期地从帧缓冲器、视频驱动程序、操作系统图形API或视频存储器作为位图捕获操作系统控件或输出(例如,窗口)的屏幕上的输出。进一步参考图3,值得注意的是,如这里所描述的用于提供3D GUI的方法和系统允许系统从任何计算机源捕获可视输出,不管其起源如何或它是如何输出的。例如,尽管图3中的方框128、140、142是指OS控件和/或说″Execute Proper OS Control Specific to the Kind ofinformation Requested...,″值得注意的是,本发明不仅限于涉及OS控件的应用程序,但是,可以更一般地与涉及编程访问或类似的东西的应用程序关联。例如,在某些实施例中,图3的流程图的方框140可以读作″Execute Proper Programmatic Access to the Kind ofInformation Requested which will act as a Mirror to its 3DRepresentation.″
通过捕获用户的传统的二维桌面的输出,3D GUI通过以3D的方式绘制窗口或程序的其他图形表示,在无缝的3D空间将此输出呈现出来。在本发明的一个实施例中,3D GUI预期用户接下来可以寻找什么(例如,搜索结果中的下一个网页),消除了休眠的计算时间,并通过自动地绘制新的计算体验(在新空间中,而不是将它重叠到别的东西上)而同时在视觉上记录旧的,将用户置于点击减少的计算环境中。因为3D GUI以3D方式产生无限空间的错觉,因此,它可以产生用户的计算会话的视觉历史,其中,用户可以通过简单地导航到以前记录的状态,访问过去的视觉计算事件(或快照)。这可以完成,因为在虚拟空间中用图形方式表达的新的信息不会通过替换它重叠来替换旧的信息。相反,它在新的虚拟空间中被绘制。相应地,3D GUI可以充当用户的计算会话的历史可视时序,其中,用户可以通过3D空间中的它们的位置(或视点),命名它们当前具有的计算机体验,并在以后通过调用名称或标题,再访问它。
当沉浸在此3D空间中时,用户可以看到它的捕获的和重新绘制的二维计算机显示,并完全地与它进行交互,产生了全新的计算方式。当与他们的映射的或重新绘制的二维显示进行交互时,用户可以通过移动得靠近它、远离它,改变它们的角度或两者,改变他们的透视图或视点(被定义为本地坐标系或三维空间中的位置或可视透视图)。
被绘制到(或旁边的)的3D对象可以笼统地代表被重新绘制的内容的主题或背景幕,如房屋、库,甚至邻近地区。例如,电子音乐文件可以映射到CD或唱片的3D图片上,电子视频文件可以映射到电视或电影屏幕等等上(参见图22)。通过将2D计算机屏幕重绘到交互式3D对象,可以增大可视计算空间,并允许用户将计算机输出组织到对象或附近的对象,其3D可视结构可以代表计算机输出所关联的现实世界对象。
根据本发明的一个方面,可以使3D GUI创建可视计算历史,其中,对2D计算机显示输出的普通的改变被绘制或映射到新的3D对象,而不是一旦作出改变,替换当前输出或2D显示。例如,在一个实施例中,当用户点击网页A上的超级链接时,这会导致创建新的网页B,而不是替换A。例如,随着用户通过与映射到三维对象的二维输出进行交互来浏览因特网,用户通过点击一个链接而通常超级链接到的页面将会替换2D计算机显示。然而,可以使3D GUI创建全新的3D对象,其表面利用通常将替换原始2D交互式页面的新的显示内容映射。
通过存储和存档每一个新的图形事件的日期和时间,用户创建他们的计算会话的可视时序,该计算会话可以通过点击时间线上的图标来调用,其中,时间线上的每一个图标代表最终用户在特定日期和时间执行的操作。负责过去的图形事件的编程访问也将被存档。例如,在查看一个HTML页面超级链接到第二个HTML页面的情况下,前面的URL将被保存。这样,用户可以始终回头看在计算机输出当前视图并利用用图形方式代表的预先保存的计算状态进行交互和发挥作用之前计算机预先显示了什么。此在视觉上捕获3D中的计算历史的过程可以无限地持续,其中,可以保存、存档和再访问3D可视空间,时间线将随着图标的添加动态地增长,以代表此情况。
根据本发明的一个实施例,提供了罗盘(或数据库模块)应用程序。用户被允许点击罗盘上的至少一个按钮(当沉浸在三维交互式空间中时),并将一个或多个名称分配到视点(被定义为本地坐标系或三维空间中的一个位置或可视透视图)。然后,用户可以查看与视点关联的三维图像,将此视点(或可视透视图)与其对应的名称一起保存在文件(其内容或数据可以被罗盘访问)中。在本发明的一个实施例中,罗盘充当电子组合锁,由用户分配的并添加到罗盘的转盘中的一个或多个名称的组合或序列标识了存储的位置。
例如,假设这样的情况:用户沉浸在显示了The Beatles(甲壳虫乐队)的光盘的3D对象的3D交互式空间中。要查看当前视点,用户可以分配多个名称,如MUSIC、ROCK、FOREIGN、BRITISHINVASION,每一个名称都将占用图形用户界面的许多转盘中的一个转盘上的一个空间。通过将转盘转到名称MUSIC、ROCK、FOREIGN、BRITISH INVASION,程序将启动将视点改变为显示了来自The Beatles的光盘的3D对象的3D交互式空间的过程。用于命名、存储和重新访问3D空间中的视点的界面功能的使用是通用的,并可以应用于用户的计算机上的3D空间的本地文件、网络文件或万维网上的文件。
根据本发明的一个方面,用户能够访问叫做罗盘的图形界面上的存储的视点,而罗盘可以充当电子组合锁。在此实施例中,当通过分配给每一个转盘的适当的名称,通过转盘的正面标识的位置的预定的序列,转动其转盘时,罗盘将打开(或可视地访问)存储的视点。因此,罗盘可以用来将一系列视点连接在一起并可视地访问一系列连接的存储的视点。
根据本发明的一个方面,用户沉浸在3D空间中,并为用户提供了叫做“新建空间”的按钮或类似的按钮。当点击此按钮时,会创建全新的3D交互式空间的另一个文件,可以通过点击3D对象或门户按钮,从当前空间访问新的3D交互式空间。以电子方式将新空间链接到当前空间的门户按钮,可以通过新空间的视点或可视透视图的图像来代表。通过点击“新建空间”按钮,3D GUI将自动地在链接到新空间的当前空间内创建门户按钮。此外,3D GUI还可以允许用户同时将一个或多个名称分配到新空间,并将这些名称添加到数据库模块(也称为“罗盘”)。
在用户创建新空间然后保存此空间或以电子邮件发送它的情况下(图1A-1C-方框96、98),3D GUI可以用于自动地通过写入描述新空间的HTML页面的标记,通过罗盘分配给新空间的the names,通过3D文件的不同视点或可视透视图的快照的新空间的图像,创建目录页面(图1A-1C-方框100)。所有此信息可以汇编到HTML文件中,该文件将由文件传输协议(FTP)自动地发布或发送到一个或许多万维网服务器,以进行推广,以便遍历万维网的许多搜索引擎查找和爬行。
实时地创建新创建的3D空间的这些HTML目录的页面并将它们发布到万维网的一个目的是,以便它们可以用作门户页面,从而,用户可以(i)使用关键字搜索万维网,(ii)查找其主题对应于关键字的目录页面,以及(iii)将最终用户从2D目录页面超级链接到其主题对应于目录页面的3D交互式空间。例如,HTML目录页面可以包含(i)作为HTML页面的标题的新空间的名称,(ii)元标记,其名称将取自分配给罗盘界面的视点的名称,(iii)新空间的原始视点或可视透视图的光栅图像或图片,(iv)在新空间内查找的所有超级链接的列表,(v)场景的描述,(vi)场景的作者,(vii)远程桌面连接设置和/或(viii)到新空间内所显示的所有远程桌面连接链接的桌面的URL。
由于索引万维网上的信息的搜索引擎主要为HTML(网页)、图片和(在某些情况下)文件主要这样做,因此,这里所说明的内容页面的HTML表充当保存的3D虚拟空间的门口,以包括在搜索引擎的索引中。有关负责运行控件的3D GUI Active X控件的信息,通过使用HTML<object>标记,与构成了目录页面的这里所说明的其他信息一起,被编码到HTML目录页面中。如此,3D GUI系统可使最终用户通过他们的3D虚拟空间创作内容,通过目录页面在服务器上发布它们,并确保这些页面可以通过万维网的当前范例被搜索引擎爬行和看见,其中,搜索引擎主要使用网络爬虫或网络蜘蛛来检查网页上的超级链接和单词。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。在本发明的一个实施例中,可以通过交互式图标(这些图标便于文件的显示输出或3D空间内的窗口内的程序的功能)的图形用户界面,从播放器访问帮助器应用程序(当最终用户正在使用3D空间并沉浸在3D空间内时)。
在一个实施例中,通过运行诸如eBay Search或Yahoo ImagesSearch之类的帮助器应用程序,生成3D GUI应用程序的虚拟空间的内容输出。由帮助器应用程序生成最终的第一产品图像输出和它们的产品信息,图4A和4B显示了帮助器应用程序的功能图。优选情况下,输出包括线性图(例如,在虚拟空间的下白边处绘制),其中,可以使3D GUI将存储的搜索的图表达为3D图标,特定搜索项的名称(在最终用户将鼠标放在它们上方时)被表达为时间线。这里,时间线是代表在最终用户以这样的顺序点击每一个3D图标(最初在罗盘中索引的)的情况下,从每一个3D堆栈中的第一项的第一视点到最后一个3D堆栈中的第一项的最后一个视点的动画的线性的进展的图。本质上,每一个3D图标都是超级链接;是一个图形,当点击时,跳转到对应于3D图标的当前虚拟空间中的新的位置或视点。在本发明的此实施例中,每一个新的搜索都会产生为在3D虚拟空间中绘制的该搜索结果创建的新的3D堆栈,并绘制了其对应的3D图标。
例如,在图9的实施例中,可以看到时间线340中的三个3D图标(342,344,346,348),代表利用eBay Search帮助器应用程序进行的四个唯一的搜索(即,rolex Daytona,ibm laptop,plasma tv,以及treo 650)。每一个唯一搜索都会导致创建其自己的3D堆栈302、304、306、308(在此实施例中,每一个堆栈都显示了一次十个东西)以及在3D虚拟空间300的下白边处的时间线图340中绘制的它们自己的唯一3D图标。在本发明的此实施例中,在最终用户点击任何超级链接或3D图标的情况下,3D GUI将在视觉上将最终用户带到其3D堆栈内的第一eBay搜索结果项目的视点。
如此,最终用户可以(1)连续地将新的搜索项输入到eBay帮助器应用程序中,(2)按下回车键以启动他们的搜索,(3)将绘制的搜索结果可视化为它们自己的唯一可视列,(4)可视化表达为虚拟空间的下白边上的时间线的3D图标的图,(5)通过简单地点击时间线上的3D图标的超级链接,在搜索中快速地导航(通过每一个唯一3D堆栈中的第一项的视点),如它们在3D堆栈中所表达的,通过点击导航器320上的命令,如下一页322、末页324、下10页326,以及最后10页328,shuffle或sort through每一个3D堆栈中的每一个项目。此外,通过点击导航器320上的图标,最终用户可以改变他们在3D虚拟空间300中的透视图或视点。例如,(1)通过+符号337,会将最终用户沿着3D笛卡儿空间中的+z轴向前移动,(2)通过-符号338,会将最终用户沿着3D笛卡儿空间中的-z轴向后移动,(3)通过向上箭头330,会将最终用户沿着3D笛卡儿空间中的+y轴向上移动,(4)通过向下箭头334,会将最终用户沿着3D笛卡儿空间中的-y轴向下移动,(5)通过向左箭头336,会将最终用户沿着3D笛卡儿空间中的-x轴向左移动,以及(6)通过向右箭头332,会将最终用户沿着3D笛卡儿空间中的+x轴向右移动。
在图11的实施例中,提供了address:command line 464界面或帮助器应用程序,其中,最终用户可以输入本地操作系统的本地文件系统中的窗口、文档或应用程序的URL或地址等等。当最终用户在命令行界面的地址字段中键入http://www.yahoo.com时,应用程序会通过适当的Web浏览器控件将HTML页面绘制到所描述的3D虚拟空间中。可以无限地重复此过程,在标记为“address:”的命令行上输入额外的URL,以让它们存入3D堆栈中。在连续地输入了http://www.yahoo.com+回车键,http://www.google.com+回车键,http://www.ebay.com+回车键,然后,http://www.msn.com+回车键的3D GUI虚拟空间中,创建了四个网页(510、512、514、516)。命令行界面、帮助器应用程序464是用户创建和创作HTML页面、桌面窗口、文档、应用程序、vnc桌面、或能够在虚拟空间中即时地应命令被可视化的其他东西的一种方式。
在本发明的替代的实施例中,可以使每一个帮助器应用程序通过自定义3D界面(其图形设计和结构看起来像它试图代表的现实世界的对象)显示信息。例如,可以为一个音乐文件运行帮助器应用程序。在点击帮助器应用程序的图标之后,3D GUI可以提示用户或自动地查找他们的本地计算机上、网络计算机或万维网服务上的音乐文件。然后,帮助器应用程序可以在3D空间中绘制音乐文件的界面。然后,用户可以与音乐文件的图形表示(例如,CD的图形表示)进行交互,以运行和播放音乐文件。
不管3D GUI中显示的文件或应用程序位于何处(例如,在同一个文件夹、子文件夹内、位于不同计算机上、在网络内、位于不同网络上,跨因特网等等),用户都可以通过它的本机程序完全访问该文件,或通过默认浏览器完全访问该网站。如此,3D GUI可使不同的计算机程序的输出在视觉上聚焦于一个可展开的、可改变的3D空间中。3D GUI也可以提示用户搜索或扫描本地计算机、网络计算机、Web服务器或因特网中的文件夹和子文件夹,以查找给定种类或判别条件的任何文件,并通过帮助器应用程序将它们的输出作为窗口自定义的3D现实世界对象图标全体地显示在3D空间中。这样,用户可以使用此功能有选择地只选择一个文件或自动地选择对他们可用的所有文件。
根据这里所描述的实施例的另一个方面,给最终用户提供了有选择地捕获计算输出和信息(网页、应用程序、文档、桌面和/或在计算机上可以可视化的任何东西),并允许它在视觉上聚焦在3D虚拟空间内的能力。在本发明的一个实施例中,3D GUI提供了将以最终用户的桌面(或联网桌面)上表达的文件、文件夹、应用程序、窗口、文档或其他东西的形式存在的内容拖放到3D虚拟空间中的能力:通过将它定位在桌面上或桌面上的窗口内,并将某一个东西的图标(或通过其窗口打开某一个东西)拖动到3D GUI窗口的虚拟空间,以添加到其中。拖放操作描述了您可以利用鼠标执行的特定操作。点击诸如文件夹之类的对象,然后按住鼠标按钮,将该对象拖动到一个新的位置。可以通过松开鼠标按钮来放下该对象。可以使用拖放操作轻松地移动对象或文件,或将对象或文件嵌入到另一个对象或文件中。
一旦图标被拖放到虚拟空间中,文档、应用程序、文件或其他东西可以(i)在虚拟空间中的窗口内打开或(ii)可以通过虚拟空间内的其图标来表示。在本发明的一个实施例中,如果被拖放的东西通过虚拟空间内的图标来表示,那么,它可以被双击以在虚拟空间内或在2D桌面上的虚拟空间的外面打开它。例如,虚拟空间内的InternetExplorer应用程序的图标可以被拖放到3D GUI中,并显示为图标。
如果最终用户双击此图标,Internet Explorer窗口可以在3D虚拟空间内打开。在一种方法中,如果最终用户双击此图标并同时按下Shift键,则Internet Explorer窗口将作为桌面的一部分,在2D窗口在3D虚拟空间的前面打开。每当最终用户完成一个拖放操作时,单个拖放操作中的所有项进入它们自己的3D堆栈中,在时间线上绘制图标,以代表此。
在本发明的另一个实施例中,如果最终用户从桌面中拖放包含多个项的文件夹,在3D虚拟空间内的它们自己的3D堆栈中分别地绘制(在文件夹的外面)文件夹中的所有那些项。此外,通过最终用户的改变3D虚拟空间的拖放操作来代表此可视事件的图标,优选情况下,根据其功能,被添加到时间线中。在此情况下,在时间线上绘制代表此操作(文件夹的拖放到虚拟空间中)的文件夹的图标,如它在时间线中被索引那样。
根据本发明的一个方面,最终用户可以自动地通过为特定目的(如排序)编写的帮助器应用程序(图1A-1C-方框32)的脚本或程序,或人工地通过点击一个项目或多个项目作为一个组(ctrl-点击),并通过拖放操作将它们移动到他们的新的位置,重新排序、来回移动或进一步组织3D虚拟空间内绘制的项目。拖放操作描述了您可以利用鼠标执行的特定操作。点击诸如图片或网页之类的对象,然后按住鼠标按钮,将该对象拖动到一个新的位置。可以通过松开鼠标按钮来放下该对象。
例如,在一个实施例中,如图17A所示,可以看到虚拟空间300中的五个项目(590、592、594、596,以及598),其中,分别通过图标600、602、604、606,以及608在时间线340中表示这五个项目。最终用户可以将3D虚拟空间中的任何项目移动到虚拟空间内的任何其他位置:通过点击它,按住鼠标按钮,将对象拖动到新的位置,松开鼠标按钮,沿着x,y轴平移。例如,如果最终用户点击网页590,按住鼠标按钮,并将该网页拖动到3D虚拟空间内的左侧(-x)和向上(+y)拖动,并松开鼠标按钮,该网页将占用一个新的位置(参见图17B)。最终用户也可以通过沿着z轴平移项目,将项目在虚拟空间内移动得靠近他们的视点(显得较大)或远离它们(显得较小)。为了完成项目在虚拟空间内在-z(向远处)或+z(靠近)方向的平移,最终用户在启动所述项目的拖放操作的同时按住Shift键。例如,请参看图17A-17C,如果最终用户点击图像596,同时按住鼠标按钮和Shift键,并将鼠标向后拖动更靠近他们自己,则图片596将在+z方向向前平移,显得较大,并将占用虚拟空间中的一个新的位置。类似地,如果最终用户点击一个网页,同时按住鼠标按钮和Shift键,并在朝前的方向拖动鼠标远离他们自己,则该网页将在-z方向向后平移,显得较小,并将占用虚拟空间中的一个新的位置(未显示)。
根据本发明的一个方面,用户可以通过点击位于屏幕的底部的任务栏上的图标,当沉浸在3D交互式场景中时访问帮助器应用程序。通过点击这些动画的3D图标,图标可以复制其本身,或使它们本身成为3D场景中的动画,并作为最初点击了其图标的手头的任务的3D图形对象,提供功能的开始。例如,任务栏上的启动此帮助器应用程序的图标可以是一个打开的门口。一旦点击了任务栏上的3D打开的门口图标,则新空间的视点或可视透视图的图片可以从任务栏动画到场景。如果从3D场景内点击此图片,则它将充当一个门口,将用户从当前场景超级链接到另一个场景。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。可以通过交互式图标(便于2D和3D对象显示或输入到3D场景)的图形用户界面,基于几何对象(立方体、球体、锥体)的用户界面或现实世界对象(房间、办公桌、建筑物、楼梯、CD架),从播放器访问几何形状的帮助器应用程序(当最终用户正在使用3D空间并沉浸在3D空间内时)。通过将几何形状实时地添加到3D场景中,帮助给出了3D空间的否则无尽的连接,用户可以填充他们的输出。3D GUI还可以进一步包括一个特殊的“搜索和浏览”应用程序,以定位3D几何形状文件。用户可以使用“搜索和浏览”应用程序,例如,搜索位于本地计算机、网络计算机、Web服务器或万维网上的文件夹和子文件夹中的(之外的)几何形状文件。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。可以通过交互式图标(这些图标提供预先记录的音频、声音和音乐,也可以便于通过连接到计算机并通过图标(例如,扬声器等等的图标)插入到3D场景中的麦克风实时地记录声音,作为标记(或叙述)场景并在场景中的对象旁边记录想法,以进一步给出它们的含义)的图形用户界面,从播放器访问音频、声音和音乐的帮助器应用程序(当最终用户正在使用3D空间并沉浸在3D空间内时)。用户还可以进一步使用“搜索和浏览”应用程序,例如,搜索位于本地计算机、网络计算机、Web服务器或万维网上的文件夹和子文件夹中的(之外的)音频、声音或音乐文件。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。3DGUI的独特之处在于,它在交互式3D虚拟空间内组合了最终用户的创作能力(图2-方框22、24、26)。例如,可以通过交互式图标(这些图标帮助定位图片、动画、电影和视频,并实时地应最终用户的命令,将这样的媒体插入到3D场景中)的图形用户界面,从播放器访问图片、动画、电影和视频的帮助器应用程序(参见图1A-1C-方框74,86,当用户正在使用3D空间并沉浸在3D空间内时)。
在一个实施例中,如图13A所示,最终用户选择数据库模块440中的Desktop帮助器应用程序451。通过选择桌面选项卡451,会暴露出最终用户的本地硬盘驱动器或网络中的窗格中的文件或下面的菜单441。可以查看此窗格441内的最终用户的本地硬盘驱动器上显示的文件。也可以将这些文件中的一个或多个文件拖放到(图1A-1C-方框78)GUI 3D虚拟空间300,这会产生集成到3D虚拟空间中的所述图片、视频和网页与3D虚拟空间300的时间线340中表示的它们的3D交互式图标一起显示出来
在另一个实施例中,如图15所示,输出到3D GUI应用程序的虚拟空间的内容是利用帮助器应用程序522(例如,Yahoo!ImageSearch)启动的搜索所产生的。此帮助器应用程序显示了输入到此帮助器应用程序的文本输入字段530中的搜索项van gogh。由帮助器应用程序522生成的开头四个图像输出(552、554、556、558)(看见图4A和4B中的功能图),从Yahoo!Web服务创建了图像和信息的3D输出,如3D虚拟空间所示。提供了图或时间线340的开始(即,虚拟空间的下白边处的图标550),其中,可以使3D GUI通过具有名称(在最终用户将鼠标放在它们上方时)的3D图标,将图表达为存储的搜索的时间线。这里,时间线340是代表虚拟空间内的事件的线性的进展的图。通过点击3D图标(例如,图标550),在最终用户以这样的顺序点击每一个3D图标(最初在数据库模块中索引的)的情况下,将会从每一个3D堆栈中的第一项的第一视点到最后一个3D堆栈中的第一项的最后一个视点,形成动画。
本质上,3D图标550类似于超级链接-即,跳转到对应于3D图标的当前虚拟空间中的新的位置或视点的图形(当点击时)。在图15的示范性实施例中,每一个新的Yahoo!Image Search都会产生为在3D虚拟空间中绘制的该搜索结果创建的新的3D堆栈,并在时间线上绘制了其对应的3D图标。对信息的搜索可以是图像、视频或可以从Web服务中获得的任何其他内容。用户还可以进一步使用“搜索和浏览”应用程序,例如,搜索位于本地计算机、网络计算机、Web服务器或万维网上的文件夹和子文件夹中的(之外的)图片、动画、电影和视频文件。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。3DGUI的独特之处在于,它在交互式3D虚拟空间内组合了最终用户的创作能力。在一个实施例中,如图14所示,用户可以通过选择数据库模块或罗盘440中的3D帮助器应用程序选项卡460,然后选择菜单441中的“添加画笔”功能,来访问画笔功能。交互式图标542,544的用户界面出现在虚拟空间200中,其中,图标542,544便于基于实时地描画为场景的鼠标事件,显示或输出2D和3D自由形成的线条和图形546,作为批注或修饰场景中的对象或在对象旁边创建图形以进一步给它们提供含义的方式。更具体来说,通过点击画笔图标542,可以使画笔工具出现在虚拟空间300中。
在本发明的此实施例中,3D GUI系统基于最终用户的输入,以循环的方式重绘3D虚拟空间,以反映3D空间内的内容和透视图的变化(参见图1和2-方框22)。程序对事件处理程序进行扫描,以查找来自许多帮助器应用程序中的一个帮助器应用程序的输入(图1A-1C-方框30)。在本示范性实施例中,帮助器应用程序是“添加画笔”。最终用户选择画笔图标542,这会将最终用户的光标改变刷子图标。3D GUI捕获最终用户的鼠标移动,并绘制或描画此移动(如果按下鼠标按钮),在此示例中是:(i)箭头,(ii)下划线,以及(iii)以红色在虚拟空间的3D笛卡儿空间内的最终用户的视点的x和y平面以红色(546)描画的重要单词。
根据本发明的另一个方面,提供了文本的帮助器应用程序,可以通过交互式图标的图形用户界面,从播放器访问该帮助器应用程序,这些交互式图标便于将2D和3D文字实时地显示或输出到场景中,作为标记场景中的对象并在场景中的对象的旁边写下想法,以进一步给它们提供含义的方式。
在一个实施例中,帮助器应用程序是“添加文字”命令(图1A-1C-方框72)。例如,如图14的实施例所示,当最终用户通过点击图标544选择“添加文字”命令时,最终用户的光标变为文字I型光标。3D GUI捕获最终用户的键盘输入,并将此文字绘制或描画到虚拟空间的3D笛卡儿空间内的最终用户的视点的x和y平面上。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。一旦最终用户在他们的Web浏览器上或独立的应用程序上通过播放器,查看他们的计算机上的3D空间或场景,则可以使用Search应用程序输入一个或多个搜索项。
然后,3D GUI将进行万维网搜索,在至少一个搜索引擎(Google,MSN,Yahoo!)中使用这些搜索项,对于每一个搜索引擎,通过打开绘制成窗口的一个2D HTML页面或绘制成3D场景的其他对象,以对于每一个搜索,显示HTML页面的输出。然后,3D GUI可以对在每一个HTML页面中查找到的搜索结果进行分析并识别搜索引擎作为搜索结果返回到最终用户的每一个超级链接。一旦识别,对于在搜索结果页面中发现的至少一个超级链接(将在该超级链接的URL处显示查找到的网页(例如,下一搜索结果集,特定搜索结果,特定广告等等)),3D GUI可以在3D空间中打开一个新窗口(在搜索结果页面的后面)。
在本发明的一个实施例中,对于一个或多个搜索引擎,3D GUI可以对于搜索结果页面上发现的每一个超级链接,整体地执行此操作,并将它们在空间中平铺。将搜索结果绘制到3D场景中,对于消费者是有益的,对于Web搜索和因特网浏览,它扩展了可用的可视计算空间。
在本发明的另一个实施例中,当最终用户连接到网络时,3D GUI利用休眠的计算时间。例如,大多数用户将进行搜索,扫描页面,并点击一个链接。一旦他们认识到他们点击的链接不足,他们将点击他们的浏览器上的后退按钮,再次扫描页面,并点击另一个链接。消费者扫描页面、点击一个链接,读取新的链接处的页面以及返回到原始搜索结果页面的时间是休眠的计算时间,其中,计算机连接到万维网,并能够连续地下载所有(或部分)原始搜索结果页面中发现的超级链接页面,并将这些结果绘制到3D场景中。3D GUI可使用户有系统地访问一个视点,该视点一次一个地显示了每一个搜索结果页面,以便于查看起来方便。图形用户界面将具有将当前搜索结果保存到文件中以及将搜索的名称、超级链接的名称、URL、日期/时间和/或源张贴到数据库模块上的选项。
通过使用此相同的表面上无限的3D可视空间,3D GUI可以允许用户自动地对任何打开的或活动的网页进行分析,(i)确定哪些HTML页面链接到它,(ii)确定它链接到哪些HTML页面,以及(iii)作为组或簇绘制这些页面。还可以进一步有链接到任何给定活动网页的3D空间中绘制的页面可视分组或簇。如此,用户可以在3D空间中的一簇网页的给定视点处看一眼就可以确定点击链接到它们的活动页(或从它们的活动页)的哪些页面。此外,用户可以通过选择3D空间中绘制的任何簇中的任何活动网页,创建此活动页链接到的新的网页的簇,或通过创建链接到此活动页的新的网页的簇,在视觉上扩展此网页的网络。如此,3D GUI应用户的要求创建万维网的可视完全形态。
根据本发明的另一个方面,计算机屏幕上的3D的显示可以涉及运行时执行模型,该模型播放预先编程的3D空间,如窗口或Web浏览器中的磁带记录或动画,作为单向广播介质。此3D空间的编程是通过对程序进行手动编码或使用准备播放器的文件的编辑器来完成的。一旦最终用户在他们的Web浏览器上或独立的应用程序上通过交互式播放器,查看他们的计算机上的3D空间或场景,3D GUI可以提供文本、音频、视频、多媒体、Web广告和/或3D广告,其呈现自动地集成到负责3D的当前视图的编程中。这样,基于用户输入(这些输入帮助定义他们正在搜索或计算的主题或上下文),3D GUI可以提供一个广告或广告的组合(例如,预先放到3D空间中的广告等等)。
这里所描述的3D GUI是对播放三维动画的现有的播放器的改进,改进之处在于,这里所描述的3D GUI预期最终用户的输入以导航并实时地将内容添加到3D虚拟空间(通过帮助器应用程序),它允许最终用户创建;将3D的编辑器概念和播放器概念合并到一个混合型编辑器和播放器。这样做时,3D GUI系统基于最终用户的输入,以循环的方式重绘3D虚拟空间,以反映3D空间内的内容和透视图的变化(参见图1和2-方框22)。程序对事件处理程序进行扫描,以查找来自许多帮助器应用程序中的一个帮助器应用程序的输入(图1A-1C-方框30)。
帮助器应用程序可以启动将内容输出到3D虚拟空间的过程,如,但不仅限于:(i)通过编程访问,加载自定义脚本和其图标以改变3D虚拟空间的应用程序逻辑,以在新的信息中流出,并呈现新的主题(也叫做,诸如eBay Search之类的帮助器应用程序,(ii)访问视点命令,以改变当前虚拟空间或超级链接到的另一个虚拟空间中的最终用户的可视透视图,(iii)在虚拟空间中记录当前视点,(iv)在虚拟空间中添加桌面的输出,(v)将Web浏览器添加到虚拟空间中,以通过3D虚拟空间中的窗口查看桌面上的文档、网页或文件和文件夹,(vi)向虚拟空间中添加文字命令,(vii)向3D虚拟空间中添加图片,(viii)向3D虚拟空间添加音乐(图22-项目A),(iv)向3D虚拟空间中添加视频,(x)记录声音并将它添加到3D虚拟空间中,(xi)向3D虚拟空间中添加图,(xii)通过VRML,X3D或其他文件格式向3D虚拟空间中添加3D,和/或(xiii)以文字、图片、视频或其他多媒体的形式(例如,图19的实施例,下面将进一步详细描述),向3D虚拟空间中添加广告。在图1A-1C-方框32、42、50、58、60、62、72、74、84、86、88、90、92、94、104中图解了将这样的内容添加到3D GUI系统内的3D虚拟空间中。
一旦基于将输出、信息和内容添加到3D虚拟空间中的结果,3D GUI场景重新计算场景中的几何形状(图1和2-方框24),它重绘场景图1和2-方框26),以反映此新的内容的添加。3DGUI系统将通过与下列各项关联的所有单词,确定3D虚拟空间内的输出、信息和内容的主题或含义:(i)文件、HTML页面、视点、超级链接的名称,以及与场景中的3D虚拟空间内容关联的任何其他可用的信息,(ii)文件、HTML页面、视点、超级链接内的实际数据,及3D虚拟空间内的其他可用的信息或输入到帮助器应用程序的输入字段中的单词(图1A-1C-方框106),(iii)通过识别最频繁出现的单词,按照频率对索引字进行排序,以确定3D虚拟空间的主题,或利用其他方法确定含义,(iv)通过因特网请求,向广告服务器发送3D虚拟空间的主题(图1A-1C-方框110),(v)从广告服务器、Web服务或其他位置,返回适当的文字、图片、视频、声音、音乐、超级链接或其他广告内容和相应的软件代码,(vi)使用程序代码,将来自广告服务器或其他位置的文字、图片、视频、声音、音乐、超级链接或其他广告内容绘制到3D虚拟空间中(图1A-1C-方框114),以及(vii)重绘场景(图1和2-方框26)。那些精通相关技术的人可以知道这种通过因特网作出广告请求的过程,因为许多网站利用此技术通过因特网分发广告。
在一个实施例中,如图19所示,当最终用户向帮助器应用程序640(例如,Yahoo!Search)中输入搜索项news时,帮助器应用程序640返回网页642(例如,URL http:www.ncn.com)。3D GUI系统可以进一步利用输入项(在此情况下news)(参见图1A-1C-方框104),并返回一组广告文字644。通过与下列各项一起呈现文字,广告文字644可以集成到3D虚拟空间300中:(a)超级链接和关联的标题(News on eBay);(b)描述(Find news items at low prices.With over 5 million items for sale every day,you′ll...);以及(c)urlwww.ebav.com,从而产生比较详细的广告646。当前,文字广告在万维网上是普遍的,因此,在本发明的此实施例中说明了文字广告。然而,应该理解,其他广告形式,如,例如,图片、视频、声音、音乐、超级链接和/或多媒体,和/或其组合,可以集成到3D虚拟空间300中。
与现有技术相比,本发明提供了许多优点,包括,但不仅限于,用户的桌面上的空间增大,不需要在每当用户需要程序时不断地打开和关闭程序或隐藏和暴露它们,利用休眠的计算时间下载和/或显示信息,减少了鼠标点击次数,比传统的“文件夹内的文件夹”存储系统,提供了访问程序和文档的更加天然的备选方案。例如,在图12的示范性实施例中,四十个网页被输出到组织成它们的相应的3D堆栈470、472、474、476和478的3D虚拟空间300中,其中,堆栈分别作为图标480、482、484、486和488在时间线340中表示出来。如上所述,本发明还通过提供新颖的3D图形用户界面,改进了Web浏览器和桌面体验。
根据这里所描述的实施例的再一个方面,提供了存储器管理方法,其中,计算机存储器应程序的请求被分配给3D GUI系统,当不再需要时通过卸载存储器,腾空以供重复使用。更具体来说,提供了一种使用虚拟存储器的方法,其中,当RAM不足而难以保存所有这样的数据时,一部分硬盘用于转储此数据。在一个实施例中,最终用户将信息的输出绘制到3D堆栈内的3D GUI中,其中,其中,每一个新的视觉事件都另外用时间线上的图标进行标记。通过将信息另外输出到3D GUI虚拟空间中,导致在时间线上创建新的3D堆栈以及连续地绘制的新的图标,通过虚拟空间创建了所谓的最终用户的操作的线性路径,如通过时间线和3D堆栈所表达的。如果此过程无限地持续,则3D GUI系统可以访问的此数据的存储器或电子保存位置将被很快地用完。为了创建结束的计算机体验(其中,最终用户不必到达这样的存储量极限),这里提供了一种系统,其中,一旦到达存储量极限,3D GUI系统就会在程序中标记一个点,代表最终用户在此线性路径上的位置,并通过将它保存到虚拟存储器中来解除存储器的负荷。这种腾空存储器的过程将使得最终用户连续地向虚拟空间中输出新的信息。这种将存储器的负荷转移到虚拟存储器中以及连续地向虚拟空间输出新的信息的过程可以无限地进行。在最终用户在已经完成的线性路径的一部分中返回或折回一个过程的情况下,一旦最终用户再访问线性路径上的任何标记,3D GUI系统会将存储在虚拟存储器中的信息重新加载到存储器中。
本发明可以用于许多应用场合,包括,但不仅限于,搜索引擎、桌面、可视音乐下载服务、购物中心、共享的文档的协作空间、视频会议的协作空间、用于发布网页的工具、虚拟网络电脑系统,有线电视机或多媒体PC的界面、大平板显示器的计算界面,教育培训和可视化的论坛,以及电子邮件可视化程序,仅举几个例子。尽管这里是在利用具有监视器的台式个人计算机的操作系统的实施例内描述本发明的,但是,那些精通本技术的人员将能够使该系统在其他电子设备上工作,诸如,例如,蜂窝电话、PDA、手持式移动设备、平板显示器,或类似的设备等等,而不会丧失本发明的精神。
如此,描述了用于提供改进的三维图形用户界面的方法和系统的优选实施例,对那些精通本技术的人员显而易见的是,实现了该系统的某些优点。还应该理解,可以在本发明的范围和精神内作出各种修改、改编,和备选实施例。例如,在Windows操作系统的上下文中呈现了改进的3D GUI,但是,显而易见的是,上文所描述的许多发明构思同样适用于其他操作系统和设备。

Claims (66)

1.一种用于提供三维图形用户界面的方法,包括:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示给所述最终用户的三维虚拟空间内的至少两个对象呈现出来;
生成时间线,所述时间线包括所述虚拟空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述虚拟空间内呈现的时间按线性的时间顺序组织的;以及
在所述虚拟空间内显示所述时间线。
2.根据权利要求1所述的方法,其中,将所述计算输出作为三维虚拟空间内的至少两个对象呈现出来的步骤包括在模拟三维笛卡儿空间内呈现所述至少两个对象。
3.根据权利要求1所述的方法,其中,接收输入的步骤包括接收所述最终用户输入的搜索查询。
4.根据权利要求1所述的方法,其中,从至少一个计算机源捕获计算输出的步骤包括从网络服务器捕获至少一个输出。
5.根据权利要求4所述的方法,其中,从远程因特网站点捕获至少一个输出的步骤包括:
从第一Web搜索服务捕获第一输出;以及
从第二Web搜索服务捕获第二输出。
6.根据权利要求5所述的方法,其中,从第一Web搜索服务捕获第一输出的步骤包括基于所述最终用户输入的第一搜索项,运行第一Web搜索。
7.根据权利要求6所述的方法,其中,从第二Web搜索服务捕获第二输出的步骤包括基于第一搜索项,运行第二Web搜索。
8.根据权利要求6所述的方法,其中,从第二Web搜索服务捕获第二输出的步骤包括基于所述最终用户输入的第二搜索项,运行第二Web搜索。
9.根据权利要求1所述的方法,其中,从至少一个计算机源捕获计算输出的步骤包括从本地操作系统捕获至少一个输出。
10.根据权利要求9所述的方法,其中,从本地操作系统捕获至少一个输出的步骤包括将第一对象从所述本地操作系统拖放到所述虚拟空间中。
11.根据权利要求1所述的方法,其中,从至少一个计算机源捕获计算输出的步骤包括从远程操作系统捕获至少一个输出。
12.根据权利要求1所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括在所述虚拟空间内彼此关联地显示所述至少两个对象。
13.根据权利要求12所述的方法,其中,彼此关联地显示所述至少两个对象的步骤包括在所述虚拟空间内将所述至少两个对象作为3D堆栈显示出来。
14.根据权利要求1所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括根据可改变的完全形态在所述虚拟空间内显示所述至少两个对象。
15.根据权利要求1所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括在所述虚拟空间内作为3D堆栈显示所述至少两个对象中的一个。
16.根据权利要求1所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括在所述虚拟空间内作为窗口显示所述至少两个对象中的一个。
17.根据权利要求1所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括利用编程访问生成所述至少两个对象。
18.根据权利要求3所述的方法,其中,将所述计算输出作为至少两个对象呈现出来的步骤包括给第一对象提供第一超级链接。
19.根据权利要求18所述的方法,其中,通过点击所述第一超级链接,使第二对象与所选定的完全形态关联地出现在所述虚拟空间中。
20.根据权利要求19所述的方法,其中,通过点击所述第一超级链接,使第三对象与所述所选定的完全形态关联地出现在所述虚拟空间中。
21.根据权利要求1所述的方法,进一步包括将所述至少两个对象的布局作为视点保存起来,供以后检索。
22.根据权利要求21所述的方法,进一步包括将代表所述视点的视点图标添加到所述时间线中,供以后检索所述视点。
23.根据权利要求22所述的方法,进一步包括当所述最终用户点击所述时间线中的所述视点图标时,重新创建所述视点供显示在所述虚拟空间内。
24.根据权利要求1所述的方法,进一步包括将所述时间线中的所述图标的布局保存起来供以后检索。
25.根据权利要求1所述的方法,进一步包括将所述至少两个对象中的一个作为抬头显示投射。
26.一种用于提供三维图形用户界面的系统,包括:
显示屏幕;
用于从最终用户那里接收输入的输入设备;
可操作地连接到所述显示屏幕和所述用户输入设备的处理器模块;以及
可操作地连接到所述处理器模块的存储器模块,所述存储器模块包括用于使所述处理器模块执行如下操作的可执行代码:
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示在显示屏幕上的三维虚拟空间内的至少两个对象呈现出来;
生成时间线,所述时间线包括所述虚拟空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述笛卡儿空间内呈现的时间按线性的时间顺序组织的;以及
在所述虚拟空间内显示所述时间线。
27.根据权利要求26所述的系统,其中,所述处理器模块通过将所述至少两个对象呈现在模拟三维笛卡儿空间内,来将所述计算输出作为三维虚拟空间内的至少两个对象呈现出来。
28.根据权利要求26所述的系统,其中,所述处理器模块通过接收所述最终用户输入的因特网搜索查询来接收输入。
29.根据权利要求26所述的系统,其中,所述处理器模块通过从远程因特网站点捕获至少一个输出,来从至少一个计算机源捕获计算输出。
30.根据权利要求26所述的系统,其中,所述处理器模块通过从本地操作系统捕获至少一个输出,来从至少一个计算机源捕获计算输出。
31.根据权利要求26所述的系统,其中,所述处理器模块通过从远程操作系统捕获至少一个输出,来从至少一个计算机源捕获计算输出。
32.根据权利要求26所述的系统,其中,所述处理器模块通过将所述至少两个对象作为3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
33.根据权利要求26所述的系统,其中,所述处理器模块通过将所述至少两个对象作为3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
34.根据权利要求26所述的系统,其中,所述处理器模块通过将所述至少两个对象作为两个或更多3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
35.根据权利要求26所述的系统,其中,所述处理器模块通过利用编程访问生成所述至少两个对象,来将所述计算输出作为至少两个对象呈现出来。
36.根据权利要求29所述的系统,其中,所述处理器模块通过在所述虚拟空间内提供至少一个Web页面,来将所述计算输出作为至少两个对象呈现出来。
37.根据权利要求26所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器将所述虚拟空间中的所述至少两个对象的布局作为视点保存起来,供以后检索。
38.根据权利要求38所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器将代表所述视点的视点图标添加到所述时间线中,供以后检索所述视点。
39.根据权利要求38所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器当所述最终用户点击所述时间线中的所述视点图标时重新创建所述视点,以便显示在所述虚拟空间中。
40.根据权利要求26所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器将所述时间线中的所述图标的布局保存起来,供以后检索。
41.根据权利要求26所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器将所述至少两个对象中的一个作为抬头显示投射。
42.一种用于在计算机网络中提供三维图形用户界面的系统,包括:
连接到所述计算机网络的服务器,以及与所述服务器关联地执行以提供下列功能的用户界面应用程序:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示给所述最终用户的三维虚拟空间内的至少两个对象呈现出来;
生成时间线,所述时间线包括所述虚拟空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述笛卡儿空间内呈现的时间按线性的时间顺序组织的;以及
在所述虚拟空间内显示所述时间线。
43.根据权利要求42所述的系统,其中,所述服务器通过将所述至少两个对象呈现在模拟三维笛卡儿空间内,来将所述计算输出作为三维虚拟空间内的至少两个对象呈现出来。
44.根据权利要求42所述的系统,其中,所述服务器通过接收所述最终用户输入的因特网搜索查询来接收输入。
45.根据权利要求42所述的系统,其中,所述服务器通过从远程因特网站点捕获至少一个输出,来从至少一个计算机源捕获计算输出。
46.根据权利要求42所述的系统,其中,所述服务器通过从本地操作系统捕获至少一个输出,来从至少一个计算机源捕获计算输出。
47.根据权利要求42所述的系统,其中,所述服务器通过从远程操作系统捕获至少一个输出,来从至少一个计算机源捕获计算输出。
48.根据权利要求42所述的系统,其中,所述服务器通过将所述至少两个对象作为3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
49.根据权利要求42所述的系统,其中,所述服务器通过将所述至少两个对象作为3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
50.根据权利要求42所述的系统,其中,所述服务器通过将所述至少两个对象作为两个或更多3D堆栈显示在虚拟空间内,来将所述计算输出作为至少两个对象显示出来。
51.根据权利要求42所述的系统,其中,所述服务器通过利用编程访问生成所述至少两个对象,来将所述计算输出作为至少两个对象呈现出来。
52.根据权利要求45所述的系统,其中,所述服务器通过在所述虚拟空间内提供至少一个Web页面,来将所述计算输出作为至少两个对象呈现出来。
53.根据权利要求42所述的系统,其中,所述用户界面应用程序与所述服务器关联地执行,以提供进一步的功能:将所述虚拟空间中的所述至少两个对象的布局作为视点保存起来,供以后检索。
54.根据权利要求53所述的系统,其中,所述用户界面应用程序与所述服务器关联地执行,以提供进一步的功能:将代表所述视点的视点图标添加到所述时间线中,供以后检索所述视点。
55.根据权利要求54所述的系统,其中,所述存储器模块进一步包括可执行代码,用于使所述处理器当所述最终用户点击所述时间线中的所述视点图标时重新创建所述视点,以便显示在所述虚拟空间中。
56.根据权利要求42所述的系统,其中,所述用户界面应用程序与所述服务器关联地执行,以提供进一步的功能:将所述时间线中的所述图标的布局保存起来供以后检索。
57.根据权利要求42所述的系统,其中,所述用户界面应用程序与所述服务器关联地执行,以提供进一步的功能:将所述至少两个对象中的一个作为抬头显示投射。
58.一种用于提供三维图形用户界面的网络系统,包括:
包括彼此进行通信的多个服务器的计算机服务器网络;
可操作地连接到所述计算机服务器网络的至少一个显示屏幕;
用于从最终用户那里接收输入的至少一个输入设备,所述输入设备可操作地连接到所述计算机服务器网络;以及
软件模块,用于向所述最终用户提供一系列屏幕显示,所述软件模块可被计算机服务器网络的一个或多个所述服务器访问,所述软件模块包括用于指示所述服务器执行如下操作的指令:
响应所述接收到的最终用户输入,从至少一个网络源捕获计算输出;
将所述计算输出作为显示在显示屏幕上的模拟三维笛卡儿空间内的至少两个对象呈现出来;
生成时间线,所述时间线包括所述笛卡儿空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述笛卡儿空间内呈现的时间按线性的时间顺序组织的;以及
在所述笛卡儿空间内显示所述时间线。
59.用于存储使计算机执行如下操作的计算机程序的计算机可读取的记录介质:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将计算输出作为显示给所述最终用户的模拟三维笛卡儿空间内的至少两个对象呈现出来;
生成时间线,所述时间线包括所述笛卡儿空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述笛卡儿空间内呈现的时间按线性的时间顺序组织的;以及
在所述笛卡儿空间内显示所述时间线。
60.一种用于提供三维图形用户界面的方法,包括:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示给所述最终用户的三维虚拟空间内的至少两个对象呈现出来;
提供用于存储和分类有关在所述虚拟空间内呈现的每一个对象的数据的数据库模块;以及
显示有关与虚拟空间一起呈现的所述数据库模块内的一个或多个对象的所述数据。
61.根据权利要求60所述的方法,进一步包括在所述数据库模块内提供到为其显示所述数据的所述对象的相应视点的超级链接。
62.根据权利要求60所述的方法,进一步包括:
生成时间线,所述时间线包括所述虚拟空间内呈现的每一个对象的图标,其中,每一个所述图标都是根据所述对象在所述虚拟空间内呈现的时间按线性的时间顺序组织的;以及
在所述虚拟空间内显示所述时间线。
63.一种用于提供三维图形用户界面的系统,包括:
显示屏幕;
用于从最终用户那里接收输入的输入设备;
可操作地连接到所述显示屏幕和所述用户输入设备的处理器模块;以及
可操作地连接到所述处理器模块的存储器模块,所述存储器模块包括用于使所述处理器模块执行如下操作的可执行代码:
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示在显示屏幕上的三维虚拟空间内的至少两个对象呈现出来;
提供用于存储和分类有关在所述虚拟空间内呈现的每一个对象的数据的数据库模块;
在所述数据库模块内提供到所述虚拟空间内呈现的每一个对象的相应视点的超级链接;以及
显示有关与虚拟空间一起呈现的所述数据库模块内的一个或多个对象的所述数据。
64.一种用于在计算机网络中提供三维图形用户界面的系统,包括:
连接到所述计算机网络的服务器,以及与所述服务器关联地执行以提供下列功能的用户界面应用程序:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将所述计算输出作为显示给所述最终用户的三维虚拟空间内的至少两个对象呈现出来;
提供用于存储和分类有关在所述虚拟空间内呈现的每一个对象的数据的数据库模块;
在所述数据库模块内提供到所述虚拟空间内呈现的每一个对象的相应视点的超级链接;以及
显示有关与虚拟空间一起呈现的所述数据库模块内的一个或多个对象的所述数据。
65.一种用于提供三维图形用户界面的网络系统,包括:
包括彼此进行通信的多个服务器的计算机服务器网络;
可操作地连接到所述计算机服务器网络的至少一个显示屏幕;
用于从最终用户那里接收输入的至少一个输入设备,所述输入设备可操作地连接到所述计算机服务器网络;以及
软件模块,用于向最终用户提供一系列屏幕显示,所述软件模块可被计算机服务器网络的一个或多个所述服务器访问,所述软件模块包括用于指示所述服务器执行如下操作的指令:
响应所述接收到的最终用户输入,从至少一个网络源捕获计算输出;
将所述计算输出作为显示在显示屏幕上的模拟三维笛卡儿空间内的至少两个对象呈现出来;
提供用于存储和分类有关在所述虚拟空间内呈现的每一个对象的数据的数据库模块;
在所述数据库模块内提供到所述虚拟空间内呈现的每一个对象的相应视点的超级链接;以及
显示有关与虚拟空间一起呈现的所述数据库模块内的一个或多个对象的所述数据。
66.用于存储使计算机执行如下操作的计算机程序的计算机可读取的记录介质:
从最终用户那里接收输入;
响应所述接收到的最终用户输入,从至少一个计算机源捕获计算输出;
将计算输出作为显示给最终用户的模拟三维笛卡儿空间内的至少两个对象呈现出来;
提供用于存储和分类有关在所述虚拟空间内呈现的每一个对象的数据的数据库模块;
在所述数据库模块内提供到所述虚拟空间内呈现的每一个对象的相应视点的超级链接;以及
显示有关与虚拟空间一起呈现的所述数据库模块内的一个或多个对象的所述数据。
CN2006800405213A 2005-09-13 2006-09-13 用于提供三维图形用户界面的系统和方法 Expired - Fee Related CN101300621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US71701905P 2005-09-13 2005-09-13
US60/717,019 2005-09-13
PCT/US2006/035970 WO2007033354A2 (en) 2005-09-13 2006-09-13 System and method for providing three-dimensional graphical user interface

Publications (2)

Publication Number Publication Date
CN101300621A true CN101300621A (zh) 2008-11-05
CN101300621B CN101300621B (zh) 2010-11-10

Family

ID=37865595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800405213A Expired - Fee Related CN101300621B (zh) 2005-09-13 2006-09-13 用于提供三维图形用户界面的系统和方法

Country Status (6)

Country Link
US (9) US7735018B2 (zh)
EP (1) EP1932141A4 (zh)
JP (1) JP2009508274A (zh)
CN (1) CN101300621B (zh)
CA (1) CA2621488A1 (zh)
WO (1) WO2007033354A2 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011072456A1 (en) * 2009-12-18 2011-06-23 Nokia Corporation Desktop display apparatus
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面系统及界面交互方法、装置
CN103135916A (zh) * 2011-11-30 2013-06-05 英特尔公司 手持无线设备中的智能图形界面
CN103649902A (zh) * 2011-05-27 2014-03-19 微软公司 沉浸式和桌面外壳的显示
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN104346054A (zh) * 2013-07-30 2015-02-11 维沃移动通信有限公司 一种实现仿3d场景桌面的方法及系统
CN105381611A (zh) * 2015-11-19 2016-03-09 网易(杭州)网络有限公司 一种2d游戏场景分层实现立体表现的方法及装置
CN105988760A (zh) * 2015-02-10 2016-10-05 上海品奇数码科技有限公司 基于打印的互动显示方法及系统
CN106030523A (zh) * 2015-09-21 2016-10-12 上海欧拉网络技术有限公司 一种在手机桌面上实现3d动效交互的方法及装置
CN106325652A (zh) * 2015-06-19 2017-01-11 深圳创锐思科技有限公司 图形用户界面交互方法及触摸终端
CN109478117A (zh) * 2016-07-13 2019-03-15 特里弗公司 用于生成并显示在在线环境中使用的三维数字资产的方法和系统
CN109863467A (zh) * 2016-10-21 2019-06-07 惠普发展公司有限责任合伙企业 虚拟现实输入
US10417018B2 (en) 2011-05-27 2019-09-17 Microsoft Technology Licensing, Llc Navigation of immersive and desktop shells
CN110968232A (zh) * 2020-01-01 2020-04-07 梅炯 一种计算机操作系统的gui交互结构及操作方法
CN111367598A (zh) * 2018-12-26 2020-07-03 北京奇虎科技有限公司 动作指令的处理方法、装置、电子设备及计算机可读存储介质
TWI711993B (zh) * 2019-04-24 2020-12-01 第一商業銀行股份有限公司 客製化暨圖形化操作介面銀行系統及其控制方法
CN113196220A (zh) * 2018-12-19 2021-07-30 上海语蛙信息技术有限公司 用于为计算设备组织和调用命令的方法和装置
US20230326152A1 (en) * 2022-01-27 2023-10-12 Tencent Technology (Shenzhen) Company Limited Data processing method, computer device and readable storage medium

Families Citing this family (485)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7694233B1 (en) 2004-04-30 2010-04-06 Apple Inc. User interface presentation of information in reconfigured or overlapping containers
JP4476719B2 (ja) * 2004-07-02 2010-06-09 よこはまティーエルオー株式会社 ナビゲーションシステム
JP2006024168A (ja) * 2004-07-06 2006-01-26 Fujitsu Ltd サーバシステム,ユーザ端末並びに同サーバシステムおよび同ユーザ端末を用いたサービス提供方法
US8001476B2 (en) 2004-11-16 2011-08-16 Open Text Inc. Cellular user interface
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
US8464176B2 (en) * 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
US7461345B2 (en) * 2005-03-11 2008-12-02 Adobe Systems Incorporated System and method for displaying information using a compass
US8066194B2 (en) * 2005-09-20 2011-11-29 Teradata Us, Inc. System and method for managing information
US7966577B2 (en) * 2005-10-11 2011-06-21 Apple Inc. Multimedia control center
US7721208B2 (en) 2005-10-07 2010-05-18 Apple Inc. Multi-media center for computing systems
US7404150B2 (en) * 2005-11-14 2008-07-22 Red Hat, Inc. Searching desktop objects based on time comparison
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
IL174107A0 (en) * 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
US7868893B2 (en) 2006-03-07 2011-01-11 Graphics Properties Holdings, Inc. Integration of graphical application content into the graphical scene of another application
US7747686B2 (en) * 2006-03-31 2010-06-29 Yahoo! Inc. System and method for interacting with data using visual surrogates
JP2007304667A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
EP1883020B1 (en) * 2006-07-28 2013-05-22 Dassault Systèmes Method and system for navigating in a database of a computer system
US20080028302A1 (en) * 2006-07-31 2008-01-31 Steffen Meschkat Method and apparatus for incrementally updating a web page
US8104048B2 (en) 2006-08-04 2012-01-24 Apple Inc. Browsing or searching user interfaces and other aspects
US7853566B2 (en) * 2006-08-04 2010-12-14 Apple Inc. Navigation of electronic backups
US8370853B2 (en) 2006-08-04 2013-02-05 Apple Inc. Event notification management
US8166415B2 (en) 2006-08-04 2012-04-24 Apple Inc. User interface for backup management
US7856424B2 (en) * 2006-08-04 2010-12-21 Apple Inc. User interface for backup management
US9009115B2 (en) 2006-08-04 2015-04-14 Apple Inc. Restoring electronic information
US20080126442A1 (en) * 2006-08-04 2008-05-29 Pavel Cisler Architecture for back up and/or recovery of electronic data
US7860839B2 (en) * 2006-08-04 2010-12-28 Apple Inc. Application-based backup-restore of electronic information
US8311988B2 (en) * 2006-08-04 2012-11-13 Apple Inc. Consistent back up of electronic information
US20080033919A1 (en) * 2006-08-04 2008-02-07 Yan Arrouye Methods and systems for managing data
US20080034017A1 (en) * 2006-08-04 2008-02-07 Dominic Giampaolo Links to a common item in a data structure
US20080034004A1 (en) * 2006-08-04 2008-02-07 Pavel Cisler System for electronic backup
US20080034019A1 (en) * 2006-08-04 2008-02-07 Pavel Cisler System for multi-device electronic backup
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
US20080065992A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Cascaded display of video media
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
US10409849B2 (en) 2006-09-29 2019-09-10 A9.Com, Inc. System and method for displaying columns of search results
US8943401B2 (en) * 2006-09-29 2015-01-27 Yahoo! Inc. Script-based content-embedding code generation in digital media benefit attachment mechanism
US8037060B1 (en) * 2006-09-29 2011-10-11 A9.Com, Inc. System and method for displaying columns of search results
US8965783B2 (en) * 2006-09-29 2015-02-24 Yahoo! Inc. Content-embedding code generation in digital media benefit attachment mechanism
US8056014B2 (en) * 2006-10-04 2011-11-08 International Business Machines Corporation Web portal page interactive user interfaces with maximum accessibility to user selected portlets
US8381130B2 (en) * 2006-11-29 2013-02-19 Yahoo! Inc. Method and user interface tool for navigation through grid of scheduled items
US20080126980A1 (en) * 2006-11-29 2008-05-29 Sap Ag Central display floor plan for displaying a plurality of data objects
KR100842294B1 (ko) * 2006-12-11 2008-06-30 한국전자통신연구원 웹 기반의 개인화 서비스 제공을 위한 장치 및 그 방법
US9582804B2 (en) * 2006-12-22 2017-02-28 Excalibur Ip, Llc Link retrofitting of digital media objects
US9001047B2 (en) 2007-01-07 2015-04-07 Apple Inc. Modal change based on orientation of a portable multifunction device
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US7986324B2 (en) 2007-01-12 2011-07-26 Fujitsu Limited Display device, display program storage medium and display method
US8825625B2 (en) * 2007-02-01 2014-09-02 Yahoo! Inc. Method and system for improved categorical searching
JP4372169B2 (ja) * 2007-02-26 2009-11-25 株式会社ソニー・コンピュータエンタテインメント オーディオ再生装置およびオーディオ再生方法
US8949215B2 (en) * 2007-02-28 2015-02-03 Microsoft Corporation GUI based web search
JP4845794B2 (ja) * 2007-04-06 2011-12-28 株式会社エヌ・ティ・ティ・ドコモ サーバ装置およびプログラム
US9633028B2 (en) 2007-05-09 2017-04-25 Illinois Institute Of Technology Collaborative and personalized storage and search in hierarchical abstract data organization systems
US9128954B2 (en) * 2007-05-09 2015-09-08 Illinois Institute Of Technology Hierarchical structured data organization system
US8031170B2 (en) 2007-05-09 2011-10-04 Research In Motion Limited User interface for selecting a photo tag
US10042898B2 (en) 2007-05-09 2018-08-07 Illinois Institutre Of Technology Weighted metalabels for enhanced search in hierarchical abstract data organization systems
US8307004B2 (en) 2007-06-08 2012-11-06 Apple Inc. Manipulating electronic backups
US8468136B2 (en) 2007-06-08 2013-06-18 Apple Inc. Efficient data backup
US8725965B2 (en) * 2007-06-08 2014-05-13 Apple Inc. System setup for electronic backup
US20080307017A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Searching and Restoring of Backups
US20080307362A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Desktop Filter
US8432396B2 (en) * 2007-06-08 2013-04-30 Apple Inc. Reflections in a multidimensional user interface environment
US8099392B2 (en) 2007-06-08 2012-01-17 Apple Inc. Electronic backup of applications
US8745523B2 (en) * 2007-06-08 2014-06-03 Apple Inc. Deletion in electronic backups
US8010900B2 (en) * 2007-06-08 2011-08-30 Apple Inc. User interface for electronic backup
US9791994B2 (en) * 2007-06-08 2017-10-17 Apple Inc. User interface for application interface manipulation
US8429425B2 (en) * 2007-06-08 2013-04-23 Apple Inc. Electronic backup and restoration of encrypted data
US8201096B2 (en) * 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8185839B2 (en) * 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8049748B2 (en) * 2007-06-11 2011-11-01 Honeywell International Inc. System and method for digital video scan using 3-D geometry
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
JP4877831B2 (ja) * 2007-06-27 2012-02-15 久美子 石井 確認システム、情報提供システム、ならびに、プログラム
US8533176B2 (en) * 2007-06-29 2013-09-10 Microsoft Corporation Business application search
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
EP2203895B1 (en) * 2007-09-26 2020-03-25 AQ Media, INC. Audio-visual navigation and communication dynamic memory architectures
US8686991B2 (en) * 2007-09-26 2014-04-01 Autodesk, Inc. Navigation system for a 3D virtual scene
US9268856B2 (en) * 2007-09-28 2016-02-23 Yahoo! Inc. System and method for inclusion of interactive elements on a search results page
US8103648B2 (en) * 2007-10-11 2012-01-24 International Business Machines Corporation Performing searches for a selected text
US8370370B2 (en) * 2007-10-15 2013-02-05 International Business Machines Corporation Bridging real-world web applications and 3D virtual worlds
US9058337B2 (en) * 2007-10-22 2015-06-16 Apple Inc. Previewing user interfaces and other aspects
US8397168B2 (en) * 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US7769806B2 (en) 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
KR101481512B1 (ko) * 2007-10-24 2015-01-20 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US20090125504A1 (en) * 2007-11-08 2009-05-14 Randy Adams Systems and methods for visualizing web page query results
US8584044B2 (en) * 2007-11-16 2013-11-12 Microsoft Corporation Localized thumbnail preview of related content during spatial browsing
JP5181180B2 (ja) * 2007-11-22 2013-04-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 三次元仮想空間上での取引方法、プログラム及びそのサーバシステム
US20090138296A1 (en) * 2007-11-27 2009-05-28 Ebay Inc. Context-based realtime advertising
US8396851B2 (en) * 2007-11-30 2013-03-12 Kinkadee Systems Gmbh Scalable associative text mining network and method
US9513765B2 (en) * 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
FI124000B (fi) * 2007-12-11 2014-01-31 Documill Oy Menetelmä ja järjestely tiedonhakutulosten käsittelemiseksi
US8395660B2 (en) * 2007-12-13 2013-03-12 Apple Inc. Three-dimensional movie browser or editor
US20090157503A1 (en) * 2007-12-18 2009-06-18 Microsoft Corporation Pyramidal volumes of advertising space
US20090164928A1 (en) * 2007-12-21 2009-06-25 Nokia Corporation Method, apparatus and computer program product for providing an improved user interface
US8549402B2 (en) * 2007-12-29 2013-10-01 Joseph Harold Moore System and method for providing internet radio service
US20090172557A1 (en) * 2008-01-02 2009-07-02 International Business Machines Corporation Gui screen sharing between real pcs in the real world and virtual pcs in the virtual world
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
JP4434284B2 (ja) * 2008-02-06 2010-03-17 ソニー株式会社 情報処理装置、表示データ提供方法、およびプログラム
US8266139B2 (en) * 2008-02-12 2012-09-11 Microsoft Corporation System and interface for co-located collaborative web search
US8543933B2 (en) * 2008-02-21 2013-09-24 Emtrace Technologies Usa, Inc. Slideshow display of images for user-defined groups of applications
US20090228817A1 (en) * 2008-03-10 2009-09-10 Randy Adams Systems and methods for displaying a search result
US20090228811A1 (en) * 2008-03-10 2009-09-10 Randy Adams Systems and methods for processing a plurality of documents
US20090228442A1 (en) * 2008-03-10 2009-09-10 Searchme, Inc. Systems and methods for building a document index
US20090241044A1 (en) * 2008-03-18 2009-09-24 Cuill, Inc. Apparatus and method for displaying search results using stacks
JP5130979B2 (ja) * 2008-03-21 2013-01-30 ソニー株式会社 情報処理装置及び検索結果表示方法
CN102084354A (zh) 2008-04-05 2011-06-01 社会传播公司 基于共享虚拟区域通信环境的装置和方法
US8085265B2 (en) * 2008-04-23 2011-12-27 Honeywell International Inc. Methods and systems of generating 3D user interface for physical environment
GB2460107A (en) * 2008-05-15 2009-11-25 Ionoco Ltd Method and Apparatus for Arranging Data
US20090300051A1 (en) * 2008-05-31 2009-12-03 Randy Adams Systems and Methods for Building Albums Having Links to Documents
US20090307086A1 (en) * 2008-05-31 2009-12-10 Randy Adams Systems and methods for visually grouping links to documents
US20090300473A1 (en) * 2008-05-31 2009-12-03 Randy Adams Systems and Methods for Displaying Albums Having Links to Documents
US8762887B2 (en) * 2008-06-06 2014-06-24 Apple Inc. Browsing or searching user interfaces and other aspects
US8516038B2 (en) 2008-06-06 2013-08-20 Apple Inc. Browsing or searching user interfaces and other aspects
US20090307622A1 (en) * 2008-06-06 2009-12-10 Julien Jalon Browsing or searching user interfaces and other aspects
US8607166B2 (en) * 2008-06-06 2013-12-10 Apple Inc. Browsing or searching user interfaces and other aspects
DE102008028023A1 (de) * 2008-06-12 2009-12-17 Siemens Aktiengesellschaft Verfahren zur Darstellung mehrerer Bilddatensätze und Benutzerinterface zur Darstellung mehrerer Bilddatensätze
US20090319929A1 (en) * 2008-06-22 2009-12-24 Microsoft Corporation Interface for multiple user spaces
US9639505B2 (en) 2008-07-03 2017-05-02 Ebay, Inc. System and methods for multimedia “hot spot” enablement
US10282391B2 (en) 2008-07-03 2019-05-07 Ebay Inc. Position editing tool of collage multi-media
US8893015B2 (en) 2008-07-03 2014-11-18 Ebay Inc. Multi-directional and variable speed navigation of collage multi-media
US9191625B2 (en) * 2008-09-26 2015-11-17 Janos Redei System and methods for transmitting and distributing media content
US8347230B2 (en) * 2008-09-30 2013-01-01 Apple Inc. Visual presentation of multiple internet pages
US8321783B2 (en) * 2008-09-30 2012-11-27 Apple Inc. Visualizing content positioning within a document using layers
US8429540B1 (en) * 2008-10-10 2013-04-23 Adobe Systems Incorporated End user created collaborative and non-collaborative workspace application container system and method
US20100094865A1 (en) * 2008-10-13 2010-04-15 Haswell Michael R Systems and methods for distributing and maintaining product or service information
EP2345955A4 (en) * 2008-10-30 2012-05-30 Sharp Kk MOBILE INFORMATION TERMINAL
US7752565B2 (en) * 2008-11-06 2010-07-06 Sap Ag Graphical user interface for displaying objects
KR101580259B1 (ko) * 2008-12-11 2015-12-28 삼성전자주식회사 Gui 제공방법 및 이를 적용한 전자장치
US8762885B2 (en) * 2008-12-15 2014-06-24 Verizon Patent And Licensing Inc. Three dimensional icon stacks
US8306522B1 (en) * 2008-12-23 2012-11-06 Sprint Communications Company L.P. Dynamic interface for mobile devices
KR20100077270A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 Dtv 및 이를 이용한 gui 제공 방법
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US9319357B2 (en) 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US9176747B2 (en) * 2009-02-17 2015-11-03 Sandisk Il Ltd. User-application interface
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US20100257468A1 (en) * 2009-04-06 2010-10-07 Francisco Javier Gonzalez Bernardo Method and system for an enhanced interactive visualization environment
KR101548273B1 (ko) * 2009-04-08 2015-08-28 삼성전자주식회사 휴대용 단말기에서 웹 검색 속도를 향상시키기 위한 장치 및 방법
WO2010118528A1 (en) * 2009-04-16 2010-10-21 Xtranormal Technology Inc. Visual structure for creating multimedia works
US8448074B2 (en) 2009-05-01 2013-05-21 Qualcomm Incorporated Method and apparatus for providing portioned web pages in a graphical user interface
JP5132629B2 (ja) * 2009-05-11 2013-01-30 ソニーモバイルコミュニケーションズ, エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US9170700B2 (en) 2009-05-13 2015-10-27 David H. Kaiser Playing and editing linked and annotated audiovisual works
US8561015B2 (en) 2009-06-15 2013-10-15 Microsoft Corporation Source code semantic zoom and spatial layout
AU2010262875B2 (en) * 2009-06-19 2014-01-30 Google Llc User interface visualizations
US8887068B2 (en) * 2009-07-31 2014-11-11 Verizon Patent And Licensing Inc. Methods and systems for visually chronicling a conference session
US8335784B2 (en) * 2009-08-31 2012-12-18 Microsoft Corporation Visual search and three-dimensional results
US9176962B2 (en) 2009-09-07 2015-11-03 Apple Inc. Digital media asset browsing with audio cues
US9262120B2 (en) * 2009-09-11 2016-02-16 Nokia Technologies Oy Audio service graphical user interface
US20110066971A1 (en) * 2009-09-14 2011-03-17 Babak Forutanpour Method and apparatus for providing application interface portions on peripheral computing devices
US20110078626A1 (en) * 2009-09-28 2011-03-31 William Bachman Contextual Presentation of Digital Media Asset Collections
KR20110036463A (ko) * 2009-10-01 2011-04-07 엘지전자 주식회사 이동단말기 및 그의 브라우징 방법
KR101623783B1 (ko) * 2009-10-08 2016-05-24 엘지전자 주식회사 이동 단말기 및 이것의 데이터 추출 방법
US8898596B2 (en) * 2009-10-08 2014-11-25 Lg Electronics Inc. Mobile terminal and data extracting method in a mobile terminal
US10635734B2 (en) 2009-10-12 2020-04-28 The Boeing Company System and method for utilizing a three dimensional model for accessing databases
US10832182B2 (en) 2009-10-12 2020-11-10 The Boeing Company Method and system for managing a program relating to a product
KR101185186B1 (ko) * 2009-11-05 2012-09-24 주식회사 팬택 3차원 축을 이용한 사용자 인터페이스 장치 및 3차원 축을 경계로 하는 2차원 평면을 이용한 사용자 인터페이스 장치
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US9307224B2 (en) 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same
US8448092B2 (en) * 2009-11-25 2013-05-21 International Business Machines Corporation Positional effects in a three-dimensional desktop environment
US20110154214A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Offloading Content Retrieval And Decoding In Pluggable Content-Handling Systems
US8736561B2 (en) * 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US8780130B2 (en) 2010-11-30 2014-07-15 Sitting Man, Llc Methods, systems, and computer program products for binding attributes between visual components
US9715332B1 (en) * 2010-08-26 2017-07-25 Cypress Lake Software, Inc. Methods, systems, and computer program products for navigating between visual components
US20110179390A1 (en) * 2010-01-18 2011-07-21 Robert Paul Morris Methods, systems, and computer program products for traversing nodes in path on a display device
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US20110179376A1 (en) * 2010-01-21 2011-07-21 Sony Corporation Three or higher dimensional graphical user interface for tv menu and document navigation
JP5506427B2 (ja) * 2010-01-26 2014-05-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10397639B1 (en) 2010-01-29 2019-08-27 Sitting Man, Llc Hot key systems and methods
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
USD653671S1 (en) 2010-02-03 2012-02-07 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9513716B2 (en) * 2010-03-04 2016-12-06 Autodesk, Inc. Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
US20110225566A1 (en) * 2010-03-10 2011-09-15 Microsoft Corporation Testing user interfaces in multiple execution environments
KR20110107939A (ko) * 2010-03-26 2011-10-05 삼성전자주식회사 휴대 단말기 및 그 휴대 단말기에서 아이콘 제어 방법
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
KR101781846B1 (ko) * 2010-05-19 2017-09-26 엘지전자 주식회사 이동 단말기 및 이것의 이미지 디스플레이 제어 방법
US8423911B2 (en) 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
US20110252357A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
CA2796299A1 (en) 2010-04-12 2011-10-20 Google Inc. Collaborative cursors in a hosted word processor
US20110252312A1 (en) 2010-04-12 2011-10-13 Google Inc. Real-Time Collaboration in a Hosted Word Processor
AU2010201721A1 (en) * 2010-04-29 2011-11-17 Snipey Holdings Pty Ltd Content Transformation Based Job Board and Job Search Engine
US8788590B2 (en) * 2010-04-30 2014-07-22 Iliv Technologies Inc. Collaboration tool
US8803655B2 (en) 2010-05-11 2014-08-12 Universal Electronics Inc. System and methods for enhanced remote control functionality
US8860672B2 (en) * 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
CA2801593C (en) * 2010-06-10 2022-06-21 Brown University Parameterized model of 2d articulated human shape
WO2011154917A2 (en) * 2010-06-11 2011-12-15 Visual Domains Ltd. Method and system for displaying visual content in a virtual three-dimensional space
KR20120000663A (ko) * 2010-06-28 2012-01-04 주식회사 팬택 3d 객체 처리 장치
US20120005624A1 (en) 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
USD813256S1 (en) * 2010-07-02 2018-03-20 Arris Enterprises Llc Display screen or portion thereof with graphical user interface
CN103098049B (zh) * 2010-07-12 2017-04-12 汤姆逊许可公司 用于内容搜索的系统、方法和用户界面
US8643569B2 (en) 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US20120042282A1 (en) * 2010-08-12 2012-02-16 Microsoft Corporation Presenting Suggested Items for Use in Navigating within a Virtual Space
US8443300B2 (en) * 2010-08-24 2013-05-14 Ebay Inc. Three dimensional navigation of listing information
KR20120025797A (ko) * 2010-09-08 2012-03-16 엔에이치엔(주) 3차원 컨텐츠를 제공하는 방법 및 시스템
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
US8817053B2 (en) 2010-09-30 2014-08-26 Apple Inc. Methods and systems for opening a file
US11265510B2 (en) 2010-10-22 2022-03-01 Litl Llc Video integration
US8928725B2 (en) * 2010-10-22 2015-01-06 Litl Llc Video integration
KR101783961B1 (ko) * 2010-11-17 2017-10-10 삼성전자주식회사 직관적인 폴더 편집 및 열람을 위한 사용자 인터페이스 표시 방법 및 장치
KR101788049B1 (ko) * 2010-12-15 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8719727B2 (en) * 2010-12-15 2014-05-06 Microsoft Corporation Managing an immersive environment
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US8682107B2 (en) * 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US20120174038A1 (en) * 2011-01-05 2012-07-05 Disney Enterprises, Inc. System and method enabling content navigation and selection using an interactive virtual sphere
US20120182286A1 (en) * 2011-01-14 2012-07-19 Wang xiao yong Systems and methods for converting 2d data files into 3d data files
US8943026B2 (en) 2011-01-14 2015-01-27 Apple Inc. Visual representation of a local backup
US8984029B2 (en) 2011-01-14 2015-03-17 Apple Inc. File system management
US9582144B2 (en) * 2011-01-20 2017-02-28 Blackberry Limited Three-dimensional, multi-depth presentation of icons associated with a user interface
JP5977922B2 (ja) * 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
US8996985B1 (en) 2011-03-16 2015-03-31 Google Inc. Online document processing service for displaying comments
US8874525B2 (en) 2011-04-19 2014-10-28 Autodesk, Inc. Hierarchical display and navigation of document revision histories
US8533594B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc. Hierarchical display and navigation of document revision histories
US8533595B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc Hierarchical display and navigation of document revision histories
US8533593B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc Hierarchical display and navigation of document revision histories
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
US20120287114A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Interface including views positioned in along multiple dimensions
US9116607B2 (en) 2011-05-11 2015-08-25 Microsoft Technology Licensing, Llc Interface including selectable items corresponding to single or multiple data items
US20120297345A1 (en) * 2011-05-19 2012-11-22 Apple Inc. Three-Dimensional Animation for Providing Access to Applications
US8725318B1 (en) * 2011-05-20 2014-05-13 Rockwell Collins, Inc. Systems and methods for incorporating virtual network computing into a cockpit display system and controlling a remote aircraft system with the VNC-incorporated CDS
US9015037B2 (en) 2011-06-10 2015-04-21 Linkedin Corporation Interactive fact checking system
US8185448B1 (en) 2011-06-10 2012-05-22 Myslinski Lucas J Fact checking method and system
US9087048B2 (en) 2011-06-10 2015-07-21 Linkedin Corporation Method of and system for validating a fact checking system
US8768782B1 (en) 2011-06-10 2014-07-01 Linkedin Corporation Optimized cloud computing fact checking
US9176957B2 (en) 2011-06-10 2015-11-03 Linkedin Corporation Selective fact checking method and system
US20120314020A1 (en) * 2011-06-13 2012-12-13 Honda Motor Co,, Ltd. Move-it: monitoring, operating, visualizing, editing integration toolkit for reconfigurable physical computing
KR101139238B1 (ko) 2011-06-20 2012-05-14 유택상 아이디어 창출 지원 방법 및 시스템
US8060533B1 (en) 2011-07-07 2011-11-15 Google Inc. Panel-based management of data objects from a plurality of data sources
US8751538B1 (en) 2011-07-07 2014-06-10 Google Inc. Method and apparatus for panel-based management of data
US8949857B2 (en) 2011-07-15 2015-02-03 Microsoft Corporation Value provider subscriptions for sparsely populated data objects
EP2734941B1 (en) * 2011-07-19 2020-08-05 Sculpteo SAS Method for creating personalized functional objects, computer, computer readable medium and computer program related thereto
US20130055078A1 (en) * 2011-08-24 2013-02-28 Salesforce.Com, Inc. Systems and methods for improved navigation of a multi-page display
US9336137B2 (en) 2011-09-02 2016-05-10 Google Inc. System and method for performing data management in a collaborative development environment
GB201115369D0 (en) * 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US20130063429A1 (en) * 2011-09-08 2013-03-14 Parham Sina System and method for distributing three-dimensional virtual world data
USD667452S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
USD667457S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
USD667453S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
US20130155053A1 (en) * 2011-09-22 2013-06-20 Virual World & Suns, Llc Multi-dimensional visual display interface
US10289657B2 (en) * 2011-09-25 2019-05-14 9224-5489 Quebec Inc. Method of retrieving information elements on an undisplayed portion of an axis of information elements
US9569066B2 (en) * 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery
US8397153B1 (en) * 2011-10-17 2013-03-12 Google Inc. Systems and methods for rich presentation overlays
US20150199308A1 (en) 2011-10-17 2015-07-16 Google Inc. Systems and methods for controlling the display of online documents
US10430388B1 (en) 2011-10-17 2019-10-01 Google Llc Systems and methods for incremental loading of collaboratively generated presentations
US8812946B1 (en) 2011-10-17 2014-08-19 Google Inc. Systems and methods for rendering documents
US8471871B1 (en) 2011-10-17 2013-06-25 Google Inc. Authoritative text size measuring
US8266245B1 (en) 2011-10-17 2012-09-11 Google Inc. Systems and methods for incremental loading of collaboratively generated presentations
US8434002B1 (en) 2011-10-17 2013-04-30 Google Inc. Systems and methods for collaborative editing of elements in a presentation document
DE102012110278A1 (de) * 2011-11-02 2013-05-02 Beijing Lenovo Software Ltd. Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
US8738706B1 (en) 2011-11-16 2014-05-27 Google Inc. Systems and methods for collaborative document editing
JP5238872B2 (ja) * 2011-12-02 2013-07-17 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US20130145266A1 (en) * 2011-12-02 2013-06-06 Louie D. Mantia Graphical user interface having interactive stacks of images corresponding to digital assets
US9395868B2 (en) * 2011-12-06 2016-07-19 Google Inc. Graphical user interface window spacing mechanisms
US9645733B2 (en) 2011-12-06 2017-05-09 Google Inc. Mechanism for switching between document viewing windows
US9594487B2 (en) * 2012-02-27 2017-03-14 Autodesk, Inc Systems and methods for manipulating a 3D object in a 3D model using a software widget and surface constraints
US8910063B2 (en) * 2012-03-27 2014-12-09 Cisco Technology, Inc. Assisted display for command line interfaces
US20130265297A1 (en) * 2012-04-06 2013-10-10 Motorola Mobility, Inc. Display of a Corrected Browser Projection of a Visual Guide for Placing a Three Dimensional Object in a Browser
US9367522B2 (en) 2012-04-13 2016-06-14 Google Inc. Time-based presentation editing
US9378283B2 (en) * 2012-04-23 2016-06-28 Excalibur Ip, Llc Instant search results with page previews
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20130304820A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co., Ltd. Network system with interaction mechanism and method of operation thereof
US8732620B2 (en) 2012-05-23 2014-05-20 Cyberlink Corp. Method and system for a more realistic interaction experience using a stereoscopic cursor
WO2013181026A1 (en) 2012-06-02 2013-12-05 Social Communications Company Interfacing with a spatial virtual communications environment
US20130346875A1 (en) * 2012-06-20 2013-12-26 Microsoft Corporation Personalized Interactive Entertainment Profile
US9280589B2 (en) * 2012-06-22 2016-03-08 Sap Se Virtual business desktop for arrangement of objects
US8957855B2 (en) 2012-06-25 2015-02-17 Cyberlink Corp. Method for displaying a stereoscopic cursor among stereoscopic objects
KR102064836B1 (ko) * 2012-06-25 2020-01-13 삼성전자주식회사 모바일 장치에서의 메뉴 표시 장치 및 방법
WO2014007414A1 (en) * 2012-07-06 2014-01-09 Lg Electronics Inc. Terminal for increasing visual comfort sensation of 3d object and control method thereof
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US9696879B2 (en) * 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
RU124014U1 (ru) * 2012-09-12 2013-01-10 Арташес Валерьевич Икономов Система для обеспечения персонализированного поиска информации
USD736231S1 (en) * 2012-09-24 2015-08-11 Robert Bosch Gmbh Display screen with graphical user interface
RU2586571C2 (ru) * 2012-10-01 2016-06-10 Общество С Ограниченной Ответственностью "Яндекс" Способ для отображения перекрывающихся веб-страниц
US20140108978A1 (en) * 2012-10-15 2014-04-17 At&T Mobility Ii Llc System and Method For Arranging Application Icons Of A User Interface On An Event-Triggered Basis
US20150193285A1 (en) * 2012-10-24 2015-07-09 OpenMobile World Wide, Inc. Hosted app integration services in multi-operating system mobile and other computing devices
US8793573B2 (en) * 2012-10-29 2014-07-29 Dropbox, Inc. Continuous content item view enhanced through smart loading
USD729264S1 (en) 2012-11-07 2015-05-12 Microsoft Corporation Display screen with graphical user interface
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US9483159B2 (en) * 2012-12-12 2016-11-01 Linkedin Corporation Fact checking graphical user interface including fact checking icons
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105274A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for navigating user interface hierarchies
KR102029242B1 (ko) * 2013-01-03 2019-11-08 엘지전자 주식회사 이동 단말기 제어방법
AU351141S (en) * 2013-01-04 2013-10-11 Samsung Electronics Co Ltd Display screen with graphical user interface
USD742400S1 (en) * 2013-01-04 2015-11-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD745028S1 (en) * 2013-01-04 2015-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD742399S1 (en) * 2013-01-04 2015-11-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD735744S1 (en) * 2013-01-04 2015-08-04 Samsung Electronics Co., Ltd. Portable electronic device with animated graphical user interface
AU350141S (en) * 2013-01-04 2013-08-13 Samsung Electronics Co Ltd Display Screen For An Electronic Device
US10956667B2 (en) 2013-01-07 2021-03-23 Google Llc Operational transformations proxy for thin clients
US9462037B2 (en) 2013-01-07 2016-10-04 Google Inc. Dynamically sizing chunks in a partially loaded spreadsheet model
US9311622B2 (en) 2013-01-15 2016-04-12 Google Inc. Resolving mutations in a partially-loaded spreadsheet model
KR20140094671A (ko) * 2013-01-18 2014-07-30 삼성전자주식회사 가이드를 제공하는 방법 및 전자 장치
US9858245B2 (en) * 2013-01-28 2018-01-02 The Boeing Company Panoptic visualization of elements of a complex system using a model viewer
JP5889223B2 (ja) * 2013-01-29 2016-03-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 表示装置及び画像表示システム
US10304037B2 (en) 2013-02-04 2019-05-28 Haworth, Inc. Collaboration system including a spatial event map
US11861561B2 (en) 2013-02-04 2024-01-02 Haworth, Inc. Collaboration system including a spatial event map
US20140244670A1 (en) 2013-02-27 2014-08-28 Pavlov Media, Inc. Ontological evaluation and filtering of digital content
US10951688B2 (en) 2013-02-27 2021-03-16 Pavlov Media, Inc. Delegated services platform system and method
US20140250377A1 (en) * 2013-03-04 2014-09-04 Atigeo Llc Method and system for searching and analyzing large numbers of electronic documents
US20140372956A1 (en) * 2013-03-04 2014-12-18 Atigeo Llc Method and system for searching and analyzing large numbers of electronic documents
US10261650B2 (en) * 2013-03-12 2019-04-16 Oracle International Corporation Window grouping and management across applications and devices
US10922697B2 (en) * 2013-03-12 2021-02-16 Credibility, Llc Credibility techniques
US9164653B2 (en) 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
US8826170B1 (en) * 2013-03-15 2014-09-02 Google Inc. Window switching interface
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9888059B2 (en) * 2013-03-15 2018-02-06 Gordon E. Seay Methods and systems for switching between software applications
US20150331575A1 (en) * 2013-03-15 2015-11-19 Yahoo! Inc. Method and System for Intent Centric Multi-Facet Content Presentation
US20140298243A1 (en) * 2013-03-29 2014-10-02 Alcatel-Lucent Usa Inc. Adjustable gui for displaying information from a database
US10019130B2 (en) * 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
US10387546B1 (en) 2013-06-07 2019-08-20 United Services Automobile Association Web browsing
USD741350S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9971752B2 (en) 2013-08-19 2018-05-15 Google Llc Systems and methods for resolving privileged edits within suggested edits
US9890967B2 (en) 2013-08-28 2018-02-13 Trane International Inc. Systems and methods for HVAC and irrigation control
USD817994S1 (en) 2013-09-03 2018-05-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD857738S1 (en) 2013-09-03 2019-08-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD767587S1 (en) * 2013-09-03 2016-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10067634B2 (en) 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US20150081106A1 (en) * 2013-09-18 2015-03-19 Trane International Inc. Systems and Methods for HVAC and Irrigation Control
US9940404B2 (en) 2013-10-01 2018-04-10 Aaron Scott Dishno Three-dimensional (3D) browsing
US9348803B2 (en) 2013-10-22 2016-05-24 Google Inc. Systems and methods for providing just-in-time preview of suggestion resolutions
EP3063608B1 (en) 2013-10-30 2020-02-12 Apple Inc. Displaying relevant user interface objects
KR101512084B1 (ko) * 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법
US9436577B2 (en) * 2013-11-22 2016-09-06 Nintendo Co., Ltd. System and method for generating a code execution timeline from an executing program
EP2887195B1 (en) * 2013-12-20 2020-01-22 Dassault Systèmes A computer-implemented method for designing a three-dimensional modeled object
USD754171S1 (en) * 2013-12-30 2016-04-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US9910884B2 (en) 2014-01-13 2018-03-06 Microsoft Technology Licensing, Llc Resuming items in their last-used presentation modes
US9229674B2 (en) 2014-01-31 2016-01-05 Ebay Inc. 3D printing: marketplace with federated access to printers
CN106233226B (zh) 2014-02-27 2020-01-10 安波福技术有限公司 在移动装置上执行的寄载应用内的服务代替的进程内俘获
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
USD766323S1 (en) * 2014-02-28 2016-09-13 Citibank, N.A. Touchscreen display or portion thereof with a graphical user interface
US20150277678A1 (en) * 2014-03-26 2015-10-01 Kobo Incorporated Information presentation techniques for digital content
US9830388B2 (en) 2014-04-30 2017-11-28 Excalibur Ip, Llc Modular search object framework
USD773497S1 (en) 2014-04-30 2016-12-06 Yahoo! Inc. Display screen or portion thereof with a graphical user interface
USD773498S1 (en) 2014-04-30 2016-12-06 Yahoo! Inc. Display screen or portion thereof with a graphical user interface
USD776140S1 (en) 2014-04-30 2017-01-10 Yahoo! Inc. Display screen with graphical user interface for displaying search results as a stack of overlapping, actionable cards
US9535945B2 (en) 2014-04-30 2017-01-03 Excalibur Ip, Llc Intent based search results associated with a modular search object framework
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
US9990126B2 (en) * 2014-05-30 2018-06-05 Visa International Service Association Method for providing a graphical user interface for an electronic transaction with a handheld touch screen device
USD785018S1 (en) * 2014-06-02 2017-04-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD755798S1 (en) * 2014-08-26 2016-05-10 Tencent Technology (Shenzhen) Company Limited Portion of a display screen with graphical user interface
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
KR20170058942A (ko) * 2014-09-22 2017-05-29 톰슨 라이센싱 검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용
US10949075B2 (en) 2014-11-06 2021-03-16 Microsoft Technology Licensing, Llc Application command control for small screen display
US20160132992A1 (en) * 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc User interface scaling for devices based on display size
USD787553S1 (en) * 2014-11-20 2017-05-23 General Electric Company Display screen or portion thereof with icon
CN105718132B (zh) * 2014-12-05 2018-10-30 富泰华工业(深圳)有限公司 桌面导航系统及方法
US9595037B2 (en) 2014-12-16 2017-03-14 Ebay Inc. Digital rights and integrity management in three-dimensional (3D) printing
USD768702S1 (en) * 2014-12-19 2016-10-11 Amazon Technologies, Inc. Display screen or portion thereof with a graphical user interface
USD792444S1 (en) * 2014-12-26 2017-07-18 Sony Corporation Display panel or screen with transitional graphical user interface
US20160216858A1 (en) * 2015-01-22 2016-07-28 Manzurul Khan Method and program product for an interactive e-book
US20160247077A1 (en) * 2015-02-19 2016-08-25 Hcl Technologies Limited System and method for processing raw data
US9857939B2 (en) 2015-02-27 2018-01-02 Accenture Global Services Limited Three-dimensional virtualization
US20160259523A1 (en) * 2015-03-06 2016-09-08 Greg Watkins Web Comments with Animation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10088993B2 (en) * 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
USD759083S1 (en) * 2015-04-02 2016-06-14 Xerox Corporation Production inkjet printer screen with graphical user interface
USD791830S1 (en) * 2015-04-10 2017-07-11 Visa International Service Association Display screen or portion thereof with animated graphical user interface
USD777752S1 (en) * 2015-04-30 2017-01-31 Cinematique LLC Display panel or portion thereof with animated graphical user interface
USD777751S1 (en) * 2015-04-30 2017-01-31 Cinematique LLC Display panel or portion thereof with animated graphical user interface
EP3292524B1 (en) 2015-05-06 2020-07-08 Haworth, Inc. Virtual workspace viewport follow mode in collaboration systems
US10417259B2 (en) * 2015-05-13 2019-09-17 International Business Machines Corporation Representing search results via a three-dimensional matrix
EP3294985A4 (en) 2015-05-13 2019-01-16 Halliburton Energy Services, Inc. TIMELINE VISUALIZATION OF EVENTS TO MONITOR BOHRLOCHOPERATIONS
US20160342590A1 (en) * 2015-05-20 2016-11-24 Fti Consulting, Inc. Computer-Implemented System And Method For Sorting, Filtering, And Displaying Documents
USD786910S1 (en) * 2015-05-25 2017-05-16 Mitsubishi Electric Corporation Display screen with graphical user interface
USD771650S1 (en) * 2015-06-02 2016-11-15 Nobotgames, Inc. Display screen or portion thereof with graphical user interface
US10289290B2 (en) * 2015-06-04 2019-05-14 Samsung Electronics Co., Ltd. Apparatus and method for displaying a portion of a plurality of background applications
US10268647B2 (en) * 2015-06-05 2019-04-23 Apple Inc. Asset catalog layered image support
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
FR3038995B1 (fr) * 2015-07-15 2018-05-11 F4 Dispositif interactif a affichage personnalisable
JP6595597B2 (ja) 2015-07-29 2019-10-23 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US20180217680A1 (en) * 2015-07-29 2018-08-02 Kyocera Corporation Wearable device, control method, and control code
US10447761B2 (en) * 2015-07-31 2019-10-15 Page Vault Inc. Method and system for capturing web content from a web server as a set of images
USD789983S1 (en) * 2015-08-12 2017-06-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US11009939B2 (en) 2015-09-10 2021-05-18 Verizon Media Inc. Methods and systems for generating and providing immersive 3D displays
EP3357205B1 (en) 2015-09-28 2022-01-05 Microsoft Technology Licensing, LLC User assistant for unified messaging platform
EP3356912A1 (en) * 2015-09-28 2018-08-08 Microsoft Technology Licensing, LLC Unified virtual reality platform
JP6147825B2 (ja) 2015-09-29 2017-06-14 株式会社東芝 電子機器および方法
FR3042620B1 (fr) 2015-10-16 2017-12-08 F4 Dispositif web interactif a affichage personnalisable
KR20170051950A (ko) * 2015-11-03 2017-05-12 삼성전자주식회사 전자 장치, 전자 장치의 디스플레이 제어 방법
CN105607946B (zh) * 2015-11-05 2019-04-05 努比亚技术有限公司 一种移动终端及其实现应用分类管理的方法
USD801384S1 (en) * 2015-12-24 2017-10-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional icon
GB201523166D0 (en) 2015-12-31 2016-02-17 Jones Maria F Direct integration system
USD788166S1 (en) 2016-03-07 2017-05-30 Facebook, Inc. Display screen with animated graphical user interface
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
CN107360120B (zh) * 2016-05-10 2019-06-11 华为技术有限公司 虚拟网络功能的审计方法和装置
US10228836B2 (en) * 2016-05-23 2019-03-12 Unity IPR ApS System and method for generation of 3D virtual objects
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10416836B2 (en) * 2016-07-11 2019-09-17 The Boeing Company Viewpoint navigation control for three-dimensional visualization using two-dimensional layouts
US10769859B2 (en) 2016-07-13 2020-09-08 Trivver, Inc. Methods and systems for displaying digital smart objects in a three dimensional environment
US11880954B2 (en) 2016-07-13 2024-01-23 Trivver, Inc. Methods and systems for generating digital smart objects for use in a three dimensional environment
CN106250425B (zh) 2016-07-25 2020-11-03 百度在线网络技术(北京)有限公司 用于搜索结果的交互方法和装置
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
KR20180080629A (ko) 2017-01-04 2018-07-12 삼성전자주식회사 전자 장치 및 전자 장치의 어플리케이션 실행 히스토리 표시 방법
US10509794B2 (en) * 2017-04-28 2019-12-17 Splunk Inc. Dynamically-generated files for visualization sharing
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
USD936663S1 (en) 2017-06-04 2021-11-23 Apple Inc. Display screen or portion thereof with graphical user interface
US11126325B2 (en) * 2017-10-23 2021-09-21 Haworth, Inc. Virtual workspace including shared viewport markers in a collaboration system
US11934637B2 (en) 2017-10-23 2024-03-19 Haworth, Inc. Collaboration system including markers identifying multiple canvases in multiple shared virtual workspaces
USD857033S1 (en) 2017-11-07 2019-08-20 Apple Inc. Electronic device with graphical user interface
US10754523B2 (en) * 2017-11-27 2020-08-25 International Business Machines Corporation Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface
USD877096S1 (en) * 2017-12-11 2020-03-03 Brita Gmbh Dispensing device panel
US11366571B2 (en) * 2018-05-04 2022-06-21 Dentma, LLC Visualization components including sliding bars
US11567628B2 (en) * 2018-07-05 2023-01-31 International Business Machines Corporation Cognitive composition of multi-dimensional icons
US10847136B2 (en) * 2018-09-06 2020-11-24 Nice Ltd. System and method for mapping a customer journey to a category
US10956914B2 (en) * 2018-09-06 2021-03-23 Nice Ltd. System and method for mapping a customer journey to a category
US11348317B2 (en) * 2018-10-21 2022-05-31 Oracle International Corporation Interactive data explorer and 3-D dashboard environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
USD926204S1 (en) * 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
CN113646740A (zh) 2019-05-01 2021-11-12 谷歌有限责任公司 用于多个同时交互式视图的界面
US11520469B2 (en) * 2019-05-01 2022-12-06 Google Llc Interface for multiple simultaneous interactive views
US11385785B2 (en) 2019-05-01 2022-07-12 Google Llc Interface for multiple simultaneous interactive views
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20220027295A (ko) 2019-05-31 2022-03-07 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
USD1009886S1 (en) * 2020-03-25 2024-01-02 Nasdaq, Inc. Display screen or portion thereof with animated graphical user interface
USD998624S1 (en) * 2020-03-25 2023-09-12 Nasdaq, Inc. Display screen or portion thereof with animated graphical user interface
US11750672B2 (en) 2020-05-07 2023-09-05 Haworth, Inc. Digital workspace sharing over one or more display clients in proximity of a main client
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
USD1021950S1 (en) * 2020-11-17 2024-04-09 Carrier Corporation Display screen or portion thereof with icon
US20220365631A1 (en) * 2021-05-17 2022-11-17 Google Llc Systems and methods for asynchronous sub-window interaction in application views
USD974383S1 (en) * 2021-05-19 2023-01-03 Snap Inc. Display screen or portion thereof with a graphical user interface
CN113867585B (zh) * 2021-09-24 2023-07-28 维沃移动通信有限公司 界面显示方法、装置、电子设备和存储介质
US20230127460A1 (en) * 2021-10-22 2023-04-27 Ebay Inc. Digital Content View Control System
US11614619B1 (en) * 2022-04-11 2023-03-28 Voyetra Turtle Beach, Inc. Headset dynamic windowing
US11836205B2 (en) * 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US11755180B1 (en) 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127809A (ja) * 1991-04-19 1993-05-25 Sharp Corp 三次元空間座標入力装置
US5428735A (en) * 1992-12-28 1995-06-27 International Business Machines Corporation Method and apparatus for maintaining a record of set-creating data processing activities and associated data sets
US6262732B1 (en) * 1993-10-25 2001-07-17 Scansoft, Inc. Method and apparatus for managing and navigating within stacks of document pages
US6040833A (en) * 1993-12-10 2000-03-21 International Business Machines Corp. Method and system for display manipulation of multiple applications in a data processing system
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace
JP3517457B2 (ja) * 1994-09-08 2004-04-12 キヤノン株式会社 ウィンドウシステム及びその制御方法
US5621906A (en) * 1995-02-13 1997-04-15 The Trustees Of Columbia University In The City Of New York Perspective-based interface using an extended masthead
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US6006227A (en) * 1996-06-28 1999-12-21 Yale University Document stream operating system
US6768999B2 (en) * 1996-06-28 2004-07-27 Mirror Worlds Technologies, Inc. Enterprise, stream-based, information management system
US5835094A (en) * 1996-12-31 1998-11-10 Compaq Computer Corporation Three-dimensional computer environment
JPH10283158A (ja) * 1997-02-04 1998-10-23 Fujitsu Ltd ウィンドウの立体表示装置及びその方法
DE69805986T2 (de) * 1997-03-28 2003-01-23 Sun Microsystems Inc Verfahren und vorrichtung zur konfigurierung von schiebefenstern
US6734884B1 (en) * 1997-04-04 2004-05-11 International Business Machines Corporation Viewer interactive three-dimensional objects and two-dimensional images in virtual three-dimensional workspace
US6121969A (en) * 1997-07-29 2000-09-19 The Regents Of The University Of California Visual navigation in perceptual databases
EP1014257A4 (en) * 1997-08-12 2000-10-04 Matsushita Electric Ind Co Ltd WINDOW DISPLAY DEVICE
US6597358B2 (en) * 1998-08-26 2003-07-22 Intel Corporation Method and apparatus for presenting two and three-dimensional computer applications within a 3D meta-visualization
US6414677B1 (en) * 1998-09-14 2002-07-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups proximally located objects
AU4190900A (en) * 1999-04-06 2000-10-23 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7685534B2 (en) * 2000-02-16 2010-03-23 Jlb Ventures Llc Method and apparatus for a three-dimensional web-navigator
US6499029B1 (en) * 2000-03-29 2002-12-24 Koninklijke Philips Electronics N.V. User interface providing automatic organization and filtering of search criteria
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
US6879322B2 (en) * 2000-05-30 2005-04-12 Fujitsu Limited Three-dimensional object display system, three-dimensional object display method and recording medium recording a three-dimensional object display program
US7168051B2 (en) * 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US6922815B2 (en) * 2000-11-21 2005-07-26 James A. Nolen, III Display method and apparatus for facilitating interaction with Web sites
US6915489B2 (en) * 2001-03-28 2005-07-05 Hewlett-Packard Development Company, L.P. Image browsing using cursor positioning
WO2002093352A1 (en) * 2001-05-11 2002-11-21 3Dna Corp. Method and system for generating a three-dimensional graphical user interface (3d gui) for computer systems and websites
US20030164827A1 (en) * 2001-05-18 2003-09-04 Asaf Gottesman System and method for displaying search results in a three-dimensional virtual environment
US8035635B2 (en) * 2001-05-22 2011-10-11 Yoav Shefi Method and system for displaying visual content in a virtual three-dimensional space
US20030142136A1 (en) * 2001-11-26 2003-07-31 Carter Braxton Page Three dimensional graphical user interface
JP2003281187A (ja) * 2002-03-20 2003-10-03 Fujitsu Ltd 仮想三次元情報閲覧方法、コンピュータプログラム及び記録媒体
US7249327B2 (en) * 2002-03-22 2007-07-24 Fuji Xerox Co., Ltd. System and method for arranging, manipulating and displaying objects in a graphical user interface
US7269797B1 (en) * 2002-03-28 2007-09-11 Fabrizio Bertocci Mechanism to organize windows in a graphic application
US8161411B2 (en) * 2003-04-25 2012-04-17 Apple Inc. Graphical user interface for browsing, searching and presenting media items
US20040216056A1 (en) * 2003-04-22 2004-10-28 Computer Associates Think, Inc. System and method for supporting scrolling of contents in a display
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US20050030309A1 (en) * 2003-07-25 2005-02-10 David Gettman Information display
US6990637B2 (en) * 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
JP4341408B2 (ja) * 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
US7487463B2 (en) * 2004-02-17 2009-02-03 Sun Microsystems, Inc. Multiprocess input redirection in a 3D window system
US20060041846A1 (en) * 2004-08-19 2006-02-23 International Business Machines Corporation Method of window management for a windowing system
EP1787228A4 (en) * 2004-09-10 2009-09-09 Suggestica Inc USER PRODUCTION AND CLASSIFICATION OF EQUIPMENT FOR THE PERFORMANCE OF A SEARCH AND USER INTERFACE THROUGH A HIERARCHY-FREE QUANTITY OF THEMES
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
US8341541B2 (en) * 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US20060253791A1 (en) * 2005-05-03 2006-11-09 Kuiken David P Simplified interactive graphical user interfaces for sorting through a stack of overlapping windows on a display in order along the Z (depth) axis
US7599954B2 (en) * 2005-08-18 2009-10-06 Microsoft Corporation Customizing a file open dialog using a namespace extension to allow searching
US7673233B2 (en) * 2005-09-08 2010-03-02 Microsoft Corporation Browser tab management

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011072456A1 (en) * 2009-12-18 2011-06-23 Nokia Corporation Desktop display apparatus
US9843665B2 (en) 2011-05-27 2017-12-12 Microsoft Technology Licensing, Llc Display of immersive and desktop shells
US10417018B2 (en) 2011-05-27 2019-09-17 Microsoft Technology Licensing, Llc Navigation of immersive and desktop shells
CN103649902A (zh) * 2011-05-27 2014-03-19 微软公司 沉浸式和桌面外壳的显示
CN103649902B (zh) * 2011-05-27 2020-03-03 微软技术许可有限责任公司 沉浸式和桌面外壳的显示
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN103858073B (zh) * 2011-09-19 2022-07-29 视力移动技术有限公司 增强现实设备、操作增强现实设备的方法、计算机可读介质
CN103135916A (zh) * 2011-11-30 2013-06-05 英特尔公司 手持无线设备中的智能图形界面
US9542070B2 (en) 2012-08-14 2017-01-10 Beijing Xiaomi Technology Co., Ltd. Method and apparatus for providing an interactive user interface
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面系统及界面交互方法、装置
CN104346054A (zh) * 2013-07-30 2015-02-11 维沃移动通信有限公司 一种实现仿3d场景桌面的方法及系统
CN105988760A (zh) * 2015-02-10 2016-10-05 上海品奇数码科技有限公司 基于打印的互动显示方法及系统
CN106325652A (zh) * 2015-06-19 2017-01-11 深圳创锐思科技有限公司 图形用户界面交互方法及触摸终端
CN106325652B (zh) * 2015-06-19 2019-12-10 深圳超多维科技有限公司 图形用户界面交互方法及触摸终端
CN106030523A (zh) * 2015-09-21 2016-10-12 上海欧拉网络技术有限公司 一种在手机桌面上实现3d动效交互的方法及装置
CN106030523B (zh) * 2015-09-21 2019-03-29 上海欧拉网络技术有限公司 一种在手机桌面上实现3d动效交互的方法及装置
CN105381611A (zh) * 2015-11-19 2016-03-09 网易(杭州)网络有限公司 一种2d游戏场景分层实现立体表现的方法及装置
CN109478117A (zh) * 2016-07-13 2019-03-15 特里弗公司 用于生成并显示在在线环境中使用的三维数字资产的方法和系统
CN109478117B (zh) * 2016-07-13 2022-09-06 特里弗公司 用于生成并显示在在线环境中使用的三维数字资产的方法和系统
CN109863467B (zh) * 2016-10-21 2022-01-25 惠普发展公司,有限责任合伙企业 虚拟现实输入的系统、方法和存储介质
CN109863467A (zh) * 2016-10-21 2019-06-07 惠普发展公司有限责任合伙企业 虚拟现实输入
CN113196220A (zh) * 2018-12-19 2021-07-30 上海语蛙信息技术有限公司 用于为计算设备组织和调用命令的方法和装置
CN111367598A (zh) * 2018-12-26 2020-07-03 北京奇虎科技有限公司 动作指令的处理方法、装置、电子设备及计算机可读存储介质
CN111367598B (zh) * 2018-12-26 2023-11-10 三六零科技集团有限公司 动作指令的处理方法、装置、电子设备及计算机可读存储介质
TWI711993B (zh) * 2019-04-24 2020-12-01 第一商業銀行股份有限公司 客製化暨圖形化操作介面銀行系統及其控制方法
CN110968232A (zh) * 2020-01-01 2020-04-07 梅炯 一种计算机操作系统的gui交互结构及操作方法
US20230326152A1 (en) * 2022-01-27 2023-10-12 Tencent Technology (Shenzhen) Company Limited Data processing method, computer device and readable storage medium

Also Published As

Publication number Publication date
US7735018B2 (en) 2010-06-08
CA2621488A1 (en) 2007-03-22
JP2009508274A (ja) 2009-02-26
US11112931B2 (en) 2021-09-07
WO2007033354A3 (en) 2007-11-01
EP1932141A4 (en) 2009-08-19
US9304654B2 (en) 2016-04-05
CN101300621B (zh) 2010-11-10
EP1932141A2 (en) 2008-06-18
US20150128059A1 (en) 2015-05-07
US8881048B2 (en) 2014-11-04
US20070070066A1 (en) 2007-03-29
US20200089390A1 (en) 2020-03-19
US20210357100A1 (en) 2021-11-18
US9696868B2 (en) 2017-07-04
US20210357099A1 (en) 2021-11-18
US20150149965A1 (en) 2015-05-28
US20210357101A1 (en) 2021-11-18
US20110029907A1 (en) 2011-02-03
US20170336942A1 (en) 2017-11-23
WO2007033354A2 (en) 2007-03-22

Similar Documents

Publication Publication Date Title
CN101300621B (zh) 用于提供三维图形用户界面的系统和方法
US8533580B1 (en) System and method of navigating linked web resources
US10055428B2 (en) Spatially driven content presentation in a cellular environment
US6801229B1 (en) System for creation of visual representation of data
US20080040322A1 (en) Web presence using cards
US20010045965A1 (en) Method and system for receiving user input
US20040125143A1 (en) Display system and method for displaying a multi-dimensional file visualizer and chooser
US8117553B2 (en) Method and system to maintain a user interface context
US20140032482A1 (en) Package file presentation including reference content
US8103967B2 (en) Generating and organizing references to online content
Pecchioli et al. ISEE: Information access through the navigation of a 3D interactive environment
JP2003523566A (ja) データを構成するシステムおよび方法
Jern Information drill-down using web tools
US20190250999A1 (en) Method and device for storing and restoring a navigation context
US20120159376A1 (en) Editing data records associated with static images
Hardie The development and present state of web-GIS
White et al. A lightweight XML driven architecture for the presentation of virtual cultural exhibitions (ARCOLite)
Deligiannidis et al. The London walkthrough in an immersive digital library environment
EP3528145A1 (en) Method and device for storing and restoring a navigation context
WO2019158490A1 (en) Method and device for storing and restoring a navigation context
Mendoza et al. Implementation of a Touch Based Graphical User Interface for Semantic Information System
Andrzejczak et al. Indexed Information-Rich Virtual Environments: Innovative Solution for Indexing and Searching Content in the 3D Web
El Saddik et al. LORNAV: Virtual reality tool for navigation of distributed learning objects repositories
Jantan et al. WEB INTERACTION DESIGN: FROM NAVIGATION OBJECTS TO USER INTERFACE ELEMENTS PRESENTATION
KR20020008299A (ko) 3차원적인 웹 네비게이션 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101110

Termination date: 20200913