CN101978341A - 用于经由个人通信或娱乐设备的装置控制的系统和方法 - Google Patents

用于经由个人通信或娱乐设备的装置控制的系统和方法 Download PDF

Info

Publication number
CN101978341A
CN101978341A CN2009801097711A CN200980109771A CN101978341A CN 101978341 A CN101978341 A CN 101978341A CN 2009801097711 A CN2009801097711 A CN 2009801097711A CN 200980109771 A CN200980109771 A CN 200980109771A CN 101978341 A CN101978341 A CN 101978341A
Authority
CN
China
Prior art keywords
data
gesture
controllable device
equipment
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801097711A
Other languages
English (en)
Inventor
埃里克·内格龙
帕特里克·H·海斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal Electronics Inc
Original Assignee
Universal Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universal Electronics Inc filed Critical Universal Electronics Inc
Publication of CN101978341A publication Critical patent/CN101978341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2836—Protocol conversion between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • H05B47/1965—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

一种用于在控制可控设备的操作功能中使用的系统，包括：手持式设备以及与手持式设备和可控设备进行通信的中间设备。手持式设备适用于接收基于手势的输入，并且发射具有表示基于手势的输入的数据的信号。中间设备具有用于将从手持式设备接收的信号中表示基于手势的输入的数据转换成要通信到可控设备的命令信号的程序，其中，命令信号具有适合于控制与基于手势的输入相关联的可控设备的操作功能的格式。

Description

用于经由个人通信或娱乐设备的装置控制的系统和方法
相关申请信息
本申请要求2008年3月19日提交的美国临时申请No.61/037,759的权益，其全部公开内容通过引用合并于此。
背景技术
在本领域中公知便携式控制设备，例如通用遥控装置，以及这样的设备提供的特征和功能。这些设备的实现越来越多地合并一些技术，诸如支持图形用户界面的彩色触摸屏、无线家庭网络兼容性、设置为控制没有位于控制设备的视线内的装置的命令中继站等。
同时，诸如蜂窝电话、便携式电子邮件设备、音乐播放器、手持游戏机等的个人通信、产品以及娱乐设备也越来越多地提供诸如彩色触摸屏上的图形用户界面(“GUI”)、无线因特网能力等的特征。近来，这样的平台的制造商已经开始鼓励增强这些设备的使用性的本地第三方应用的开发。
发明内容
本发明一般地涉及用于使得经由图形用户界面能够控制消费电子装置的系统和方法，该图形用户界面被实现在包括无线局域网能力的装备有触摸屏的个人通信或娱乐设备上，诸如苹果
Figure BPA00001229078000011
的iPhone
Figure BPA00001229078000012
和iPod Touch
Figure BPA00001229078000013
产品。由于这样的设备并不固有地提供将命令直接通信到要控制的装置的功能，因此提供网络连接的中继站，该中继站从安装在个人通信或娱乐设备上的软件应用接收控制请求，并且将这些请求转换为装置兼容的红外(“IR”)或射频(“RF”)命令传输。
为此，苹果最近已经发布了软件开发包(“SDK”)，用于开发和分配用于iPhone和iPod Touch设备的定制第三方应用。该SDK提供了全功能和充分支持的环境来开发在设备上运行的软件、允许补充支持(leverage)内置在这些设备中的特征的附属应用，诸如集成的Wi-Fi连接、利用手势识别的多点触摸屏界面、位置服务、音频和视频能力、3轴加速度计、接近传感器等。在对于全面理解在此公开的发明有必要时，可以根据苹果产品和SDK来描述示例性实施例。然而，应当理解，提供类似功能集和应用支持的其它个人通信或娱乐设备可以等同地适合于用作在其上托管与在此描述的类似特征的平台，并且因此，在此对特定苹果产品的任何参考都不意在是限制性的。
在此描述的示例性实施例中，通用遥控GUI被实现为本地应用，即，被设计为在此后被统称为“智能电话”的特定个人通信或娱乐设备或者设备族的计算机和操作系统环境中运行，因此支持全功能的平台特定特征，例如，多点触摸屏界面、基于运动的手势等，并且由此提供了鲁棒性的并且高质量的用户体验。这是相对于例如用于嵌入式浏览器的基于HTML页面的所谓的“web应用”，例如，在相同受让人的共同待审的美国专利申请12/147,770“System and Method for Ubiquitous Appliance Control”中描述的，并且通过引用将其全部内容合并于此。尽管这样的web应用在要支持大范围的不同主机设备类型时是实用的，但是通常不能以在此描述的方式充分补充支持设备的独特特征。
从下面的具体实施方式和附图将获得这样的具有控制能力的便携式控制设备系统的目的、优点、特征、属性和关系的更好的理解，具体实施方式和附图阐述了说明性实施例，并且说明了可以以其采用在此描述的系统的原理的各种方式。
附图说明
为了更好地理解此后描述的具有控制能力的便携式控制设备系统的各个方面，可以参考在附图中示出的优选实施例，在附图中：
图1图示了其中示例性个人通信设备或娱乐设备可以被用作控制设备的示例性系统；
图2以框图的形式图示了在图1的示例性系统中使用的类型的示例性命令中继设备；
图3a至图3d图示了执行示例性遥控应用的个人通信设备的示例性触摸屏显示；
图4和图5以流程图的形式图示了图3的示例性遥控应用的操作；
图6进一步图示了当对示例性命令中继设备发出请求时示例性遥控应用的操作；以及
图7图示了当处理从示例性遥控应用接收的请求时示例性命令中继设备的操作。
具体实施方式
参考图1，根据以下详细阐述的教导，提供了一种装置命令中继设备100，该装置命令中继设备100经由本地网络接收来自加载在智能电话或类似设备102上的GUI应用130的控制请求传输120。例如，经由WiFi本地网络110从智能电话102无线地发射控制请求120。这些请求可以由配备有兼容的无线网络接口的命令中继设备100直接进行接收，或者可以由例如无线路由器112来接收并且经由例如以太网链接的有线连接114转发到命令中继设备100′。在任何一种情况下，命令中继设备对接收到的控制请求传输进行解码，从其确定目标装置(例如，TV 108、机顶盒106或AV接收机104)，并且以该装置可识别的形式(例如，装置的遥控设备使用的格式的IR或RF信号)发出控制命令122。以该方式，命令中继设备100和100′向位于智能电话102的GUI应用130提供通道，以分别向装置108、106、104和108′、106′发出操作命令。
尽管在电视108、STB 106和AV接收机104的上下文中进行了图示，但是应当理解，可控制的装置可以包括但不限于电视、VCR、DVR、DVD播放机、有线或卫星转换器机顶盒(“STB”)、放大器、CD播放器、游戏机、家用照明、帏帐、风扇、HVAC系统、恒温器、个人计算机等。此外，尽管呈现的示例性实施例优选地利用来自智能电话设备102的基于WiFi的通信，但是应当认识到，在其它实施例中，可以适当地采用不同的无线通信协议，诸如蓝牙、紫蜂(Zigbee)、Z-wave等。
现在转向图2，以框图的形式图示了示例性命令中继设备的架构。为了在响应于经由有线或无线网络连接接收到的消息而命令一个或多个装置的功能操作中进行使用，命令中继设备100可以按照具体应用的需要来包括处理器200，该处理器200被耦接到ROM存储器204、RAM存储器202、非易失性读/写存储器206、用于向装置传输操作命令(例如，IR和/或RF)的电路208、无线网络收发机210(例如，WiFi、蓝牙等)和/或用于与本地网络进行通信的有线网络接口212(例如，以太网)、向用户提供反馈的装置214(例如，一个或多个LED、LCD显示器、扬声器等)以及电源216。
本领域的技术人员应当理解，存储器202、204和206中的一些或全部可以包括可执行指令(统称为程序存储器)，该可执行指令用于由处理器200来执行以控制命令中继设备100的操作；以及用于对可操作软件定义装置控制协议和命令值的数据(装置代码数据)。以该方式，处理器200可以被编程为控制命令中继设备100内的各种电子部件，并且处理其输入数据和输出数据，例如，以经由网络接口210和/或212来接收和发射数据、根据这样的数据中包含的命令和请求来动作、使装置命令信号经由传输电路208传输到要控制的装置、控制可视反馈设备214等。尽管存储器204被图示和描述为ROM存储器，但是存储器204还可以包括任何类型的可读介质，诸如ROM、FLASH、EEPROM等。优选地，存储器204和206是非易失性或备用电池的，使得不需要在电源中断后重新加载数据。另外，存储器202、204和206可以采取芯片、硬盘、磁盘、光盘等的形式。此外，应当理解，图示的存储器设备的一些或全部可以物理地集成在与微处理器200(所谓的“微控制器”)相同的IC芯片内，并且这样，仅是为了简明，在图2中分别示出。
为了使命令中继设备100执行动作，命令中继设备100适用于对事件(诸如从网络接口端口210或212接收到信号)作出响应。响应于事件，可以执行程序存储器内的适当指令(以下为“操作程序”)。例如，接收到来自智能电话设备102的控制请求消息可以导致从装置代码数据中检索适合于预期目标装置的命令值和控制协议，并且引起以可由预期目标装置识别的格式将请求的命令传输到预期目标装置，例如，STB 106。
为了选择与要控制的装置相关联的装置代码数据集合，可以向命令中继设备100提供数据，用于通过其类型和命令协议来识别预期目标装置。作为命令请求中的一部分或者独立于命令请求提供的这样的数据可以允许命令中继设备100识别装置代码数据的预编程库内的适当装置代码数据元素，用于以适合于这样识别的装置的格式发射可识别的命令。替选地，作为对预存储库的替代或者对预存储库的补充，可以在初始化阶段或者基于需要经由网络接口210、212来将装置代码数据下载到命令中继设备100中。
遥控应用的操作
现转到图3，可以例如通过苹果的iPhone应用商店-apple.com/iphone/appstore提供第三方遥控应用，用于购买并下载到智能电话。一旦下载并安装，就可以通过图标302的存在来在智能电话主页画面300(如图3a中所示)上表示示例性遥控应用的可用性。图标302的激活，即，遥控应用的执行，可以导致GUI画面304，如图3b中所示。该GUI可以包括表示应用及其相关命令中继站当前被配置为要控制的装置的选择图标306，以及可激活以添加或重新配置受控设备的配置图标308和可激活以返回到智能电话主页画面300的图标310。设备图标306的激活，例如，标有“TV”的图标，可以导致诸如图3c中图示的装置控制图标320的集合的呈现。呈现的装置控制图标的特定集合可以取决于选择的设备类型。在比能够在单个显示页面中适当呈现的功能多的设备控制功能可用的情况下，可以提供额外的显示页面，该额外的显示页面可经由智能电话设备的常规页面滚动功能(例如，在苹果iPhone情况下手指的水平扫动)来访问。
现在将结合图4和图5的流程图来更加详细地描述图3b至图3d中所示的各种图标的功能，图4和图5表示示例性遥控应用执行的处理，当诸如屏幕触摸、加速度计输出、接近传感器、定时器期满等的事件被智能电话操作系统检测到并且呈现给示例性遥控应用来进行处理时，在步骤400处开始。应当理解，在通过图示的方式在此呈现的这些和其它流程图中，为了简明，可以省略本领域中公知的与常见内务操作功能相关联的步骤，例如，低电量检测、显示超时、错误情况等。首先，在步骤402，确定事件是否为进入电话呼叫。如果是，则在步骤404，保存遥控应用的当前状态，以便于在重新启动时，例如，在电话交谈结束时，允许应用返回到相同的操作画面。接下来，在步骤406，确定是否启动了自动静音/暂停特征(示例性实施例中的用户选项)。如果是，则在步骤408，可以向命令中继站发出定向到音量控制装置的“静音”命令请求和/或定向到媒体回放装置的“暂停”命令请求，此后，在步骤440，示例性遥控应用放弃对电话模式的智能电话设备控制。
如果事件不是进入呼叫，则在步骤410，确定事件是否是用户与设备交互的结果，与设备的交互诸如按钮点击、手指扫动、基于加速度计的输入、接近传感器输入等。如果是，则接下来在步骤412确定远程应用的当前状态是否为手势模式。如果是，则处理在图5中的步骤500处继续，下面将进行描述。如果遥控应用的状态不是手势模式，则接下来在步骤414确定事件是否为按钮图标的激活。如果是，则在步骤416确定激活的图标是否为“关闭”图标310或326。如果是，则示例性遥控应用关闭并且放弃对操作的默认电话模式的智能电话设备控制。如果不是激活“关闭”图标，则接下来在步骤418确定激活的图标是否为装置选择图标306中的一个。如果是，则在步骤436，按照激活的特定装置选择图标所指示的来设置要控制的当前装置，并且检索和显示可应用于选择的装置的命令图标的第一页。通过示例的方式，如果选择的装置是TV，则显示的页面可以如图3c中的320所示。应当理解，该首先初始显示的页面的内容可以随着装置类型而改变——例如，TV装置页面可以如图所示，DVD装置第一页可以包括传输控制(播放、暂停、快进等)、有线STB第一页可以包括节目指南导航和选择控制等。
如果事件不是装置选择，则在步骤420，接下来确定激活的图标是否是对于例如经由用于滚动到不同类型装置的控制页的图标322、用于返回到遥控“主页”页面(例如，装置选择页面304)的图标324、用于退出遥控应用的图标326等的激活来执行遥控应用内部的操作的请求。如果是，则在步骤422，执行必要的动作。
如果激活的图标没有导致内部操作的执行，则图标激活可以表示装置命令操作，例如，对于发出经由图标328发起的TV“开机”命令的请求。如果是，则在步骤432，确定请求的命令功能，并且在步骤434，向命令中继设备100发出适当的命令请求。遥控应用还可以内部地存储请求的命令功能用于未来参考。
如果事件不是图标激活，则在步骤428，接下来确定事件是否包括摇动，即，由智能电话设备的加速度计硬件报告的沿两个或多个轴的快速运动。如果是，则在示例性实施例中，用户进行的该动作被解释为对于重复发出的最后装置命令的请求。在该情况下，在步骤430，检索先前在上述步骤434存储的命令，并且向命令中继设备100发出对该命令的请求。
如果不是摇动，则在步骤436，接下来确定事件是否包括智能电话用户进行的触摸屏幕手势。如果是，则处理该事件，如下面结合图5所描述的。如果不是，则没有出现可识别的事件，并且在步骤438，遥控应用终止当前处理。
如果检测的事件不是进入呼叫或用户交互，则在步骤424，确定该事件是否为定时器期满。如果不是，则没有出现可识别的事件，并且在步骤438，遥控应用终止当前处理。如果是，则在步骤426，清除任何手势模式状态和画面覆盖显示。通过说明的方式，在特定手势活动期间，可以显示半透明覆盖，如下面结合图5更加详细描述的。在呈现该显示时，可以设置超时，以便于在不活动的预定时段之后移除显示覆盖。
现在转到图5，如果在步骤436确定用户输入构成手势(即，特定类型的触摸屏幕交互，如智能电话供应商提供的操作系统可检测到的)，则在步骤506，确定手势是否为简单的滚动请求，例如，水平扫动，在对特定装置类型存在多页命令功能的情况下可以被解释为对于滚动到装置命令图标的下一页的请求。如果是，则在步骤518处理该请求，并且此后遥控应用在步骤516终止当前处理。如果不是滚动请求，则在步骤508，接下来确定手势是否包括两个手指的双击。如果是，则在示例性实施例中，这可以被解释为对进入音量和频道控制模式的用户请求。另外，在示例性实施例中，在已经处于该模式时重复模式设置手势可以被解释为对于终止该操作模式的请求。因此，在步骤520，首先确定遥控应用是否已经在音量和频道控制模式下进行操作。如果是，则处理在步骤426继续以清除该模式。如果不是，则在步骤522，手势模式状态被设置为“音量/频道控制”，在步骤524，显示半透明覆盖，以指示操作的模式，例如，如图3d的330所示，并且在步骤540，启动(或者，如果遥控应用已经以手势模式中的一个来操作，则重新启动)手势模式定时器，此后，在步骤516，当前事件的处理完成。
如果不是两个手指双击，则在步骤510，确定事件是否包括三手指双击。如果是，则在示例性实施例中，这可以被解释为对进入传输控制模式的用户请求，即，提供媒体回放装置的“播放”、“暂停”、“快进”、“快退”等功能的控制，并且在步骤526至530，以与先前描述的方式类似的方式来处理该请求，引起显示传输功能半透明覆盖(未不出)。
如果不是三手指双击，则在步骤512，确定事件是否包括捏近手势(两个手指，通常是手指和拇指，置于与触摸感应表面接触，并且相对彼此以相反方向移动)。如果是，则在示例性实施例中，这可以被解释为进入菜单导航模式的用户请求，即，提供装置的“选择”、“向上”、“向下”、“向左”、“向右”等功能的控制，并且在步骤532至526，以与先前描述的方式类似的方式处理该请求，引起显示菜单导航功能半透明覆盖(未示出)。
如果不是捏近手势，则在步骤514，接下来确定事件是否包括两个手指垂直扫动。如果是，则在示例性实施例中，这可以被解释为对于向当前音频渲染装置发出静音命令的用户请求，并且在步骤538，将请求的装置命令设置为向命令中继站100发出。如果没有两个手指垂直扫动，则没有出现可识别的事件，并且遥控应用在步骤516终止当前处理。
当遥控应用状态指示以手势模式(即，先前在步骤522、528或534中的一个设置的并且没有取消或期满的模式)进行操作时，在步骤412接收到用户交互事件使处理进行到步骤500，在步骤500，确定事件是否为水平或垂直手指扫动。如果是，则在步骤504选择适当的装置命令，并且经由步骤434向命令中继设备100发出请求。装置类型和命令的选择基于当前手势状态，例如，如果处于音量/频道控制模式，则向上扫动可以指示“频道向上”，如果处于传输控制模式，则向上扫动可以指示“停止”，如果处于菜单导航模式，则向上扫动可以指示“菜单向上”等。如果没有手指扫动，则在步骤501，接下来确定事件是否为屏幕中心部分的手指点击。如果是，则处理通过选择适当的命令(例如，“静音”、“暂停”或“选择”，再次取决于当前手势状态)来在步骤504继续。如果不是，则在步骤502，确定事件是否为取消图标332的激活，指示用户期望退出手势模式。如果是，则处理在步骤426继续，在步骤426，清除手势模式状态和屏幕覆盖显示。如果不是，则处理在先前描述的步骤508继续。
应当理解，根据特定智能电话或娱乐设备平台的手势识别能力，可以在该实施例或其他实施例中实现另外的或替选的手势和/或命令功能，包括那些可以包括同时执行两种或更多种类型的手势或者彼此呼应以便于实现更复杂的命令功能的手势或命令功能。通过示例的方式，在本发明的一个实施例中，可以经由在触摸屏上单个按钮按下并保持输入来启动加快快进或快退功能，在此期间，基于加速度计的输入(例如，使智能电话向右或向左倾斜)逐渐增加或减小媒体快进或快退的速率。此外，在一些实施例中，可以在用户选项处来配置对特定命令功能的具体手势的指配。因此，应当理解，在上面的段落中呈现的手势功能仅通过示例方式而不是限制目的。
遥控应用与命令中继设备之间的请求协议
在示例性实施例中，可以经由无线110和/或有线114局域网来在遥控应用与命令中继设备之间交换下面描述的格式的命令请求和响应数据分组。
来自遥控应用的对于命令中继设备的命令请求包括下面的数据字段(每个字段名称之后的括号中的值表示以字节的该字段的大小，即，数字或字符的数目)：
SystemID(4)，SpecRevision(4)，RcdLength(2)，RequestType(1)，ApplianceType(2)，ApplianceNum(4)，CommandCode(2)，Key Flag(1)
其中：
SystemID可以是例如在遥控应用和与之相关联的命令中继设备之间的初始的发现和配对过程期间建立的独特系统标识号。
SpecRevision可以是该数据分组格式符合的接口规范的版本/修订本指示符，例如，保证设备之间的兼容性或用于确定数据分组字段位置和值。
RcdLength可以是该字段之后(即，不包括其本身)的数据字符的数目——在该示例性命令请求分组的情况下为“10”。
RequestType可以是请求的类型——在呈现的示例中，“01”可以表示对于开始发射装置命令的请求，“02”可以表示对于继续发射装置命令的请求，并且“00”可以表示对于停止发射装置命令的请求。参见下面关于KeyFlag字段的叙述，以进一步领悟关于示例性遥控应用与命令中继设备之间的请求协议的该方面。
ApplianceType可以是要命令的装置的类型，例如，根据下面的表：
  装置类型   设备名称
  00   TV
  01   有线STB
  02   视频配件
  03   卫星STB
  04   VCR
  05   激光影碟
  06   DVD
  07   调谐器/AV接收机
  08   放大器
  09   CD
  10   家庭控制
  11-31   保留
表1：示例性装置类型
ApplianceNum可以是四位的数字，其标识控制特定装置或装置族所需要的命令数据和发送格式信息的集合，即，装置代码数据。例如，这可以表示通用遥控领域中公知的设置代码或装置标识符，参见例如Universal Electronics Inc.的“ATLAS OCAP 5-Device Remote Control”用户手册，修订本3.0，其全部内容通过引用合并于此。
CommandCode可以是请求的特定命令的两位的标识符，例如，根据下面的表：
  命令#   标准功能   命令#   标准功能
  01   电源拨动   25   停止
  02   开机   26   暂停
  03   关机   27   倒带
  04   频道向上   28   快进
  05   频道向下   29   记录
  06   音量向上   30   向前跳
  07   音量向下   31   向后跳
  08   静音   32   现场直播
  09   数字1   33   源菜单
  10   数字2   34   设备菜单
  11   数字3   35   指南
  12   数字4   36   退出
  13   数字5   37   后退
  14   数字6   38   光标向上
  15   数字7   39   光标向下
  16   数字8   40   光标向左
  17   数字9   41   光标向右
  18   数字0   42   菜单选择
  19   频道进入   43   向上翻页
  20   +100   44   向下翻页
  21   最后频道   45   喜爱
  22   输入   46   显示
  23   退出   47-99   保留
表2：示例性装置命令功能
KeyFlag可以是可以控制对装置的命令传输的类型的指令。通过示例的方式，在示例性实施例中，KeyFlag＝“1”可以请求命令中继设备发出装置命令一次，而KeyFlag＝“0”可以请求命令中继设备连续发射装置命令，直到接收到明确的“停止发射”请求——例如，在加快功能的情况下使用的，加快功能诸如其中只要用户保持键按下就应当连续重复命令传输的音量控制、其中递增地观看频道的频道冲浪功能等。
来自命令中继设备的对于遥控应用的响应可以包括下面的字段：
SystemID(4)，SpecRevision(4)，RcdLength(2)，RequestType(1)，ApplianceType(2)，ApplianceNum(4)，CommandCode(2)，Status(2)
其中，前七个字段可以是如上描述的，并且可以包括通过确认的方式接收到的请求的回应，并且最后一个状态字段可以包括下面表3中所示的值中的一个，表示命令请求的完成状态。
  状态值   消息
  00   无错误地完成
  01   无效的装置类型
  02   无效的装置编号
  03   无效的请求类型
  04   无效的命令代码
  05   没有命令数据可用
  06   数据分组格式错误
  07   由于超时而中断的连续命令传输
  08-99   保留
表3：示例性状态响应值
现在转到图6，将进一步详细描述根据上面的示例性数据协议的发出命令请求时遥控应用的示例性实施例执行的步骤，即，可以与图4的步骤434的过程相对应的一系列步骤。首先，在步骤602，初始化示例性分组报头数据，包括例如适当的SystemID、SpecRevision和RcdLength字段以及值为“01”(开始发射命令)的RequestType字段值。接下来，在步骤604和606，根据指示的装置和功能请求来填入示例性ApplianceType、ApplianceNum和CommandCode字段。在步骤608，还在本地保存请求的命令，用于可能以后在处理可能的“重复最后一个命令”请求中使用，如先前结合图4所描述。在步骤610，确定请求是否针对加快功能。通过示例的方式，当示例性遥控应用在图3d所示的音量/频道手势输入模式下进行操作时，以手指从接触触摸感应表面离开而终止的从左到右的手指扫动可以被解释为对于向指定的装置发出“音量向上”命令的单个实例的请求，即，非加快功能，而以手指与触摸感应表面保持静止接触而终止的从左到右的手指扫动可以被解释为向指定的装置连续发出“音量向上”命令的请求，直到诸如手指抬起时的时间，即，加快功能。在步骤612和614，根据该确定来设置KeyFlag字段值。在步骤616，经由无线局域网110向示例性命令中继设备转发完成的请求数据分组。应当理解，按照适用于所采用的本领域公知的无线协议(例如，WiFi、蓝牙、Zigbee、Zensys等)，为了传输目的，可以将数据分组封装在另外的报头字段、控制参数、错误检测和/或校正数据等内。
在传输请求数据分组之后，在步骤618、620和622，遥控应用等待来自示例性命令中继设备的响应。如果接收到的响应是否定，即，在呈现的示例中除了“00”之外的任何值，或者如果在预定的时间量内没有接收到响应，则在步骤652，错误状态出现并且被处理。可以根据错误的类型和当前请求的活动二者采取确切的动作。通过示例的方式，在没有限制的情况下，超时或者接收到诸如06“数据分组格式错误”的状态代码可能导致请求分组的重传；接收到状态代码05“没有命令数据可用”可能导致在特定显示页面中特定按钮图标变灰；接收到状态代码02“无效的装置编号”可能导致对于用户提出在智能电话设备内装置设置的重新初始化和/或将附加代码数据下载到命令中继站100的消息，而其它错误状态代码可能导致显示请求用户进行可能操作(诸如重新配置或重新初始化设备等)的错误消息。
如果接收到良好状态响应，则在步骤624，遥控应用接下来确定确认的请求的KeyFlag值是否为“01”。如果是，则请求的功能是传输CommandCode表示的装置命令的单个实例，并且处理完成。如果不是，则请求是只要键或其它用户输入保持激活就连续传输装置命令。在该情况下，在步骤626，在连续的键激活不是用户动作的结果而是错误状态的情况下——例如，智能电话设备嵌入沙发垫之间，无意地放置了对象或者对象落入触摸屏面上等，首先发起预定键超时作为预警。如果该超时期满，则遥控应用将随后进行如键已经被释放的动作而不考虑其激活状态。然后，在步骤628，确定键或输入事实上是否仍然被激活，并且如果是，则假设上述参考的键超时没有期满(步骤630)，那么在步骤632和634，通过将RequestType设置为“02-继续发射”来将另外的请求分组发射到示例性命令中继设备。如稍后的详细描述，在特定实施例中，连续发射命令的示例性命令中继设备可以要求从遥控应用定期地接收这样的“继续发射”请求，以便于持续传输，这表示在发出“停止发射”请求之前中断在遥控应用与命令中继设备之间的通信的情况下，防止装置调整功能失控的安全特征。
当完成分组的传输时，远程应用再次等待来自示例性命令中继设备的响应。如果出现坏的响应或超时，则如先前描述的在步骤652处理错误状况。如果接收到良好响应，则在628开始重复序列，直到诸如键或输入不再被激活或键定时器超时的时间。当出现这些事件中的任何一个时，在步骤642和644，通过将RequestType设置为“00-停止发射”来向示例性命令中继设备发射请求分组，在步骤646、648和650估计接下来的响应，并且处理完成。
命令中继设备的操作
现在转到图7，将进一步详细描述以上在根据示例性数据协议的处理命令请求时命令中继设备的示例性实施例执行的步骤。当接收到符合先前描述的协议的命令请求数据分组时，在初始的步骤702，检查分组报头数据。例如，可以检查示例性SystemID和SpecRevision字段以确定它们是否匹配期望值。还可以在该步骤估计示例性RcdLength字段以确定是否已经接收到完整的数据分组。如果这些测试中的任何一个失败，则已经接收到破坏的数据分组和/或未知格式的数据分组，并且因此在步骤704，设置状态“数据分组格式错误”，此后，忽略接收到的分组字段的平衡，在步骤750，将包含该状态的响应返回到始发遥控应用，并且处理完成。
接下来，在步骤706，检查示例性RequestType字段，以确定接收到的数据分组是否是“00-停止发射”请求。如果是，则在步骤732和733，设置状态“良好完成”，并且清除任何超时定时器，此后，在步骤746，取消任何正在进行的装置命令传输，在步骤750，将包含良好状态的响应返回到始发遥控应用，并且处理完成。
如果示例性RequestType字段不是停止发射请求，则在步骤708，确定接收到的RequestType字段是否为“02-继续发射”请求。如果是，则在步骤709，设置状态“良好完成”，此后，在步骤748，重新设置示例性传输超时，在步骤750，将包含良好状态的响应返回到始发遥控应用，并且处理完成。
如果示例性RequestType字段不是继续发射请求，则在步骤710，确定接收到的RequestType字段是否为“01-发射命令”请求。如果不是，则在步骤712，可以处理其它类型的请求。通过示例的方式，根据特定实施例的要求，在没有限制的情况下，这些可以包括设备发现和配对处理、初始化和设置以及配置通信等。
如果请求命令传输，则在步骤714，估计示例性ApplianceType和ApplianceNum字段。如果请求的装置类型和/或装置号是无效的，即，不与命令中继设备100的存储器202、204和206中当前存储的装置代码数据的可识别部分相对应，则在步骤716设置适当的错误状态，并且处理如上所述在步骤750继续。
如果请求的装置类型和编号是有效的，则在步骤718，例如，通过将指针设置到存储的装置代码数据的适当部分，这些被注册为要控制的装置。在步骤720，然后检查示例性CommandCode字段的内容。如果不存在可识别的命令代码，则在步骤722设置错误状态，并且处理如上所述在步骤750继续。如果存在有效命令代码，则在步骤724和726，检查与请求装置类型、编号和命令相对应的存储的装置代码数据内的条目。如果没有数据可用，则在步骤728设置错误状态，并且处理如上所述在步骤750继续。通过解释的方式，不是所有的装置都有必要支持所有可能的装置命令中定义的每个功能。通过特定示例的方式，即使在表2中示出的示例性实施例中，这是允许的命令(“02”)，特定装置也可能不支持独立“开机”功能，在该情况下，与该装置类型/编号/命令相对应的装置代码数据条目可以是空，导致步骤728的“无命令数据可用”状态。
如果存在有效数据，则在步骤730和732，使用存储的与选择的装置类型和编号相对应的格式化信息来初始化与IR或RF发射机208相关联的软件驱动器。例如，这样的格式化信息可以包括本领域公知的载波频率、占空比、编码方案、帧长度等。此后，在步骤738和740，检索命令数据并开始传输。一旦发起命令传输，则在步骤742将响应状态设置为“良好”。
然后，在步骤744检查示例性KeyFlag字段。如果内容是非零，则处理在步骤746继续，并且在完成单个实例之后停止命令传输。对此，应当理解，根据使用装置协议，命令的单个实例可以包括多于一个帧的数据的传输。通过特定示例的方式，特定制造商的IR命令协议的错误检测机制可以要求在行动之前为比较的目的而多次重复命令数据帧。因此，应当理解，在步骤746，仅在完成当前使用的特定装置命令协议的所有要求之后停止传输。一旦完成，则通过向请求智能电话设备发出完成响应，处理在步骤750继续，此后，处理完成。
如果示例性KeyFlag字段的内容是零，则请求智能电话设备想要发起加快功能，并且因此在步骤748，发起示例性发射超时，此后，将完成状态返回到请求智能电话设备，并且处理通过正在进行的命令传输完成。
如上所述，在步骤748发起的超时的目的是防止在智能电话102与命令中继设备100之间的通信中断并且命令中继设备没有及时接收到“停止发射”请求的情况下命令状态失控。因此，如果在从智能电话设备接收到任何“继续发射”或“停止发射”请求之前该超时期满，则在步骤734，设置响应状态“由于超时而中断”，此后，终止任何正在进行的命令传输，并且将该状态通信到智能电话设备。
系统的初始化
第一次在智能电话设备上运行时新安装的遥控应用可以发起发现过程，以定位附连到本地无线网络的命令中继设备100并与之配对。在特定实施例中，当发现命令中继设备时，遥控应用将指示命令中继设备例如使用状态指示器214向用户可视或可听地发出信号，并且然后提示用户例如经由触摸屏确认输入。如果在预定的时间段内没有接收到用户确认，则遥控应用可以在标记当前命令中继设备之后恢复发现过程，以便于在当前运行实例期间不再次识别该命令中继设备。以该方式，可以允许相同局域网上存在多于一个的命令中继设备。
一旦与命令中继设备配对，在特定实施例中，遥控应用就可以立即进入请求用户配置要控制的装置类型、品牌和/或型号的“添加设备”模式。替选地，例如，遥控应用可以经由激活图标308仅显示空白主画面(与无装置选择图标306的画面304类似)，等待用户手动发起添加装置模式。在任何一种情况下，在没有限制的情况下，通过示例的方式，不论本地执行还是通过与基于Web的服务交互来识别要控制的装置的多种方法在本领域是公知的，可以在相同受让人的美国专利4,959,810“Universal Remote Control Device”或7,218,243“System and Method for Automatically Setting Up a Universal Remote Control”的描述中找到，并且通过引用将其全部合并于此。在一些实施例中，可以通过与基于web的服务进行交互来执行装置识别，所述基于web的服务可以将用户提供的装置品牌和型号信息转换成适合于由智能电话应用使用的装置类型和编号值。在一些情况下，可以将命令中继设备100的存储器中已经不存在的补充装置代码数据经由网络连接114或120下载到设备。在特定实施例中，这可以基于web服务的对命令中继设备100中的装置代码数据的当前库的先前了解而发生，而在其它实施例中，可以触发这种情况，例如，在从命令中继设备100接收到“无效的装置编号”或“无效的装置类型”的状态响应时通过智能电话应用来触发。
在一些实施例中，可以在初始化过程期间或者此后单独地在遥控应用内配置各种另外的选项，例如，可以单独地或联合地启用或禁用图4的步骤406和408处示出的可选的暂停和/或静音特征。另外，对特定手势分配装置类型、命令功能和/或遥控应用本地功能可以是用户可配置的。应当理解，在特定实施例中，与特定手势相关联的设备类型是可全局分配的，即，是有效的而不考虑遥控应用的当前选择的设备(例如，音量控制功能可以被全局地分配给TV 104，而频道向上/向下功能可以被全局地分配给机顶盒106)，而在其它实施例中，设备类型可以是在遥控应用内当前选择的设备类型。在该连接中，已经也被分配了手势的传统按钮图标(例如，图3c的频道向上图标340和频道向下图标342)表示的功能可以通过附连到或置于该功能图标附近的标记或标签344的添加被可视地识别。
*****
尽管已经详细描述了本发明的各个方面，但是本领域的技术人员应当理解，可以根据本公开的全面教导来开发对那些方面的各种修改和替换。例如，应当理解，可以在本发明的各种实施例中使用替选和/或附加手势，并且在此呈现的GUI显示和功能仅是说明性的。例如，在特定实施例中，可以利用图标322、324和326来访问用户可分配的喜爱频道而不是在此描述的内部功能。此外，遥控应用的特定实施例可以利用它们所位于的智能电话平台的附加能力。例如，位于能够空间感知(例如，经由GPS、无线网络检测或其它基于位置的技术)的智能电话平台中的遥控应用可以随着用户从一个房间移动到一个房间而自动选择要控制的适当装置和/或自动改变将哪个装置分配给各种手势。另外，尽管如在智能电话平台内充分解释的在此示出的示例性实施例中可能呈现组合手势(例如，手指在扫动之后点击、倾斜、摇动等)，也应当理解，在替选实施例中，可以分别将单独的手势组成动作的每一个报告给命令中继设备并且在该命令中继设备处进行解释。
尽管在功能模块的背景中描述并且使用框图和流程图的格式示出，但是应当理解，除非另有相反说明，一个或多个描述的功能和/或特征可以被集成到单个物理设备和/或软件模块中，或者可以以分立的物理设备和/或软件模块来实现一个或多个功能和/或特征。还应当理解，为了促进发明的理解，不必详细描述每个模块的实际实现。相反，在给出在此公开的系统中的各个功能模块的属性、功能和内部关系的情况下，本领域的普通的工程师将了解这样的模块的实际实现。因此，本领域的技术人员利用普通技能将能够在没有不适当实验的情况实践权利要求阐述的本发明。还应当理解，公开的特定方面仅是说明性的目的，而不是限制权利要求及其任何等同物的充分广度给出的本发明的范围。
本文中引用的所有专利通过引用将其全部合并于此。

Claims (31)

1.一种用于在控制可控设备的操作功能中使用的系统，包括：
手持式设备，所述手持式设备适用于接收基于手势的输入，并且具有用于发射具有表示所述基于手势的输入的数据的信号的程序；以及
中间设备，所述中间设备与所述手持式设备和所述可控设备进行通信，所述中间设备具有用于将从所述手持式设备接收的信号中表示所述基于手势的输入的数据转换成要通信到所述可控设备的命令信号的程序，其中，所述命令信号具有适合于控制与所述基于手势的输入相关联的所述可控设备的操作功能的格式。
2.如权利要求1所述的系统，其中，所述中间设备具有存储器，在所述存储器中存储了用于命令多个不同类型的设备的操作的代码数据，并且其中，所述程序使用所述代码数据来生成要通信到所述可控设备的命令信号。
3.如权利要求2所述的系统，其中，所述代码数据是从预存储在所述存储器中的代码数据的库中选择的。
4.如权利要求2所述的系统，其中，所述代码数据从网络服务器设备下载，并且然后被存储在所述存储器中。
5.如权利要求1所述的系统，其中，所述手持式设备包括触摸屏界面，并且所述基于手势的输入包括与所述触摸屏界面的感应的交互。
6.如权利要求5所述的系统，其中，所述基于手势的输入包括所述触摸屏界面上感应的扫动运动。
7.如权利要求5所述的系统，其中，所述基于手势的输入包括所述触摸屏界面上感应的多个同时触摸。
8.如权利要求5所述的系统，其中，所述基于手势的输入包括所述触摸屏界面上感应的同时的扫动运动和触摸。
9.如权利要求1所述的系统，其中，所述手持式设备包括加速度计，并且所述基于手势的输入包括经由所述加速度计感应的所述手持式设备的移动。
10.如权利要求1所述的系统，其中，所述中间设备的程序用于向所述手持式设备发射状态信号，所述状态信号具有指示由于接收到从所述手持式设备发射的信号而导致的所述中间设备的状态的数据。
11.如权利要求1所述的系统，其中，表示所述基于手势的输入的所述数据包括指示所述可控设备的类型的数据。
12.如权利要求1所述的系统，其中，表示所述基于手势的输入的所述数据包括指示使所述中间设备向所述可控设备重复通信命令信号的指令的数据。
13.如权利要求12所述的系统，其中，所述指令使所述中间设备向所述可控设备重复地通信音量控制命令信号。
14.如权利要求12所述的系统，其中，所述指令使所述中间设备向所述可控设备重复地通信频道调谐控制命令信号。
15.如权利要求1所述的系统，其中，表示所述基于手势的输入的所述数据包括指示要控制的所述可控设备的功能操作的数据。
16.如权利要求1所述的系统，其中，所述中间设备经由无线信号传输与所述可控设备进行通信。
17.如权利要求1所述的系统，其中，所述手持式设备经由无线信号传输与所述中间设备进行通信。
18.如权利要求1所述的系统，其中，用于发射具有指示所述基于手势的输入的数据的信号的所述程序包括位于所述手持式设备上的遥控用户界面应用。
19.如权利要求18所述的系统，其中，所述手持式设备包括触摸屏显示器，并且所述遥控用户界面应用使得显示一个或多个画面，所述一个或多个画面显示表示与之交互以提供所述基于手势的输入的所述可控设备的功能操作的图标。
20.如权利要求19所述的系统，其中，所述遥控用户界面应用可配置为提供一个或多个画面，所述一个或多个画面显示表示包括所述可控设备的多个可控设备的功能操作的图标。
21.如权利要求1所述的系统，其中，与所述基于手势的输入相关联的所述可控设备的操作功能是用户可配置的。
22.如权利要求1所述的系统，其中，与所述基于手势的输入相关联的所述可控设备是用户可配置的。
23.一种手持式便携式电话，包括：
触摸屏显示器，以及
用于发射具有指示经由所述触摸屏显示器接收的基于手势的输入的数据的信号的程序，其中，所述信号具有适合于中间设备的格式，所述中间设备适用于向可控设备通信命令信号，并且其中，所述数据包括指示所述可控设备的类型的数据、指示要控制的所述可控设备的功能操作的数据以及指示被设置为所述中间设备与所述可控设备进行通信时使用的代码数据的数据。
24.如权利要求23所述的手持式便携式电话，其中，响应于所述手持式便携式电话接收到电话呼叫，所述程序使信号进行传输，其中，指示要控制的所述可控设备的所述功能操作的数据指示暂停功能操作。
25.如权利要求23所述的手持式便携式电话，其中，响应于所述手持式便携式电话接收到电话呼叫，所述程序使信号进行传输，其中，指示要控制的所述可控设备的所述功能操作的数据指示静音功能操作。
26.如权利要求23所述的手持式便携式电话，其中，表示所述基于手势的输入的所述数据包括指示所述中间设备向所述可控设备重复地通信命令信号的指令的数据。
27.如权利要求26所述的手持式便携式电话，其中，所述指令使所述中间设备向所述可控设备重复地通信音量控制命令信号。
28.如权利要求26所述的手持式便携式电话，其中，所述指令使所述中间设备向所述可控设备重复地通信频道调谐控制命令信号。
29.如权利要求23所述的手持式便携式电话，其中，所述基于手势的输入与要控制的所述可控设备的功能操作之间的对应关系是用户可配置的。
30.如权利要求23所述的手持式便携式电话，其中，所述基于手势的输入与要控制的所述可控设备之间的对应关系是用户可配置的。
31.如权利要求1所述的系统，其中，所述手持式设备适合于接收按钮激活输入，从所述手持式设备发射的信号包括表示所述按钮激活输入和所述基于手势的输入的数据，并且所述中间设备的程序将从所述手持式设备接收的信号中表示所述按钮激活输入和所述基于手势的输入的数据转换成要通信到所述可控设备的命令信号。
CN2009801097711A 2008-03-19 2009-03-19 用于经由个人通信或娱乐设备的装置控制的系统和方法 Pending CN101978341A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US3775908P 2008-03-19 2008-03-19
US61/037,759 2008-03-19
US12/406,601 2009-03-18
US12/406,601 US9503562B2 (en) 2008-03-19 2009-03-18 System and method for appliance control via a personal communication or entertainment device
PCT/US2009/037690 WO2009117592A2 (en) 2008-03-19 2009-03-19 System and method for appliance control via a personal communication or entertainment device

Publications (1)

Publication Number Publication Date
CN101978341A true CN101978341A (zh) 2011-02-16

Family

ID=41089414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801097711A Pending CN101978341A (zh) 2008-03-19 2009-03-19 用于经由个人通信或娱乐设备的装置控制的系统和方法

Country Status (5)

Country Link
US (8) US9503562B2 (zh)
EP (2) EP2255268B1 (zh)
CN (1) CN101978341A (zh)
BR (1) BRPI0908733B1 (zh)
WO (1) WO2009117592A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377284A (zh) * 2012-04-24 2013-10-30 三星电子株式会社 用于浏览显示在外部设备上的信息的便携式设备及方法
CN103902208A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 电子设备控制方法及电子设备
CN104053273A (zh) * 2013-03-11 2014-09-17 聚众联合科技股份有限公司 控制灯具的方法及其系统
CN105165127A (zh) * 2013-05-08 2015-12-16 皇家飞利浦有限公司 用于基于移动计算设备的用户操纵控制照明的方法和装置
CN105323376A (zh) * 2014-06-30 2016-02-10 Lg电子株式会社 移动终端和使用该移动终端来控制外部装置的方法
CN105409239A (zh) * 2013-07-26 2016-03-16 美泰克C&K株式会社 设备控制方法
CN105915977A (zh) * 2015-06-30 2016-08-31 乐视致新电子科技（天津）有限公司 一种控制电子设备的方法及装置
CN107943342A (zh) * 2017-11-16 2018-04-20 业成科技（成都）有限公司 触控控制系统
CN108108100A (zh) * 2013-10-28 2018-06-01 华为技术有限公司 一种调节播放的方法及装置
JP2019092206A (ja) * 2019-02-15 2019-06-13 京セラ株式会社 情報機器及び通信方法
CN115660020A (zh) * 2022-12-28 2023-01-31 启迪数字科技(深圳)有限公司 基于rfid感应的智能场馆中控系统及其控制方法

Families Citing this family (254)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100416498C (zh) * 2004-03-26 2008-09-03 松下电器产业株式会社 显示处理装置和显示处理方法
US7907222B2 (en) 2005-09-08 2011-03-15 Universal Electronics Inc. System and method for simplified setup of a universal remote control
US11769398B2 (en) 2005-09-08 2023-09-26 Universal Electronics Inc. System and method for widget-assisted setup of a universal remote control
US8659400B2 (en) 2006-09-05 2014-02-25 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
US9208679B2 (en) 2006-09-05 2015-12-08 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
US8812629B2 (en) 2008-04-18 2014-08-19 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
CN101809581B (zh) 2007-09-24 2014-12-10 苹果公司 电子设备中的嵌入式验证系统
WO2009123028A1 (ja) 2008-04-01 2009-10-08 京セラ株式会社 ユーザインタフェース生成装置
JP5406176B2 (ja) * 2008-04-02 2014-02-05 京セラ株式会社 ユーザインタフェース生成装置
US9088663B2 (en) 2008-04-18 2015-07-21 Universal Electronics Inc. System for appliance control via a network
US9852615B2 (en) * 2011-03-25 2017-12-26 Universal Electronics Inc. System and method for facilitating appliance control via a smart device
US7890816B2 (en) * 2008-05-08 2011-02-15 Echostar Technologies L.L.C. Systems, methods and apparatus for detecting remote control errors
BRPI0918295B1 (pt) * 2008-09-04 2021-04-13 Savant Systems, Inc Sistemas de multimídia capaz de ser controlado remotamente, e, método para controlar remotamente um sistema de multímidia
US8881205B2 (en) 2008-09-12 2014-11-04 At&T Intellectual Property I, Lp System for controlling media presentation devices
US8260283B2 (en) * 2008-09-16 2012-09-04 UEI Cayman, Inc. Communicating codeset information as part of a native application
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20100113106A1 (en) * 2008-11-03 2010-05-06 Dana Innovations Portable ipod charger with additional functionality
KR20120016060A (ko) * 2009-03-20 2012-02-22 구글 인코포레이티드 입력 방식 편집기 컴퓨팅 디바이스와의 상호작용
US8742885B2 (en) * 2009-05-01 2014-06-03 Apple Inc. Directional touch remote
KR20110001618A (ko) * 2009-06-30 2011-01-06 애니포인트 미디어 그룹 장치-특화 및 애플리케이션-특화된 컴퓨팅 장치, 재생 장치 및 컴퓨팅 장치를 이용한 재생 장치의 제어 방법
US8638939B1 (en) * 2009-08-20 2014-01-28 Apple Inc. User authentication on an electronic device
US8438503B2 (en) * 2009-09-02 2013-05-07 Universal Electronics Inc. System and method for enhanced command input
US8386649B2 (en) * 2009-09-16 2013-02-26 EchoStar Technologies, L.L.C. User input command relaying
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8799826B2 (en) 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
KR20110047764A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
GB0919516D0 (en) * 2009-11-06 2009-12-23 Imagination Tech Ltd Touch sensitive display
KR101612845B1 (ko) * 2009-11-12 2016-04-15 삼성전자주식회사 리모트 ｕｉ 서비스 제공 방법 및 장치
DE102009056152A1 (de) * 2009-11-27 2011-06-01 Ledon Lighting Jennersdorf Gmbh Beleuchtungsfernsteuerung
US8271116B2 (en) * 2009-12-09 2012-09-18 Ming-Wei Lu System and method for controlling household appliances by programming
JP5370131B2 (ja) * 2009-12-22 2013-12-18 セイコーエプソン株式会社 画像表示装置および制御方法
JP5531612B2 (ja) * 2009-12-25 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
US8502925B2 (en) * 2009-12-29 2013-08-06 VIZIO Inc. Television programming of a remote control
KR101748735B1 (ko) * 2010-01-04 2017-06-19 삼성전자주식회사 터치 스크린을 구비하는 전자기기 및 그 동작제어방법
EP2341492B1 (en) * 2010-01-04 2017-02-15 Samsung Electronics Co., Ltd. Electronic device including touch screen and operation control method thereof
US8340873B2 (en) * 2010-01-20 2012-12-25 Caterpillar Trimble Control Technologies, Llc Machine control and guidance system incorporating a portable digital media device
US8539386B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8539385B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
TW201128441A (en) * 2010-02-01 2011-08-16 Hon Hai Prec Ind Co Ltd Television system and remote controller thereof and method for selecting program and method for adjusting volume
US8527986B1 (en) * 2010-02-02 2013-09-03 Sprint Communications Company L.P. System and method for automated identification of an application out-of-synchronization condition
TW201130304A (en) * 2010-02-24 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for remotely switching TV channels
US8588806B2 (en) * 2010-02-26 2013-11-19 Thl Holding Company, Llc Wireless device and methods for use in a paging network
WO2011113057A1 (en) * 2010-03-12 2011-09-15 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
KR101715380B1 (ko) * 2010-03-15 2017-03-10 삼성전자 주식회사 리모컨 및 그 제어방법, 디스플레이장치 및 그 제어방법, 디스플레이시스템 및 그 제어방법
US9000914B2 (en) * 2010-03-15 2015-04-07 Welch Allyn, Inc. Personal area network pairing
JP2011193426A (ja) * 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末
KR20110103718A (ko) * 2010-03-15 2011-09-21 삼성전자주식회사 포터블 디바이스 및 그 제어방법
US8990702B2 (en) * 2010-09-30 2015-03-24 Yahoo! Inc. System and method for controlling a networked display
US9124994B2 (en) 2010-04-07 2015-09-01 Starkey Laboratories, Inc. System for programming special function buttons for hearing assistance device applications
US9021354B2 (en) 2010-04-09 2015-04-28 Apple Inc. Context sensitive remote device
DE102010015509A1 (de) * 2010-04-20 2011-11-24 Gira Giersiepen Gmbh & Co. Kg System für die Gebäudeautomation
US8331530B2 (en) * 2010-05-24 2012-12-11 General Electric Company Handheld X-ray image viewing system and method
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9069443B2 (en) * 2010-06-11 2015-06-30 Doat Media Ltd. Method for dynamically displaying a personalized home screen on a user device
US9552422B2 (en) 2010-06-11 2017-01-24 Doat Media Ltd. System and method for detecting a search intent
US9372885B2 (en) 2010-06-11 2016-06-21 Doat Media Ltd. System and methods thereof for dynamically updating the contents of a folder on a device
US9639611B2 (en) 2010-06-11 2017-05-02 Doat Media Ltd. System and method for providing suitable web addresses to a user device
US9141702B2 (en) 2010-06-11 2015-09-22 Doat Media Ltd. Method for dynamically displaying a personalized home screen on a device
US9323844B2 (en) 2010-06-11 2016-04-26 Doat Media Ltd. System and methods thereof for enhancing a user's search experience
US10713312B2 (en) 2010-06-11 2020-07-14 Doat Media Ltd. System and method for context-launching of applications
US9529918B2 (en) 2010-06-11 2016-12-27 Doat Media Ltd. System and methods thereof for downloading applications via a communication network
US8150384B2 (en) 2010-06-16 2012-04-03 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
US8542320B2 (en) * 2010-06-17 2013-09-24 Sony Corporation Method and system to control a non-gesture controlled device using gesture interactions with a gesture controlled device
US8957777B2 (en) * 2010-06-30 2015-02-17 Welch Allyn, Inc. Body area network pairing improvements for clinical workflows
US8907782B2 (en) 2010-06-30 2014-12-09 Welch Allyn, Inc. Medical devices with proximity detection
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
CN102346431A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业（深圳）有限公司 具遥控功能的便携式电子装置
WO2012021173A2 (en) 2010-08-12 2012-02-16 Net Power And Light Inc. System architecture and methods for experiential computing
US9172979B2 (en) * 2010-08-12 2015-10-27 Net Power And Light, Inc. Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences
WO2012021902A2 (en) * 2010-08-13 2012-02-16 Net Power And Light Inc. Methods and systems for interaction through gestures
US9788075B2 (en) * 2010-08-27 2017-10-10 Intel Corporation Techniques for augmenting a digital on-screen graphic
US20120147055A1 (en) * 2010-09-16 2012-06-14 Matt Pallakoff System and method for organizing and presenting content on an electronic device
US8233803B2 (en) 2010-09-30 2012-07-31 Transmitive, LLC Versatile remote control device and system
US20120081615A1 (en) * 2010-09-30 2012-04-05 Starr Ephraim D Remote control
US8331908B2 (en) * 2010-10-04 2012-12-11 Microsoft Corporation Mobile telephone hosted meeting controls
US8429704B2 (en) 2010-10-21 2013-04-23 Net Power And Light, Inc. System architecture and method for composing and directing participant experiences
KR101039480B1 (ko) * 2010-10-29 2011-06-08 한화에스앤씨주식회사 단일화된 장치 연동형 어플리케이션 개발을 지원하는 앱스토어 시스템 및 앱스토어 관리 방법
CN102098467B (zh) * 2010-12-07 2012-12-26 青岛海信宽带多媒体技术有限公司 实现电视终端双向控制的方法及装置
US8995981B1 (en) 2010-12-13 2015-03-31 Csr Technology Inc. Systems and methods for remote control adaptive configuration
US8836640B2 (en) * 2010-12-30 2014-09-16 Screenovate Technologies Ltd. System and method for generating a representative computerized display of a user's interactions with a touchscreen based hand held device on a gazed-at screen
KR101790218B1 (ko) 2010-12-30 2017-10-26 삼성전자주식회사 사용자 단말 장치 및 그 ｕｉ 제공 방법
KR101772653B1 (ko) * 2010-12-31 2017-08-29 삼성전자주식회사 제어 디바이스 및 방송수신장치 제어 방법
BR112013018148B1 (pt) * 2011-01-18 2022-05-24 Savant Systems, Inc Sistema e método de controle remoto para dispositivos eletrônicos
US11249619B2 (en) * 2011-02-11 2022-02-15 Samsung Electronics Co., Ltd. Sectional user interface for controlling a mobile terminal
US8918719B2 (en) * 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
KR20120100045A (ko) 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
US20120225645A1 (en) * 2011-03-03 2012-09-06 Michael Sivan Low Cost System converting any Smartphone to a Remote Controller
US20120229660A1 (en) * 2011-03-09 2012-09-13 Matthews Cynthia C Methods and apparatus for remote controlled devices
US8548443B2 (en) 2011-03-16 2013-10-01 Dell Products L.P. System and method for selectively restricting portable information handling system features
US9858342B2 (en) 2011-03-28 2018-01-02 Doat Media Ltd. Method and system for searching for applications respective of a connectivity mode of a user device
US8713670B2 (en) * 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8726367B2 (en) 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8745725B2 (en) 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US9239890B2 (en) 2011-05-31 2016-01-19 Fanhattan, Inc. System and method for carousel context switching
US9778818B2 (en) 2011-05-31 2017-10-03 Fanhattan, Inc. System and method for pyramidal navigation
US10449913B2 (en) * 2011-06-27 2019-10-22 Donald Curtis Eiland Portable device having a changeable illuminated display and communications platform
US20130002799A1 (en) * 2011-06-28 2013-01-03 Mock Wayne E Controlling a Videoconference Based on Context of Touch-Based Gestures
US8605872B2 (en) 2011-06-28 2013-12-10 Lifesize Communications, Inc. Muting a videoconference using touch-based gestures
US9204094B2 (en) * 2011-06-28 2015-12-01 Lifesize Communications, Inc. Adjusting volume of a videoconference using touch-based gestures
US8605873B2 (en) 2011-06-28 2013-12-10 Lifesize Communications, Inc. Accessing settings of a videoconference using touch-based gestures
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
TWI462571B (zh) * 2011-09-29 2014-11-21 Ind Tech Res Inst 控制電器裝置的內容驅動輸入裝置與方法
US20130097274A1 (en) * 2011-10-13 2013-04-18 People Power Company Method and system for managing a slave device through a master device
US10593195B2 (en) 2011-10-28 2020-03-17 Universal Electronics Inc. System and method for optimized appliance control
US9437105B2 (en) * 2011-10-28 2016-09-06 Universal Electronics Inc. System and method for optimized appliance control
US11295603B2 (en) 2011-10-28 2022-04-05 Universal Electronics Inc. System and method for optimized appliance control
US11700412B2 (en) 2019-01-08 2023-07-11 Universal Electronics Inc. Universal voice assistant
US11792185B2 (en) 2019-01-08 2023-10-17 Universal Electronics Inc. Systems and methods for associating services and/or devices with a voice assistant
US10937308B2 (en) * 2011-10-28 2021-03-02 Universal Electronics Inc. System and method for optimized appliance control
US9215394B2 (en) 2011-10-28 2015-12-15 Universal Electronics Inc. System and method for optimized appliance control
US11756412B2 (en) * 2011-10-28 2023-09-12 Universal Electronics Inc. Systems and methods for associating services and/or devices with a voice assistant
US9449500B2 (en) 2012-08-08 2016-09-20 Universal Electronics Inc. System and method for optimized appliance control
FR2984055B1 (fr) * 2011-12-07 2014-01-24 Wiztivi Procede d'etablissement d'une communication entre un appareil fixe et un equipement mobile a travers un serveur, serveur et programme d'ordinateur associe
DE102011120651A1 (de) 2011-12-09 2013-06-13 Westfalia-Automotive Gmbh Steuergerät und Anhängekupplung zur Kommunikation mit einem Bediengerät
CN110677330A (zh) * 2011-12-21 2020-01-10 英特尔公司 用于促进计算设备和非计算设备的基于代理用户界面的远程管理和控制的机制
US20130345882A1 (en) * 2011-12-22 2013-12-26 Steven David Dushane Programmable environmental comfort controller
KR101634745B1 (ko) 2011-12-30 2016-06-30 삼성전자 주식회사 전자장치, 이를 제어할 수 있는 사용자 입력장치 및 그 제어방법
US9146616B2 (en) 2012-01-10 2015-09-29 Fanhattan Inc. Touch-enabled remote control
US20130179796A1 (en) * 2012-01-10 2013-07-11 Fanhattan Llc System and method for navigating a user interface using a touch-enabled input device
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9589455B2 (en) * 2012-02-22 2017-03-07 Toyota Jidosha Kabushiki Kaisha Vehicle remote control system, server, and remote control terminal
KR101559059B1 (ko) * 2012-02-23 2015-10-08 주식회사 케이티 Ｍ2ｍ 응용 서비스 방법 및 장치
KR101871512B1 (ko) * 2012-02-23 2018-06-26 주식회사 케이티 자가 설치 ｍ2ｍ 플랫폼 장치 및 ｍ2ｍ 서비스 제공 방법
JP6214572B2 (ja) * 2012-03-08 2017-10-18 フィリップス ライティング ホールディング ビー ヴィ 制御デバイスの構成設定のための方法及び装置
US10430036B2 (en) 2012-03-14 2019-10-01 Tivo Solutions Inc. Remotely configuring windows displayed on a display device
KR101890624B1 (ko) * 2012-04-12 2018-08-22 엘지전자 주식회사 터치패드를 구비한 리모트 컨트롤러 및 그 제어 방법
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
US10105616B2 (en) 2012-05-25 2018-10-23 Mattel, Inc. IR dongle with speaker for electronic device
JP2013246631A (ja) * 2012-05-25 2013-12-09 Toshiba Corp 電子機器および電子機器の起動方法
US20130335203A1 (en) * 2012-06-19 2013-12-19 Yan Long Sun Portable electronic device for remotely controlling smart home electronic devices and method thereof
US9430937B2 (en) 2012-07-03 2016-08-30 Google Inc. Contextual, two way remote control
US11184448B2 (en) 2012-08-11 2021-11-23 Federico Fraccaroli Method, system and apparatus for interacting with a digital work
US10419556B2 (en) 2012-08-11 2019-09-17 Federico Fraccaroli Method, system and apparatus for interacting with a digital work that is performed in a predetermined location
US8489119B1 (en) * 2012-08-11 2013-07-16 Federico Fraccaroli Method and apparatus for mediating among a plurality of profiles associated with users positioned in a shared location
KR20180035243A (ko) * 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
KR101780034B1 (ko) 2012-08-27 2017-09-19 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 표본 생성
EP2702922A3 (de) * 2012-08-29 2014-10-15 Diehl AKO Stiftung & Co. KG Verfahren zum Bedienen eines Haushaltsgeräts sowie Haushaltsgerät mit ergonomischer Bedienvorrichtung
US9940884B1 (en) * 2012-08-31 2018-04-10 Sergey Musolin Automated dimmer wall switch with a color multi-touch LCD/LED display
US9326407B1 (en) * 2012-08-31 2016-04-26 Alexander Uchenov Automated dimmer wall switch with a color multi-touch LCD/LED display
US9548813B2 (en) 2012-09-04 2017-01-17 Universal Electronics Inc. System and method for provision of appliance control functionality to a smart device
US9020486B2 (en) * 2012-09-14 2015-04-28 Sheng-Yuan SHIH Real-time management system for mobile electronic devices
KR101942839B1 (ko) 2012-10-31 2019-01-29 삼성전자주식회사 에이전트 장치, 전기기기 및 그의 제어 방법
US20140130090A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Contextual gesture controls
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9813662B2 (en) * 2012-11-30 2017-11-07 Lenovo (Singapore) Pte. Ltd. Transfer to target disambiguation
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
CN103035115B (zh) * 2012-12-10 2017-12-12 Tcl通力电子（惠州）有限公司 一种基于智能终端手势识别的家居设备控制系统及方法
US9569954B2 (en) * 2012-12-13 2017-02-14 Brian L. Ganz Method and system for controlling a vehicle with a smartphone
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
TWI469099B (zh) * 2013-01-11 2015-01-11 Htc Corp 具萬用遙控機制之手持式電子裝置及其操作方法
ITBO20130067A1 (it) * 2013-02-15 2014-08-16 Dgflow S R L Sistema per la configurazione di dispositivi di controllo di apparecchiature elettromeccaniche
US9736541B1 (en) * 2013-03-06 2017-08-15 Cox Communications, Inc. Pairing a set-top box and personal computing device using a visual code
US9426439B2 (en) 2013-03-12 2016-08-23 Intel Corporation Exposing media processing features
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
JP6151072B2 (ja) * 2013-04-12 2017-06-21 京セラ株式会社 制御システム、制御装置、情報機器及び制御方法
DE202013101825U1 (de) * 2013-04-26 2014-07-29 Zumtobel Lighting Gmbh Bediengerät zur Ansteuerung von Leuchten, Jalousien und/oder Klimageräten
KR101623162B1 (ko) * 2013-05-16 2016-05-20 주식회사 서비전자 통합 리모콘이 구비된 무선중계장치 및 그것의 운용방법
US9454251B1 (en) 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
US9082298B2 (en) * 2013-08-06 2015-07-14 Aengin, Inc. Remote control apparatus providing infrared control
JP6469686B2 (ja) 2013-08-16 2019-02-13 フィリップス ライティング ホールディング ビー ヴィ モバイルコンピューティングデバイスを用いた照明制御
US9795521B2 (en) * 2013-09-23 2017-10-24 Halcore Group, Inc. Emergency vehicle control application
EP3050260A2 (en) * 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
CN103533706A (zh) * 2013-09-25 2014-01-22 浙江生辉照明有限公司 无线led照明装置、无线照明控制系统及控制方法
US20150098455A1 (en) * 2013-10-09 2015-04-09 Darren William Fritsch WiFi Enabled Wide Area Automation System
DE102013226362A1 (de) * 2013-12-18 2015-06-18 BSH Hausgeräte GmbH Tragbare Bedienvorrichtung zur Fernsteuerung einer Mehrzahl von Haushaltsgeräten, System, entsprechendes Verfahren und Computerprogrammprodukt
WO2015095637A1 (en) 2013-12-20 2015-06-25 Universal Electronics Inc. System and method for optimized appliance control
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US10448080B1 (en) * 2014-04-02 2019-10-15 Cox Communications, Inc. Pairing and correlating mobile devices to provide a personalized user experience
KR102278507B1 (ko) * 2014-04-15 2021-07-16 삼성디스플레이 주식회사 착용형 장치
CN105025366B (zh) * 2014-04-29 2018-06-19 Tcl集团股份有限公司 一种智能电视的信源管理方法及系统
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
CN105404385B (zh) * 2014-05-30 2018-11-27 阿里巴巴集团控股有限公司 一种智能显示终端与体感设备实现数据交互的方法及装置
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9473883B2 (en) 2014-05-31 2016-10-18 Apple Inc. Location service authorization and indication
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
WO2015200227A1 (en) 2014-06-24 2015-12-30 Apple Inc. Column interface for navigating in a user interface
KR102076252B1 (ko) 2014-06-24 2020-02-11 애플 인크. 입력 디바이스 및 사용자 인터페이스 상호작용
EP3584671B1 (en) 2014-06-27 2022-04-27 Apple Inc. Manipulation of calendar application in device with touch screen
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
WO2016036541A2 (en) 2014-09-02 2016-03-10 Apple Inc. Phone user interface
WO2016051365A1 (en) * 2014-09-30 2016-04-07 Tekoia Ltd. Streaming and gaming universal remote controller
US20160149716A1 (en) * 2014-11-24 2016-05-26 Rajiv Nelson Raj Remote Management And Control Of Utility Appliances
KR102336293B1 (ko) 2014-12-19 2021-12-07 삼성전자 주식회사 전자기기의 제어 방법 및 장치
US10116601B2 (en) * 2015-02-06 2018-10-30 Jamdeo Canada Ltd. Methods and devices for display device notifications
US10254911B2 (en) 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
US10297002B2 (en) * 2015-03-10 2019-05-21 Intel Corporation Virtual touch pad method and apparatus for controlling an external display
WO2016154461A1 (en) * 2015-03-24 2016-09-29 REED, Patrick Modular load control
DE102015106767A1 (de) * 2015-04-30 2016-11-03 Deutsche Telekom Ag Fernsteuerung elektronischer Geräte über eine Infrarot-Schnittstelle
US9591443B2 (en) 2015-06-01 2017-03-07 Apple Inc. Location service management
US10225739B2 (en) * 2015-06-15 2019-03-05 Sure Universal Ltd. Universal remote appliance lifecycle management
TWI575906B (zh) * 2015-06-18 2017-03-21 東林科技股份有限公司 有線／無線控制系統及其資料橋接方法
GB2540968B (en) * 2015-07-31 2019-05-15 Cp Electronics Ltd Intermediary device
CN105182777A (zh) * 2015-09-18 2015-12-23 小米科技有限责任公司 设备控制方法及装置
JP6668661B2 (ja) * 2015-09-30 2020-03-18 ヤマハ株式会社 パラメータ制御装置およびパラメータ制御プログラム
US20170103009A1 (en) * 2015-10-13 2017-04-13 Microsoft Technology Licensing, Llc Monitoring a device status for an application
US9654993B1 (en) * 2015-10-22 2017-05-16 Cisco Technology, Inc. Gesture based notification tuning for collaboration systems
SE539633C2 (en) * 2015-11-06 2017-10-24 Inter Ikea Sys Bv A control device for a lighting system
US20170131863A1 (en) * 2015-11-06 2017-05-11 Logitech Program generation for a universal control system
US9996069B2 (en) 2015-11-06 2018-06-12 Logitech, Inc. Program generation for a universal control system
US10673646B1 (en) * 2018-12-09 2020-06-02 Olibra Llc System, device, and method of multi-path wireless communication
KR102465092B1 (ko) * 2016-01-21 2022-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US9911417B2 (en) * 2016-04-01 2018-03-06 Tai-An Lu Internet of things system with voice-controlled functions and method for processing information of the same
US11162702B2 (en) 2016-04-28 2021-11-02 Trane International Inc. Method of associating a diagnostic module to HVAC system components
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
EP3497547A4 (en) * 2016-09-25 2019-12-11 Kordtech Pty Ltd HUMAN MACHINE INTERFACE SYSTEM
US20180113579A1 (en) 2016-10-26 2018-04-26 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
US11086843B2 (en) 2017-10-19 2021-08-10 Adobe Inc. Embedding codebooks for resource optimization
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
FR3082379B1 (fr) * 2018-06-08 2021-04-30 Orange Dispositif et procede de transmission de commandes a un equipement domestique
CN115686333A (zh) * 2018-09-24 2023-02-03 谷歌有限责任公司 用于控制物联网设备的方法、系统和计算机可读介质
EP3864871A4 (en) * 2018-10-10 2022-07-13 Universal Electronics Inc. SYSTEM AND METHODS FOR OPTIMIZED APPLICATION CONTROL
US20200204392A1 (en) * 2018-12-20 2020-06-25 Ming-Tsung Chen Home appliance control system
US11776539B2 (en) 2019-01-08 2023-10-03 Universal Electronics Inc. Voice assistant with sound metering capabilities
US11665757B2 (en) 2019-01-08 2023-05-30 Universal Electronics Inc. Universal audio device pairing assistant
US11164587B2 (en) * 2019-01-15 2021-11-02 International Business Machines Corporation Trial and error based learning for IoT personal assistant device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
EP3928194A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces including selectable representations of content items
US11467726B2 (en) 2019-03-24 2022-10-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
JP6921338B2 (ja) 2019-05-06 2021-08-18 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 電子デバイスの制限された動作
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
WO2021009053A1 (en) * 2019-07-12 2021-01-21 Ipcom Gmbh & Co. Kg Side link establishment for low power devices
EP4090033A4 (en) * 2020-01-07 2023-09-27 LG Electronics Inc. DISPLAY DEVICE AND REMOTE CONTROL TO CONTROL IT
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
CN115516822B (zh) * 2020-04-21 2024-01-09 Lg电子株式会社 智能家电装置以及方法
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11700063B2 (en) * 2021-03-04 2023-07-11 Volley Base, Inc. Appliance remote control
WO2022261451A1 (en) * 2021-06-11 2022-12-15 Universal Electronics Inc. Universal audio device pairing assistant

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4959810A (en) 1987-10-14 1990-09-25 Universal Electronics, Inc. Universal remote control device
US5128987A (en) * 1989-01-23 1992-07-07 John Sheridan Telephone-responsive device for muting the sound output of a television set
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5757360A (en) * 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
US5963624A (en) * 1997-12-05 1999-10-05 Zilog, Inc. Digital cordless telephone with remote control feature
US7184428B1 (en) * 1997-12-31 2007-02-27 At&T Corp. Facility management platform for a hybrid coaxial/twisted pair local loop network service architecture
US20020044199A1 (en) * 1997-12-31 2002-04-18 Farhad Barzebar Integrated remote control and phone
US7218243B2 (en) 1998-07-23 2007-05-15 Universal Electronics Inc. System and method for automatically setting up a universal remote control
US6225938B1 (en) * 1999-01-14 2001-05-01 Universal Electronics Inc. Universal remote control system with bar code setup
EP1232614A2 (en) * 1999-05-28 2002-08-21 Basic Resources, Inc. Wireless network employing node-to-node data messaging
GB0007242D0 (en) 2000-03-24 2000-05-17 Tvcompass Com Ltd Remote control devices
US7149512B2 (en) * 2002-06-25 2006-12-12 Intel Corporation Apparatus and method to automatically adjust volume or control operation of an appliance
US20040075675A1 (en) * 2002-10-17 2004-04-22 Tommi Raivisto Apparatus and method for accessing services via a mobile terminal
US7233316B2 (en) 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7203486B2 (en) * 2003-05-19 2007-04-10 France Telecom Wireless system having a dynamically configured multimodal user interface based on user preferences
KR100534611B1 (ko) * 2003-06-04 2005-12-07 삼성전자주식회사 무선 단말기를 이용한 가전기기 원격 제어 시스템 및 그방법
WO2005022763A1 (en) 2003-08-28 2005-03-10 Koninklijke Philips Electronics N.V. Remote control for an audio signal playback system
US7155305B2 (en) * 2003-11-04 2006-12-26 Universal Electronics Inc. System and methods for home appliance identification and control in a networked environment
US20050164688A1 (en) * 2004-01-27 2005-07-28 Kyocera Corporation Mobile terminal, method for controlling mobile telephone terminal, and mobile telephone terminal
IL160429A0 (en) 2004-02-16 2005-11-20 Home Comfort Technologies Ltd Environmental control system
US9088748B2 (en) * 2004-07-16 2015-07-21 Universal Electronics Inc. System for providing electronic media and commands via remote control and docking station
US7907222B2 (en) * 2005-09-08 2011-03-15 Universal Electronics Inc. System and method for simplified setup of a universal remote control
JP2007096972A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 信号受信装置およびその受信信号管理方法ならびに受信信号管理プログラム
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
US7965826B2 (en) * 2006-12-08 2011-06-21 Sony Corporation Apparatus and method for collaborating between a video device and a telephonic device
US20080168402A1 (en) * 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8350971B2 (en) * 2007-10-23 2013-01-08 Sling Media, Inc. Systems and methods for controlling media devices
US9767681B2 (en) * 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
US8154381B2 (en) * 2007-12-31 2012-04-10 Universal Electronics Inc. System and method for interactive appliance control

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377284A (zh) * 2012-04-24 2013-10-30 三星电子株式会社 用于浏览显示在外部设备上的信息的便携式设备及方法
CN103377284B (zh) * 2012-04-24 2018-01-16 三星电子株式会社 用于浏览显示在外部设备上的信息的便携式设备及方法
CN103902208A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 电子设备控制方法及电子设备
CN103902208B (zh) * 2012-12-25 2018-07-03 联想(北京)有限公司 电子设备控制方法及电子设备
CN104053273A (zh) * 2013-03-11 2014-09-17 聚众联合科技股份有限公司 控制灯具的方法及其系统
CN105165127A (zh) * 2013-05-08 2015-12-16 皇家飞利浦有限公司 用于基于移动计算设备的用户操纵控制照明的方法和装置
CN105165127B (zh) * 2013-05-08 2017-10-31 飞利浦灯具控股公司 用于基于移动计算设备的用户操纵控制照明的方法和装置
CN105409239A (zh) * 2013-07-26 2016-03-16 美泰克C&K株式会社 设备控制方法
CN108108100A (zh) * 2013-10-28 2018-06-01 华为技术有限公司 一种调节播放的方法及装置
CN108108100B (zh) * 2013-10-28 2021-06-22 华为技术有限公司 一种调节播放的方法及装置
CN105323376A (zh) * 2014-06-30 2016-02-10 Lg电子株式会社 移动终端和使用该移动终端来控制外部装置的方法
CN105323376B (zh) * 2014-06-30 2018-11-09 Lg电子株式会社 移动终端和使用该移动终端来控制外部装置的方法
CN105915977A (zh) * 2015-06-30 2016-08-31 乐视致新电子科技（天津）有限公司 一种控制电子设备的方法及装置
CN107943342A (zh) * 2017-11-16 2018-04-20 业成科技（成都）有限公司 触控控制系统
CN107943342B (zh) * 2017-11-16 2021-06-04 业成科技（成都）有限公司 触控控制系统
JP2019092206A (ja) * 2019-02-15 2019-06-13 京セラ株式会社 情報機器及び通信方法
CN115660020A (zh) * 2022-12-28 2023-01-31 启迪数字科技(深圳)有限公司 基于rfid感应的智能场馆中控系统及其控制方法

Also Published As

Publication number Publication date
WO2009117592A3 (en) 2009-12-30
EP2255268B1 (en) 2017-09-27
US11803298B2 (en) 2023-10-31
US20240012561A1 (en) 2024-01-11
US20170300224A1 (en) 2017-10-19
US10175881B2 (en) 2019-01-08
EP3297265B1 (en) 2019-05-15
US20190361602A1 (en) 2019-11-28
US20170024123A1 (en) 2017-01-26
US11079928B2 (en) 2021-08-03
BRPI0908733A2 (pt) 2016-07-26
US10719231B2 (en) 2020-07-21
BRPI0908733B1 (pt) 2019-09-03
EP2255268A2 (en) 2010-12-01
US20200034036A1 (en) 2020-01-30
EP3297265A1 (en) 2018-03-21
WO2009117592A2 (en) 2009-09-24
US20190065042A1 (en) 2019-02-28
EP2255268A4 (en) 2014-03-19
US20210318800A1 (en) 2021-10-14
US9503562B2 (en) 2016-11-22
US20090239587A1 (en) 2009-09-24
US10489052B2 (en) 2019-11-26
US9727234B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
US10719231B2 (en) System and method for appliance control via a personal communication or entertainment device
US11398148B2 (en) System and method for facilitating appliance control via a smart device
US10431074B2 (en) System and method for configuring the remote control functionality of a portable device
EP3261337B1 (en) System and method for configuring the remote control functionality of a portable device
EP2893696B1 (en) Appliance control functionality of smart device system
EP4256792A1 (en) Systems and methods for controlling device configuration in a networked environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110216