CN100592788C - 与广播信息相关的信息取得方法、系统和装置 - Google Patents

Abstract

本发明提供一种与广播信息相关的信息取得方法、系统和装置，用于使广播信息或存储信息的视听者容易从与网络相连的服务器等取得与广播信息或存储信息相关的信息；其技术构成如下：在视听者装置和提供与视频或音频相关的内容信息的内容提供服务器通过网络连接的系统中，视听者装置获得为取得内容信息所必需的相关信息；把相关信息发送到内容提供服务器，并请求内容提供服务器发送内容信息；以及取得从内容提供服务器发送的内容信息。

Description

与广播信息相关的信息取得方法、系统和装置

本申请是申请日为2001年4月12日、申请号为01809482.1、发明名称为“与广播信息相关的信息取得方法、系统和装置”的国际申请的分案申请。

技术领域

本发明涉及一种技术，用于使视听者从与网络相连的服务器等中取得与广播信息或存储信息相关的信息。

背景技术

目前，数字卫星广播和数据广播都已开始，它们除了作为丰富多彩的广播服务以外，还作为新的大众传媒有很大期望。在通信领域中，已配备了ISDN、DSL、FTTL、IMT-2000等多种访问系统，并且使用这些访问系统的IP定额常时访问服务也已开始，而且通信网已实现宽带化，因而预计因特网的普及将比目前更迅猛。因特网作为大众传播媒体也显示出实现巨大发展的可能性。在不久的将来，可以预想，数字广播和宽带通信将紧密结合，并且以交互性为主的服务之花会开放得更加绚丽多彩。

交互性带给视听者的最大好处是个性化信息(适合本人的信息)的个性化享受(适合本人的接收方)。用于享受信息的工具(终端)也开始普及，这些工具多种多样，适合于接收信息的种类及其数据量、使用者的使用目的和使用环境、以及信息操作的简便性等。

在这种背景下，以下将从三个观点对与上述技术领域相关的现有技术及其问题点进行说明。

(1)电视和收音机等从单方向单方提供的信息由于无需强大的积极操作就可获得，因而不会感到麻烦。但是，电视和收音机等媒体对于在其上传输的信息存在物理限度。如果视听者对由信息提供者选择、演出和提供的信息感到满意，则没有问题，如果各个视听者由于个人嗜好对信息量不足、以及对广播时间和广播区域等信息提供方法感到不满意，则这种不满意不能仅通过现有的模拟电视和模拟收音机等模拟媒体来解决。即便使广播媒体从模拟化变为数字化，以便以物理方式增加在广播媒体上传输的信息，并且即便通过使用转盘式(carousel)方式传送信息把伪交互性提供给视听者，也不会从本质上解决该不满意。

尽管也开始了一种服务，即：使用因特网来传送不能在广播媒体上传输的信息或者与广播信息相关的信息，然而由于仅使用多个媒体(多媒体)来提供信息，因而从用户接口的观点看，还是不能解决考虑视听者的利用场面的、使用不同媒体(多媒体)传送的信息间的同步和合作这一问题。

在特开平9-160852号日本公开专利申请和特开2000-183835号日本公开专利申请中揭示的发明提供了这样的装置，该装置用于从网络容易获得由收音机和电视广播的乐曲和视频。这些发明可解决与下列麻烦相关的问题，即：当视听者视听广播乐曲和视频之后在获得该广播乐曲和视频时遇到的麻烦。根据这些发明，用于识别乐曲和视频的附加信息(相关信息)与乐曲和视频一起通过媒体被传送给视听者，并且视听者在期望的乐曲和视频被传送时向接收装置输入请求，从而使附加信息被存储。根据存储的附加信息，通过网络对期望的乐曲和视频进行识别，从而获得信息。

然而，从原理来讲，上述发明不能充分解决以下问题，即：以当前多种多样的通信访问系统和终端为前提，通过与广播内容同步和合作，实现多种多样的服务，用于提供各个视听者根据各种嗜好期望的相关内容；以及使内容提供者公平提供这些服务。

也就是说，根据现有技术，未能解决以下问题。在构成上没有用于提供多种多样服务的传送装置。无法实现考虑视听者的接收环境(终端规格等)的相关内容的传送。不能把握传送时的访问系统的状态。

并且，根据现有技术，只有在视听者在期望的乐曲和视频被传送时输入提供服务请求(对于接受服务所必需的相关信息的存储)时，才可接收服务。因此，与广播合作和同步的服务的预定和通知都无法进行。当视听者想要接收期望服务而不遗漏期望服务时，现有装置的构成会迫使视听者不断地存储相关信息。

(2)另一方面，对于BS数字广播、CS数字广播等数字广播，各种相关信息与视频音频一起被提供，视听者一边可视听视频，一边可参照这些相关信息。

但是，对于一般用作数字广播接收装置的电视接收机，当视听者阅览相关信息时，相关信息被显示在视频显示部的一部分上，或者相关信息被显示在视频显示部全体上。因此，当阅览相关信息时，视频缩小，视频的一部分隐藏，或者有必要临时中断视频的视听。并且，当相关信息的信息量多时，视听者在视听视频的同时，充分把握相关信息的内容是困难的。因而期望可在节目结束后等，视听者在期望的时刻慢慢地视听相关信息。并且，当阅览相关信息时，由于现有的数字广播接收装置接收的相关信息同样显示在画面上，因而视听者不感兴趣的相关信息也会显示。

并且，对于数字广播接收装置，作了以下研究，即：在视听者未视听电视广播期间，使用相关信息和EPG(电节目指南)(Electric ProgramGuide)信息，自动选择作为视听者感兴趣对象的广播节目或相关信息，并把所选的广播节目或相关信息存储在装置内。此时，获得视听者感兴趣的信息成为问题。以往，提出了若干方法，即：视听者通过直接输入感兴趣的关键字来获得感兴趣信息，或者视听者从视听的节目的相关信息中推测感兴趣信息。

在此，有关用于自动选择作为视听者感兴趣对象的广播节目的方法，例如，在以下文献中作了记载。[参考文献]：矢川雄一，鹈饲ひろみ、田中哲雄，柴田正启、金渊培，“個人の嗜好に合つたテレビ番组を自動编成するエ一ジエントの検討”，信学技报，AI98-55，PP.9-16，1998年12月。

并且，有关从视听者视听的节目的相关信息中推测感兴趣信息的方法，在日本公开专利申请特开平11-134345号公报“嗜好情報選択装置”中作了记载。

但是，有意识地考虑和输入感兴趣关键字对于视听者来说未必容易。并且，用于从节目的相关信息中推测感兴趣信息的方法，与上述显示不感兴趣的相关信息这种情况在本质上都存在着相同问题。

(3)如上所述，在数字广播中，可把作为任意相关信息的数据信号多路复用(multiplex)和广播到电视广播或收音机广播内。因此，在数字广播接收装置中，或者在与该接收装置相连的终端中，通过利用多路复用在广播中的数据信号，可进行与广播内容同步的处理。例如，可把与广播的电视节目或收音机节目相关的相关信息与该节目一起同时传送。

同样，在模拟电视广播中，采用由ARIB STD-B5“垂直帰線消去期間を使用する伝送方式の標準テレビジヨンデ一タ放送”既定的方式，可把任意数据信号多路复用在电视视频信号上。特别是，在被称为“Bit Cast”(参考：日経マルチメデイア，No.28，1997.10，P.52～P.57)的系统等中，利用多路复用在模拟电视视频信号上的数据信号，可实现与广播内容同步的相关信息显示等功能。

并且，在WWW(万维网)中，可使规定主页内容与电视和收音机等广播内容同步，并可对规定主页内容进行依次更新。与因特网相连的客户通过访问该规定主页，可享受在某种程度上与广播内容同步的信息显示等。

但是，为了利用在广播上多路复用的数据信号进行与广播内容同步的处理，有必要使进行该处理的终端取得在广播上多路复用的数据信号。也就是说，存在以下问题，即：终端自身必须具有接收广播的功能，或者必须与广播接收装置相连，并必须从该广播接收装置取得在广播上多路复用的数据信号。

并且，当终端不具有该功能，从而使终端通过网络取得在广播上多路复用的数据信号时，存在以下问题，即：在从事件发生到执行与该事件发生对应的动作这段期间，在网络内发生数据信号的延迟时间。

并且，当提供与广播视频音频相关的信息时，在把URL等与该视频音频一起同时发送的方法等中，有必要把URL等信息分别附加到广播信息上并广播。例如，对于CM等重复广播的广播信息等，有必要实施把对应的URL等信息附加给该各广播的处理。

并且，当存储和利用广播视频音频时，上述方法还存在的问题是：如果与广播视频音频同时广播的URL等信息未与广播视频音频相关起来进行存储，则在再生视听存储的视频音频时，通过采取一些手段也不能取得相关信息。

同样，在特开平9-160852号日本公开专利申请“情報提供装置”中揭示了一种使用时刻和CH编号取得相关信息的方法，该方法存在的问题是：当视听曾经存储的广播信息时，由于视听时刻与广播时刻不同，因而不能使相关信息与广播信息对应，从而不能取得相关信息。

并且，在现有技术中，存在的问题是：不能极其正确地把握视听的广播节目视频的图像帧的切换。

如上所述，在现有技术中，存在的问题是：不容易使广播信息或存储信息的视听者从与网络相连的服务器等中取得与广播信息或存储信息相关的信息或内容。

发明内容

本发明是鉴于上述各点而作出的。本发明的目的是使广播信息或存储信息的视听者能够从与网络相连的服务器等中容易取得与广播信息或存储信息相关的信息或内容。更详细来说，通过实现本发明的下述第一至第五目的，来实现本发明的上述目的。

本发明的第一目的是解决上述(1)的现有技术的问题。本发明的第一目的是：以具有多种多样的通信访问系统和终端为前提，使在从单方向单方给予信息的广播媒体上不能传输的相关信息与广播内容同步和合作，并使内容提供者能够针对各个视听者，按照满足视听者希望的风格，公平提供多种多样的服务；以及提供：一种环境，在该环境中，视听者可接收期望的服务，而不会遗漏期望服务；以及一种解决相关问题的环境，该问题是指，在视听中和视听后，在接收用于获得相关内容的服务时遇到的麻烦。

本发明的第二目的是解决上述(2)的现有技术的问题。本发明的第二目的是：视听者在视听视频信息的同时，可容易参照与视听者感兴趣的被摄物体相关的信息，而不受时间限制；可自动选择与视听者不断动态改变的感兴趣信息相适应的广播信息，并使视听者可获得该广播信息；以及使视听者能够参照多样和正确的相关信息，从而能够实现详细视频信息的自动选择。

本发明的第三至第五目的是解决上述(3)的现有技术的问题。更详细来说，本发明的第三目的是提供一种技术，用于快速执行针对与广播的规定信道的广播内容同步的事件的处理，而不用使视听者装置取得在广播上多路复用的数据信号。并且，本发明的第四目的是：无需进行把用于提供相关信息所必需的信息附加到广播信息上等特别处理，并且即使在临时存储和再生视听广播信息时，通过网络也可实现与该广播信息相关的相关信息提供服务。并且，本发明的第五目的是：对于一种视听者装置，即：该视听者装置与广播接收装置独立，也就是说，该视听者装置不具有用于与广播接收装置进行数字信号通信的通信线路等通信装置，使该视听者装置能够以1/30秒(相当于电视广播视频的一个图像帧单位)以下的极短时间的时间分辨率，对用户正在视听的广播节目内容进行各个识别，从而可提供与广播内容正确同步的服务。

为了实现上述第一目的，本发明可构成如下。

本发明是一种方法，该方法用于在视听者装置和用于提供与视频或音频相关的服务的内容提供服务器通过网络连接的系统中，使视听者装置接收上述服务的提供，该方法构成如下：当视听者装置请求服务提供时，视听者装置把必要的服务提供请求信息发送到相关信息提供服务器，并请求与视频相关的可提供服务信息；相关信息提供服务器根据上述服务提供请求信息，把上述可提供服务信息发送到视听者装置；视听者装置接收上述可提供服务信息；视听者装置请求内容提供服务器提供从上述可提供服务中选择的服务；以及视听者装置接收来自上述内容提供服务器的服务提供。

在上述方法中，还可具有视听者装置存储保存视听者信息的步骤，上述服务提供请求信息可包括该视听者信息。

并且，本发明是一种系统，在该系统中，视听广播的视听者的视听者装置和提供与广播相关的内容的内容提供服务器通过网络连接，该系统构成如下：上述视听者装置具有下列装置：与广播内容同步或合作，把在请求服务提供时必要的信息发送到上述内容提供服务器，请求与广播内容相关的可提供服务信息的装置；采用可选择的形式使从上述内容提供服务器接收的可提供服务信息可视化和显示的装置；从被可视化和显示的服务信息中选择服务，并向上述内容提供服务器请求服务的装置；以及接收和利用由上述内容提供服务器针对上述服务请求提供的服务的装置；上述内容提供服务器具有下列装置：针对从上述视听者装置接收的可提供服务信息请求，根据上述视听者装置的信息，选择可提供服务的装置；把选择的可提供服务的信息发送到上述视听者装置的装置；以及接收来自上述视听者装置的服务请求，并把该服务发送到请求源的视听者装置的装置。

在上述系统中，上述视听者装置还可具有用于接收事件信息的装置；用于请求上述视听者装置中的服务信息的装置可根据该事件信息，按照视听者预先设定的定时自动发送请求。

并且，上述内容提供服务器可具有下列装置：从上述视听者装置接收服务请求时，对该内容提供服务器和视听者装置之间的访问系统的状态进行推定或检测的装置；以及根据推定或检测的访问系统的状态和上述视听者装置的信息，转换与发送到上述视听者装置的服务相关的内容，并优化该内容的装置。

并且，本发明是一种视听者装置，该视听者装置是视听广播的视听者的视听者装置，该视听者装置通过网络与提供与广播相关的内容的提供者的内容提供服务器相连，该视听者装置构成如下：该视听者装置具有下列装置：与广播内容同步或合作，把在请求服务提供时必要的信息发送到上述内容提供服务器，并根据来自视听者的输入或者按照预先设定的定时，自动请求与广播内容相关的可提供服务信息的装置；采用可选择的形式使从上述内容提供服务器接收的可提供服务信息可视化和显示的装置；从被可视化和显示的服务信息中选择服务，并向上述内容提供服务器请求服务的装置；以及接收和利用由上述内容提供服务器针对上述服务请求提供的服务的装置。

并且，本发明是一种内容提供服务器，该内容提供服务器是提供与广播相关的内容的提供者的内容提供服务器，该内容提供服务器通过网络与视听广播的视听者的视听者装置相连；该内容提供服务器构成如下：该内容提供服务器具有下列的装置：针对从上述视听者装置接收的可提供服务信息请求，根据上述视听者装置的信息，选择可提供服务的装置；把选择的可提供服务的信息发送到上述视听者装置的装置；当上述内容提供服务器接收来自上述视听者装置的服务请求时，对该内容提供服务器和视听者装置之间的访问系统的状态进行推定或检测的装置；根据推定或检测的访问系统的状态，转换与发送到上述视听者装置的服务相关的内容，并优化该内容的装置；以及把优化了的内容发送到请求源的视听者装置，并提供服务的装置。

并且，为了实现本发明的目的，本发明可构成如下。

本发明是一种方法，该方法用于在视听者装置和提供与视频或音频相关的内容信息的内容提供服务器通过网络连接的系统中，使视听者装置取得上述内容信息，该方法构成如下：视听者装置获得为取得上述内容信息所必需的相关信息；把相关信息发送到上述内容提供服务器，请求上述内容提供服务器发送上述内容信息；以及取得从上述内容提供服务器发送的上述内容信息。

特别是，为了实现第二目的，本发明可构成如下：在上述构成中，上述视听者装置通过把和视频一起广播的相关信息或者和视频一起存储的相关信息与上述视频分离来获得上述相关信息；该相关信息对应于在视频中包括的多个被摄物体的各个被摄物体，至少包括一条信息资源识别信息，以及用于说明被摄物体的被摄物体属性信息。

并且，为了实现本发明的第二目的，本发明可构成如下。

本发明是一种视听者装置，该视听者装置用于接收广播信息，该广播信息至少包括：包括视频的视频信息，以及与该视频信息相关的相关信息，该视听者装置构成如下：上述相关信息对应于在上述视频信息中包括的多个被摄物体的各个被摄物体，至少包括一条信息资源识别信息，以及用于说明被摄物体的被摄物体属性信息；上述视听者装置具有：广播接收部，用于接收上述广播信息；视频显示部；视频显示控制部；第一指向装置；被摄物体相关信息显示部；相关信息显示控制部；第二指向装置；被摄物体属性信息存储部；相关信息访问部；以及相关信息存储部；上述视频显示控制部把由上述广播接收部接收的上述广播信息中的视频信息显示在上述视频显示部上，并且从上述视频显示部上显示的多个被摄物体中，识别由上述第一指向装置指向的被摄物体；上述相关信息显示控制部把代表由上述视频显示控制部识别的被摄物体的字符、记号或图形显示在上述被摄物体相关信息显示部上，同时，在上述被摄物体相关信息显示部上识别与由上述第二指向装置指向的字符、记号或图形代表的被摄物体对应的信息资源识别信息，以及把该信息资源识别信息发送到上述相关信息访问部；上述相关信息访问部对应于上述信息资源识别信息，访问上述相关信息存储部或者与通信网相连的信息源，并获得内容信息；以及上述相关信息显示控制部把由上述相关信息访问部获得的内容信息显示在上述被摄物体相关信息显示部上。

并且，上述视听者装置还可具有感兴趣信息抽出部；上述相关信息显示控制部把与上述第二指向装置指向的字符、记号或图形代表的被摄物体对应的信息资源识别信息、被摄物体属性信息、从上述信息源获得的内容信息、以及与上述内容信息被显示在被摄物体相关信息显示部上的时间相关的显示时间信息中的任意多条信息或者全部信息发送到上述感兴趣信息抽出部；上述感兴趣信息抽出部参照上述信息资源识别信息、上述被摄物体属性信息、上述内容信息、以及上述显示时间信息中的任意多条或全部信息，生成和保持感兴趣信息，同时根据该感兴趣信息，选择在与接收上述广播信息的时刻不同的时刻从上述广播接收部接收的广播信息。

并且，在上述视听者装置中，还可具有视频存储部，该视频存储部内可存储由上述感兴趣信息抽出部选择的广播信息。

并且，在上述视听者装置中，上述相关信息显示控制部可具有一装置，该装置通过使用上述第二指向装置或其他输入装置，移动或删除在上述被摄物体相关信息显示部上显示的代表被摄物体的字符、记号或图形；当代表上述被摄物体的字符、记号或图形的移动或删除的操作发生时，上述相关信息显示控制部把表示该操作的内容的操作信息发送到上述感兴趣信息抽出部；上述感兴趣信息抽出部根据上述操作信息，更新上述感兴趣信息。

并且，在上述视听者装置中，上述相关信息包括与上述视频信息中包括的多个被摄物体的各个被摄物体对应的、在上述视频显示部上显示时的被摄物体坐标值；通过使上述第一指向装置指向包括该被摄物体坐标值的点的区域，可识别被摄物体。

并且，为了实现本发明的第三目的，本发明可构成如下。

本发明是一种方法，该方法用于在视听者装置和提供与视频或音频相关的内容信息的内容提供服务器通过网络连接的系统中，使视听者装置取得上述内容信息，该方法构成如下：视听者装置获得为取得上述内容信息所必需的相关信息；把相关信息发送到上述内容提供服务器，请求上述内容提供服务器发送上述内容信息；以及取得从上述内容提供服务器发送的上述内容信息，在该构成中：上述系统包括相关信息提供服务器；该相关信息提供服务器为与视频的广播时间同步指定的各有效期间构成动作表，该动作表用于对表示有效事件的事件识别符以及与此对应的动作进行指定；相关信息提供服务器把动作表发送到视听者装置；视听者装置从相关信息提供服务器接收动作表；以及视听者装置通过从发生的事件中导出事件识别符，并使用接收的上述动作表执行与上述事件识别符对应的动作，获得为取得上述内容信息所必需的相关信息。

并且，本发明是一种系统，该系统用于处理与广播内容同步的事件，该系统具有：服务器，用于收集与从广播电台或广播信息存储服务器发送的广播内容相关的信息；以及视听者装置，用于通过网络与该服务器进行通信；该系统构成如下：上述服务器具有：动作表构成装置，用于为与上述广播内容的广播时间同步指定的各有效期间构成动作表，该动作表用于对表示有效事件的事件识别符以及表示与此对应执行的处理的动作内容信息进行指定；以及动作表提供装置，用于把该动作表发送到上述视听者装置；上述视听者装置具有：事件管理装置，用于从发生的事件中导出事件识别符；动作表管理装置，用于仅在上述有效期间参照从上述服务器接收的上述动作表，并使用该表导出与上述事件识别符对应的动作内容信息；以及动作执行装置，用于执行该动作内容信息。

并且，在上述系统中，可构成如下：上述视听者装置的上述动作表管理装置把由上述事件管理装置导出的上述事件识别符发送到上述服务器；上述服务器还具有视听者装置信息管理装置，用于为上述各视听者装置管理从上述视听者装置接收的上述事件识别符；上述服务器的上述动作表构成装置根据为上述各视听者装置管理的上述事件识别符，为上述各视听者装置构成上述动作表。因此，即使针对同一事件，也能执行适合各客户的不同动作内容。

在上述系统中，上述视听者装置的上述动作表管理装置可向上述服务器预先请求将来的有效期间的动作表，以便在当前参照的动作表的有效期间结束的同时，使上述视听者装置能够参照与下一有效期间相当的动作表。因此，视听者装置(客户)在需要动作表时，可请求动作表，从而可防止徒劳传送动作表。

并且，在上述系统中，上述服务器的上述动作表提供装置在上述动作表构成装置构成新动作表之后，立即把该新动作表主动地传送到多个上述视听者装置。因此，视听者装置无需请求动作表，从而可简化该过程。

并且，本发明可构成如下。

本发明是一种方法，该方法用于处理与在下述系统内使用的广播内容同步的事件，该系统具有：服务器，用于收集与从广播电台或广播信息存储服务器发送的广播内容相关的信息；以及视听者装置，用于通过网络与该服务器进行通信；该方法具有下列步骤：第一步骤，上述服务器为与上述广播内容的广播时间同步指定的各有效期间构成动作表，该动作表用于对表示有效事件的事件识别符以及表示与此对应执行的处理的动作内容信息进行指定；第二步骤，上述服务器把上述动作表发送到上述视听者装置；第三步骤，上述视听者装置从发生事件中导出事件识别符；第四步骤，上述视听者装置使用从上述服务器接收的上述动作表，导出与上述事件识别符对应的动作内容信息；以及第五步骤，上述视听者装置执行上述动作内容信息；上述视听者装置仅在上述有效期间参照从上述服务器接收的上述动作表。

在上述方法中，在上述第三步骤，上述视听者装置把导出的上述事件识别符发送到上述服务器；该方法还可具有第六步骤，在该第六步骤，上述服务器为上述各视听者装置管理从上述视听者装置接收的上述事件识别符；在上述第一步骤，上述服务器根据为上述各视听者装置管理的上述事件识别符，为上述各视听者装置构成上述动作表。

并且，在上述方法中，该方法还可具有一步骤，在该步骤，上述视听者装置向上述服务器预先请求将来的有效期间的动作表，以便在当前参照的动作表的有效期间结束的同时，使上述视听者装置能够参照与下一有效期间相当的动作表。

并且，在上述方法中，该方法还可具有一步骤，在该步骤，上述服务器在上述第一步骤构成新动作表之后，立即把该新动作表主动地传送到多个上述视听者装置。

并且，本发明是一种服务器，该服务器用于收集与从广播电台或广播信息存储服务器发送的广播内容相关的信息，并处理与广播内容同步的事件；该服务器具有：动作表构成装置，用于为与上述广播内容的广播时间同步指定的各有效期间构成动作表，该动作表用于对表示有效事件的事件识别符以及表示与此对应执行的处理的动作内容信息进行指定；以及动作表提供装置，用于把该动作表发送到视听者装置。

上述服务器还可具有视听者装置信息管理装置，用于为上述各视听者装置管理从上述视听者装置接收的事件识别符；上述动作表构成装置根据为上述各视听者装置管理的上述事件识别符，为上述各视听者装置构成上述动作表。

并且，在上述服务器中，上述动作表提供装置在上述动作表构成装置构成新动作表之后，立即把该新动作表主动地传送到多个上述视听者装置。

并且，本发明是一种视听者装置，该视听者装置位于一个系统内，该系统具有：服务器，用于收集与从广播电台或广播信息存储服务器发送的广播内容相关的信息；以及视听者装置，用于通过网络与该服务器进行通信；该视听者装置具有：接收装置，用于从上述服务器接收动作表，该动作表用于为与上述广播内容的广播时间同步指定的各有效期间，对表示有效事件的事件识别符以及表示与此对应执行的处理的动作内容信息进行指定；事件管理装置，用于从发生的事件中导出事件识别符；动作表管理装置，用于仅在上述有效期间参照上述动作表，并使用该表导出与上述事件识别符对应的动作内容信息；动作执行装置，用于执行该动作内容信息；以及发送装置，用于把上述事件识别符发送到上述服务器。

在上述视听者装置中，上述动作表管理装置可具有一装置，用于向上述服务器预先请求将来的有效期间的动作表，以便在当前参照的动作表的有效期间结束的同时，使上述视听者装置能够参照与下一有效期间相当的动作表。

为了实现本发明的第四目的和第五目的，本发明可构成如下。

本发明是一种方法，该方法用于在下述系统中使视听者装置取得上述相关信息，在该系统中，视听者装置和相关信息提供服务器通过网络连接，该相关信息提供服务器提供与广播信息相关的信息即相关信息；该方法构成如下：视听者装置把从上述广播信息中抽出的规定信息发送到相关信息提供服务器；以及相关信息提供服务器使用该规定信息取得与该广播信息相关的相关信息，并把该相关信息发送到上述视听者装置。

在上述方法中，上述相关信息提供服务器还存储：视听者信息，用于表示可作为该相关信息提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；视听者装置除了上述规定的信息之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到上述相关信息提供服务器；该相关信息提供服务器在取得相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息发送到视听者装置。

特别是，为了实现本发明的第四目的，本发明可构成如下。

本发明是一种方法，该方法用于在视听者装置和提供与视频或音频相关的内容信息的内容提供服务器通过网络连接的系统中，使视听者装置取得上述内容信息，该方法构成如下：视听者装置获得为取得上述内容信息所必需的相关信息；把相关信息发送到上述内容提供服务器，请求上述内容提供服务器发送上述内容信息；以及取得从上述内容提供服务器发送的上述内容信息；在该构成中：上述系统包括相关信息提供服务器，并把视频及其相关信息存储在该相关信息提供服务器的数据库内；视听者装置把视频或者部分视频信息发送到相关信息提供服务器，该部分视频信息是通过转换该视频而获得的特征量信息；相关信息提供服务器使用接收的视频或者部分视频信息检索上述数据库，并把该结果取得的相关信息发送到视听者装置；以及视听者装置获得为取得上述内容信息所必需的相关信息。

在上述方法中，上述相关信息的数据库内还存储有：视听者信息，用于表示可作为该相关信息提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；视听者装置除了上述部分视频信息之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到上述相关信息提供服务器；该相关信息提供服务器在取得相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息发送到视听者装置。

并且，本发明是一种相关信息提供方法，该相关信息提供方法用于取得与广播信息相关的信息即相关信息，并把该相关信息提供给视听者，该相关信息提供方法可构成如下：把广播信息存储在广播信息数据库内，并把各广播信息的相关信息存储在相关信息数据库内；从上述广播信息数据库中检索与部分广播信息对应的广播信息，该部分广播信息是视听者正在视听的广播信息，或者是与通过转换该广播信息而获得的特征量信息；以及通过使用该广播信息检索上述相关信息数据库，取得该广播信息的相关信息，并把该相关信息提供给视听者。

并且，本发明是一种相关信息提供方法，该相关信息提供方法用于取得与存储的广播信息相关的信息即相关信息，并把该相关信息提供给视听者；该相关信息提供方法可构成如下：把广播信息存储在广播信息数据库内，并把各广播信息的相关信息存储在相关信息数据库内；从上述广播信息数据库中检索与部分广播信息对应的广播信息，该部分广播信息是指视听者正在再生视听的、存储在广播信息存储装置内的广播信息，或者是指通过转换该广播信息而获得的特征量信息；以及通过使用该广播信息检索上述相关信息数据库，取得该广播信息的相关信息，并把该相关信息提供给视听者。

在上述方法中，上述部分广播信息可以是指在包括由视听者输入相关信息取得指示的时刻的一定期间视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息。

并且，在上述方法中，上述广播信息数据库使用用于识别该广播信息的信息即广播信息识别信息来管理各广播信息；上述相关信息数据库将上述广播识别信息和与该广播信息对应的相关信息对应起来进行管理；通过检索上述广播信息数据库，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及参照上述相关信息数据库，取得与上述广播信息识别信息对应的相关信息，并把该相关信息提供给视听者。

并且，在上述方法中，上述相关信息数据库除了上述相关信息之外还管理：视听者信息，用于表示可作为其提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；在指定相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息提供给视听者。

并且，本发明是一种系统，该系统可构成如下：该系统具有：一台以上的视听者装置，以及相关信息提供服务器；该视听者装置具有下列转置：接收包括视频和音频的广播信息，并把该广播信息提供给视听者的装置；以及通过规定网络发送部分广播信息，并且取得通过上述网络发送的相关信息的装置，该部分广播信息是指在根据视听者的相关信息取得指示输入该指示时，上述视听者正在视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息；该相关信息提供服务器具有：广播信息数据库，其与上述网络相连，用于使各广播信息和用于识别该广播信息的信息即广播信息识别信息对应起来进行管理；装置，用于通过从上述广播信息数据库中检索与上述视听者装置发送的上述部分广播信息对应的广播信息，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及装置，用于参照上述相关信息数据库，取得与上述指定的广播信息识别信息对应的相关信息，并把该相关信息发送到上述视听者装置。

并且，本发明的视听者装置具有：广播接收装置，用于接收广播信息；广播信息解调解码装置，用于对由上述广播接收装置接收的广播信息进行解调解码；输入装置，用于使视听者输入包括相关信息取得指示的各种指示；网络通信装置，用于通过规定网络，与存储有与各广播信息对应的相关信息的相关信息提供服务器进行通信；相关信息取得装置，用于把部分广播信息通过上述网络通信装置发送到上述网络，该部分广播信息是指如果由上述输入装置输入相关信息取得指示，则在输入该指示时由上述广播信息解调解码装置输出的广播信息，或者是指通过转换该广播信息而获得的特征量信息，然后相关信息取得装置通过上述网络通信装置接收相关信息，该相关信息是通过上述网络从上述相关信息提供服务器发来，并与上述部分广播信息对应；以及显示再生装置，用于对从上述广播信息解调解码装置输出的广播信息以及由上述相关信息取得装置接收的相关信息进行显示再生。

上述视听者装置还可具有广播信息存储装置，用于存储从上述广播信息解调解码装置输出的广播信息；上述相关信息取得装置通过上述网络通信装置把部分广播信息发送到上述网络，该部分广播信息是指在视听者对存储在上述广播信息存储装置内的广播信息进行再生视听中，由上述输入装置输入相关信息取得指示时，在输入该指示时正在再生视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息。

并且，上述视听者装置还可具有书签用按钮，该视听者装置把在视听者操作上述书签用按钮来使用书签时的部分广播信息存储在存储器内，并且上述相关信息取得装置在视听者输入相关信息取得指示时，访问上述相关信息提供服务器，并把存储在上述存储器内的部分广播信息通知给上述相关信息提供服务器。

并且，本发明的相关信息提供服务器可构造如下：该相关信息提供服务器与规定网络相连，该相关信息提供服务器具有：广播信息数据库，用于将各广播信息与用于识别该广播信息的信息即广播信息识别信息对应起来进行管理；相关信息数据库，用于将存储在上述广播信息数据库内的广播信息识别信息和与该广播信息对应的相关信息对应起来进行管理；通过从上述广播信息数据库中检索与视听者装置通过上述网络发送的部分广播信息对应的广播信息，指定与上述部分广播信息对应的广播信息的广播信息识别信息的装置；以及参照上述相关信息数据库，取得与上述指定的广播信息识别信息对应的相关信息，并把该相关信息发送到上述视听者装置的装置；上述部分广播信息是指视听者在任意时刻正在视听的广播信息或者正在再生视听的、存储在广播信息存储装置内的广播信息，或者是指通过转换这些广播信息而获得的特征量信息。

为了实现本发明的第五目的，本发明可构成如下。

本发明是一种方法，该方法用于在视听者装置和提供与视频或音频相关的内容信息的内容提供服务器通过网络连接的系统中，使视听者装置取得上述内容信息，该方法构成如下：视听者装置获得为取得上述内容信息所必需的相关信息；把相关信息发送到上述内容提供服务器，请求上述内容提供服务器发送上述内容信息；以及取得从上述内容提供服务器发送的上述内容信息；在该构成中：广播电台或广播信息存储服务器把规定的数据信号叠加在音频上并发送；广播接收装置输出来自扬声器的广播音频；视听者装置使用麦克风收集该广播音频，把该广播音频转换为电信号，依次连续地抽出叠加在该电信号上的上述数据信号，以及使用该数据信号获得相关信息。

并且，在上述方法中，上述系统包括相关信息提供服务器；上述视听者装置把上述数据信号发送到相关信息提供服务器；相关信息提供服务器使用接收的该数据信号取得相关信息，并把该相关信息发送到视听者装置；以及视听者装置获得该相关信息。

并且，在上述方法中，上述相关信息提供服务器还存储：视听者信息，用于表示可作为上述相关信息提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；视听者装置除了上述数据信号之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到上述相关信息提供服务器；该相关信息提供服务器在指定相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息发送到视听者装置。

并且，本发明可构成为一种广播同步型服务提供方法，其特征在于：用于发送音频或者音频和视频的广播电台或者广播信息存储服务器侧把数据信号叠加在音频上并发送，该数据信号包括：信道识别符，其被唯一分配给各广播信道；以及图像帧识别符，其被唯一分配给视频中的各图像帧，或者音频帧识别符，其被唯一分配给音频中的各音频帧；在接收侧，视听者装置：使用麦克风收集从广播接收装置的扬声器输出的广播音频，并把该广播音频转换为电信号；依次连续地抽出叠加在该电信号上的上述数据信号；从该数据信号中抽出信道识别符和图像帧识别符或音频帧识别符；以及通过网络取得与这些信道识别符和图像帧识别符或音频帧识别符对应的相关信息。

在上述方法中，广播电台或广播信息存储服务器侧把图像帧识别符或音频帧识别符作为时间序列连续数字发送；当视听者装置从由广播接收装置的扬声器输出的音频中依次连续抽出叠加在该音频上的数据信号时，如果数据信号从音频中被正确抽出，使得图像帧识别符或音频帧识别符被确认，则上述视听者装置使用该图像帧识别符或音频帧识别符，作为在广播接收装置中当前再生的图像的图像帧识别符或音频帧识别符；如果数据信号未从音频中被正确抽出，使得图像帧识别符或音频帧识别符未被确认，则上述视听者装置根据最近确认的图像帧识别符或音频帧识别符的值，并且根据在该最近确认的图像帧识别符或音频帧识别符被确认的时刻与当前时刻之间的差，生成和使用图像帧识别符或音频帧识别符。

并且，在上述方法中，视听者装置从网络取得的相关信息是经由与该网络相连的相关信息提供服务器获得的，该相关信息被保存在上述相关信息提供服务器管理的广播信息数据库内，并且是与信道识别符和图像帧识别符或音频帧识别符对应起来保存的。

并且，本发明可构成为一种广播同步型服务提供系统，其特征在于：用于发送音频或者音频和视频的广播电台或者广播信息存储服务器侧设有一装置，该装置用于把数据信号叠加在音频上并发送，该数据信号包括：信道识别符，其被唯一分配给各广播信道；以及图像帧识别符，其被唯一分配给视频中的各图像帧，或者音频帧识别符，其被唯一分配给音频中的各音频帧；接收侧的视听者装置具有：麦克风，用于收集从广播接收装置的扬声器输出的广播音频，并把该广播音频转换为电信号；数据信号抽出装置，用于依次连续地抽出叠加在该电信号上的上述数据信号，同时从该数据信号中抽出信道识别符和图像帧识别符或音频帧识别符；以及相关信息取得装置，用于通过网络取得与抽出的信道识别符和图像帧识别符或音频帧识别符对应的相关信息。

并且，本发明是一种视听者装置，该视听者装置用于接收从广播接收装置输出的音频，该广播接收装置接收从广播电台或广播信息存储服务器发送的音频或者音频和视频；本发明可构造如下：数据信号被叠加在上述音频上，该数据信号包括：信道识别符，其被唯一分配给各广播信道；以及图像帧识别符，其被唯一分配给视频中的各图像帧，或者音频帧识别符，其被唯一分配给音频中的各音频帧；该视听者装置具有：麦克风，用于收集从广播接收装置的扬声器输出的广播音频，并把该广播音频转换为电信号；数据信号抽出装置，用于依次连续地抽出叠加在该电信号上的上述数据信号，同时从该数据信号中抽出信道识别符和图像帧识别符或音频帧识别符；以及相关信息取得装置，用于通过网络取得与抽出的信道识别符和图像帧识别符或音频帧识别符对应的相关信息。

在上述视听者装置中，上述视听者装置除了上述信道识别符和图像帧识别符或音频帧识别符之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到与上述网络相连的相关信息提供服务器；该相关信息提供服务器选择与该视听者装置固有的视听者信息或者视听者装置信息适合的上述相关信息；视听者装置通过上述网络取得该相关信息。

通过参照附图阅读以下详细说明，将对本发明的其他目的、特征、功能和优点更加明确。

附图说明

图1是示出本发明第一实施方式的基本构成例的图。

图2是第一实施方式的系统构成图。

图3是示出视听者装置的构成例的图。

图4是示出相关信息内容提供服务器的构成例的图。

图5是示出视听者装置和相关信息内容提供服务器之间的信息流的图。

图6是表示事件信息、广播信息和服务的关系的概念图。

图7是示出用于选择服务和相关内容的过程的图。

图8是示出服务信息的显示画面的例子的图。

图9是示出通知设定(条件设定)画面的例子的图。

图10是本发明第二实施方式的系统构成图(实施例2-1)。

图11是示出第二实施方式的相关信息的例子的图。

图12是用于对视频显示部的被摄物体和被摄物体相关信息显示部的被摄物体代表图形等关系进行说明的图。

图13是示出被摄物体相关信息显示部的显示例的图。

图14是本发明第二实施方式的系统构成图(实施例2-2)。

图15是本发明第二实施方式的系统构成图(实施例2-3)。

图16是示出实施例2-3中的另一例的图。

图17是本发明第二实施方式的系统构成图(实施例2-4)。

图18是本发明第三实施方式的系统构成图。

图19是图18的相关信息提供服务器和视听者装置的构成图。

图20是第三实施方式的方法的序列图。

图21是第三实施方式的动作表的一例。

图22是第三实施方式的客户发生事件列表的一例。

图23是实施例3-1中最初取得的动作表的一例。

图24是图23的随后取得的动作表的一例。

图25是实施例3-1的动作表的一例。

图26是动作内容信息与图25的动作表不同的动作表的一例。

图27是实施例3-2的动作表。

图28是实施例3-3的系统构成图。

图29是用于接收广播视频的广播接收装置和视听者装置的输出装置形成一体时的信息显示区域的一例。

图30是示出实施例3-3的动作表的一例的图。

图31是示出广播视频显示区域的图。

图32是用于对视听者装置输出信息显示区域内追加显示图标A进行说明的图。

图33是示出本发明第四实施方式的系统全体构成例的图(实施例4-1)。

图34是相关信息数据库4022具有的表格的例子的图。

图35是示出实施例4-1的视听者装置的一构成例的图。

图36是示出本发明第四实施方式的系统全体构成例的图(实施例4-2)。

图37是示出实施例4-2的视听者装置的一构成例的图。

图38是示出本发明第五实施方式的广播同步型服务提供系统的全体构成例的图。

图39是第五实施方式的视听者装置的构成例的图。

图40是示出本发明第五实施方式的广播同步型服务提供系统的全体构成详细例的图。

图41是示出叠加在音频上的数据信号和音频数据的构成例的图。

图42是示出根据从音频中抽出的数据信号决定实际使用的信道ID和图像帧ID的处理的流程图。

图43是根据视听者装置起动后的数据信号抽出装置的结果的信道ID和图像帧ID的确认结果例。

图44是针对图43的数据信号抽出处理结果获得的各变量的值。

具体实施方式

以下将对与第一至第五目的对应的第一至第五实施方式进行说明。根据第一至第五实施方式的各个发明，广播信息或存储信息的视听者可从与网络相连的服务器等容易取得与广播信息或存储信息相关的信息或内容，并实现本发明的目的。接下来，将对各实施方式的概要进行说明。

在第一实施方式中，视听者装置通过向相关信息内容提供服务器请求服务来进行相关信息的取得等。在该视听者装置中，用于视听从广播电台传送的广播的广播接收装置和用于获得与广播相关的相关信息的装置形成一体。该相关信息内容提供服务器用于提供相关信息和与该相关信息对应的内容。并且，视听者装置取得事件信息，并且视听者装置根据该事件信息请求服务。

在第二实施方式中，广播信息从广播电台被发送到视听者装置。该广播信息包括与由上述相关信息内容提供服务器提供的相关信息对应的信息(URL等)。该信息以被摄物体为单位被附加给各帧，并且视听者通过采用指向感兴趣的被摄物体等方式来取得相关信息。并且，根据视听者的指向取得感兴趣信息，并且自动取得迎合视听者兴趣的内容。这样，与第一实施方式相同，可容易取得与广播信息等相关的信息。

关于第三至第五实施方式，虽然基本构成与第一实施方式相同，并且目的是可容易取得与广播信息等相关的信息，但是，用于取得相关信息的构成不同。

也就是说，在第三实施方式中，相关信息提供服务器向视听者装置提供与广播内容相关的动作表，并且视听广播的视听者生成由该动作表指示的事件，这样，执行与该事件对应的动作，并进行相关信息的取得等。

在第四实施方式中，视听者装置把部分广播信息发送到相关信息提供服务器，并且相关信息提供服务器根据该部分广播信息，把与广播相关的相关信息发送到视听者装置。

在第五实施方式中，帧ID等被叠加在广播中的音频上。视听者装置抽出该帧ID等，并且使用该帧ID等向相关信息内容提供服务器请求相关信息。

并且，在上述各实施方式中，视听者装置可取得与视听者简介等视听者信息和终端信息相关的相关信息。并且，在各实施方式中，视听者装置不仅可在接收来自广播电台的广播信息的同时，取得相关信息，而且还可例如如图18所示，在通过例如因特网等网络从存储有广播信息的广播信息存储服务器中接收广播信息的同时，取得与该广播信息相关的相关信息。

以下将对各实施方式进行详细说明。

[第一实施方式]

以下将对与第一目的对应的第一实施方式进行详细说明。

图1是示出本发明第一实施方式的基本构成例的图。图中，1001表示视听广播的视听者的视听者装置，1002表示用于提供与广播相关的信息和与该信息对应的内容的提供者的相关信息内容提供服务器，1003表示用于从单方向单方发送广播内容的广播电台，1004表示用于提供事件信息的事件信息提供服务器。

当视听者视听来自广播电台1003的广播时，视听者装置1001的可提供服务请求装置1011根据来自视听者的指示把请求服务提供时必要的视听者信息和终端信息或视听者装置1001的ID发送到相关信息内容提供服务器1002，并请求与广播内容相关的可提供服务信息。

相关信息内容提供服务器1002的可提供服务选择装置1021针对从视听者装置1001接收的可提供服务信息的请求，根据视听者装置1001的信息，选择可提供服务。可提供服务信息发送装置1022把选择的可提供服务信息发送到视听者装置1001。

视听者装置1001的可提供服务信息可视化显示装置1012使用图标显示从相关信息内容提供服务器1002接收的可提供服务信息，如果其中一个图标由指向装置选择，则服务选择/请求装置1013向相关信息内容提供服务器1002请求该图标表示的服务。

如果接收到该服务请求，则相关信息内容提供服务器1002的服务请求接收装置1023起动访问系统状态检测装置1024。访问系统状态检测装置1024通过把预定量的信息分组从相关信息内容提供服务器1002发送到视听者装置1001，并测定该信息分组从视听者装置1001返回的时间，推定相关信息内容提供服务器1002和视听者装置1001之间的访问系统的状态。

服务内容优化装置1025根据视听者装置1001的信息以及访问系统的状态，对发送到视听者装置1001的服务的内容的画面尺寸、分辨率等进行转换和优化。服务提供装置1026把优化的内容发送到视听者装置1001，并提供请求的服务。

视听者装置1001的服务利用装置1014接收由相关信息内容提供服务器1002提供的服务内容，并对该内容进行存储、显示和输出等来使用请求的服务。

图2是用于实现图1所示的本发明的功能的系统构成图。

视听者装置1001和相关信息内容提供服务器1002通过网络1005相连。视听者装置1001具有：输入部1110，显示部1120，控制部1130，处理部1140，传感器部1150，存储/管理部1160，以及通信部1170。并且，相关信息内容提供服务器1002具有：输入部1210，显示部1220，控制部1230，处理部1240，存储/管理部1250，以及通信部1260。

图3是示出视听者装置1001的构成例的图。视听者装置1001的输入部1110具有：操作输入装置1111，音频输入装置1112，图像/视频输入装置1113，图标操作输入装置1114，设定操作输入装置1115，以及内容操作装置1116。显示部1120具有：接收信息可视化装置1121，服务信息显示装置1122，事件信息显示装置1123，设定画面显示装置1124，以及内容显示装置1125。

处理部1140具有：音频信息识别装置1141，图像/视频识别装置1142，传送事件信息条件匹配判断装置1143，以及图标操作装置1144。存储/管理部1160具有：视听者信息存储/管理装置1161，以及终端信息存储/管理装置1162。传感器部1150具有用户环境感知装置1151。通信部1170具有：信息发送装置1171，信息接收装置1172，以及事件信息接收装置1173。并且，视听者装置1001具有存储器部1180，存储器部1180内设有信息临时存储装置1181。

图4是示出相关信息内容提供服务器1002的构成例的图。相关信息内容提供服务器1002的输入部1210具有信息输入装置1211。显示部1220具有信息显示装置1221。处理部1240具有：可提供服务选择装置1241，内容间链接装置1242，内容转换装置1243，以及访问系统状态检测装置1244。存储/管理部1250具有：视听者信息存储/管理装置1251，终端信息存储/管理装置1252，视听者环境信息存储/管理装置1253，内容事件信息存储/管理装置1254，广播信息存储/管理装置1255，以及内容存储/管理装置1256。通信部1260具有：信息接收装置1261，广播信息接收装置1262，以及信息发送装置1263。并且，相关信息内容提供服务器1002具有存储器部1270，存储器部1270内设有信息临时存储装置1271。

图5是示出视听者装置1001和相关信息内容提供服务器1002之间的信息流的图。以下将根据图5，对图2至图4所示的装置的动作进行详细说明。并且，节目信息等广播信息事先从广播公司被发送到相关信息内容提供服务器1002，并且事件信息事先或者在广播时从事件信息提供者被发送到视听者装置1001。

(1)服务提供请求输入

首先，在视听者装置1001中，当视听者视听单方向传送的广播内容，并且想要接收与广播内容相关的相关内容的相关服务时，视听者使用输入部1110输入该请求。用于输入该视听者请求的装置有：使用按钮等操作输入装置1111，使用麦克风等音频输入装置1112，以及使用照相机等拍摄的姿势等图像/视频输入装置1113。

由操作输入装置1111输入的信息(开/关信息)通过控制部1130被存储在存储器部1180内。由音频输入装置1112输入的音频信息，以及由图像/视频输入装置1113输入的图像/视频信息经由控制部1130被分别发送到处理部1140的音频信息识别装置1141，以及图像/视频识别装置1142。因此，对视听者输入请求进行识别，并通过控制部1130把结果(开/关信息)存储在存储器部1180内。

(2)服务提供请求信息

当请求输入信息被存储在存储器部1180内时，控制部1130向存储/管理部1160请求由存储/管理部1160的视听者信息存储/管理装置1161存储和管理的视听者信息(视听者简介)，并把取得的视听者信息存储在存储器部1180内。同样，控制部1130向存储/管理部1160请求由存储/管理部1160的终端信息存储/管理装置1162存储和管理的终端信息(制造商名，型号，规格等)，并把取得的终端信息存储在存储器部1180内。

并且，控制部1130向传感器部1150请求由传感器部1150的用户环境感知装置1151感知的视听者环境信息，并把取得的视听者环境信息存储在存储器部1180内。

上述视听者信息是指与视听者相关的信息，视听者信息包括一项或多项下列信息，即：姓名，性别，年龄，职业，住所，邮政编码，家族构成，与居住相关的信息(公寓，独户住宅等)，爱好，感兴趣信息类型(政治，经济，新闻，计算机，书籍，体育，旅行等)，年收入，表明是否是各种服务的会员的信息以及会员编号或者信用卡ID、各种资格(驾驶执照等)持有的有无，与体形相关的信息(体重，身高，衣服尺寸等)，与能力相关的信息(视力，听力等)等。

终端信息是指：视听者装置的显示装置的分辨率，可显示颜色数，WWW信息阅览装置的性能(Java功能利用可否，视频音频内容再生功能的有无，可使用视频音频内容再生的编码格式信息等)等信息。

并且，视听者环境信息是表示在视听者视听单方向传送的广播内容时的的环境状态和视听者状态的信息。视听时的环境状态的信息是，在哪里视听(由GPS(全球定位系统)(Global Positioning System)等获得的位置信息)，何时视听(由装置内定时器和GPS等获得的时间信息)，视听什么(通过对电视操作远程控制器等红外线通信进行监视获得的广播信道和节目等信息)等信息。

表示视听者状态的信息是视听者的视听姿势(就座，站立等)、视听时的精神状态(心扑通扑通地跳，冷静，快乐，悲伤等)的信息。视听姿势可通过终端离地板的高度信息来判断。并且，精神状态可从心搏率、发汗情况、运动信息等来判断。高度信息、心搏率、发汗情况、运动信息等是可由传感器感知的信息。对于视听者信息、终端信息、视听者环境信息，所有这些信息可不必都齐全。

关于视听者信息，当信息已被发送到相关信息内容提供服务器1002，并且由相关信息内容提供服务器1002的存储/管理部1250的视听者信息存储/管理装置1251进行存储/管理时，视听者信息可以是用于在相关信息内容提供服务器1002侧指定视听者信息的信息。该信息是从相关信息内容提供服务器1002给出的ID(识别符)等，在相关信息内容提供服务器10002内事先登录有视听者简介。

也就是说，视听者装置请求可提供服务时的视听者装置的信息等可事先登录在相关信息内容提供服务器1002内，并且可以在每次请求时仅发送视听者装置的ID，也可以发送全部信息。

通过控制部1130存储在存储器部1180内的视听者信息、终端信息和视听者环境信息作为服务提供请求信息，由通信部1170的信息发送装置1171发送到相关信息内容提供服务器1002。在发送的同时，控制部1130把表示已发送了该服务提供请求信息的信息发送到显示部1120，并且该信息由可视化装置来显示，以便表示与视听者的输入操作(动作)对应的动作。

(3)可提供服务的选择

相关信息内容提供服务器1002使用通信部1260的信息接收装置1261接收从视听者装置1001发送的视听者信息、终端信息和视听者环境信息，并且通过控制部1230把这些信息存储在存储器部1270内，同时，相关信息内容提供服务器1002使用存储/管理部1250的视听者信息存储/管理装置1251存储和管理视听者信息。同样，相关信息内容提供服务器1002使用终端信息存储/管理装置1252存储和管理终端信息，并使用视听者环境信息存储/管理装置1253存储和管理视听者环境信息。

控制部1230向存储/管理部1250发出请求，并且把由内容事件信息存储/管理装置1254管理的事件信息存储在存储器部1270内。同样，控制部1230把由广播信息存储/管理装置1255管理的广播信息存储在存储器部1270内。单方向传送的广播内容(视频，音频和数据的至少其中之一)的相关内容由内容存储/管理装置1256进行存储和管理。

事件信息是指：用于指定各个相关内容的信息(内容ID等)，与相关内容相关的服务的种类信息，与广播内容的链接信息，以及内容安全信息等。广播信息是指：内容的广播计划信息，以及与广播内容相关的事件信息。作为用于取得该信息的方法，有：用于直接接收从广播公司提供的信息的方法，以及用于当信息被嵌入广播内容时从广播内容中抽出信息的方法。

当广播信息被嵌入广播内容(视频，音频和数据的至少其中之一)时，该广播信息由广播信息接收装置1262接收，经由控制部1230被发送到存储/管理部1250，并由广播信息存储/管理装置1255实时管理。当广播信息未被嵌入广播内容(视频，音频和数据的至少其中之一)时，广播内容与相关内容链接，该相关内容由存储/管理部1250存储和管理。为此，广播信息接收装置1262接收广播内容(视频，音频和数据的至少其中之一)，并通过控制部1230把该广播内容发送到处理部1240。

在处理部1240中，内容间链接装置1242自动或半自动执行广播内容和相关内容的链接，算出与广播信息相当的信息，并通过控制部1230把该信息发送到存储/管理部1250。这样，该信息由广播信息存储/管理装置1255管理。

通过使用图像/视频识别技术和音频识别技术，内容间链接装置1242使用一种分步骤地执行从使用物理量的距离的链接到使用意义量的距离的链接的方法。存储在存储器部127内的视听者信息、终端信息、视听者环境信息、内容事件信息和广播信息被传送到处理部1240。根据所传送的信息，处理部1240的可提供服务选择装置1241选择适合于视听者的可提供服务。

图6是表示事件信息、广播信息和服务的关系的概念图。例如，对于内容A，根据视听者信息、终端信息和视听者环境信息，从服务A、D、F和I中进行选择，对于内容B，从服务A、C和F中进行选择。即便内容相同，可提供服务也可根据广播时间而不同。

以下将按照一个过程，对如何根据接收的视听者信息、终端信息和视听者环境信息来选择服务和相关内容进行说明。图7示出了该过程。如果接收视听者信息、终端信息和视听者环境信息，则首先在步骤S1中，使用包含在视听者环境信息内的广播时间和广播电台信息，根据广播信息，对与广播内容(视频，音频和数据的至少其中之一)相关的相关内容进行检索。当未检索到相关内容时，返回表示不存在可提供的相关内容和服务的信息，并且选择处理结束。

当检索到相关内容时，进入步骤S2，根据视听者信息和视听者环境信息判断是否可把相关内容提供给视听者。在此处的判断中，例如，当视听者是未成年或者当有地域限制时，查看对于检索的相关内容是否有年龄限制的规定，从而判断是否可提供相关内容。并且，当视听者在厨房等位置希望提供相关内容时，判断对于检索的相关内容是否有与视听者的位置对应的限制和建议。当判断为没有可提供内容时，返回一条表示不存在可提供的相关内容和服务的信息，并且选择处理结束。

当判断为可提供内容的相关内容存在时，进入步骤S3，根据内容事件信息，检索与相关内容链接的服务。如果未检索到服务，则返回表示不存在可提供的相关内容和服务的信息，并且选择处理结束。

当检索到服务时，进入步骤S4，根据终端信息，判断是否是可提供的服务。由于根据终端的规格，有的服务不能接收，因此要作这种判断。如果判断为可提供的服务，则返回与该相关内容和服务相关的信息，并且选择处理结束。

(4)可提供服务信息

与选择的相关内容和服务相关的信息通过控制部1230被存储在存储器部1270内。与相关内容和服务相关的信息是指：相关内容和服务的名称，相关内容的存在位置，服务所必需工具的存在位置，使用期限，以及表示相关内容和服务的图标等信息。存储在存储器部1270内的信息作为可提供服务信息，由通信部1260的信息发送装置1263发送到视听者装置1001。

(5)可提供服务的显示

在视听者装置1001中，从相关信息内容提供服务器1002发送的信息通过控制部1130被存储在存储器部1180内，同时被发送到显示部1120。发送来的信息由服务信息显示装置1122进行可视化。图8示出了该显示的例子。在图8中，1050表示节目对象，1051表示节目图标图像，1052表示服务图标图像，1053表示服务对象，1054表示应用程序图标，1055表示通知设定等条件设定画面，以及1056表示垃圾箱图标。并且，以下将对应用程序图标1054和条件设定画面1055进行说明。

发送来的图标信息包括：与诸如节目对象1050那样的广播内容相关的图标信息，以及与服务对象1053那样的服务相关的图标信息。这些图标信息作为具有预定尺寸的图像图标被分别显示(节目图标图像1051，服务图标图像1052)。节目图标的构造是具有服务图标作为子图标，服务图标具有的功能是通过把图标信息以外的信息作为线索，起动服务工具。作为服务，例如有：内容的购入，内容的视听，内容的加工等，服务工具是用于执行这些服务的应用程序。

通过选择服务图标，起动服务工具，以使视听者可接收期望的服务提供。相关内容和服务内容被显示为服务图标的图像。视听者只要一看图标，就会理解使用什么样的服务可接收什么样的内容。并且，由于图标是以目标作为其自身一个单位由存储器部1180进行管理，因而把由输入部1110的图标操作输入装置1114输入的信息发送到控制部1130，并使用处理部1140的图标操作装置1144，可把图标移到显示器画面上的视听者期望的位置，此外，还可删除该图标(移到垃圾箱1056)。

为了变更图标位置，可变更被发送到显示部1120的图标显示位置参数，为了删除图标，可删除存储器部1180内的对象目标数据。根据视听者的需要，也可不显示服务图标。当然，把图标对象持有的信息作为索引，通过提供关键字，可检索图标。例如，可使用节目名来检索图标，也可使用服务名来检索图标。

在以上说明中，对一种情况的例子作了说明，在该情况下，当视听者视听单方向传送的广播内容，并想要接收与广播内容相关的相关内容提供服务器的相关服务时，视听者积极地把该请求输入装置。

即使视听者未积极地把该请求输入装置，也可按照视听者预先设定的定时从应用程序中自动地发出请求。以下将对该例进行说明。也就是说，将对一种实现功能的过程进行说明，在该过程中，当视听单方向传送的广播内容时，事先把与广播内容相关的相关内容提供服务器的相关服务设定在装置内，可预订服务，并且在达到可接收服务的定时时，通知视听者。

首先，在视听者装置1001中，使下述应用程序动作，该应用程序具有：显示广播内容的事件信息的功能，以及预订服务并在达到可接收服务的定时时通知视听者的功能。当视听者想要事先预订服务时，可起动该应用程序，或者由视听者装置1001根据广播信道自动起动该应用程序。该应用程序从相关信息内容提供服务器1002被发送到视听者装置1001，并且视听者装置1001接收并起动该应用程序。

如果该应用程序在视听者装置1001内动作，则图8的应用程序图标1054被显示在画面上，以便通知视听者应用程序正在动作。应用程序图标1054具有：用于使接收的广播内容的事件信息可视化并把该事件信息显示在图标中的功能；以及用于调用预订画面或通知设定画面等条件设定画面1055的功能。

图9示出了作为一个条件设定画面1055的通知设定画面的例子。通过点击应用程序图标1054中的“通知设定”按钮，可显示图9的条件设定画面1055。该画面是用于设定下列情况的画面，即：在广播视听中，当事件信息与设定的条件一致时，将这一点通知视听者。

作为用于在通知的定时到达时向视听者通知的方法，可选择显示画面的闪烁或声音。并且，也可进行起动设定，以便自动显示图像。图9的例子是与棒球转播相关的通知设定画面，例如，可在该画面上预先设定成当得分时、当进行到第三局时、或者当轮到击球手击球时等，通知视听者。

与通知设定画面相同，在预订设定画面上也可设定当到达某个设定的预定时间时(例如，当某个特定人物出现在画面上时)发出请求的定时，并且在到达设定的定时时自动发出服务提供请求。

应用程序把从事件信息提供者传送的广播内容事件信息在显示部1120上显示为应用图标1054，并且在到达在预定设定画面和通知设定画面等条件设定画面设定的定时时把视听者请求自动输入装置。并且，对于预订，当到达设定的定时时，不经用户确认就发出服务提供请求，而对于通知设定，通过图标闪烁或声音来通知视听者设定的定时，并且根据事先指定，在经视听者确认之后，发出服务提供请求。

以下，将对该预订和通知设定等一系列过程进行详细说明。假定广播内容事件信息从事件信息提供者传送。该事件信息由通信部1170的事件信息接收装置1173接收，并按照接收顺序通过控制部1130被依次存储在存储器部1180内。与此同时，该信息被发送到处理部1140和显示部1120，并且事件信息显示装置1123把广播内容事件信息显示为图标(应用程序图标1054)。如上所述，该图标具有下列功能，即：使视听者能够设定期望服务的条件。

为了显示设定画面，使用输入部1110的设定操作输入部件1115输入显示请求，输入信息被发送到控制部1130，然后，显示部1120的设定画面显示装置1124根据该输入信息显示设定画面。为了输入条件设定信息，使用输入部1110的设定操作输入装置1115输入设定信息，该设定信息通过控制部1130被存储在存储器部1180内。

之后，存储在存储器部1180内的条件被发送到处理部1140，并且传送事件信息条件匹配判断装置1143把该条件与传送的事件信息进行匹配。传送事件信息条件匹配判断装置1143算出条件和事件信息的意义距离，将其作为类似度，并判断当该距离小于预定阈值时是否符合条件。当判断为符合条件时，把表示符合条件的信息传送到控制部1130。表示符合条件的信息通过控制部1130被存储在存储器部1180内。以下的流程与在下列情况下把请求输入信息存储在存储器部1180内之后执行的流程相同，该情况是指，当用户视听单方向传送的广播内容并且想要接收与广播内容相关的相关内容的相关服务时，积极输入该请求。

以下将针对在接收视听者的广播内容时的信道传输以及在发出服务请求时的各操作，对显示在显示部1120上的信息的转移进行说明。

当用户视听某个广播内容并发出服务请求时，图8所示的图标被显示。当用户在变更信道之后视听不同的广播内容并发出服务请求时，与先前广播内容相关的服务图标不显示，而仅显示节目图标。然后，从相关信息内容提供服务器1002新发送的信息被接收，并且新节目图标和服务图标被显示。然后，当信道被变更为先前视听的广播内容，并且发出服务请求时，未显示的服务图标被显示，同时新请求的服务图标被附加显示。

(6)服务选择，(7)服务请求

以下将对用于选择显示在显示部1120上的服务图标以及接收服务提供的过程进行说明。服务图标的选择输入由视听者装置1001的输入部1110的图标操作输入装置1114进行。根据该选择输入信息，通信部1170的信息发送装置1171把与存储在存储器部1180内的所选的图标对应的可提供服务信息(相关内容的存在位置，服务所必需工具的存在位置，使用期限等)通过控制部1130发送到相关信息内容提供服务器1002。

(8)服务内容的优化

在相关信息内容提供服务器1002中，与从视听者装置1001发送来的服务和内容相关的信息由通信部1260的信息接收装置1261接收，并通过控制部1230被存储在存储器部1270内。信息接收装置1261判断是否接收了来自某处的视听者装置1001的发送信息，并把先前信息与所判断的视听者装置信息一起发送到控制部1230。

如果与服务和内容相关的信息和视听者装置信息通过控制部1230被存储在存储器部1270内，则控制部1230使用处理部1240内的访问系统状态检测装置1244检测访问系统状态。在此检测的访问系统状态是指网络状态，例如，通信速度。通信速度根据网络拥挤状况(流动数据量)而动态变化。访问系统状态检测装置1244根据视听者装置信息把预定量的信息分组发送到视听者装置1001，并使用从发送到从视听者装置1001返回的时间推定访问系统的状态。当视听者装置1001的通信部1170接收该信息分组时，该信息分组从信息接收装置1172被直接传送到信息发送装置1171，信息发送装置1171把该信息分组发送到相关信息内容提供服务器1002。推定的访问系统的状态信息通过控制部1230被存储在存储器1270内。

根据与通过控制部1230存储在存储器部1270内的服务和内容相关的信息，由存储/管理部1250的内容存储/管理装置1256存储和管理的相关内容和服务工具被检索，并且相关内容和服务工具被存储在存储器1270内。同时，根据视听者装置信息，由存储/管理部1250管理的终端信息也被检索，并且通过控制部1230被存储在存储器部1270内。存储在存储器部1270内的相关内容、访问系统的状态信息和终端信息被传送到处理部1240。

内容转换装置1243根据访问系统的状态信息和终端信息(终端规格)，把相关内容转换为最佳内容。该转换在随后情况下进行。

1)在相关内容被生成用于高规格终端和高多功能访问系统状态的情况下，当相关内容不符合终端规格和访问系统状态时，相关内容被转换为最佳内容。

2)并且，当一种内容被用于多个服务时，相关内容被转换为与服务对应的最佳内容。

在上述1)情况下，内容转换装置1243削减数据量。进行从使用数据压缩技术的物理数据量的削减，到考虑摘要等的意义的数据量的削减。对于文本信息，使用词素解析、词典和语法库进行语义级的归纳。对于图像或MPEG1和MPEG2等视频，可改变压缩率。对于使用MPEG4进行目标编码的视频，可进行以目标为单位的选择性编码。对于由MPEG7记述的视频，通过处理文本说明进行语义级的归纳。对于设有超级链接的内容，通过把基于视听者简介的加权分配给链接下的信息，根据该加权选择性削减链路信息。

在上述2)情况下，内容转换装置1243把内容翻译成视听者期望的语言。还进行表现媒体间的转换处理，例如，从图像到文本的转换，从视频到图像的转换，从音频到文本的转换，从图像到音频的转换，从视频到音频的转换等。

(9)服务提供

由内容转换装置1243最佳转换的内容被存储在存储器部1270内，并与已存储的服务工具一起由通信部1260的信息发送装置1263发送到视听者装置1001。视听者装置1001把从相关信息内容提供服务器1002发送的服务工具和相关内容存储在存储器部1180内。服务工具使用输入部1110的内容操作输入装置1116和显示部1120的内容显示装置1125，在视听者装置1001上提供与相关内容相关的服务。相关内容的购入服务等可通过下列方式来执行，即：使用通信部1170的信息发送装置1171把与购入相关的视听者的事务发送到事务处理中心(图示省略)。

(效果)

如上所述，根据本实施方式，以当前多种多样的通信访问系统和终端为前提，通过与单方向传送的广播内容同步和合作，可实现多种多样的服务，用于提供各个视听者根据各种嗜好期望的相关内容；并且可公平提供这些服务。并且，可提供：一种环境，在该环境中，视听者可接收期望的服务，而不会遗漏期望服务；以及一种解决相关问题的环境，该问题是指，在视听中和视听后，在接收用于获得相关内容的服务时遇到的麻烦。

因此，对于视听者，有以下优点，即：通过与单方向传送的广播内容同步和合作，根据最适合自己终端的内容，可接收多种多样的服务，并且可在接收服务的同时，不会遗漏服务，而且，在接收用于获得相关内容的服务时，不会遇到麻烦。对于内容提供者，有以下优点，即：通过与单方向传送的广播内容同步和合作，可实现多种多样的服务，用于提供各个视听者根据各种嗜好期望的相关内容。

[第二实施方式]

以下将使用实施例2-1至实施例2-4对第二实施方式进行说明。在第二实施方式中，当在视频信息中针对视听者感兴趣的被摄物体进行指向操作时，根据与被摄物体相关并附加到被摄物体上的信息，视听者可获得与被执行上述指向操作的被摄物体相关的相关信息，并可参照该相关信息。此外，与视听者感兴趣的被摄物体相关的信息被存储，接收的广播信息根据该存储的信息被选择，而且所选的广播信息被存储。

[实施例2-1]

图10是示出根据本发明第二实施方式的视听者装置的实施例2-1的系统构成图。在图10中，2010是指广播信息，该广播信息包括：视频信息2011以及附加到该视频信息2011上的相关信息2012。视频信息2011至少包括视频，并且也与使用除包括视频以外还包括音频的通常意义的视频节目的情况对应。

在数字广播中，与视频相关的附加信息可在视频广播信道内作为节目排列信息被广播。或者，在其他广播信道内广播的视频相关信息可在仅用于广播文本或静止图像等数据的数据信道内被广播。作为附加信息，例如，视频中的节目的标题或种类、广播日期和时间等可被考虑。

在本发明中，附加信息至少包括与作为出现在视频信息2011内的显示单位的被摄物体相关的信息。与被摄物体相关的附加信息(以下称为相关信息)至少包括：被摄物体属性信息，用于对被摄物体进行说明；该被摄物体坐标值；以及由RFC2396等规定的至少一条URI(统一资源识别符)信息，作为与该被摄物体对应的相关信息的地址识别信息。此时，URI包括与通信网2003相连的信息提供装置的IP地址或URL。

并且，被摄物体坐标值是表示在显示画面内的被摄物体的存在区域的坐标值。被摄物体随着时间的推移而出现或退出，并且当正在出现时，在画面内移动。因此，有必要为视频信息2011的各帧定义被摄物体坐标值，或者以时间为单位定义。

并且，相关信息2012可针对1个以上的各个被摄物体而定义。图11示出了本发明的相关信息的例子。相关信息2012包括：帧编号2121，被摄物体坐标值2122，被摄物体属性信息2123，以及URI信息2124。在图1所示的相关信息2012中，当帧编号2121是N时，具有被摄物体属性信息2123为OB-A、OB-B等被摄物体被分别显示在被摄物体坐标值2122(XA，YA)、(XB，YB)等上。并且，对于这些被摄物体，URI-A、URI-B等URI信息2124萡分别定义。这些信息被附加到N以外的帧编号的帧上。根据帧定义的被摄物体是不同的，并且即使是相同的被摄物体，也可定义不同的URI。并且，一个被摄物体可定义多个URI。

以下对包括上述相关信息和视频信息在内的广播信息的构成进行说明。

作为第一构成方法，在视频信息中的各视频帧信息的开始位置插入图11所示的作为首部信息的相关信息。例如，对于MPEG2视频流，可考虑在图像层的首部即图像首部的用户数据区域插入相关信息。

并且，作为第二构成方法，视频信息和相关信息被分别构成，并且如图11所示，相关信息被构成为包括用于识别对应的视频帧的帧编号。

对于第二构成方法，视频信息可使用视频的广播信道发送，相关信息可使用数据信道发送。或者，在BS数字广播或CS数字广播等系统中，相关信息可使用分段形式的数据结构传送，该分段形式的数据结构在MPEG2系统(ITU-T H.222.0，ISO/IEC 13818-1)内被规定，作为在ARIBSTD-B10“用于数字广播的节目排列信息”被规定的节目排列信息的一部分。

此外，对于第二构成方法，广播信息被构成为使相关信息与对应的视频帧同时或者在视频帧之前被输入视听者装置。

在图10中，2002表示根据本实施方式的视听者装置，并且由下述要素构成。

广播接收部2201接收包括上述视频信息2011和相关信息2012在内的广播信息2010，并把该广播信息2010发送到视频显示控制部2202。

视频显示控制部2202把用于显示从广播接收部2201接收的视频信息2011的显示控制信号发送到视频显示部2203。并且，视频显示控制部2202接收视听者在视频显示部2203进行指向的画面内的坐标值，把该坐标值与相关信息2012中的被摄物体坐标值2122进行比较，并且把URI信息2124和被摄物体属性信息2123发送到相关信息显示控制部2205，该URI信息2124和被摄物体属性信息2123同具有与进行指向的画面内坐标值一致的被摄物体坐标值2122的被摄物体对应。

视频显示部2203根据从视频显示控制部2202接收的显示控制信号，把视频显示在显示画面上。在图10所示的情况下，作为被摄物体的汽车出现。并且，由第一指向装置2204指向的坐标值被检测，并且该坐标值被发送到视频显示控制部2202。

第一指向装置2204例如与视频显示控制部2202相连，并且用于移动显示在视频显示部2203的画面内的光标，以及用于在期望的光标位置进行指向操作。因此，可使用所谓的鼠标等通用装置。

相关信息显示控制部2205把控制信号发送到被摄物体相关信息显示部2206，该控制信号用于把代表从视频显示控制部2202接收的被摄物体属性信息2123的字符、记号或图形等(以下称为被摄物体代表图形等)显示在下述的被摄物体相关信息显示部2206上。并且，相关信息显示控制部2205把被摄物体属性信息2123发送到被摄物体属性信息存储部2209。并且，相关信息显示控制部2205接收在被摄物体相关信息显示部2206中由第二指向装置指向的被摄物体代表图形等，并把由该被摄物体代表图形等代表的被摄物体所对应的URI信息2124发送到下述的相关信息访问部2210。根据该URI信息2124，相关信息访问部2210访问下述的相关信息存储部2211或通信网2003，并把获得的相关信息显示在被摄物体相关信息显示部2206上。

如果从相关信息显示控制部2205接收的URI信息2124与下述的相关信息存储部2211对应，则相关信息访问部2210访问相关信息存储部2211。如果URI信息2124同与因特网等通信网2003相连的信息源对应，则相关信息访问部2210通过通信网2003访问该信息源。相关信息访问部2210获得各相关信息，并把该相关信息返回到相关信息显示控制部2205。

被摄物体相关信息显示部2206接收控制信号，该控制信号用于显示来自相关信息显示控制部2205的上述的被摄物体代表图形等或者被摄物体的相关信息，并且被摄物体相关信息显示部2206显示该被摄物体代表图形等或者被摄物体的相关信息。并且如上所述，被摄物体相关信息显示部2206具有第二指向装置2207。该第二指向装置2207的操作与第一指向装置2204相同，例如与相关信息显示控制部2205相连，用于移动显示在视频显示部2203的画面内的光标，并用于在期望的光标位置进行指向操作。因此，可使用所谓的触摸面板或鼠标等通用装置。

输入装置2208是用于操作本系统的键盘及其他输入装置。被摄物体属性信息存储部2209接收和存储从相关信息显示控制部2205发送的被摄物体属性信息2123。

相关信息存储部2211存储与被摄物体相关的信息。相关信息访问部2210可访问该信息，并可获得该信息。并且，存储的信息可根据需要，使用未示出的装置进行追加、更新或删除。

以下对根据以上构成的实施例2-1的本系统的动作进行说明。包括视频信息2011和图11所示的相关信息2012在内的广播信息2010从广播电台被广播，并由广播接收部2201接收、解调之后，被发送到视频显示控制部2202。在视频显示控制部2202中，生成控制信号，该控制信号用于显示在从广播接收部2201接收的视频信息2011和相关信息2012中的视频信息2011。该控制信号被发送到视频显示部2203。相关信息2012被临时保存在视频显示控制部2202内。

当被摄物体在视频显示部2203内被指向时，视频显示控制部2202从视频显示部2203接收指向坐标值，把接收的坐标值与图11所示的被摄物体坐标值2122进行比较，并找出定义有与指向坐标值一致的被摄物体坐标值2122的被摄物体。然后，与如此找出的被摄物体对应的被摄物体属性信息2123和URI信息2124被发送到相关信息显示控制部2205。

在相关信息显示控制部2205中，根据从视频显示控制部2202接收的被摄物体属性信息2123和URI信息2124进行处理。首先，被摄物体属性信息2123被发送到被摄物体属性信息存储部2209并进行存储。并且，相关信息显示控制部2205生成控制信号，该控制信号用于显示代表接收的被摄物体属性信息2123的被摄物体代表图形等。该控制信号被发送到被摄物体相关信息显示部2206。

图12示出了一例，在该例中，被摄物体2041由第一指向装置2204在视频显示部2203内进行指向，并且与该被摄物体2041对应的被摄物体图形等2042被显示在被摄物体相关信息显示部2206上。

并且，优选的是，视频显示部2203和被摄物体相关信息显示部2206使用不同的显示装置。例如，可考虑视频显示部2203被构成为使用CRT显示装置，并且被摄物体相关信息显示部2206被构成为使用液晶显示装置。在这种情况下，也可考虑使用鼠标作为第一指向装置2204，并使用触摸面板等作为第二指向装置2207。但是，视频显示部2203和被摄物体相关信息显示部2206也可构成为使用1台显示装置。当共用1台显示装置时，视频显示部2203和被摄物体相关信息显示部2206被分别设置在不同的窗口内或者画面分割的显示区域内。在这种情况下，第一指向装置2204和第二指向装置2207可使用相同硬件来实现，并可共用一个鼠标等。

图13示出了与被摄物体相关信息显示部2206相关的更详细的例子。在该例中，被摄物体相关信息显示部2206具有：被摄物体显示区域2261，用于显示被摄物体代表图形等2042；相关信息显示区域2262，用于显示被摄物体相关信息；以及操作面板部2263。例如，当利用触摸面板时，操作面板部2263可用于替代输入装置2208。

并且，在被摄物体显示区域2261显示有多个被摄物体代表图形等2042。在该例中，OB-A、OB-B、OB-C和OB-D等字符是各个被摄物体代表图形等2042。随着视频的进行，当被摄物体2041被依次指向时，这些与被摄物体2041对应的被摄物体属性信息2123和URI信息2124被顺次发送到相关信息显示控制部2205，这些被摄物体代表图形等2042代表该结果。

然后，如果视听者使用第二指向装置2207指向显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042，则用于识别被指向的被摄物体代表图形等2042的信息从被摄物体相关信息显示部2206被发送到相关信息显示控制部2205。对此，与用于识别被摄物体代表图形等2042的信息表示的被摄物体2041对应的URI信息2124在相关信息显示控制部2205中被抽出。抽出的URI信息2124被发送到相关信息访问部2210。如果发送的URI信息2124与相关信息存储部2211对应，则相关信息访问部2210访问相关信息存储部2211并获得相关信息，而且把该相关信息返送到相关信息显示控制部2205。

并且，如果发送的URI信息2124是与通信网2003相连的信息源的信息，则相关信息访问部2210通过通信网2003从该信息源中获得相关信息，并把该相关信息返送到相关信息显示控制部2205。

在接收了返送的信息之后，相关信息显示控制部2205把该信息显示在被摄物体相关信息显示部2206的相关信息显示区域2262内。

在以上动作中，视听者指向被摄物体代表图形等2042的定时可以是广播接收中和广播接收后两者中的任何一个。因此，当参照的信息多时，可在广播接收之后的合适时间顺次参照相关信息。

[实施例2-2]

以下将对作为实施例2-2的具有视频过滤存储功能的视听者装置进行说明。图14是示出实施例2-2的系统构成图。根据实施例2-2的系统构成把感兴趣信息抽出部2212附加给图10所示的实施例2-1的系统构成，并具有一种功能，该功能用于利用感兴趣信息抽出部2212的功能自动选择广播信息，并存储该所选的信息。以下对该系统进行详细说明。

在图14中，相关信息显示控制部2205除了在实施例2-1中所述的功能，还具有下述功能：针对由视听者在被摄物体相关信息显示部2206中指向被摄物体代表图形等2042的被摄物体，相关信息显示控制部2205把至少与该被摄物体相关的URI信息2124、被摄物体属性信息2123、从信息源获得的相关信息、以及与该相关信息被显示在被摄物体相关信息显示部2206上的时间相关的显示时间信息中的任何多条信息发送到感兴趣信息抽出部2212。

并且，感兴趣信息抽出部2212参照URI信息2124、被摄物体属性信息2123、上述相关信息以及上述显示时间信息中的任何多条或全部信息，抽出作为表示视听者对相关信息感兴趣的信息的感兴趣信息，并存储该感兴趣信息。并且，感兴趣信息抽出部2212接收来自广播接收部2201的包括视频信息2011和相关信息2012在内的广播信息2010，把相关信息2012中的至少该被摄物体属性信息2123或URI信息2124与存储的感兴趣信息进行比较，并优先选择被判断为适合视听者的感兴趣信息的广播信息2010。根据需要，可把所选的广播信息2010存储在广播信息存储部2213内。

并且，在本发明中，特别是提供有一个功能，该功能可使视听者移动或删除显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042。当执行上述操作时，可减少存储在感兴趣信息抽出部2212内的感兴趣信息。因此，例如，视听者对由删除的被摄物体代表图形等2042代表的被摄物体属性信息2123或者与此对应的URI信息2124的感兴趣度的降低被反映在感兴趣信息的抽出上。

以下对实施例2-2中的本系统的动作进行说明。包括从广播电台广播的视频信息2011及其相关信息2012在内的广播信息2010由广播接收部2201接收，并且在经过解调之后，被发送到视频显示控制部2202。与实施例2-1一样，相关信息2012被构成为例如如图11所示。由于图11在实施例2-1中作了说明，因而在此省略说明。

视频显示控制部2202生成控制信号，该控制信号用于显示从广播接收部2201接收的视频信息2011和相关信息2012中的视频信息2011。该控制信号被发送到视频显示部2203。相关信息2012被临时保存在视频显示控制部2202内。

在视频显示部2203中，当被摄物体2041在视频显示部2203内被指向时，视频显示控制部2202接收来自视频显示部2203的指向坐标值，把接收的坐标值与图11所示的被摄物体坐标值2122进行比较，并找出定义有与指向坐标值一致的被摄物体坐标值2122的被摄物体。然后，如此找出的被摄物体2041的被摄物体属性信息2123和URI信息2124被发送到相关信息显示控制部2205。

在相关信息显示控制部2205中，根据从视频显示控制部2202接收的被摄物体属性信息2123和URI信息2124进行处理。首先，被摄物体属性信息2123被发送到被摄物体属性信息存储部2209，并在此进行存储。并且，针对接收的被摄物体属性信息2123，生成控制信号，该控制信号用于显示代表该接收的被摄物体属性信息2123的被摄物体代表图形等2042。该控制信号被发送到被摄物体相关信息显示部2206。

如果视听者使用第二指向装置2207指向显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042，则与由指向的被摄物体代表图形等2042代表的被摄物体属性信息2123对应的相关信息被获得，并且获得的相关信息被显示在被摄物体相关信息显示部2206的相关信息显示区域2262内。由于这点与实施例2-1相同，因此以上说明省略。

以下以实施例2-2中的本系统的动作与实施例2-1的不同点为中心进行说明。

在实施例2-2中，相关信息显示控制部2205除了实施例2-1中所述的功能。还针对由视听者在被摄物体相关信息显示部2206中指向被摄物体代表图形等2042的被摄物体，相关信息显示控制部2205把至少与该被摄物体2041相关的URI信息2124、被摄物体属性信息2123、从信息源获得的相关信息、以及与该相关信息被显示在被摄物体相关信息显示部2206上的时间相关的显示时间信息中的任何多条信息发送到感兴趣信息抽出部2212。

相关信息显示的时间是以在被摄物体相关信息显示部2206上显示相关信息时的显示的开始时刻和结束时刻为基础。这些时刻也与参照被摄物体相关信息显示部2206的视听者使用的第二指向装置2207的操作时刻信息相关。作为开始时刻，可使用被摄物体代表图形等2042被指向的时刻，也可使用把此后获得的相关信息显示在被摄物体相关信息显示部2206上的该开始时刻。并且，作为结束时刻，可使用由视听者执行用于结束相关信息显示的操作的时刻，也可使用指向下一个被摄物体代表图形等2042的时刻。

感兴趣信息抽出部2212参照从相关信息显示控制部2205接收的URI信息2124、被摄物体属性信息2123、相关信息以及显示时间信息中的任何多条或者全部信息，抽出感兴趣信息，并存储该感兴趣信息。感兴趣信息是指表示视听者对什么信息感兴趣的信息。一般，通过统计处理显示时间信息或指向次数，可生成感兴趣信息。例如，指向次数是各条被摄物体属性信息或各条URI信息的指向次数，而显示时间是各条被摄物体属性信息、各条URI信息或者各条相关信息的显示时间或其累计值。并且，感兴趣信息可以是被摄物体属性信息2123、URI信息2124和相关信息这三者中的至少二者的各组合的指向次数或显示时间或其累计值。

并且，包括在被摄物体属性信息2123和相关信息内的文本被分解为关键字。对于各关键字，当包含该关键字的被摄物体属性信息2123和相关信息的视听次数多时，或者当包含该关键字的被摄物体属性信息2123和相关信息的显示时间长时，假定上述关键字表示视听者感兴趣，抽出表示感兴趣的关键字的群，从而可把该群用作感兴趣信息。

并且，当视听者移动或删除显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042时，该信息可从相关信息显示控制部2205被发送到感兴趣信息抽出部2212，从而使该信息能够被反映到感兴趣信息抽出处理上。例如，当视听者删除被摄物体代表图形等2042时，即认为视听者对由删除的被摄物体代表图形等2042代表的被摄物体属性信息2123或者与此对应的URI信息2124的感兴趣度降低，从而进行使感兴趣信息减少等处理，这被反映在感兴趣信息抽出处理上。

并且，感兴趣信息抽出部2212接收包括来自广播接收部2201的相关信息2012在内的广播信息2010，把相关信息2012中的URI信息2124与上述感兴趣信息进行比较，并执行用于选择适合视听者兴趣的广播信息2010的过滤处理。根据需要，这种过滤的广播信息2010被存储在广播信息存储部2213内。在这种情况下，广播信息是否适合视听者兴趣是通过以下方式判定的，即：判定相关信息是否包括被摄物体属性信息2123、或者URI信息2124或者相关信息或者这些信息的组合，该相关信息表示指向次数多、或者显示时间长或者其累计值大。通过把被摄物体属性信息2123或URI信息2124预先分为各种类型，并转换为各类型的次数或参照时间加以使用，而不使用被摄物体属性信息2123或URI信息2124本身。

以下将对感兴趣信息抽出部的具体一例进行说明。

在以下说明中，假定本实施例中的相关信息包括URI和表示该URI的内容的关键字群。例如，与作为被摄物体出现在视频中的汽车相关的相关信息包括：该汽车在视频中的出现位置，该汽车的规格信息主页的URL地址，并将{汽车}作为关键子。以下示出了该相关信息的具体说明例。

<frame no＝“N”>

<object>

<location>(XA，YA)-(XB，YB)</location>

<uri>url:www.automobile.com/car_A/spec.html<uri>

<keyword>汽车</keyword>

</object>

</frame>

上例与以下情况对应，即：在帧编号“N”的视频帧内仅存在作为被摄物体的汽车。在<frame no＝“N”>和</frame>之间记载有与帧编号“N”的视频帧相关的信息。在<object>和</object>之间记载有与一个被摄物体相关的信息。在这种情况下，该汽车在视频中的出现位置、该汽车的规格信息主页的URL地址、以及作为关键字的{汽车}被记载。如果存在多个被摄物体，则在<frame no＝“N”>和</frame>之间存在多个<object>…</object>。并且，如上所述，相关信息没有必要是XML形式，可以是图11所示的表格型的构成。

在该例中的感兴趣信息抽出部保存用户简介，该用户简介包括作为视听者感兴趣信息的关键字群和各关键字的加权。以下示出了用户简介的一例。

{汽车：1、熊猫：2、短衬裤：1、海参：1}

上例记述了作为具有多个组合的集合的用户简介，各组合均是“关键字：该关键字的加权”。

在此，当视听者指向作为正在视听的视频的被摄物体出现的汽车时，感兴趣信息抽出部使关键字“汽车”的加权增加1。如果在指向汽车时在用户简介中不存在关键字“汽车”，则关键字“汽车”被追加给用户简介，并且加权被设定为1。

因此，当汽车作为正在视听的视频的被摄物体分别出现10次时，并且当视听者指向所有汽车时，用户简介从上述状态变为：{汽车：11、熊猫：2、短衬裤：1、海参：1}。

并且，当视听者删除显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042时，则包括在与该被摄物体对应的相关信息内的关键字的加权被减少1，并且用户简介被更新。例如，当用户简介是{汽车：11、熊猫：2、短衬裤：1、海参：1}时，如果视听者从被摄物体相关信息显示部2206中删除与包括关键字[汽车]在内的相关信息对应的被摄物体的被摄物体代表图形等2042中的一个，则用户简介被更新为{汽车：10、熊猫：2、短衬裤：1、海参：1}。

并且，当视听者指向显示在被摄物体相关信息显示部2206上的被摄物体代表图形等2042并参照相关信息时，包括在与该被摄物体代表图形等2042对应的相关信息内的关键字的加权根据该相关信息的参照时间而被增加，并且用户简介被更新。例如，假定每次参照相关信息1分钟时，包括在被摄物体相关信息内的关键字的加权就增加1。当用户简介是{汽车：10、熊猫：2、短衬裤：1、海参：1}时，如果视听者指向与包括关键字[汽车]在内的相关信息对应的被摄物体的被摄物体代表图形等2042，并参照该相关信息10分钟，则用户简介被更新为{汽车：20、熊猫：2、短衬裤：1、海参：1}。

并且，当广播信息被过滤时，感兴趣信息抽出部根据以下规则进行处理。

当包括在与接收的视频中的被摄物体相关的相关信息内的关键字被包括在用户简介内时，该关键字的加权被视为对该被摄物体的感兴趣度。当多个关键字被包括在用户简介内时，各个关键字的加权和被视为对该被摄物体的感兴趣度。然后，当感兴趣度在一定值K以上时，认为视听者对该被摄物体感兴趣，并自动实施与指向被摄物体时实施的同等处理。例如，当K＝10，并且用户简介是{汽车：20、熊猫：2、短衬裤：1、海参：1}时，如果包括关键字[汽车]在内的相关信息被接收，则对对应的被摄物体的感兴趣度是20，满足K＝10以上，因而自动实施与视听者指向对应的被摄物体时实施的同等处理。也就是说，执行用于把与该被摄物体对应的被摄物体代表图形显示在被摄物体相关信息显示部上等处理。

并且，上述例子是感兴趣信息抽出部的处理的一例。可使用上述以外的种种关键字的加权等规则、关键字的利用规则等。

[实施例2-3]

下面，对实施例2-3进行说明。

图15是示出本发明的实施例2-3的系统构成图。实施例2-3是一种把广播电台2004附加给以上说明的视听者装置2002的广播信息收发系统。广播电台2004具有广播包括图11所示的相关信息2012在内的广播信息2010的功能。

并且，上述广播电台可以是与BS数字广播系统、CS数字广播系统、地波数字广播系统等卫星广播系统或地波广播系统相连，通过上述广播基础设施进行广播的广播电台。广播电台也可以是如图16所示，使用与因特网或广播用电缆等规定网络相连的服务器，通过上述规定的网络执行所谓的因特网广播或电缆电视广播的网络广播的广播电台。

[实施例2-4]

以下将对实施例2-4进行说明。

图17是示出本发明实施例2-4的系统构成图。实施例2-4是一种把视频存储介质再生装置2006附加给以上说明的视听者装置的广播信息收发系统。视频存储介质是指DVD或D-VHS录像带等，并且是存储有包括图11所示的相关信息在内的广播信息2010的介质。视频存储介质再生装置2006是指DVD播放机或VCR等，并且一般具有把以从广播接收的视频为主的广播信息存储存储在上述视频存储介质上的功能。并且，视频存储介质再生装置2006还具有再生存储的广播信息的功能。所用的视频存储介质可事先存储有从广播基础设施取得的广播信息。或者，用户可从该视频存储介质的零售商店或出租商店获得，该视频存储介质中事先存储有包括电影或电视剧等视频信息在内的广播信息。

在实施例2-4中，包括图11所示的相关信息在内的广播信息2010从用于再生规定的视频存储介质的视频存储介质再生装置2006被输入视听者装置2002。

并且，在第二实施方式中，可取得与视听者信息和终端信息相关的相关信息。例如，与视听者信息或终端信息对应的多条URI与视频信息一起作为相关信息被发送到视听者装置，并且视听者装置选择与预先在该视听者装置内输入等的视听者信息或终端信息适合的URI。作为附加的相关信息，例如，可使用在下述第四实施方式中的相关信息例1～5那样的形式。

(效果)

在根据本实施方式的视听者装置和广播信息收发系统中，视听者装置接收附加有相关信息的广播信息，在该相关信息内，针对作为在视频中出现的显示单位的各被摄物体，定义有表示该相关信息的所在的URI信息。当视听者指向显示在视频显示画面上的被摄物体时，代表该被摄物体的字符、图形等被显示在画面上。然后，响应对这些字符、图形等指向操作，相关信息从对应的URI信息中被读出，并被显示在画面上。因此，视听者可一边视听视频信息，一边从广播信息以外的信息源获得并参照与感兴趣的被摄物体相关的信息。

并且，当视听者依次指向多个被摄物体时，代表各被摄物体的文字、图形等被顺次追加显示在画面上。因此，即使视听者想参照的相关信息多，视听者也可在广播信息视听之后参照该相关信息，而不受时间限制。

并且，感兴趣信息被抽出和保持，该感兴趣信息是通过对视听者指向的被摄物体的指向次数或者视听者参照与该被摄物体相关的相关信息的显示时间信息加以考虑而获得。这样，可从在用户未视听时广播的广播信息中自动选择和存储与感兴趣信息适合的广播信息。因此，视听者可获得与自己过去参照的相关信息的类型适合的广播信息，而不受时间限制。

特别是，本发明中，当视听者删除显示的被摄物体代表图形等时，则认为失去对该URI信息的兴趣，从而使存储的感兴趣信息减少，并且这被反映到感兴趣信息抽出处理上。因此，在视听者充分参照了相关信息之后，可根据视听者兴趣的动态变化，停止获得该种类的信息。

并且，由于可以被摄物体为单位获得相关信息，因而可针对在各种场面出现的被摄物体，定义相关信息。结果，与以现有视频节目为单位相比，可参照详细的相关信息。例如，一般来说即使是同一被摄物体其出现的场面不同则其意义往往不同，通过按帧定义相关信息，可以参照多样和正确的相关信息。并且，可自动选择更详细的视频信息。

例如，一般来说即使是同一被摄物体，其出现的场面不同则其意义往往不同，通过按帧定义相关信息，可以参照多样和正确的相关信息。并且，可自动选择更详细的视频信息。并且，由于与指向的被摄物体对应的字符/图形被追加显示在画面上，因而视听者可参照相关信息，而不受时间限制。

并且，通过提供使视听者通过指向感兴趣的被摄物体，来仅正确阅览视听者感兴趣的相关信息的机构，根据上述视听者的被摄物体指向操作等，可获得表明视听者对什么信息感兴趣的信息。

[第三实施方式]

以下将对本发明的第三实施方式进行说明。在本实施方式中，通过与电视、收音机等广播内容同步，对来自个人计算机等终端的事件进行处理，可获得相关信息。在此，与广播内容同步的事件处理是指用于当在视听者装置中发生按钮按下操作等事件时，根据广播内容，对响应该事件发生而执行的动作的内容进行随时更改的处理。作为具体处理的例子，当在电视广播的规定信道内连续广播CM1、CM2和CM3时，如果用户在CM1被广播时按下视听者装置的按钮，则与CM1相关信息的链接被显示在与视听者装置相连的显示装置上。同样，如果用户在CM2被广播时按下视听者装置的按钮，则与CM2相关信息的链接被显示。并且，如果用户在广播CM3时按下视听者装置的按钮，则与CM3相关信息的链接被显示。

图18是本发明第三实施方式的系统构成图。图18的系统具有：相关信息提供服务器3001(以下称为“服务器3001”)；视听者装置3002(客户)，用于通过网络3006与该服务器3001进行通信；广播电台3003，用于广播广播内容；以及输入输出装置3004，其与视听者装置3002相连。从广播电台3003广播的广播内容可由广播接收装置3005接收。与该广播内容同步，各种动作均在视听者装置3002内执行。并且，响应在视听者装置3002内发生的事件而执行的动作的内容与广播内容同步变化。

并且，除了在广播接收装置3005接收来自广播电台3003的广播内容时，在广播接收装置3005接收来自与因特网等网络相连的广播信息存储服务器3003’的广播内容时，也可实现本实施方式中的同步处理。

在此，在视听者装置3002内发生的事件是指用户对输入输出装置4进行的各种操作。例如，当视听者装置3002具有键盘时，事件是指表示按下该键盘上的规定按钮的信号。并且，当视听者装置3002具有鼠标等指向装置时，事件指表示使用该指向装置点击与视听者装置3002相连的显示装置上显示的画面上的规定位置的信号。并且，事件可以是指在某个动作发生之后，经过规定时间的现象，也可以指在时刻达到规定时刻时的超时现象。

把什么操作或现象的发生视为事件，这随着使用本发明的系统来实现什么应用而不同。例如，有下述应用，即：在使用电视视听电视剧视频中，当视听者对电视剧视频中的被摄物体或BGM等感兴趣时，如果按下视听者装置3002的所谓的书签用按钮，则用于访问该相关信息的图标被追加在显示装置上的画面上，在这种应用中，事件是指视听者(用户)按下书签按钮，并且在按下书签按钮时，执行追加图标的动作。又例如，有下述应用，即：在使用电视视听教育节目中，在节目进行的同时，把与教育节目的内容相关的信息页显示在视听者装置3002的显示装置画面上，在这种应用中，事件是指响应达到规定时刻，即节目内容切换的时刻的情况。在该事件发生时，执行更新为新信息页的动作。

在视听者装置3002中执行的动作是指由在视听者装置3002中执行的应用程序进行的各种处理，并且是通过使用本发明的系统实现的服务应用程序执行的各种处理。其相当于上述例子中的“追加用于访问相关信息的图标”、“更新为新信息页”等处理。

并且，当本发明的系统的视听者装置3002被安装在装有MS-Windows的OS的个人计算机上时，动作是指由在Windows上可执行的软件程序进行的处理。

并且，服务器3001从用于管理广播内容的机构例如广播电台取得动作表资源数据。该动作表资源数据是在用于构成动作表时参照的信息。

图19是根据本发明的服务器3001和视听者装置3002的构成图。

服务器3001具有：通信装置3013，其通过网络3006与多个视听者装置3002进行通信；客户识别装置3014，用于识别访问服务器3001的视听者装置3002；客户信息管理装置3015，用于保持客户发生事件列表，该客户发生事件列表是各视听者装置3002已发生的事件的事件识别符列表；动作表资源数据3012，其在构成动作表时被参照；动作表构成装置3011，用于通过使动作表与成为同步对象的现象同步，进行依次构成更新，并且用于决定构成的各个动作表的有效期间，并把该有效期间赋予动作表；以及动作表提供装置3010，用于通过网络3006提供动作表。

视听者装置3002具有：通信装置3024，用于与服务器3001进行通信；动作表管理装置3022，用于从服务器3001取得动作表，并用于保持该动作表；事件管理装置3021，用于监视事件发生，并用于把发生事件的事件识别符通知给动作表管理装置3022；动作执行装置3023，用于立即执行在由动作表管理装置3022通知的动作内容信息中记载的动作；输入接口3026；以及输出接口3025。

图20是根据本实施例的方法的顺序图。服务器的动作表资源数据3012收集广播电台3003广播的广播信息。最初，服务器3001构成动作表，该动作表为与广播内容的广播时间同步指定的各有效期间XX～XX，指定表示有效事件的事件识别符以及表示响应该有效事件执行的处理的动作内容信息(步骤S1)。然后，服务器3001把该动作表发送到视听者装置3002(步骤S2)。然后，视听者装置3002保持接收的动作表，并导出发生事件例如用户按下按钮事件的事件识别符YY(步骤S3)。然后，视听者装置3002使用从服务器3001接收的动作表，导出与事件识别符YY对应的动作内容信息ZZ(步骤S4)。最后，视听者装置3002执行动作内容信息ZZ(步骤S5)。此时，视听者装置3002可把事件识别符YY发送到服务器3001(步骤S6)。因此，服务器3001可在客户信息管理装置3015生成发生事件列表，并可构成适合于该视听者装置3002的动作表。

图21示出了根据本发明的动作表的一例，图22示出了根据本发明的客户发生事件列表的一例。

以下将对根据本实施方式的具体动作进行说明。

当视听者装置3002起动时，动作表管理装置3022从服务器3001取得动作表。动作表管理装置3022对取得的动作表内记载的有效期间进行确认，并且在有效期间内，把该取得的动作表作为参照对象。

在当前作为参照对象的动作表的有效期间结束之前，动作表管理装置3022从服务器取得新动作表。在作为参照对象的动作表的有效期间结束的同时，该新动作表变为参照对象。

之后，当动作表管理装置3022正在对当前作为参照对象的动作表的有效期间进行确认时，重复上述操作，并依次更新动作表。

并且，随着客户操作或动作的执行，当事件发生时，事件管理装置3021把发生事件的事件识别符发送到动作表管理装置3022。动作表管理装置3022参照作为当前参照对象的动作表，把与该事件识别符对应的动作内容信息发送到动作执行装置3023。并且，动作执行装置3023根据该动作内容信息执行动作。

并且，视听者装置3002的动作表管理装置3022把从事件管理装置3021接收的事件识别符发送到服务器3001。当服务器3001接收来自视听者装置3002的事件识别符时，首先，客户识别装置3014识别视听者装置3002。然后，客户信息管理装置3015把该事件识别符追加到与该客户(视听者装置)对应的客户发生事件列表。

并且，在服务器3001中，从视听者装置3002请求动作表时，客户识别装置3014识别视听者装置3002，并且动作表构成装置3011通过参照与识别的视听者装置3002对应的客户发生事件列表，构成动作表。动作表提供装置3010把该动作表发送到该视听者装置3002。

并且，在服务器3001中，当动作表构成装置3011构成新动作表时，动作表提供装置3010把该动作表主动地传送到视听者装置3002。

视听者装置3002通过动作表管理装置3022保持接收的新动作表，并且在当前参照的动作表的有效期间结束时，把当前参照的动作表变更为新动作表。

(实施例3-1)

以下将把根据本发明的系统应用于电视广播的具体例作为实施例3-1进行说明。

实施例3-1是这样一种应用，即：在使用电视视听电视剧视频中，当视听者对电视剧视频音频中的被摄物体、背景或BGM等感兴趣时，如果按下视听者装置3002的所谓的书签用按钮，则用于访问该相关信息的图标(或URL等)被追加到显示装置上的画面上。假定视听者装置3002具有作为输入装置的3个书签按钮。并且假定系统内各个按钮的识别符是(0，0)、(1，0)和(2，0)。可以考虑这3个书签按钮具有功能分担，例如，第一按钮表示视听者对被摄物体感兴趣，第二按钮表示视听者对背景感兴趣，第三按钮表示视听者对BGM感兴趣等。并且，根据情况，可对各个书签按钮表示视听者对视频中的什么感兴趣进行动态更改。也就是说，在某一时刻，按钮(1，0)表示视听者对被摄物体感兴趣，按钮(2，0)表示视听者对背景感兴趣，并且(3，0)表示视听者对BGM感兴趣。而在另一时刻，由于视频中存在2个被摄物体(例如，人物)，因而按钮(1，0)表示视听者对第一被摄物体感兴趣，按钮(2，0)表示视听者对第二被摄物体感兴趣，并且(3，0)表示视听者对BGM感兴趣。并且，在各视听者装置3002中，按钮操作的意义可以不同，也就是说，发生的动作可根据按钮操作而不同。

图23是根据本发明的动作表的一例。该动作表的有效期间是从时刻0到时刻999。输入装置由3个按钮构成。系统内各个按钮的识别符是(0，0)、(1，0)和(2，0)。事件识别符由时刻信息和按钮识别符构成。事件识别符[(0，499)，(0，0)]表示在从时刻0到时刻499之间按下识别符(0，0)的按钮的事件。与该事件识别符对应，把图标A追加显示在画面上的动作“add icon_A”进行说明。

根据图23的动作表，如果在时刻0到时刻499之间按下识别符(0，0)的按钮，则执行“add icon_A”。以下同样，如果在时刻0到时刻499之间按下识别符(1，0)的按钮，则执行“add icon_B”，如果在时刻0到时刻499之间按下识别符(2，0)的按钮，则执行“add icon_C”，如果在时刻500到时刻999之间按下识别符(0，0)的按钮，则执行“add icon_D”，如果在时刻500到时刻999之间按下识别符(1，0)的按钮，则执行“addicon_E”，如果在时刻500到时刻999之间按下识别符(2，0)的按钮，则执行“add icon_F”。

在时刻0到时刻999之间，视听者装置3002把图23的动作表作为参照对象。然后，如果在时刻0到时刻999之间按下视听者装置3002中的任何一个按钮从而使事件发生，则视听者装置3002立即执行根据动作表决定的动作。

图24是随后取得的动作表的一例。为了取得下一有效期间的动作表，视听者装置3002在从时刻0到时刻999之间访问服务器3001。在有效期间1000～1999，把图23的动作表作为参照对象进行处理。无论在有效期间0～999发生或不发生任何事件，对于所有视听者装置3002，随后从服务器3001取得的动作表是相同的。

在各客户(视听者装置)中，还有一特点是：取得的有效期间1000～1999的动作表的内容可根据在有效期间0～999发生的事件的种类和事件发生的有无而不同。

图25和图26是内容不同的动作表的一例。当根据本发明的系统中存在多个视听者装置3002时，假定在第一视听者装置中，在时刻0～999之间不发生任何事件，并且在视听者装置B中，在时刻0～499之间按下识别符(0，0)的按钮，执行“add icon_A”。在这种情况下，第一视听者装置从服务器3001取得作为新动作表的图25的表。另一方面，当在时刻0～499之间未按下识别符(0，0)时，第一视听者装置从服务器3001取得作为新动作表的图26的表。

这样，取得的动作表的内容根据在各视听者装置3002中的事件发生的有无或者发生事件的种类而不同。结果，根据以前执行的按钮操作，可更改各视听者装置随按钮操作而执行的动作。

(实施例3-2)

以下对将根据本发明的系应用于电视广播的实施例3-2进行说明。

该实施例3-2是这样一种应用，即：在使用电视视听教育节目等中，配合节目进行，把与节目内容相关的规定信息页即因特网上的规定主页显示在视听者装置3002的显示装置3004的画面上。在这种应用中，事件相当于达到规定时刻，即节目内容切换的时刻这一情况。在该事件发生时，执行更新为新信息页的动作。

图27是实施例3-2的动作表的一例。根据图27，把在画面上追加显示URL为http://page1的主页这种动作描述为“open http://page1”。当视听者装置被安装在装有MS-Windows的OS的个人计算机上时，“openhttp://page1”动作的执行是指，通过利用MS-Windows上的因特网浏览器程序“iexplore.exe”等功能，打开由该URL指定的主页。

在该动作中，首先，视听者装置3002在作为同步处理对象的节目广播之前起动，并且从服务器3001取得图27所示的动作表。然后，在视听者装置3002中，当时刻为00/09/04/19:00:00时，认为事件识别符[00/09/04/19:00:00]的事件发生，从而执行对应的动作“openhttp://page1”，并且显示由http://page1表示的主页。然后，当时刻为00/09/04/19:04:00时，认为事件识别符[00/09/04/19:04:00]的事件发生，从而执行对应的动作“open http://page2”。然后，当时刻为00/09/04/19:09:15时，认为事件识别符[00/09/04/19:09:15]的事件发生，从而执行对应的动作“open http://page3”。以后同样，当到达由事件识别符指定的时刻时，认为该事件发生，从而执行对应的动作。

并且，由于图27所示的动作表的有效期限是到00/09/04/19:15:00，因而当时刻为00/09/04/19:15:00时，当前参照的图27所示的动作表被更新为新取得的动作表。之后，当到达由更新的动作表的事件识别符指定的时刻时，执行动作。

(实施例3-3)

以下对将根据本发明的系统应用于电视视频广播的实施例3-3进行说明。

在本实施例3-3中，如图28所示，视听者装置3002的输出装置3006与接收广播视频的广播接收装置形成一体。或者，输出装置3006与广播接收装置相连。视听者装置3002具有作为输入装置的鼠标等指向装置。作为指向装置，可以使用触摸面板显示器。在这种情况下，可使用上述指向装置指向在作为输出装置的广播接收装置上显示的广播视频的各视频帧中的被摄物体。

当用于接收广播视频的广播接收装置和视听者装置的输出装置形成一体时，上述广播接收装置和输出装置一体化装置的信息显示区域(显示画面)可采用图29所示的构成。

在本实施例中，在上述环境中，当视听者使用与视听者装置相连的指向装置指向广播视频的各视频帧中的被摄物体时，执行与指向的被摄物体对应的动作。作为执行的动作，可考虑各种处理，例如，显示与指向的被摄物体相关的主页，把与指向的被摄物体相关的主页追加到书签，以及其他处理等。在本实施例中，将对有关执行把与指向的被摄物体对应的图标图像追加显示在画面上的动作的情况进行说明。

在这种情况下，图30示出了从相关信息提供服务器3001提供的动作表的一例。图30所示的动作表的有效时间是从时刻0到时刻999。事件识别符由时刻信息(t1，t2)以及在该时刻与广播视频显示区域中的被摄物体存储区域对应的长方形区域的左上角的坐标(xa，ya)和右上角的坐标(xb，yb)构成，从而把事件识别符描述为[(t1，t2)，(xa，ya)-(xb，yb)]。如图31所示，广播视频显示区域的分辨率是640×480(VGA)时，事件识别符[(0，299)，(100，100)-(200，200)]是指在时刻0到时刻299之间，对以左上角坐标为(0，0)、并以坐标(100，100)、(200，200)为对角线的长方形区域内进行指向的事件。在此，通常，上述长方形区域内在时刻0到时刻299之间存在作为指向对象的被摄物体A。在图30所示的动作表中，记载有该事件识别符[(0，299)，(100，100)-(200，200)]对应的、把图标A追加显示在画面上这种动作“add icon_A”。

根据图30的动作表，当在时刻0到时刻299之间，对以坐标(100，100)、(200，200)为对角线的长方形区域内进行指向时，执行动作“addicon_A”。以下同样，当在时刻0到时刻299之间，对以坐标(300，300)、(400，400)为对角线的长方形区域内进行指向时，执行把图标B追加显示在画面上这种动作“add icon_B”。当在时刻300到时刻599之间，对以坐标(200，100)、(300，200)为对角线的长方形区域内进行指向时，执行动作“add icon_A”。当在时刻300到时刻599之间，对以坐标(200，300)、(300，400)为对角线的长方形区域内进行指向时，执行动作“addicon_B”。当在时刻600到时刻999之间，对以坐标(300，100)、(400，200)为对角线的长方形区域内进行指向时，执行动作“add icon_A”。当在时刻600到时刻999之间，对以坐标(100，300)、(200，400)为对角线的长方形区域内进行指向时，执行动作“add icon_B”。

通常，作为广播视频显示区域的指向对象的长方形区域内存在作为指向对象的被摄物体。例如，在时刻0到时刻299时，广播视频区域内存在图31所示的被摄物体A和被摄物体B。因此，在上述例子中，当视听者视听广播视频中，如果在从时刻0到时刻299之间指向被摄物体A，则如图32所示，与被摄物体A对应的图标A被追加显示在视听者装置输出信息显示区域内。

并且，在以上各实施例的说明中，由“add icon_X”描述的动作可进一步扩展，并可被描述为“add icon_X URL”。具体来说，可描述为“addicon_A www.ntt.co.jp”。在该例中，该动作相当于一种处理，即：追加显示图标A，并且之后，在任意时间，当图标A被视听者选择时，提示URL地址“www.ntt.co.jp”的信息。

如上所述，根据本实施方式，可采用各种形式定义视听者装置内的事件。例如，当各种按钮操作发生时，当使用鼠标等指向装置进行的操作发生时，或者当来自与视听者装置相连的麦克风的音频输入时可作为事件。并且，如果视听者装置具有用于音频识别的系统，则来自麦克风的规定字被输入时可作为事件。并且，当绝对时刻变为规定时刻时，在任意事件发生后，经过规定时间时，或者这些多种情况同时发生时等可作为事件。

并且，根据本实施方式，用于识别上述事件的事件识别符被事先定义。事件识别符也可针对应用的各服务进行不同定义。因此，作为具体实施方式，如上所述，可采用各种形式提供与电视广播同步的信息提供服务。

并且，在本实施方式中，可取得与视听者信息和终端信息相关的相关信息。例如，视听者信息和终端信息预先从视听者装置被发送到相关信息提供服务器，并且在生成各视听者装置的动作表时，相关信息提供服务器对该视听者信息和终端信息加以考虑。

(效果)

根据根据本实施方式的系统、方法和存储有控制程序的存储介质，视听者装置无需取得在广播中经过多路复用的数据信号，就可针对与广播的规定信道的广播内容同步的事件快速执行处理。因此，视听者装置无需具有从广播接收装置取得在广播中经过多路复用的数据信号的功能。并且，当视听者装置进行按钮操作等时，视听者装置参照已保持在动作表管理装置内的动作表，立即执行与发生事件对应的动作。因此，延迟时间变得极短，并且可防止由于对客户操作的响应迟缓引起的操作性降低。并且，在本发明中，由于针对记述有事件识别符和动作的对应关系的各表格明示了有效期间，因而本实施方式可适应作为同步对象的广播内容的广播时刻或节目构成的动态变化。例如，本实施方式可适用于节目构成总是变化的直播节目等。动作表的有效期间可根据作为同步对象的广播内容的提供者的意图来设定。通过有效地使用有效期间，可认为能够在一定程度上实现与直播节目等同步的事件处理。

并且，根据本实施方式，由于各视听者装置的事件识别符由服务器来管理，因而即便对于相同事件，也可执行适合各视听者装置的不同动作内容。

[第四实施方式]

以下将使用实施例4-1和实施例4-2对本发明的第四实施例进行说明。在本实施例中，视听者装置把部分广播信息发送到相关信息提供服务器，并且相关信息提供服务器根据该部分广播信息检索相关信息，并把该相关信息发送到视听者装置。

(实施例4-1)

参照图33，本发明第四实施方式的带有相关信息提供功能的广播接收系统包括：视听者装置4001，其具有相关信息取得部4011，用于接收来自广播电台4006的包括视频音频在内的广播信息，同时根据来自输入部4012的视听者的相关信息取得指示，发送视听者正在视听的广播信息或者作为通过转换该广播信息而获得的特征量信息的部分广播信息，取得相关信息，并把该相关信息提供给视听者；相关信息提供服务器4002，其与因特网等网络4005相连，用于存储广播信息以及广播信息的相关信息，并用于把与来自视听者装置4001的部分广播信息对应的相关信息发送到视听者装置4001；广播信息存储装置4003，其是VTR等，用于存储由视听者装置4001接收的广播信息；以及内容提供服务器4004，用于针对来自视听者装置4001的访问，把相关信息主页发送到视听者装置4001。并且，尽管为了方便起见，在图中仅示出1台视听者装置4001，然而实际上存在多台。

视听者装置4001是一种具有以下功能的装置，该功能为：接收BS数字广播、CS数字广播、地波数字广播、电缆电视广播、通过IP网络(因特网)的网络广播等广播信号；对音频视频等广播信息进行解码和再生；以及把该广播信息提供给视听者。如果是电视广播，则视听者装置由广播接收天线装置、调谐器装置或STB(机顶盒)、电视等构成。在图33中，视听者装置4001被显示为一种使上述装置一体化的装置。但是，视听者装置4001可构成为使广播接收天线、用于执行对来自广播信号的视频音频等广播信息进行解码的处理的装置、以及用于显示再生视频音频等装置等分离，并且使必要的装置间由有线通信线路或无线通信线路连接。并且，视听者装置4001还构成为包括调制解调器等通信装置，用于通过经由ISDN、模拟电话或其他通信线路与因特网等连接进行通信。并且，如图33所示，视听者装置4001具有广播信息存储装置4003，用于存储VTR等、接收的广播信息，并具有适时再生视听存储的广播信息的功能。并且，以下将对视听者装置4001的内部构成进行说明。

相关信息是指与特定的广播信息相关的信息，并且是由文本、图像、音频、音乐、视频等构成的多媒体信息。例如，当提供电影作为广播信息时，相关信息是指由HTML记述的该电影中的出场人物的简介信息、BGM的标题、作曲者的信息等。当广播信息是CM视频时，相关信息是指由该CM宣传的商品的详细信息、CM的BGM的信息等。或者，相关信息是指用于访问上述多媒体信息内容的地址信息，也就是说，有关该内容的URL(统一资源定位器)。

当相关信息是发给与任意广播信息相关的多媒体信息内容的URL时，视听者装置4001访问相关信息提供服务器4002，并取得作为与通知的广播信息识别信息对应的相关信息的URL。之后，视听者装置4001通过因特网4005访问该URL，从内容提供服务器4004取得主页等信息内容，并把该信息内容提供给视听者。视听者装置4001具有内容信息阅览部4013，作为用于实施该处理的装置。

相关信息提供服务器4002具有：广播信息数据库4021，相关信息数据库4022，广播信息匹配部4023，以及相关信息提供部4024。并且，相关信息提供服务器4002可以实现为与因特网相连的WWW服务器。

广播信息数据库4021将各广播信息与用于识别该广播信息的信息即广播信息识别信息对应起来进行管理。也就是说，如图33所示，对作为存储的广播信息的广播节目视频音频群进行管理，例如，作为分别具有Video 01、Video 02、Video 03、…等名称的文件进行管理。在这种情况下，文件名相当于广播信息识别信息。并且，通过指定各视频音频文件中的视频帧编号，可指定各视频音频文件中的一视频帧。在这种情况下，文件名和视频帧编号相当于广播信息识别信息。并且，广播信息数据库4021内可保持通过实施检索处理所必需的媒体转换或者特征量抽出处理而获得的信息(例如，从音频信号抽出的特征矢量信息等)，以使广播信息匹配部4023在匹配检索广播信息时实现处理高速化。相关信息数据库4022包括图34所示的表格，该表格使存储在广播信息数据库4021内的广播信息识别信息和与该广播信息对应的相关信息对应。在图34所示的例子中，相关信息是指包括相关的信息在内的主页的URL。

广播信息匹配部4023通过从广播信息数据库4021中检索与从视听者装置4001接收的部分广播信息对应的广播信息，指定与该部分广播信息对应的广播信息的广播信息识别信息。相关信息提供部4024参照相关信息数据库4022，取得与指定的广播信息识别信息对应的相关信息，并把该相关信息发送到视听者装置4001。

如图35所示，视听者装置4001包括：相关信息取得部4011，输入部4012，内容信息阅览部4013，广播接收部4014，广播信息解调解码部4015，显示再生部4016，网络通信部4017，以及部分广播信息缓冲器4019。

广播接收部4014是天线，接收来自广播电台4006的广播信息。广播信息解调解码部4015对由广播接收部4014接收的广播信息进行解调解码，并把广播信息输出到显示再生部4016和相关信息取得部4011，并且当广播信息被存储时，还把广播信息输出到广播信息存储装置4003，并且从广播信息存储装置4003输入和再生存储的广播信息。输入部4012具有相关信息取得指示按钮18及其他未示出的各种按钮。如上所述，如果视听者操作相关信息取得指示按钮4018，则相关信息取得部4011从视听者正在视听的广播信息中生成部分广播信息，把该部分广播信息从网络通信部4017经由网络4005发送到相关信息提供服务器4002，经由网络4005取得从相关信息提供服务器4002发送的并由网络通信部4017接收的相关信息，并把包括在该相关信息内的URL输出到内容信息阅览部4013。内容信息阅览部4013使用URL经由网络通信部4017和网络4005访问内容提供服务器4004，通过网络通信部4017接收从内容提供服务器4004发送的相关信息主页，并把该主页输出到显示再生部4016。显示再生部4016由CRT、LCD等显示装置和显示电路构成，并显示作为广播信息的视频音频或相关信息主页等。部分广播信息缓冲器4019临时存储被视听的视频音频。

以下将对本实施方式的带有相关信息提供功能的广播接收系统的动作进行说明。

如果视听者在视听广播信息中操作相关信息取得指示按钮4018，则相关信息取得部4011把正在视听的广播信息或者通过转换该广播信息而获得的特征量信息作为部分广播信息发送到相关信息提供服务器4002。并且，当视听者获得与在任意时刻正在再生视听的、存储在广播信息存储装置4003内的广播信息对应的相关信息时，相关信息取得部4011把在上述任意时刻正在再生视听的、存储在广播信息存储装置4003内的广播信息，或者通过对在上述任意时刻正在再生视听的、存储在广播信息存储装置4003内的广播信息进行转换而获得的特征量信息作为部分广播信息发送到相关信息提供服务器4002。在此，假定相关信息是发给实际用于提供与广播信息相关的信息的主页等URL。在相关信息提供服务器4002中，如果部分广播信息由视听者装置4001通知，则广播信息匹配部4023通过检索广播信息数据库4021，指定与该部分广播信息对应的广播信息的广播信息识别信息。相关信息提供部4024通过参照图34所示的表格，取得与该广播信息识别信息对应的相关信息(即URL)群，并把该相关信息群通知给视听者装置4001。视听者装置4001的相关信息取得部4011把取得的相关信息提供给视听者。

在此，作为相关信息取得部4011的实现例，视听者对设置在视听者装置4001内的相关信息取得指示按钮4018等输入装置进行操作，视听者装置4001在相关信息取得被指示时访问相关信息提供服务器4002，把部分广播信息通知给相关信息提供服务器4002，从相关信息数据库4022取得与该部分广播信息对应的广播信息识别信息相关的相关信息，并把该相关信息提供给视听者。除此之外，还可实现为：(1)视听者装置依次连续地访问相关信息提供服务器4002，从相关信息管理数据库4022依次取得与视听者正在视听或正在再生视听的广播信息相关的全部相关信息，并把该全部相关信息提供给视听者；(2)视听者装置4001具有所谓的书签用按钮、相关信息取得指示按钮4018以及存储器(存储装置)，并且在视听者操作书签用按钮进行书签操作时的部分广播信息由存储器存储。然后，当视听者操作相关信息取得指示按钮4018指示相关信息取得时，视听者装置访问相关信息提供服务器4002，把存储在存储器内的部分广播信息通知给相关信息提供服务器4002，从相关信息数据库4022取得与该部分信息对应的广播信息识别信息群相关的相关信息群，并把该相关信息群提供给视听者。

并且，当广播信息匹配部4023通过从广播信息数据库4021中检索与从视听者装置4001接收的部分广播信息对应的广播信息，指定与该部分广播信息对应的广播信息的广播信息识别信息时，假定使用在K.Kashino、G.Smith和H.Murase：“Time-series active search for quickretrieval of audio and video”(用于瞬时检索音频和视频的时间序列有源检索法)，Proc.of ICASSP-99，Vol.6，PP.2993-2996，Mar.1999，或者在柏野邦夫和村濑洋：“音や映像を瞬時に探す時系列アクテイブ探索法”，NTTR&D，Vol.49，No.7，2000，PP.407-413内记载的方法。上述方法用于从广播等长时间音频或者广播中高速检测特定的节目标题或CM等、目标声音或视频的有无以及对应位置。当检索音频时，根据作为检索对象的整个音频以及检索的音频的特征矢量的直方图，进行检索。当使用该方法时，部分广播信息相当于在包括作为相关信息取得对象的时刻的一定时间视听的视频音频中的音频数据，或者相当于从该音频信号中抽出的特征矢量。当设置在视听者装置4001内的相关信息取得部4011把特征矢量作为部分广播信息发送到相关信息提供服务器4002时，相关信息取得部4011也具有从音频信号中抽出特征矢量的功能。

作为部分广播信息，除了上述音频信号或者从音频信号中抽出的特征矢量以外，还可使用视频帧数据、视频序列数据(一系列连续的帧数据)、以及从彩色直方图等视频信号中抽出的各种特征量。

以下将对在本实施方式中，在视听者视听中取得与广播相关的信息时的系统的具体动作进行说明。

首先，当视听者正在使用视听者装置4001再生视听广播中的广播视频音频、或者再生视听存储在广播信息存储装置4003内的广播视频音频时，相关信息取得部4011总是在部分广播信息缓冲器4019内，对到a时间前视听的视频音频进行缓冲。在此，假定视听者对正在视听的视频音频内容感兴趣，并且操作相关信息取得指示按钮4018。结果，相关信息取得部4011把部分广播信息通过网络通信部4017发送到相关信息管理服务器4002。该部分广播信息是在从操作相关信息取得指示按钮4018的时刻t之前的a小时到时刻t这段期间，即在从时刻t-a到时刻t这段时间视听的广播视频音频的音频信号。

相关信息提供服务器4002的相关信息提供部4024把接收的部分广播信息发送到广播信息匹配部4023。广播信息匹配部4023利用接收的部分广播信息即音频信号，从广播信息数据库4021检索与该部分广播信息对应的广播信息。检索的结果，例如，假定从视频文件Video 01的帧1到帧3的视频序列适合于接收的部分广播信息。在此，由于接收的部分广播信息相当于在从视听者操作相关信息取得指示按钮4018的时刻t之前的a小时到时刻t这段期间，即在从时刻t-a到时刻t这段时间视听的广播视频音频的音频信号，因而与适合的视频序列中的最后时刻对应的视频帧相当于在视听者操作相关信息取得指示按钮4018的时刻t时正在视听的视频帧。广播信息匹配部4023进行上述判断。结果，“文件名：Video 01，帧编号：002”信息作为广播信息识别信息通知给相关信息提供部4024。相关信息提供部4024参照图34所示的相关信息数据库4022，并把“http://www.aaa.co.jp./proagram information.html”URL作为与接收的广播信息识别信息“文件名：Video 01，帧编号：002”对应的相关信息发送到视听者装置4001。

视听者装置4001把接收的URL发送到内容信息阅览部4013。内容信息阅览部4013访问由该URL地址指定的内容提供服务器4004，取得相关信息主页，并通过显示再生部4016把该主页提供给视听者。

(实施例4-2)

在上述例中，当视听者指定任意广播信息时提供的相关信息基本上与视听者的属性无关。并且，对于同一广播信息，同一相关信息被提供给全部视听者。

在本实施方式中，与上述各实施方式相同，可根据视听者信息或视听者装置的终端信息，针对各视听者和各视听者装置，提供不同的相关信息。在本实施方式中，以下将使用实施例4-2，对针对各视听者和各视听者装置提供不同的相关信息的构成进行详细说明。

与第一实施方式相同，视听者信息是指与视听者相关的信息，视听者信息包括任意多项下列信息，即：姓名，性别，年龄，职业，住所，邮政编码，家族构成，与居住相关的信息(公寓，独户住宅等)，爱好，感兴趣信息类型(政治，经济，新闻，计算机，书籍，体育，旅行等)，年收入，表明是否是各种服务的会员的信息以及会员编号或者信用卡ID、各种资格(驾驶执照等)持有的有无，与体形相关的信息(体重，身高，衣服尺寸等)，与能力相关的信息(视力，听力等)等。

终端信息(视听者装置信息)是指：视听者装置的显示装置的分辨率，可显示颜色数，WWW信息阅览装置的性能(Java功能利用可否，视频音频内容再生功能的有无，可使用视频音频内容再生的编码格式信息等)等信息。

以下将参照图36和图37，对用于根据视听者信息或视听者装置的终端信息，针对各视听者和各视听者装置提供不同相关信息的情况下，对与实施例4-1的不同点进行说明。

在本实施例中，如图37所示，视听者装置具有存储部4030，用于存储保持视听者信息和终端信息。并且，输入部4012把用于输入视听者信息的功能提供给视听者。视听者事先通过输入部4012输入各种视听者信息，输入的视听者信息被保持在存储部4030内。

并且，终端信息在终端制造时被保持在存储部4030内，或者在显示再生部4016被连接时，从显示再生部4016被通知给存储部，并被保持在存储部4030内。

并且，在本实施例中，保持在相关信息数据库4022内的相关信息由URL等相关信息主体及其属性信息构成。属性信息是指可作为该相关信息提供对象的视听者的特性，即：性别，年龄，体形特性，能力特性，职业，地区，邮政编码群，家族构成特性，住居特性，年收入，以及该相关信息所属的信息类型，与利用该相关信息所必需的服务利用权利和资格相关的信息，作为提供对象的终端的特性，即：显示装置的分辨率特性，可显示颜色数，内容信息阅览部4013的性能等。

当相关信息主体是URL时的相关信息例如有如下信息：

相关信息例1：“URL1，(女性用)，(对象年龄20以上)，(1024×800以上)，(256色以上)”

相关信息例2：“URL2，(衣服尺寸M)，(Java功能必要)”

相关信息例3：“URL3，(职业：主妇)，(东京都)”

相关信息例4：“URL4，(女性用)，(视力0.8以下)”

相关信息例5：“URL5，(女性用)，(类型：体育)”

在本例中，例如，在相关信息例1中，实际相关信息是指面向女性的香烟的广告信息，该内容不面向未满20岁的女性，并且也不面向男性。相关信息例2是衣服的广告信息，相关信息例3是东京都内的超级市场的商品信息，相关信息例4是女性用眼镜的广告信息。相关信息5是体育用品的广告等。

如图36所示，在上述实施例中，当视听者装置4001的相关信息取得部4011把部分广播信息发送到相关信息提供服务器4002时，相关信息取得部4011把视听者信息和终端信息或者上述任一信息与部分广播信息一起发送。

相关信息提供服务器4002的相关信息提供部4024根据上述实施例中所述的过程，根据部分广播信息指定广播信息识别信息，并且还指定对应的相关信息。之后，相关信息提供部4024参照附加给对应相关信息的视听者信息和终端信息，根据这些信息选择相关信息，并把所选的相关信息发送到视听者装置。

具体来说，与广播信息识别信息对应的相关信息在上述相关信息例1～4中示出。该广播信息识别信息由视听者装置4001根据在相关信息提供服务器4002内接收的部分广播信息指定。当视听者信息是(女性)，并且终端信息是(分辨率800×600)和(Java不可用)时，相关信息提供部4024把以分辨率需要在1024×800以上为条件的相关信息例1和以需要Java功能为条件的相关信息例2除外，并把剩余的URL3、URL4和URL5发送到视听者装置4001。

并且，当上述视听者信息是(女性)、(京都府)、(视力1.5)、(兴趣种类：书籍)，并且上述终端信息是(分辨率1024×800)和(Java可用)时，相关信息提供部4024把对象地区是东京都的相关信息例3、对象视听者的视力在0.8以下的相关信息例4、以及种类被指定并且该种类是除书籍以外的相关信息例5除外，并把剩余的URL1和URL2发送到视听者装置4001。

除上述例以外，当(仅可用于A服务会员)的信息作为属性信息被附加给相关信息，并且A服务会员编号作为视听者信息被包括时，该相关信息可被发送到视听者装置4001。并且，当(需要驾驶执照)的信息作为属性信息被附加给相关信息，并且(有驾驶执照)的信息作为视听者信息被包括时，该相关信息可被发送到视听者装置4001。

并且，当(mpeg2形式)的信息作为属性信息被附加给相关信息，并且(可再生编码方式：mpeg2)的信息作为视听者信息被包括时，该相关信息可被发送到视听者装置。

在上述实施例4-2中，通过利用视听者信息和终端信息，对于视听者没有必要的相关信息，以及在视听者利用的视听者装置中不能利用的相关信息都不予发送，而是仅把被认为对于视听者所必需的信息或者视听者可利用的信息提供给视听者。

(效果)

如上所述，根据本实施方式，无需为了提供相关信息把必要信息附加给广播视频音频等特别处理。并且，在临时存储广播视频音频并且再生视听广播视频音频时，也可实现通过网络提供与广播视频音频相关的相关信息的服务。

[第五实施方式]

以下将对本发明的第五实施方式进行说明。在本实施方式中，通过利用叠加在广播音频上的帧ID等，可实现与广播图像帧正确同步的服务。

作为这种服务，例如，有以下服务，即：如果用户在视听电视广播中按下手头的视听者装置上的按钮，则与在按下按钮时显示在电视上的视频内容相关的相关信息可通过网络被获得，并且可在视听者装置中利用。

而且，还可实现用于使以下动作发生的服务，即：在教育节目等视听中，在视听者装置的显示装置上显示有在该教育节目中用于说明的教科书，并且配合节目的进行，翻动书页、画下划线，显示表示解说对象的地方的指针等动作。

为了实现上述服务，有必要使视听者装置在任意时刻都能把握用户正在视听的广播内容。也就是说，在本实施方式中，视听者装置总是通过使用叠加在音频上的帧ID等把握以下信息，即：表示用户正在视听电视的什么频道，或者什么视频当前正显示在电视上等信息。因此，例如，在以下服务，即：在视听者装置内按下按钮时取得与正在视听的视频相关的相关信息这种服务中，在切换显示在电视上的视频场面从而使其内容变化时，可瞬时切换作为取得对象的相关信息。

并且，在本实施方式中的“相关信息”这一用语用来表示用于取得与广播信息相关的内容的信息，此外，该用语还用来表示与广播信息相关的内容本身。

图38是示出本发明第五实施方式的广播同步型服务提供系统全体的构成例的图。数字符号5001表示广播电台，5002表示发送装置，5003表示信号附加装置，5004表示视频，5005表示音频，5006表示广播，5007表示广播接收装置，5008表示视频/音频存储装置，5009表示视听者装置，5010表示麦克风(MIC)，5011表示数据信号抽出装置，5012表示输出装置，5013表示输入装置，5014表示与网络相连的连接线。

图38所示的广播同步型服务提供系统在用于广播音频和视频的广播电台侧具有信号附加装置5003，用于把至少包括信道ID以及图像帧ID或音频帧ID这两者的在内的数字数据信号叠加在广播波的模拟音频波上。

为了把数据信号叠加到音频波上，可采用：例如当广播视频的帧率是30帧/秒时，每1/30秒使数据信号依次叠加等方法。作为这种使用信号附加装置把数据信号叠加在音频上的方法，例如，可使用数据隐藏技术(参照日経エレクトロニクス，No.683(1997)，pp.99～125，149～162)。

作为用于把数据信号叠加在音频信号上的方法的例子，有以下方法等。一种方法是：发送侧与二进制数据信号的“0”、“1”对应，删除音频信号的特定频率分量(带宽)，并发送音频信号；接收侧检测从该音频信号中删除的频率分量，从而再生二进制数据序列。另一方法是：发送侧在音频信号的带宽外发送与二进制数据信号的“0”、“1”对应的特定频率分量；接收侧对附加给该音频信号的带宽外的频率分量进行检测，从而再生二进制数据序列。

在图38中，广播接收侧具有：广播接收装置，用于再生广播音频和视频；上述广播接收装置5007；以及视听者装置5009，其不具有通信线路等通信装置。

图39是示出视听者装置的构成例的图。视听者装置5009具有：麦克风5010，用于收集由广播接收装置的扬声器再生的广播信息的音频；数据信号抽出装置5011，用于从由该麦克风输入的音频中抽出叠加的信号，并用于对信道ID和图像帧ID进行确认；以及通信装置5015，用于与网络上的相关信息内容提供服务器进行通信。

并且，视听者装置5009还具有：存储装置5016，用于存储各处理所必需的数据；显示器等输出装置5012，用于在利用时把从网络上的服务器提供的相关信息等显示给用户；鼠标和键盘等输入装置5013，用于输入用户操作终端所必需的信息；以及控制装置5017，用于控制这些装置。

在本实施方式的广播同步型服务提供系统中，如图39所示，在广播电台侧，如上所述，数据信号被叠加在广播信息的音频上，并且该音频与广播信息的视频一起被广播。另一方面，视听者装置通过使用图39中所示的数据信号抽出装置(信道ID和图像帧的识别装置)，抽出叠加在广播信息的模拟音频波上的数据信号，从而可正确把握用户当前正在视听的广播信息的状态，也就是说，可对用户正在观看什么广播信道的什么场面进行正确把握。

因此，上述视听者装置通过与用于提供与网络上等存在的上述广播信息相关的相关信息的服务器进行通信，可把广播同步型服务提供给用户。在此，如上所述，广播同步型服务是指，例如，用于把与正在视听的节目进行(实际上，音频和图像帧的变化)同步变化的相关信息依次提供给用户的服务，或者用于通过在用户感兴趣的场面中按下按钮等，对上述场面中的相关信息进行标记，之后使用户能阅览该相关信息等服务。

并且，通过把可用于存储和再生广播信息的装置与上述系统中的广播接收装置相连，并利用该存储再生装置，用户不仅可针对当前正在广播的广播节目，而且可针对曾经存储的广播节目，随时都能自由利用上述服务。以下将对本广播同步型服务提供系统的动作进行说明。

图40示出了第五实施方式的实施例构成图。在该图中，数字符号5001表示广播电台，5007表示广播接收装置，5008表示视频/音频存储装置，5009表示视听者装置，5010表示麦克风(MIC)，5011表示数据信号抽出装置，5018表示输出装置，5019表示输入装置，5014表示与网络相连的连接线，5020表示广播信息数据库，5021表示广播信息相关信息附加装置，5022表示广播信息数据库构建装置，5023a～5023d表示相关信息内容提供服务器(a)～(d)。

在本发明的广播同步型服务提供系统中，制作的广播信息作为节目由广播电台侧的广播装置向一般用户广播。此时，数据信号由信号附加装置叠加在上述广播信息中的音频上，该数据信号包括：广播信道可唯一识别的信道ID，以及图像帧可唯一识别的图像帧ID。

以上处理是针对作为广播同步型服务对象的所有广播信息进行的。因此，通过抽出叠加在作为上述服务对象的所有广播信息上的数据信号，可对当前正在视听的广播信道和图像帧进行唯一识别。

另一方面，在广播接收侧，通过利用电视等广播接收装置5007，可照旧视听被广播的广播节目。然后，用户通过起动视听者装置5009，可接收广播同步型服务。如果该视听者装置5009起动，则视听者装置5009使用麦克风10收集从广播接收装置5007的扬声器输出的音频。

视听者装置5009使用数据信号抽出装置，从收集的音频中对信道ID和图像帧ID进行确认。此时，视听者装置根据确认的信道ID，从与分布在网络上的各广播信道的各广播信息相关的相关信息内容提供服务器中，指定与当前正在视听的广播信道的广播信息相关的相关信息内容提供服务器。之后，视听者装置通过网络访问上述相关信息内容提供服务器，并发送图像帧ID。

相关信息内容提供服务器对由广播信息数据库构建装置5022和相关信息附加装置5021等构建的广播信息数据库进行管理。该广播信息数据库设有表格，在该表格中，各图像帧ID与音频、视频、字符、以及发往服务终端的执行命令等各种相关信息相关。通过指定图像帧ID，可容易指定一组相关的相关信息。

因此，相关信息内容提供服务器通过接收从与客户对应的用户侧的视听者装置发送的图像帧ID的信息，可正确把握用户当前正在视听的场面。因而，相关信息内容提供服务器可把与场面对应的相关信息发送到上述视听者装置。通过依次重复上述操作，用户可接收与当前正在视听的广播信息正确同步的相关信息的提供。因此，可实现广播同步型服务。

并且，在本发明的广播同步型服务提供方法中，上述广播同步型服务提供系统的动作是基本动作，再通过指定图像帧ID的形式，可提高视听者装置在把握用户当前正在视听的广播信息时的可靠性。

图41示出了包括信道ID和图像帧ID在内的数据结构。如上所述，假定信道ID和图像帧ID可由广播信道和图像帧唯一识别，其中，假定图像帧ID是时间序列连续数字。如上所述，视听者装置使用麦克风收集从广播接收装置的扬声器再生的音频，并使用数据信号抽出装置，对信道ID和图像帧ID进行依次识别。

图42示出了用于对上述两个ID进行确认时的实际处理流程。如果视听者装置起动，则视听者装置设定两个值即“最后信道ID”和“最后图像帧ID”，作为初始值。此时设定的初始值，例如，如果是“最后信道ID”的值，则认为是就在上次视听结束前看到的信道ID，或者是预定的信道ID等，如果是“最后图像帧ID”的值，则认为是“0”等值。

上述视听者装置从音频中依次抽出数据信号，并对信道ID和图像帧ID进行识别(步骤S1)，然后根据上述两个ID是否被正确确认，执行以下处理。首先，当信道ID被正确确认时，上述信道ID被用作当前再生的广播信道的信道ID(步骤S2)。当数据信号未从音频中被正确抽出，并且信道ID未被确认时，“最后信道ID”的值被视为当前再生的广播信道的信道ID，并被利用(步骤S3)。然后，当前信道帧ID被存储(步骤S4)。

另一方面，对于图像帧ID的识别(步骤S5)，当图像帧ID被正确确认时，与信道ID同样，上述图像帧ID被用作当前再生的图像的图像帧ID(步骤S6)。另一方面，当图像帧ID未被确认时，由于上述图像帧ID是时间序列连续数字，因而“最后图像帧ID”的值加上1后的值被视为当前再生的图像的图像帧ID，并被利用(步骤S7)。然后，当前图像帧ID被存储(步骤S8)。

信道ID和图像帧ID在被用作当前值之后，被分别设定为“最后信道ID”的值和“最后图像帧ID”的值(步骤S9)。然后，数据信号从下一区间的音频中被抽出(步骤S10)。因此，在依次进行的处理的流程中，总是可保持和利用最新利用的值。如上所述，通过决定图像帧ID并遵循处理流程，即使在同一节目视听中不能从音频中正确抽出数据信号的情况下，由于可内插图像帧ID，因而可维持服务的提供。

以下以某个电视节目为例，把本广播同步型服务提供方法作为应用于电视广播时的具体实施例进行说明。假定用于广播该电视节目的广播电台具有一种装置，用于事先把数据信号叠加在音频上，并且假定上述广播电台的信道ID是“a”，并且图像帧ID从“1”开始。

并且，在此假定以视听者装置起动后的数据信号抽出装置的结果为基础的信道ID和图像帧ID的确认结果如图43所示。并且假定：用于存储“最后信道ID”的值的变量是“LAST-CH-ID”，用于存储“最后图像帧ID”的值的变量是“LAST-FRAME-ID”，用于存储“当前信道ID”的值的变量是“CH-ID”，以及用于存储“当前图像帧ID”的值的变量是“FRAME-ID”。

首先，当用户正在视听该电视节目时，如果视听者装置起动，则作为初始值，例如，假定“LAST-CH-ID”被设定为“z”，并且“LAST-FRAME-ID”被设定为“0”。然后，上述服务终端最初使用数据信号抽出装置进行识别的结果如图43所示，由于信道ID被正确确认为“a”，并且图像帧ID被正确确认为“1000”(步骤1)，因而“CH-ID”被设定为“a”，并且“FRAME-ID”被设定为“1000”。并且，“AST-CH-ID”被设定为“a”，并且“LAST-FRAME-ID”被设定为“1000”。

但是，随后进一步使用数据信号抽出装置获得的结果如图43所示，信道ID和图像帧ID都变为“不明”(步骤2)。因此，根据上述图42的处理流程，通过参照“LAST-CH-ID”，把“CH-ID”设定为“a”，并且通过参照“LAST-FRAME-ID”并加上1，把“FRAME-ID”设定为“1001”。然后，把这些值分别作为“LAST-CH-ID”和“LAST-FRAME-ID”的新值。

图44示出了按照该过程，针对图43的数据信号抽出处理结果获得的各变量的值。另一方面，视听者装置根据针对处理流程的结果获得的“CH-ID”的值，通过网络访问与广播内容相关的相关信息内容提供服务器，并依次发送“FRAME-ID”。

相关信息内容提供服务器把事先与接收的“FRAME-ID”相关的字符数据、音频数据、图像数据或者存在相关信息的URL等发送到服务终端。服务终端对这些数据进行显示、再生和描绘，或者使用浏览器打开URL。

例如，如果节目内容是英语会话，则可配合广播信息中人物发音的文章，把字符数据作为文本显示，并在重要文章中画下划线等，可将这种相关信息的变化作为例子举出。

并且，如上所述，尽管对电视广播那样的视频和音频同时广播的情况作了描述，然而，本发明不仅对视频和音频同时广播这种情况有效，而且对收音机那样的仅音频广播也有效。在这种情况下，由于不存在图像帧，因而使用音频帧ID，而不使用图像帧ID。音频帧ID是被唯一分配给按一定时间间隔划分的音频的各区间的识别符。

并且，尽管在以上说明中，对以下构成作为描述，即：视听者装置使用麦克风接收来自电视接收机等广播接收装置的扬声器的音频输出，并把该音频输出转换为电信号，然后从该电信号中抽出图像帧ID和音频帧ID，作为数据信号。然而，也可采用以下构成，即：当从电视接收机等广播接收装置中直接取出音频电信号时，不使用麦克风，而直接从该音频电信号中抽出叠加的数据信号。

在本实施方式中，也可根据视听者信息以及视听者装置的终端信息，针对各视听者和各视听者装置提供不同的相关信息。例如，与实施例4-2中说明的方法相同，当视听者装置向相关信息内容提供服务器请求相关信息时，视听者装置把视听者信息和终端信息与帧ID等一起发送。相关信息内容提供服务器选择与该视听者信息和终端信息相关的相关信息，并把所选的相关信息提供给视听者装置。

(效果)

根据本实施方式的发明，即使视听者装置不具有用于与电视接收机和收音机等广播接收装置进行数字信号通信的通信线路等通信装置，视听者装置也可抽出叠加在广播信息的音频上的数据信号，并可对信道ID和图像帧ID或音频帧ID进行识别，因而可对当前正在视听的广播信道和图像帧进行识别，从而可实现需要使广播内容和网络上等相关信息内容正确同步的服务。

并且，即使在非实时视听时，也就是在预先存储了广播音频视频并在自己喜欢时视听的构成的系统中，通过连接可存储和再生广播信息的装置，并且通过使用上述装置再生视频和音频，可对广播信道和图像帧或音频帧ID进行识别，从而可接收与实时视听时相同的服务提供。

并且，当视听者装置使用麦克风收集从广播接收装置再生的音频时，即使在由于杂音等影响而不能从音频中正确抽出数据信号，从而暂时不能确认图像帧ID的情况下，由于可内插丢失的图像帧ID或音频帧ID，因而可在同一广播节目视听中，继续维持上述需要使广播信息和相关信息正确同步的服务的提供，而不会使该服务提供在途中中断。

也就是说，如上所述，根据本实施方式，在与广播视频视听装置单独设置，并且不具有可从广播接收装置直接取得在广播上多路复用的数据信号的功能等的视听者装置中，可提供与当前正在视听中的广播节目内容的变化正确同步的相关信息的服务。也就是说，即使用户不与广播视频同步操作视听者装置，也能自动和定时更新相关信息，从而可提高广播同步型服务的操作性。

并且，根据本实施方式的广播同步型服务提供方法，通过把图像帧ID设定为连续数字，即使在视听者装置中从音频中抽出图像帧ID失败，也能根据时间差内插和利用图像帧ID。并且，即使是存储装置曾经存储的存储视频，通过利用同时也存储有音频这一情况，也可在用户喜欢的时间接收上述广播同步型服务的提供。

并且，上述各实施方式中的本发明的视听者装置和相关信息提供服务器等均可使用具有CPU、存储器、硬盘、CD-ROM等计算机构成。在各个视听者装置和相关信息提供服务器等内的各种功能可使用装在各装置或服务器内的程序来实现。该程序可从CD-ROM等存储介质安装到计算机内，也可通过网络下载到计算机内。

如上所述，根据本发明，广播信息或存储信息的视听者可从与网络相连的服务器等中容易取得与该广播信息或存储信息相关的信息或内容。

本发明不限于上述实施例，并可在权利要求范围内进行种种变更和应用。

Claims (19)

1.一种相关信息提供方法，该方法用于在下述系统中使视听者装置取得下述相关信息，在该系统中，视听者装置和相关信息提供服务器通过网络连接，该相关信息提供服务器提供与广播信息相关的信息即相关信息；其特征在于，

视听者装置对到规定时间前视听的广播信息进行缓冲，以及把在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息发送到相关信息提供服务器；以及

相关信息提供服务器使用该部分广播信息取得与该广播信息相关的相关信息，并把该相关信息发送到上述视听者装置。

2.根据权利要求1所述的相关信息提供方法，其特征在于，

上述相关信息提供服务器还存储：视听者信息，用于表示可作为该相关信息提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；

视听者装置除了上述部分广播信息之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到上述相关信息提供服务器；

该相关信息提供服务器在取得相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息发送到视听者装置。

3.一种相关信息提供方法，该相关信息提供方法用于取得与广播信息相关的信息即相关信息，并把该相关信息提供给视听者；其特征在于：

把广播信息存储在广播信息数据库内，并把各广播信息的相关信息存储在相关信息数据库内；

从上述广播信息数据库中检索与部分广播信息对应的广播信息，该部分广播信息是指对视听者到规定时间前视听的广播信息进行缓冲以及把视听者在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息；再通过使用该广播信息检索上述相关信息数据库，取得该广播信息的相关信息，并把该相关信息提供给视听者。

4.根据权利要求3所述的相关信息提供方法，其特征在于，上述部分广播信息是指在包括由视听者输入相关信息取得指示的时刻的一定期间视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息。

5.根据权利要求3所述的相关信息提供方法，其特征在于，上述广播信息数据库使用用于识别该广播信息的信息即广播信息识别信息来管理各广播信息；上述相关信息数据库将上述广播识别信息和与该广播信息对应的相关信息对应起来进行管理；通过检索上述广播信息数据库，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及参照上述相关信息数据库，取得与上述广播信息识别信息对应的相关信息，并把该相关信息提供给视听者。

6.根据权利要求3所述的相关信息提供方法，其特征在于，

上述相关信息数据库除了上述相关信息之外还管理：视听者信息，用于表示可作为其提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；

在指定相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息提供给视听者。

7.一种相关信息提供方法，该相关信息提供方法用于取得与存储的广播信息相关的信息即相关信息，并把该相关信息提供给视听者；其特征在于：

把广播信息存储在广播信息数据库内，并把各广播信息的相关信息存储在相关信息数据库内；

从上述广播信息数据库中检索与部分广播信息对应的广播信息，该部分广播信息是指对视听者到规定时间前视听的广播信息进行缓冲以及把视听者在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息；再通过使用该广播信息检索上述相关信息数据库，取得该广播信息的相关信息，并把该相关信息提供给视听者。

8.根据权利要求7所述的相关信息提供方法，其特征在于，上述广播信息数据库使用用于识别该广播信息的信息即广播信息识别信息来管理各广播信息；上述相关信息数据库将上述广播识别信息和与该广播信息对应的相关信息对应起来进行管理；通过检索上述广播信息数据库，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及参照上述相关信息数据库，取得与上述广播信息识别信息对应的相关信息，并把该相关信息提供给视听者。

9.根据权利要求7所述的相关信息提供方法，其特征在于，

上述相关信息数据库除了上述相关信息之外还管理：视听者信息，用于表示可作为其提供对象的视听者的特性；以及视听者装置信息，用于表示作为相关信息提供对象的终端的特性；

在指定相关信息之后，根据该视听者装置固有的视听者信息或者视听者装置信息来选择相关信息，并把选择的相关信息提供给视听者。

10.一种带有相关信息提供功能的广播接收系统，该系统具有：一台以上的视听者装置，以及相关信息提供服务器；

该视听者装置具有下列装置：

接收包括视频和音频的广播信息，并把该广播信息提供给视听者的装置；以及

通过规定网络发送部分广播信息，并且取得通过上述网络发送的相关信息的装置，其中该部分广播信息是指对视听者到规定时间前视听的广播信息进行缓冲以及把视听者在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息；

该相关信息提供服务器具有：

广播信息数据库，其与上述网络相连，用于将各广播信息和用于识别该广播信息的信息即广播信息识别信息对应起来进行管理；相关信息数据库，用于将存储在上述广播信息数据库内的广播信息识别信息和与该广播信息对应的相关信息对应起来进行管理；检索指定装置，用于通过从上述广播信息数据库中检索与上述视听者装置发送的上述部分广播信息对应的广播信息，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及取得发送装置，用于参照上述相关信息数据库，取得与上述指定的广播信息识别信息对应的相关信息，并把该相关信息发送到上述视听者装置。

11.根据权利要求10所述的系统，其特征在于，

上述相关信息数据库除了上述相关信息之外还管理：视听者信息，其表示可作为其提供对象的视听者的特性；以及视听者装置信息，其表示作为相关信息提供对象的终端的特性；

上述相关信息提供服务器还具有选择提供装置，用于在指定相关信息之后，根据上述视听者装置固有的视听者信息或者视听者装置信息选择相关信息，并把选择的相关信息提供给视听者。

12.根据权利要求10所述的系统，其特征在于，上述部分广播信息是指在包括输入上述相关信息取得指示的时刻的一定期间内视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息。

13.一种视听者装置，该视听者装置具有：

广播接收装置，用于接收广播信息；

广播信息解调解码装置，用于对由上述广播接收装置接收的广播信息进行解调解码；

输入装置，用于使视听者输入包括相关信息取得指示的各种指示；

网络通信装置，用于通过规定网络，与存储有与各广播信息对应的相关信息的相关信息提供服务器进行通信；

相关信息取得装置，用于把部分广播信息通过上述网络通信装置发送到上述网络，该部分广播信息是指对视听者到规定时间前视听的广播信息进行缓冲以及把视听者在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息；然后通过上述网络通信装置接收相关信息，该相关信息是通过上述网络从上述相关信息提供服务器发来的，并与上述部分广播信息对应；以及

显示再生装置，用于对从上述广播信息解调解码装置输出的广播信息以及由上述相关信息取得装置接收的相关信息进行显示再生。

14.根据权利要求13所述的视听者装置，其特征在于，

上述视听者装置还具有广播信息存储装置，用于存储从上述广播信息解调解码装置输出的广播信息；

上述相关信息取得装置通过上述网络通信装置把部分广播信息发送到上述网络，该部分广播信息是指在视听者对存储在上述广播信息存储装置内的广播信息进行再生视听中，由上述输入装置输入相关信息取得指示时，在输入该指示时正在再生视听的广播信息，或者是指通过转换该广播信息而获得的特征量信息。

15.根据权利要求13或14所述的视听者装置，该视听者装置还具有书签用按钮，其特征在于，该视听者装置把在视听者操作上述书签用按钮来使用书签时的部分广播信息存储在存储器内，并且上述相关信息取得装置在视听者输入相关信息取得指示时，访问上述相关信息提供服务器，并把存储在上述存储器内的部分广播信息通知给上述相关信息提供服务器。

16.根据权利要求13或14所述的视听者装置，其特征在于，上述视听者装置还具有一装置，该装置用于除了上述部分视频信息之外，还把该视听者装置固有的视听者信息或者视听者装置信息发送到上述相关信息提供服务器。

17.根据权利要求13或14所述的视听者装置，其特征在于，上述相关信息用于指定与广播信息相关的信息，并且包括为访问该信息必要的地址信息；上述相关信息取得装置取得上述地址信息；该视听者装置还具有信息访问/阅览装置，用于访问由该地址信息指定的相关信息提供服务器，取得相关信息，并且通过上述显示再生装置显示该相关信息。

18.一种相关信息提供服务器，其特征在于，该相关信息提供服务器与规定网络相连，该相关信息提供服务器具有：

广播信息数据库，用于将各广播信息与用于识别该广播信息的信息即广播信息识别信息对应起来进行管理；

相关信息数据库，用于将存储在上述广播信息数据库内的广播信息识别信息和与该广播信息对应的相关信息对应起来进行管理；

检索指定装置，用于通过从上述广播信息数据库中检索与视听者装置通过上述网络发送的部分广播信息对应的广播信息，指定与上述部分广播信息对应的广播信息的广播信息识别信息；以及

取得发送装置，用于参照上述相关信息数据库，取得与上述指定的广播信息识别信息对应的相关信息，并把该相关信息发送到上述视听者装置；

上述部分广播信息是指对视听者到规定时间前视听的广播信息进行缓冲以及把视听者在从操作相关信息取得指示按钮的时刻t之前的上述规定时间到时刻t这段期间视听的广播信息作为部分广播信息。

19.根据权利要求18所述的相关信息提供服务器，其特征在于，上述相关信息数据库除了上述相关信息之外还管理：视听者信息，其表示可作为其提供对象的视听者的特性；以及视听者装置信息，其表示作为相关信息提供对象的终端的特性；

上述相关信息提供服务器在指定相关信息之后，根据上述视听者装置固有的视听者信息或者视听者装置信息选择相关信息，并把选择的相关信息提供给视听者。

Images