DE10064543B4

DE10064543B4 - Method for controlling a multimedia system

Info

Publication number: DE10064543B4
Application number: DE10064543A
Authority: DE
Inventors: Thomas Bauer
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-12-22
Filing date: 2000-12-22
Publication date: 2007-05-03
Anticipated expiration: 2020-12-23
Also published as: DE10064543A1

Abstract

Verfahren zur Steuerung eines Multimedia-Systems (2) für die Visualisierung von sich zeitlich ändernden Bildern, die durch eine sich zeitlich ändernde Bildinformation (5) erzeugt werden, bei dem die akustische Eingabe von Begriffen über wenigstens ein Mikrofon (9) und ein Spracherkennungssystem (10) erfolgt und bei dem bei einer Übereinstimmung des akustisch eingegebenen Begriffes mit einem Steuerelement von Index-Daten eine diesem Steuerelement zugeordnete Funktion veranlasst wird, dadurch gekennzeichnet, dass die Index-Daten aus einer sich synchron zu der Bildinformation (5) ändernden Index-Information (6) gewonnen oder abgeleitet werden, die sich zeitlich ändern und die für die jeweils aktuelle Bildinformation charakteristisch sind.method for controlling a multimedia system (2) for the visualization of itself changing over time Images caused by temporally changing image information (5) in which the acoustic input of terms over at least a microphone (9) and a speech recognition system (10) takes place and in the case of a match of the acoustically entered term with a control of Index data causes a function associated with this control to characterized in that the index data from a synchronous to the image information (5) changing index information (6) are gained or derived, which change over time and the for the current image information is characteristic.

Description

Die Erfindung bezieht sich auf ein Verfahren zur Steuerung eines Multimedia-Systems für die Visualisierung von sich zeitlich ändernden Bildern gemäß Oberbegriff Patentanspruch 1.The The invention relates to a method for controlling a multimedia system for the Visualization of temporally changing pictures according to the generic term Claim 1.

Aus der DE 195 20 586 A1 ist ein interaktives Spielsystem bekannt, bei dem ein Spielzeug mit einem Spracherkennungsmodul ausgerüstet ist, welches auf eine menschliche Stimme und Signale eines Fernsehers reagiert, so dass das Spielzeug in den Handlungsablauf einer Fernsehspielserie mit eingebunden werden kann. Hierzu werden zusätzlich zum Fernsehsignal im Übertragungsweg weitere Daten für das Spielzeug mit übertragen. Die Daten werden von einem dem Fernseher zugeordneten Transmitter beispielsweise über eine Funk- oder Infrarotstrecke auf das Spielzeug übertragen. Die Daten können beispielsweise Schlüsselworte, d.h. Worte auf die das System trainiert ist und über Spracherkennung reagiert, Antwortsätze, d.h. auf Schlüsselwort reagierende Sprachausgaben oder Steuerbits sein. Zur Ansteuerung des Spielzeugs werden zumindest ein Schlüsselwort und ein zugehöriger Antwortsatz über die Funk- oder Infrarotstrecke zum Spielzeug übertragen. Das übertragene Schlüsselwort wird im Rahmen der am Fernseher gezeigten Handlungsserie über den Lautsprecher des Fernsehers ausgegeben und nach Empfang des Schlüsselwortes wird durch das Spielzeug der dem Schlüsselwort zugeordnete Antwortsatz abgespielt. Hierbei werden die einzelnen Dialoge und somit auch die Schlüsselwörter und zugeordneten Antwortsätze vor Erstellung der Sendung erzeugt und diese synchron zur Sendung ausgestrahlt. Im Rahmen der Sendung werden somit über den Fernseher zu fest vorgegebenen Zeitpunkten Schlüsselwörter zur Steuerung der akustischen Ausgaben der Spielfigur ausgegeben.From the DE 195 20 586 A1 For example, an interactive game system is known in which a toy is equipped with a voice recognition module that responds to a human voice and signals from a television so that the toy can be included in the storyline of a television game series. For this purpose, additional data for the toy are transmitted in addition to the television signal in the transmission. The data is transmitted from a transmitter associated with the television, for example via a radio or infrared link to the toy. The data may be, for example, keywords, ie words on which the system is trained and responsive via speech recognition, response sentences, ie keyword responsive speech outputs or control bits. To control the toy, at least one keyword and an associated response sentence are transmitted to the toy via the radio or infrared link. The transmitted keyword is output as part of the action series shown on the TV via the television speaker and after receipt of the keyword is played by the toy of the keyword associated with the response sentence. In this case, the individual dialogues and thus also the keywords and associated answer sentences are generated before the transmission is created and these are broadcast synchronously to the transmission. In the context of the program, key words for controlling the acoustic output of the character are thus output via the television at fixed times.

Die US 4 333 152 offenbart ein Videounterhaltungssystem, bei dem ein oder mehrere Zuseher mittels vorgegebener Sprachkommandos den Verlauf eines aufgezeichneten Filmes beeinflussen können, und zwar an im Verlauf des Filmes zeitlich fest vorgegeben Stellen. Zu den genannten Auswahlzeitpunkten kann der Zuseher mittels Eingabe eines vorgegebenen Schlüsselwortes eine von mehreren Auswahlmöglichkeiten auswählen.The US 4,333,152 discloses a video entertainment system in which one or more viewers, by means of predetermined voice commands, can influence the course of a recorded film, to locations fixed in the course of the film. At the aforementioned selection times, the viewer can select one of several options by entering a predefined keyword.

Aufgabe der Erfindung ist es, ein Verfahren aufzuzeigen, welches es mit einem relativ geringen Aufwand ermöglicht, eine Einbindung von Verknüpfungen oder Hyperlinks auch in zeitlich sich ändernde bzw. bewegte Bilder ermöglicht.task The invention is to show a method which it with a relatively low cost, an integration of connections or hyperlinks in temporally changing or moving pictures allows.

Zur Lösung dieser Aufgabe ist ein Verfahren entsprechend dem Patentanspruch 1 ausgebildet.to solution This object is a method according to the claim 1 formed.

Der wesentliche Aspekt des erfindungsgemäßen Verfahrens ist darin zu sehen, dass die Index-Daten aus einer sich synchron zu der Bildinformation ändernden Index-Information gewonnen oder abgeleitet werden, die sich zeitlich ändern und die für die jeweils aktuelle Bildinformation charakteristisch sind. Vorteilhaft wird bei der Erfindung zu der eigentlichen Bildinformation, aus der die visuelle Darstellung der sich zeitlich ändernden Bilder erfolgt, eine synchrone Index-Information erzeugt, die bestimmte Steuerelemente enthält, die bei Übereinstimmung mit einem akustisch vom Benutzer eingegebenen Begriff eine bestimmte Funktion auslösen, beispielsweise die Verbindung oder Verknüpfung zu anderen Informationen, Bildern usw. systeminterner oder externer Informationsquellen und die Visualisierung dieser Informationen, Bilder usw..Of the essential aspect of the method according to the invention is to see that the index data changes from a synchronous to the image information Index Information be gained or derived, which change over time and the for the each current image information is characteristic. Advantageous in the invention to the actual image information, from the visual representation of the temporally changing images takes place, a synchronous Generates index information that contains certain controls that at agreement with a term entered acoustically by the user Trigger function, for example, the connection or link to other information, Images, etc. of system internal or external sources of information and the visualization of this information, pictures etc ..

Der Erfindung liegt die Erkenntnis zugrunde, daß das Referieren auf Objekte oder Elemente bei bewegten Bildern einen erheblichen Aufwand darstellt, da es notwendig wäre, in jedem einzelnen Frame der Bildinformation den jeweiligen Link zu markieren, um diesen dann mit einem Zeigerinstrument (z. B. Maus) verweisen zu können. Weiterhin wäre es auch für den Benutzer äußerst schwierig, auf Objekte zu verweisen, die sich schnell bewegen und/oder klein dargestellt sind und/oder hinter anderen Objekten verschwinden. Mit dem erfindungsgemäßen Verfahren werden derartige Probleme vermieden.Of the The invention is based on the recognition that referencing to objects or elements in moving pictures is a considerable effort, since it would be necessary in every single frame of the image information the respective link mark it with a pointer instrument (eg mouse) to be able to refer. Further would be it also for the user extremely difficult to refer to objects that move quickly and / or small are shown and / or disappear behind other objects. With the method according to the invention such problems are avoided.

Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche. Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:further developments The invention are the subject of the dependent claims. The invention is in Explained below with reference to the figures of exemplary embodiments. It demonstrate:

1 in schematischer Funktionsdarstellung eine erste mögliche Ausführungsform eines Systems zur Durchführung des erfindungsgemäßen Verfahrens; 1 in a schematic functional representation of a first possible embodiment of a system for carrying out the method according to the invention;

2 in schematischer Darstellung ein Bild-Track, bestehend aus einer Vielzahl von zeitlich aufeinander folgenden Bild-Frames sowie ein Index-Track bestehend aus einer Vielzahl von aufeinander folgenden Index-Frames, zusammen mit einem Zeitfenster und einer unter Verwendung dieses Zeitfensters generierten zeitabhängigen Index-Liste; 2 a schematic representation of an image track consisting of a plurality of temporally successive image frames and an index track consisting of a plurality of successive index frames, together with a time window and a time-dependent index list generated using this time window ;

3 in vereinfachter Darstellung die Struktur des Index-Track; 3 in a simplified representation the structure of the index track;

4 eine weitere, gegenüber der 1 erweiterte Ausführung eines Systems zur Durchführung des erfindungsgemäßen Verfahrens; 4 another, opposite the 1 extended version of a system for carrying out the method according to the invention;

5 ein System zur Erzeugung des Index-Track. 5 a system for generating the In dex-track.

In der 1 ist 1 ein Benutzer und 2 ein Multimedia-System mit einem zugehörigen Bildschirm 3, und zwar bei der nachstehend beispielhaft beschriebenen Ausführung zur Wiedergabe von Videofilmen. Die benötigten Daten stehen in dem MultimediaSystem 2 als digitale Audioinformation bzw. Audio-Track 4 mit einer Vielzahl von zeitlich aufeinander folgenden Frames, als digitale Bildinformation bzw. Bild- oder Video-Track 5 mit einer Vielzahl von zeitlich aufeinander folgenden Bild-Frames 5' vorliegen und zusätzlich hierzu noch als Index-Track 6 mit einer Vielzahl von zeitlich aufeinander folgenden Index-Frames 6' zur Verfügung. Diese Index-Frames 6' enthalten u.a. Index-Listen mit den Steuerelementen, Linkzielen oder -adressen, Steuerbefehlen zum Steuern des Multimedia-Systems und/oder Erweiterung zu einer Wissensbasis usw..In the 1 is 1 a user and 2 a multimedia system with an associated screen 3 in the embodiment of video movie playback described below by way of example. The required data are in the multimedia system 2 as digital audio information or audio track 4 with a plurality of temporally successive frames, as digital image information or image or video track 5 with a multitude of temporally consecutive image frames 5 ' and additionally as an index track 6 with a multitude of temporally consecutive index frames 6 ' to disposal. These index frames 6 ' include index lists of controls, link destinations or addresses, control commands to control the multimedia system, and / or extension to a knowledge base, and so on.

Die Tracks 4, 5 und 6 sind zeitlich synchronisiert, so daß nicht nur jeweils zu einem bestimmten Bild des Video-Tracks 5 auch die richtige Toninformation vorliegt, sondern auch ein bestimmter Index-Frame 6' mit dem zugehörigen Inhalt.The tracks 4 . 5 and 6 are synchronized in time, so not just each to a specific image of the video track 5 also the correct sound information is present, but also a certain index frame 6 ' with the associated content.

Die Tracks 4, 5 und 6 stehen dem Multimedia-System beispielsweise auf einer internen Videoquelle, beispielsweise einem Videorecorder oder einem CVC-Recorder zur Verfügung oder werden dem Multimedia-System über eine Datenverbindung, beispielsweise über eine Satellitenempfangsantenne, ein Breitbandkabel usw. von außen zur Verfügung gestellt.The tracks 4 . 5 and 6 are available to the multimedia system on, for example, an internal video source, such as a VCR or CVC recorder, or are provided to the multimedia system via a data link, such as a satellite receiving antenna, broadband cable, etc., from the outside.

In der 2 ist mit 7 ein Zeitfenster dargestellt, welches sich über eine vorgegebene oder vorgewählte Anzahl von Bild-Tracks 5' und damit auch über eine vorgegebene, gleiche Anzahl von Index-Tracks 6' erstreckt. Mit diesem Zeitfenster 7 wird in der nachstehend noch näher beschriebenen Weise von dem System eine zeitabhängige Index-Liste 8 erstellt, deren Inhalt den Inhalten sämtlicher Index-Listen der Index-Frames 6' innerhalb des Zeitfensters 7 entspricht.In the 2 is with 7 a time window is displayed which is over a given or preselected number of image tracks 5 ' and thus also over a given, equal number of index tracks 6 ' extends. With this time window 7 In the manner to be described in more detail below, the system becomes a time-dependent index list 8th whose contents are the contents of all index lists of the index frames 6 ' within the time window 7 equivalent.

Die grundsätzliche Arbeitsweise des Systems besteht darin, daß der Benutzer 1 während der Betrachtung der auf dem Bildschirm 3 dargestellten Bilder durch Spracheingabe über ein Mikrophon 9 bestimmte Begriffe in ein Spracherkennungssystem 10 eingeben kann, und daß dann in diesem System der eingegebene Begriff in eine Eingabe-Information umgewandelt und diese mit Steuerelementen der zeitabhängigen Index-Liste oder einer aus dieser zeitabhängigen Index-Liste erstellten erweiterten Index-Liste verglichen wird, wobei bei Übereinstimmung der Eingabe-Information mit einem Steuerelement dann die diesem Steuerelement zugeordnete Aktion ausgelöst wird, z. B. das Einfügen von zusätzlichen Informationen in den Bildschirm 3, z.B. bei gleichzeitiger Unterbrechung der Videowiedergabe.The basic operation of the system is that the user 1 while watching the on screen 3 displayed images by voice input via a microphone 9 certain terms in a speech recognition system 10 and that then in this system the inputted term is converted into input information and compared with timed index list controls or an extended index list created from this time dependent index list, where the input information matches with a control then the action associated with that control is triggered, e.g. For example, adding additional information to the screen 3 , eg with simultaneous interruption of video playback.

In dem in der 3 wiedergegebenen Beispiel für die Index-Track-Struktur enthält die zeitabhängige Index-Liste als Steuerelement den Begriff „Derrick" sowie auch den Begriff „Mann". Beide Begriffe sind durch die innerhalb des Zeitfensters 7 wiedergegebenen Bildsequenzen für den Benutzer nahegelegt, da diese Bildsequenzen Derrick bzw. einen Mann im Bild zeigen. Wird also vom Benutzer 1 über das Mikrophon 9 innerhalb des betreffenden Zeitfensters 7 der Begriff „Derrick" oder „Mann" eingegeben, so werden am Bildschirm 3 weitere Informationen zu „Derrick" oder eine Liste zur Auswahl weiterer Informationen zum Begriff „Derrick" eingeblendet, die der Benutzer dann wiederum durch Spracheingabe über das Mikrophon 9 aus der angezeigten Liste auswählen kann. Die weiteren Informationen werden über das Multimedia-System 2 beispielsweise von internen oder externen Datenquellen abgerufen.In the in the 3 For the example of the index track structure, the time-dependent index list contains the term "Derrick" as well as the term "man" as a control. Both terms are by within the time window 7 reproduced image sequences for the user, as these image sequences Derrick or a man in the picture show. So is the user 1 over the microphone 9 within the relevant time window 7 Entered the term "Derrick" or "man", so be on the screen 3 Further information on "Derrick" or a list to select more information on the term "Derrick" appears, which in turn the user through voice input through the microphone 9 from the displayed list. The further information will be through the multimedia system 2 for example, retrieved from internal or external data sources.

Im einzelnen weist das Systemkonzept zur Durchführung des erfindungsgemäßen Verfahrens zusätzlich ein System 11 auf, welches in der 1 als „Index-Track--Extraction" bezeichnet ist und welches aus dem Index-Track 6 unter Verwendung des Zeitfensters 7 die zeitabhängige Index-Liste 8 bildet. Diese wird unter anderem einem wissensbasierten System 12 (KB-System) zugeführt, welches unter Verwendung des Inhalts der zeitabhängigen Index-Liste 8 und unter Zuhilfenahme eines wissensbasierten Systems, dem beispielsweise ein semantisches Netz zugrundeliegt, eine erweiterte Index-Liste 13 bildet. Dieses wissensbasierte System enthält z. B. Abhängigkeiten zwischen verschiedenen Begriffen, wie Objekt > Person > Mann > Inspektor > Derrick, d. h. wenn der von dem Benutzer 1 über das Mikrophon 9 eingegebene Begriff während des betrachteten Zeitfensters 7 „Person", „Mann" oder „Inspektor" lautet, wird die dem Begriff bzw. Steuerelement „Derrick" zugeordnete Aktion ausgelöst. Da die erweiterte Index-Liste 13 auf der zeitabhängigen Index-Liste 8 basiert, ist letztlich auch die erweiterte Index-Liste 13 eine zeitabhängige Index-Liste.In detail, the system concept for carrying out the method according to the invention additionally has a system 11 on which in the 1 is called "Index Track - Extraction" and which one from the index track 6 using the time window 7 the time-dependent index list 8th forms. Among other things, this will become a knowledge-based system 12 (KB system), which, using the content of the time-dependent index list 8th and, using a knowledge-based system based, for example, on a semantic network, an extended index list 13 forms. This knowledge-based system contains z. B. Dependencies between different terms, such as Object>Person>Man>Inspector> Derrick, that is, if that of the user 1 over the microphone 9 entered term during the considered time window 7 "Person", "Man" or "Inspector" is triggered, the action associated with the term or control "Derrick". Because the extended index list 13 on the time-dependent index list 8th based, is ultimately the extended index list 13 a time-dependent index list.

Die erweiterte Index-Liste 13 wird also dem Spracherkennungssystem zugeführt. Entspricht der über das Mikrophon 9 eingegebene Begriff einem Steuerelement dieser erweiterten Index-Liste 13, so veranlaßt die Verarbeitung 14 die Durchführung der dem jeweiligen Steuerelement zugeordnete Aktion im Multimedia-System 2.The extended index list 13 So it is fed to the speech recognition system. Corresponds to the over the microphone 9 entered term a control of this extended index list 13 so causes the processing 14 the implementation of the respective control associated action in the multimedia system 2 ,

Der weitere Inhalt der zeitabhängigen Index-Liste wird bei der dargestellten Ausführungsform von der Einrichtung 11 als Index- und Aktionsliste 15 auch direkt der Verarbeitung 14 zur Verfügung gestellt, so daß diese dann bei Übereinstimmung der Eingabe über das Mikrophon 9 auch mit einem Steuerelement der erweiterten Index-Liste 13 die entsprechende Aktion veranlassen kann.The further content of the time-dependent index list is in the illustrated embodiment of the device 11 as index and action list 15 also directly to the processing 14 available so that these then match the input via the microphone 9 also with a control of the extended index list 13 can initiate the appropriate action.

Die 4 zeigt als weitere mögliche Ausführungsform ein Systemkonzept gemäß der Erfindung, welches anstelle der Verarbeitung 14 einen sogenannten Retrieval-Automaten 16 enthält und dem System 11 für die Extraktion des Index-Track eine Datenbasis 17 nachgeschaltet ist, die unter anderem eine Ringspeicherfunktion für die Zwischenspeicherung einer größeren Anzahl von Index-Frames 6' hat und auch die zeitabhängige Index-Liste 7 bildet, und zwar über ein einstellbares Zeitfenster 7. Wird keine Übereinstimmung der Eingabe über das Mikrofon 9 mit einem Steuerelement der erweiterten Index-Liste 13 festgestellt, so bewirkt der Retrieval-Automat 16 eine Änderung des Zeitfensters 7, beispielsweise eine Verschiebung und/oder Vergrößerung dieses Zeitfensters, oder aber über das KB-System 12 die Erstellung einer erweiterten Index-Liste 13 mit größerem Umfang.The 4 shows as a further possible embodiment, a system concept according to the invention, which instead of processing 14 a so-called retrieval machine 16 contains and the system 11 for the extraction of the index track a database 17 Among other things, a ring buffer function for the caching of a larger number of index frames 6 ' has and also the time-dependent index list 7 forms, over an adjustable time window 7 , Will not match the input via the microphone 9 with a control of the extended index list 13 determined, so causes the retrieval machine 16 a change of the time window 7 , For example, a shift and / or enlargement of this time window, or via the KB system 12 the creation of an extended index list 13 on a larger scale.

Grundsätzlich können diese Änderungen des Zeitfensters 7 und/oder der erweiterten Index-Liste 13 bei fehlender Übereinstimmung der Eingabe über das Mikrofon 9 mit einem Steuerelement der erweiterten Index-Liste 13 auch in mehreren Stufen vorgenommen werden und/oder es ist möglich, daß zunächst das KB-System eine Index-Liste zur Verfügung stellt, die inhaltlich gleich der vom Zeitfenster 7 bestimmten zeitabhängigen Index-Liste 8 ist und daß die Erstellung einer erweiterten Index-Liste durch das KB-System 12 erst dann veranlaßt wird, wenn in einem vorausgegangenen Versuch keine Übereinstimmung der Eingabe über das Mikrofon 9 mit einem Steuerelement der erweiterten Index-Liste 13 festgestellt wurde.Basically, these changes of the time window 7 and / or the extended index list 13 if the input does not match via the microphone 9 with a control of the extended index list 13 can also be made in several stages and / or it is possible that initially the KB system provides an index list, the content of which is equal to the time window 7 certain time-dependent index list 8th is and that the creation of an extended index list by the KB system 12 is caused only if in a previous attempt no match of the input via the microphone 9 with a control of the extended index list 13 was determined.

Der Vollständigkeit halber zeigt die 5 noch ein Systemkonzept zur Erstellung der Index-Information bzw. des Index-Track. In der 5 gelten wiederum folgende Zuordnungen:

1 Benutzer
2 Multimedia-System
3 Bildschirm
9 Mikrophon
10 Spracherkennungssystem.

For completeness, the shows 5 another system concept for creating the index information or the index track. In the 5 the following assignments apply:

1 user
2 Multimedia system
3 screen
9 microphone
10 Speech recognition system.

Dem Spracherkennungssystem ist ein Lexikon oder Speicher 18 (Thesaurus) zugeordnet, der eine Vielzahl von dem System verständlichen und damit zulässigen Begriffen oder Eingaben enthält.The speech recognition system is a lexicon or memory 18 (Thesaurus) associated with a variety of the system understandable and thus permissible terms or inputs.

Die Erstellung des Index-Track 6 erfolgt durch den Index-Track-Designer oder Benutzer 1 beim Betrachten der auf dem Bildschirm 3 dargestellten Bildfolge beispielsweise des Videofilms über das Mikrophon 9, wobei zu den über das Mikrophon 9 eingegebenen Begriffen beispielsweise auch die in diesen Begriffen zugeordneten Befehle oder Aktionen über das Mikrophon 9 eingegeben werden.The creation of the index track 6 is done by the index track designer or user 1 when looking at the screen 3 shown image sequence, for example, the video film on the microphone 9 , being to the over the microphone 9 entered terms, for example, the commands or actions assigned in these terms via the microphone 9 be entered.

Soweit diese Spracheingaben mit Begriffen im Speicher 18 übereinstimmen, werden diese bzw. die entsprechenden Eingaben an die Verarbeitung 19 weitergeleitet, die dann die Index-Track-Erzeugung 20 zur Erzeugung des Index-Track 6 bzw. der Sequenz von zeitlich aufeinanderfolgenden Index-Frames 6' veranlaßt.As far as these voice inputs with terms in memory 18 match, these or the corresponding inputs to the processing 19 then passed the index track generation 20 to generate the index track 6 or the sequence of temporally consecutive index frames 6 ' causes.

Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, daß zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne daß dadurch der der Erfindung zugrundeliegende Erfindungsgedanke verlassen wird. So ist es insbesondere möglich, das vorbeschriebene System bzw. Verfahren nicht nur für die Erstellung von Verknüpfungen bzw. Links zwischen einem Videofilm und weiteren, auf Informations- oder Datenquellen zur Verfügung stehenden Informationen usw. zu verwenden, sondern das erfindungsgemäße Verfahren ist ganz allgemein bei zeitabhängigen Darstellungen oder Bildern anwendbar.The The invention has been described above with reference to exemplary embodiments. It is understood that many changes as well as modifications possible are without it the inventive idea underlying the invention is abandoned. So it is possible in particular the above-described system or method not only for the creation of shortcuts links between a video and other information or data sources available standing information, etc., but the inventive method is generally time-sensitive Representations or pictures applicable.

11: Benutzeruser
22: Multimedia-SystemMultimedia system
33: Bildschirmscreen
44: Toninformation oder Audio-Tracksound information or audio track
55: digitale Bildinformation oder Video-Trackdigital Picture information or video track
66: digitale Index-Information oder Index-Trackdigital Index information or index track
4'4 ': Audio-Track-FrameAudio Track Frame
5'5 ': Video-Track-FrameVideo track frame
6'6 ': Index-Track-FrameIndex-track frame
77: ZeitfensterTime window
88th: zeitabhängige Index-Listetime-dependent index list
99: Mikrophonmicrophone
1010: SpracherkennungssystemVoice recognition system
1111: Index-Track-ExtraktionIndex-track extraction
1212: KB-SystemSurvey System
1313: erweiterte Index- bzw. BegriffslisteAdvanced Index or term list
1414: Verarbeitungprocessing
1515: Index- und AktionslisteIndex- and action list
1616: Retrieval-AutomatRetrieval Machine
1717: Datenbasisdatabase
1818: Speicher oder ThesaurusStorage or thesaurus
1919: Verarbeitungprocessing
2020: Index-Track-ErzeugungIndex-track production

Claims

Method for controlling a multimedia system ( 2 ) for the visualization of temporally changing images caused by temporally changing image information ( 5 ), in which the acoustic input of terms via at least one microphone ( 9 ) and a voice recognition system ( 10 ) and in which a match of the acoustically inputted term with a control of index data causes a function associated with this control, characterized in that the index data from a synchronous to the image information ( 5 ) changing index information ( 6 ) are obtained or derived, which change with time and which are characteristic of the current image information.

Method according to Claim 1, characterized in that the image information ( 5 ) as well as the index information ( 6 ) consists of several temporally successive sequences or frames.

Method according to Claim 2, characterized in that by means of a time window ( 7 ) whose length is a plurality of frames of image information ( 5 ) and the index information ( 6 ), an index list ( 8th ), which controls all controls of all index frames ( 6 ' ) within the time window ( 7 ), and that this time-dependent index list is used as index data for the speech recognition system ( 10 ) is used.

Method according to Claim 2 or 3, characterized in that by means of a time window ( 7 ) whose length is a plurality of frames of image information ( 5 ) and the index information corresponds to an index list ( 8th ), which controls all controls of all index frames ( 6 ' ) within the time window ( 7 ) and that from this time-dependent index list the index data for the speech recognition system ( 10 ) to be generated.

Method according to claim 4, characterized in that from the time window ( 7 ) obtained time-dependent index list by expanding the index data ( 13 ) be won.

Method according to one of the preceding claims, characterized in that, if the input does not match an element of the index data, a change of the time window ( 8th ), for example, an enlargement of the time window takes place.

Method according to one of the preceding claims, characterized in that the control elements of the index information are each characteristic of elements of the image information ( 5 ) are.

Method according to one of the preceding claims, characterized characterized in that triggered in the multimedia system Function a link or link function, for example, for visualization of other image sequences or information.

Method according to one of the preceding claims, characterized in that for generating the index information via at least one microphone ( 9 ) and a speech recognition system ( 10 ) are input acoustically to the image content of the visually visibly displayed, temporally changing images, the speech recognition system ( 10 ) forms from these acoustic terms respectively corresponding controls that are stored in sync with the changing images as index information.