WO2002078351A1 - Method and device for transmitting video and/or audio data - Google Patents

Method and device for transmitting video and/or audio data Download PDF

Info

Publication number
WO2002078351A1
WO2002078351A1 PCT/DE2002/001139 DE0201139W WO02078351A1 WO 2002078351 A1 WO2002078351 A1 WO 2002078351A1 DE 0201139 W DE0201139 W DE 0201139W WO 02078351 A1 WO02078351 A1 WO 02078351A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio data
image
data
devices
transmission
Prior art date
Application number
PCT/DE2002/001139
Other languages
German (de)
French (fr)
Inventor
Daniel Hammer
Original Assignee
Voxar Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Voxar Ag filed Critical Voxar Ag
Priority to DE10291291T priority Critical patent/DE10291291D2/en
Publication of WO2002078351A1 publication Critical patent/WO2002078351A1/en

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The invention relates to a method for transmitting video and/or audio data, whereby areas within the video and/or audio data are prioritised according to at least one predetermined or predeterminable criterion. The invention also relates to a device for transmitting video and/or audio data, comprising user data input devices for inputting image and/or audio data and transmission data output devices for outputting image and/or audio data to a communications network in order to connect to a communications device of another communication user. Prioritising devices are located between the user data input devices and the transmission data output devices. Said prioritising devices have processing units, which assign different priorities to individual image and/or audio data areas and in addition are configured for outputting an image and/or audio data area, depending on its priority, unprocessed or with a reduced dataset to the transmission data output devices for transmission.

Description

Verfahren und Vorrichtung zur Übertragung von Video- und/oder Audiodaten Method and device for transmitting video and / or audio data
Beschreibungdescription
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Übertragung von Video- und/oder Audiodaten.The invention relates to a method and a device for transmitting video and / or audio data.
Beim Übertragen von Video- und/oder Audiodaten beispielsweise beim Bildfemsprechen besteht das Problem, dass mit vorgegebenen Leitungs- und/oder Funkkapazitäten für Übertragungen relativ viele Informationen und Daten zwischen zwei Kommunikationsteilnehmern übermittelt werden müssen. Insbesondere ist die zu übertragende Inforrnations- und Datenmenge zeitlich variabel, wenn beispielsweise Sprechpausen auftreten. Ferner müssten beispielsweise Standbilder nicht ständig übertragen werden, sondern es würde eine einmalige Übertragung ausreichen, bis wieder eine Veränderung im Bild eintritt. Die vorgenannten Erfordernisse würden einerseits die Bereitstellung von Leitungs- und/oder Funkkapazitäten für Übertragungen der maximal auftretenden Informationen und Daten pro Zeiteinheit erfordern, ohne dass diese Kapazitäten ständig benötigt und genutzt würden. Andererseits käme es zu Übertragungsengpässen, wenn die Leitungs- und/oder Funkkapazitäten die maximal auftretenden Informationen und Daten pro Zeiteinheit nicht übertragen könnten.When transmitting video and / or audio data, for example in remote telephony, there is the problem that with the specified line and / or radio capacities for transmissions, a relatively large amount of information and data must be transmitted between two communication participants. In particular, the amount of information and data to be transmitted is variable over time, for example when there are pauses in speech. Furthermore, for example, still images would not have to be transferred continuously, but a one-time transfer would suffice until a change in the image occurs again. The aforementioned requirements would, on the one hand, require the provision of line and / or radio capacities for transmissions of the maximum information and data occurring per unit of time, without these capacities being constantly needed and used. On the other hand, there would be transmission bottlenecks if the line and / or radio capacities could not transmit the maximum information and data occurring per unit of time.
Um für diese Nachteile Abhilfe zu schaffen, hat die vorliegende Erfindung zum Ziel, ein Verfahren und eine Vorrichtung zur optimierten Übertragung von Video- und/oder Audiodaten zu schaffen.In order to remedy these disadvantages, the present invention aims to provide a method and a device for the optimized transmission of video and / or audio data.
Dieses Ziel wird mit einem Verfahren und einer Vorrichtimg zur optimierten Übertragung von Video- und/oder Audiodaten nach den entsprechenden unabhängigen Ansprüchen erreicht.This goal is achieved with a method and a device for the optimized transmission of video and / or audio data according to the corresponding independent claims.
Im Rahmen der vorliegenden Erfindung wird bei solchen Nerfahren und Vorrichtungen ein sogenanntes Smart Scaling oder Smart Sizing verwendet, um die optimierte Übertragung von Video- und/oder Audiodaten insbesondere in Abhängigkeit von einer verfügbaren Bandbreite eines Übertragungskanals zu schaffen. Das erfindungsgemässe Verfahren und die entsprechende Vorrichtung zur durch die Erfindung optimierten Übertragung von Video- und/oder Audiodaten ist insbesondere mit Vorzug einzusetzen beim, aber nicht beschränkt auf das Bildfernsprechen. Weitere Anwendungen sind beispielsweise auf dem Gebiet der Nideokonferenzen zu sehen.In the context of the present invention, so-called smart scaling or smart sizing is used in such ner drives and devices in order to create the optimized transmission of video and / or audio data, in particular as a function of an available bandwidth of a transmission channel. The method according to the invention and the corresponding device for the transmission of video and / or audio data optimized by the invention is to be used with particular preference for, but not limited to, telephony. Further applications can be seen, for example, in the field of video conferencing.
Bei Verfahren und Vorrichtungen gemäss der Erfindung werden von einer Video- oder Audioquelle kommende Bild- bzw. Audiodaten vor und/oder während ihrer Übertragung priorisiert. Diese Priorisierung erfolgt nach wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium innerhalb oder im Rahmen der in den Bild- bzw. Audiodaten enthaltenen entsprechenden Informationen. Durch die Priorisierung wird bestimmt, welche Bild- und/oder Audiodaten übertragen werden, wobei die am höchsten priorisierten Daten bevorzugt übertragen werden.In methods and devices according to the invention, image or audio data coming from a video or audio source are prioritized before and / or during their transmission. This prioritization takes place according to at least one predetermined or predeterminable criterion within or within the framework of the corresponding information contained in the image or audio data. The prioritization determines which image and / or audio data are transmitted, the data with the highest priority being preferably transmitted.
Vorzugsweise handelt es sich bei einem vorbestimmten oder vorbestimmbaren Kriterium um eine Gesichtsbereichserkennung.A predetermined or predeterminable criterion is preferably a facial area recognition.
Das erfindungsgemässe Verfahren, bei dem die Priorisierung nach wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium erfolgt, weist im Rahmen bevorzugter Ausgestaltungen einen oder mehrere der nachfolgend angegebenen Schritte auf, denen auch die Vorrichtungslösungen der vorliegenden Erfindung entsprechend gerecht werden: a) die Priorisierung innerhalb der Bild- und/oder Audiodaten wird vor und/oder während der Übertragung durchgeführt, b) die Priorisierung kann während der Übertragung geändert werden, c) durch die verfügbare Bandbreite wird bestimmt, wieviele Bild- und/oder Audiodaten in welcher Qualität übertragen werden, d) durch die Priorisierung bestimmt wird, welche Bild- und/oder Audiodaten übertragen werden, wobei die am höchsten priorisierten Daten dabei bevorzugt übertragen werden, e) durch die Priorisierung wird bestimmt, in welcher Qualität Bild- und/oder Audiodaten übertragen werden, wobei den am höchsten priorisierten Bild- und Audiodaten dabei grössere Anteile an der zur Verfügung stehenden Bandbreite zugestanden werden, und/oder f) durch die Priorisierung und die Höhe der Bandbreite wird bestimmt, ob und in welcher Qualität nachrangige oder "geringer priorisierte" Bild- und/oder Audiodaten übertragen werden.The method according to the invention, in which the prioritization takes place according to at least one predetermined or predeterminable criterion, has one or more of the steps specified below within the scope of preferred configurations, which the device solutions of the present invention also do justice to: a) the prioritization within the image and / or audio data is carried out before and / or during the transmission, b) the prioritization can be changed during the transmission, c) the bandwidth available determines how much image and / or audio data is transmitted in what quality, d) by the prioritization determines which image and / or audio data are transmitted, the data with the highest priority being preferably transmitted, e) the prioritization determines the quality in which image and / or audio data are transmitted, the highest prioritized image and audio data gr Larger shares of the available bandwidth are granted, and / or f) the prioritization and the amount of the bandwidth determine whether and in what quality subordinate or "less prioritized" image and / or audio data are transmitted.
Weitere verfahrensmässig und entsprechend umgesetzt bei Vorrichtungen bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind nachfolgend angegeben: a) Erkennung und Verfolgung des Gesichtsbereiches (Face-Tracking) in Kombination mit einer Reduktion der Bildschirmauflösung, b) eine Auflösungsreduzierung je nach verfügbarer Bandbreite fest voreingestellt oder variabel oder optimiert nach der jeweiligen Möglichkeit, c) eine Reduktion des Bildes, in der Art, dass die erfassten und verarbeiteten Informationen zum Aussenrand des Bildes hin abnehmen, d) eine radiale Gradierung, vorzugsweise orientiert am Gesichtsbereich, und/oder e) eine Konzentration auf den Gesichtsbereich.Further refinements and developments of the invention that are preferred in terms of the method and implemented accordingly in devices are given below: a) Detection and tracking of the face area (face tracking) in combination with a reduction in the screen resolution, b) a resolution reduction depending on the available bandwidth is preset or variable or optimized according to the respective possibility, c) a reduction of the image, in the way, that the recorded and processed information decreases towards the outer edge of the image, d) a radial grading, preferably oriented on the face area, and / or e) a concentration on the face area.
Die Erfindung schafft ferner eine Vorrichtung zur Übertragung von Video- und/oder Audiodaten, mit Teilnehmerdaten-Eingabeeinrichtungen zum Eingeben von Bild- und/oder Audiodaten und Übertragungsdaten-Ausgabeeinrichtungen zum Ausgeben von Bild- und/oder Audiodaten an ein Kommunikationsnetz zwecks Verbindung mit einer Kommunikationseinrichtung eines anderen Kommunikationsteilnehmers, wobei zwischen den Teilnehmerdaten-Eingabeeinrichtungen und den Übertragungsdaten- Ausgabeeinrichtungen Priorisierungseinrichtungen angeordnet sind, die über Verarbeitungseinrichtungen verfügen, die einzelnen Bild- und/oder Audiodatenbereichen unterschiedliche Prioritäten zuweisen und ferner dazu ausgelegt sind, einen Bild- und/oder Audiodatenbereich in Abhängigkeit von seiner Priorität unbearbeitet oder mit einer reduzierten Datenmenge an die Übertragungsdaten- Ausgabeeinrichtungen zur Übertragung auszugeben.The invention also provides a device for the transmission of video and / or audio data, with subscriber data input devices for inputting image and / or audio data and transmission data output devices for outputting image and / or audio data to a communication network for the purpose of connection to a communication device of another communication subscriber, wherein prioritization devices are arranged between the subscriber data input devices and the transmission data output devices, which have processing devices which assign different priorities to the individual image and / or audio data areas and are further designed to depend on an image and / or audio data area unprocessed from its priority or output with a reduced amount of data to the transmission data output devices for transmission.
Eine bevorzugte Weiterbildung davon besteht darin, dass die Verarbeitungseinrichtungen zur Durchführung von verschiedenen Priorisierungen entsprechend unterschiedlichen Kriterien alternativ oder in Kombinationen ausgelegt sind.A preferred further development of this consists in the processing devices being designed alternatively or in combinations for carrying out different prioritizations according to different criteria.
Bei einer anderen vorzugsweisen Ausgestaltung ist vorgesehen, dass die Priorisierungseinrichtungen Speicher enthalten, in denen Programm- und/oder Dateninformationen für zumindest eine Priorisierung oder deren Durchführung gespeichert sind, und dass die Verarbeitungsemrichtungen die Programm- und/oder Dateninformationen ggf. in Abhängigkeit von spezifizierten Anforderungen von den Speichern abrufen oder von dort zur Verfügung gestellt bekommen.Another preferred embodiment provides that the prioritization devices contain memories in which program and / or data information for at least one prioritization or their implementation is stored, and that the processing devices include the program and / or data information as a function of specified requirements retrieve from the stores or have them made available from there.
Alternativ oder zusätzlich kann ferner vorgesehen sein, dass die Priorisierungseinrichtungen Überwachungseinrichtungen enthalten, die die Leistung und/oder Qualität des Kommunikationsnetzes, insbesondere dessen verfügbare Ubertragungs- oder Signalbandbreite, und/oder der Kommunikationseinrichtung eines Kommunikationspartners, vorzugsweise in Abhängigkeit von Änderungen, in Abhängigkeit von Änderungen in mehr als einem vorgegebenen Umfang oder in Abhängigkeit von voreingestellten Zeitintervallen überprüfen und zumindest bei festgestellten Änderungen das Ergebnis an die Verarbeitungseinrichtungen ausgeben, und dass die Verarbeitungseinrichtungen dann in Abhängigkeit von den festgestellten Änderungen ggf. geeignete Kriterien auf der Basis entsprechender Informationen in den Speichern verwenden und Priorisierungen von Bild- und/oder Audiodatenbereichen veranlassen und durchführen.As an alternative or in addition, it can further be provided that the prioritization devices contain monitoring devices that perform the performance and / or quality of the communication network, in particular its available transmission or signal bandwidth, and / or the communication device of a communication partner, preferably as a function of changes as a function of changes to more than a predetermined extent or check depending on preset time intervals and at least output the result to the processing devices in the event of detected changes, and that the processing devices then use suitable criteria based on corresponding information in the memories and prioritize image and / or or initiate and carry out audio data areas.
Eine erfindungsgemässe Vorrichtung zur Übertragung von Video- und/oder Audiodaten kann ferner noch dadurch weitergebildet sein, dass wobei Manuell- Auswahleinrichtungen enthalten sind, die es dem Anwender ermöglichen einzelne Priorisierungen oder Kombinationen davon voreinzustellen oder für bestimmte Verbindungen jeweils aktuell oder dauerhaft als Vorgabe einzustellen.A device according to the invention for the transmission of video and / or audio data can also be further developed in that manual selection devices are included which enable the user to preset individual priorities or combinations thereof or to set current or permanent default values for certain connections.
Weitere bevorzugte und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen und deren Kombinationen sowie den gesamten vorliegenden Unterlagen.Further preferred and advantageous configurations of the invention result from the dependent claims and their combinations as well as from the entire available documents.
Anhand der nachfolgend beschriebenen und in den Zeichnungen dargestellten Ausführungsund Anwendungsbeispiele wird die Erfindung lediglich exemplarisch näher erläutert. In der Zeichnung zeigen:On the basis of the exemplary embodiments and application examples described below and shown in the drawings, the invention is merely explained in more detail by way of example. The drawing shows:
Fig. 1 ein Beispielbild mit priorisierten Bereichen übertragen mit einer ersten vorgegebenen Bandbreite, und1 shows a sample image with prioritized areas transmitted with a first predetermined bandwidth, and
Fig. 2 das Beispielbild aus der Fig. 1 mit denselben priorisierten Bereichen übertragen mit einer zweiten Bandbreite, die gegenüber der Bandbreite bei dem Beispiel gemäss der Fig. 1 reduziert ist.FIG. 2 shows the sample image from FIG. 1 with the same prioritized areas transmitted with a second bandwidth, which is reduced compared to the bandwidth in the example according to FIG. 1.
Für das Ausfuhrungsbeispiel wird vorausgesetzt, dass eine Bildtelefonkommunikation zwischen zwei Personen stattfindet. Dazu werden zwei Bildtelefone verwendet. Solche Bildtelefone funktionieren bidirektional. Für das Beispiel ist exemplarisch die Übertragung des Bildes einer Person von für diesen Fall deren Sendeeinrichtungen im entsprechenden Bildtelefon an die dann entsprechenden Empfangseinrichtungen in dem Bildtelefon ihres Kommunikationspartners ausgewählt. Die grundsätzlichen apparativen Voraussetzungen sowie diesbezüglichen technischen Verfahren für Bildtelefonie, wie auch für Videokonferenzen, sind allgemein bekannt und nicht direkt Gegenstand der vorliegenden Erfindung, so dass genaue Erläuterungen davon hier weggelassen werden. In der Fig. 1 sind priorisierte Bereiche 1 eines übertragenen Bildes 2 in Form des Kopfes 3 und des Oberkörpers 4 einer aufgenommenen Person 5 schematisch durch Umrandungen 6 in Form von Streckenzügen dargestellt. Aufgrund einer vorgegebenen Bandbreite für eine Übertragung des Bildes 2 von z.B. einem Bildtelefon (nicht dargestellt) zu einem anderen, werden auch Hintergrundinformationen 7 in Form von erfassten Ausschnitten von einem Regal 8 und einem Bild 9 übertragen.For the exemplary embodiment it is assumed that videophone communication takes place between two people. Two videophones are used for this. Such videophones work bidirectionally. For the example, the transmission of the image of a person from, for this case, their transmitting devices in the corresponding videophone to the corresponding receiving devices in the videophone of their communication partner is selected as an example. The basic equipment requirements and related technical methods for video telephony, as well as for video conferences, are generally known and are not directly the subject of the present invention, so that detailed explanations thereof are omitted here. In FIG. 1, prioritized areas 1 of a transmitted image 2 in the form of the head 3 and the upper body 4 of a recorded person 5 are schematically represented by borders 6 in the form of routes. On the basis of a predetermined bandwidth for a transmission of the image 2 from, for example, one video telephone (not shown) to another, background information 7 in the form of captured sections is also transmitted from a shelf 8 and an image 9.
Für die Fig. 2 sei nun vorausgesetzt, dass gegenüber der Übertragung des Bildes 2 gemäss der Fig. 1 eine Reduzierung der Bandbreite für die Übertragung erfolgte. Die Darstellung verdeutlicht, dass nunmehr zwar die priorisierten Bereiche 1, d.h. im Beispiel der Kopf 2 und der Oberkörper 4 der aufgenommenen Person 5 in dem Bild 2 klar dargestellt sind, die Hintergrundinformationen 7 aber vernachlässigt wurden. Das Regal 8 und das Bild 9 gehören nicht zu den priorisierten Bereichen 1 und ihre Daten wurden entsprechend der Reduzierung der Bandbreite der Datenübertragung reduziert, beispielsweise auf Ersatz-Farbflächen. In den Fig.For FIG. 2 it is now assumed that the bandwidth for the transmission has been reduced compared to the transmission of the image 2 according to FIG. 1. The illustration shows that the prioritized areas 1, i.e. in the example, the head 2 and the upper body 4 of the person 5 taken are clearly shown in the image 2, but the background information 7 has been neglected. The shelf 8 and the image 9 do not belong to the prioritized areas 1 and their data have been reduced in accordance with the reduction in the bandwidth of the data transmission, for example to replacement color areas. In the Fig.
I und 2 ist noch ein weiterer priorisierter Bereich 10 dargestellt, der jedoch eine geringere Priorität als der priorisierte Bereich 1, aber eine höhere Priorität als die Hintergrundinformationen 7 hat. Dieser weitere priorisierte Bereich 10, der lediglich exemplarisch die KrawatteI and 2 show yet another prioritized area 10, which, however, has a lower priority than the prioritized area 1, but a higher priority than the background information 7. This further prioritized area 10, which is merely an example of the tie
I I und deren Umgebung enthält, ist also nachrangig bezüglich des priorisierten Bereiches 1, der die höchste Priorität hat. Entsprechend ist bei der Übertragung gemäss der Fig. 2 in dem weiteren priorisierten Bereich 10 eine geringere Auflösung gewählt.I I and its surroundings, is therefore subordinate to the prioritized area 1, which has the highest priority. Accordingly, in the transmission according to FIG. 2, a lower resolution is selected in the further prioritized area 10.
Als weiterer exemplarischer priorisierter Bereich 1 ist in den Fig. 1 und 2 die Partie 12 Augen-Nase-Mund der Person 5 durch ein eingepasstes Dreieck 13 symbolisiert.As a further exemplary prioritized area 1, the part 12 eye-nose-mouth of the person 5 is symbolized by a fitted triangle 13 in FIGS. 1 and 2.
Die Daten, die nicht zu den priorisierten Bereichen 1 gehören, können entweder vollständig vernachlässigt werden, d.h. sie werden beim Empfänger nicht angezeigt, oder sie werden anfänglich übertragen und im Empfängergerät gespeichert, so dass sie konstant angezeigt werden können, ohne dass sie weiter übertragen werden müssen. Die Verwendung priorisierter Bereiche ermöglicht somit, auch mit einer geringeren Übertragungsbandbreite die wesentlichen Daten und somit Informationen zu übertragen, ohne beispielsweise Einbussen bei der Übertragungsgeschwindigkeit hinnehmen zu müssen. In Abhängigkeit von der verfügbaren Bandbreite eines Übertragungskanals für die Bild- und Audiodaten werden die höher priorisierten Bild- und Audiodaten an den Empfänger übermittelt. Bei hoher verfügbarer Bandbreite werden dabei um so mehr nachrangige Video- oder Bild- und Audiodaten übermittelt. Bei niedriger und/oder schwankender Bandbreite wird auf die am höchsten priorisierten Bild- und Audiodaten fokussiert. Die Erfindung ist nicht auf eine Anwendung auf dem Gebiet der Bildtelefonie beschränkt. Insbesondere können die Nerfahren und Norrichtungen gemäss der vorliegenden Erfindung z.B. auch bei Nideokonferenzen mit Vorteil genutzt werden. Weiterhin kann eine Priorisierung nicht nur bei den Bilddaten durchgeführt werden, sondern auch bei den Audiodaten.The data that do not belong to the prioritized areas 1 can either be completely neglected, ie they are not displayed at the receiver, or they are initially transmitted and stored in the receiver device, so that they can be displayed constantly without being transmitted further have to. The use of prioritized areas thus enables the essential data and thus information to be transmitted even with a smaller transmission bandwidth, without having to accept losses in the transmission speed, for example. Depending on the available bandwidth of a transmission channel for the image and audio data, the higher priority image and audio data are transmitted to the receiver. With a high available bandwidth, the more subordinate video or image and audio data are transmitted. When the bandwidth is low and / or fluctuating, the focus is on the highest priority image and audio data. The invention is not restricted to an application in the field of video telephony. In particular, the ner rides and north directions according to the present invention can also be used advantageously, for example, at nideoconferences. Furthermore, prioritization can be carried out not only for the image data, but also for the audio data.
Dem Verfahren und der Vorrichtung gemäss der vorliegenden Erfindung liegt ein übliches Kommunikationsverfahren oder -System, wie beispielsweise bei der Bildtelefonie oder bei Videokonferenzen, zugrunde. Dabei werden von einem ersten Kommunikationsteilnehmer Bild- und Audiodaten in z.B. ein Bildtelefon eingegeben, wozu Kamera- und Mikrofoneinrichtungen verwendet werden, die allgemein als Tei ehmerdaten-Eingabeeinrichtungen der Kommunikationseinrichtung in Form des Bildtelefons zu bezeichnen sind. Die Bild- und Audiodaten werden dann mittels Übertragungsdaten- Ausgabeeinrichtungen an ein Kommunikationsnetz ausgegeben, über das eine Verbindung zu einer Kommunikationseinrichtung des Kommunikationspartners oder eben einem anderen Kommunikationsteilnehmer besteht. Die Herstellung der Verbindung selbst erfolgt über geeignete Einrichtungen, die dem Fachmann bekannt sind und nicht speziell Gegenstand der vorliegenden Erfindung sind, so dass sich ein Eingehen darauf hier erübrigt.The method and the device according to the present invention are based on a customary communication method or system, such as for example in video telephony or in video conferences. A first communication participant uses image and audio data in e.g. entered a videophone, for which camera and microphone devices are used, which are generally to be referred to as subscriber data input devices of the communication device in the form of the videophone. The image and audio data are then output by means of transmission data output devices to a communication network via which there is a connection to a communication device of the communication partner or just another communication participant. The connection itself is established via suitable devices which are known to the person skilled in the art and are not specifically the subject of the present invention, so that there is no need to go into this here.
Die Bild- und Audiodaten des ersten Kommunikationsteilnehmers gelangen somit vom Kommunikationsnetz in die Kommunikationseinrichtung des Kommunikationspartners, oder genauer in Übertragungsdaten-Eingabeeinrichtungen in dieser Kornmunikationseinrichtung, die femer über Empfangsdaten- Ausgabeeinrichtungen, wie insbesondere einen Bildschirm und einen Lautsprecher, verfügt, womit die übertragenen Bild- und Audiodaten des ersten Kommunikationsteilnehmers bei seinem Kommunikationspartner sieht- und hörbar werden.The image and audio data of the first communication participant thus get from the communication network into the communication device of the communication partner, or more precisely into transmission data input devices in this communication device, which also has reception data output devices, such as in particular a screen and a loudspeaker, with which the transmitted image and audio data of the first communication participant can be seen and heard by his communication partner.
Das Kommunikationsnetz enthält Leitungs- und/oder Funkübertragungseinrichtungen, mittels denen Bild- und Audiodaten oder allgemein Kommunikationsdaten auf sogenannten Kanälen übertragen werden. Auch diese Technologie ist nicht direkt Bestandteil der vorliegenden Erfindung und kann im Rahmen fachmännischen Könnens und Wissens aus den zur Verfügung stehenden Möglichkeiten gewählt werden, so dass eine detaillierte Befassung im Rahmen dieser Beschreibung nicht erforderlich ist. Dasselbe gilt für die genauen Verfahren und Vorrichtungen für solche Datenübertragungsarten, wobei für eine Datenübertragung innerhalb eines Übertragungskanals eine bestimmte Signal- oder Daten-Bandbreite verwendet wird. Diese Bandbreite kann beispielsweise in Abhängigkeit von der Qualität einer Verbindung oder der Auslastung des Kanals voreingestellt oder variabel sein. An dieser Stelle greift die vorliegende Erfindung an, jedoch nicht an der Technologie des Kommunikationsnetzes selbst und ins- besondere nicht an den Übertragungskanälen oder den Signal- oder Daten-Bandbreiten bzw. deren Steuerungen, sondern an der Art und/oder Menge der zu übertragenden Daten.The communication network contains line and / or radio transmission devices by means of which image and audio data or generally communication data are transmitted on so-called channels. This technology is also not a direct component of the present invention and can be selected from the available options within the scope of specialist skill and knowledge, so that a detailed discussion in the context of this description is not necessary. The same applies to the precise methods and devices for such data transmission types, wherein a certain signal or data bandwidth is used for data transmission within a transmission channel. This bandwidth can be preset or variable depending on the quality of a connection or the load on the channel, for example. At this point the present invention attacks, but not on the technology of the communication network itself and particular not on the transmission channels or the signal or data bandwidths or their controls, but on the type and / or amount of data to be transmitted.
Unter Fortführung des weiter oben exemplarisch erläuterten Kommunikationsverfahrens oder -Systems ist nach der Erfindung vorgesehen, dass die Kommunikationseinrichtung des ersten Kommunikationsteilnehmers über Priorisierungseinrichtungen verfügt, mittels denen sogenannte priorisierte Bereiche innerhalb der Bild- und Audiodaten erfasst werden, die von dem ersten Kommunikationsteilnehmer mittels der Teilnehmerdaten-Eingabeeinrichtungen seiner Kommunikationseinrichtung erhalten wurden. Die Priorisierungseinrichtungen sind somit zwischen den Teilnehmerdaten-Eingabeeinrichtungen und den Übertragungsdaten- Ausgabe- einrichtungen in der Kommunikationseinrichtung vorgesehen.Continuing the communication method or system explained above by way of example, the invention provides that the communication device of the first communication subscriber has prioritization devices, by means of which so-called prioritized areas within the image and audio data are recorded, which are recorded by the first communication subscriber using the subscriber data. Input devices of his communication device were obtained. The prioritization devices are thus provided between the subscriber data input devices and the transmission data output devices in the communication device.
Die Priorisierungseinrichtungen enthalten zumindest Verarbeitungseinrichtungen, die in vorgegebener Weise, z.B. unter Anwendung eines elektronischen Programmablaufes, beispielsweise innerhalb der Bilddaten einer Momentaufnahme des ersten Kommunikationsteilnehmers priorisierte Bereiche feststellen oder festlegen. Eine solche Momentaufname wird auch als ein Rahmen bezeichnet.The prioritization devices contain at least processing devices which are operated in a predetermined manner, e.g. Using an electronic program sequence, for example within the image data of a snapshot of the first communication participant, determine or define priority areas. Such a snapshot is also called a frame.
Die vorgegebene Priorisierungsweise hängt von wenigstens einem Kriterium ab. Ein solches Kriterium kann z.B. der Mund, die Partie Augen-Nase-Mund, das Gesicht, der Kopf oder der Oberköφer des ersten Kommunikationsteilnehmers sein. Das zu einer durchzuführenden Priorisierungsweise gehörende Kriterium kann in den Priorisierungseinrichtungen und somit der Kommunikationseinrichtung fest eingestellt oder eingebaut sein. Es ist aber auch möglich, frei wählbar oder in Abhängigkeit von z.B. einer maximal möglichen Bandbreite verschiedene Kriterien zur Anwendung durch die Priorisierungseinrichtungen bereitzustellen. Dafür sind dann in den Priorisierungseinrichtungen oder diesen zugeordnet Speicher vorzusehen, in denen Daten und Informationen für einen jeweiligen elektronischen Programmablauf gespeichert und für die Verarbeitungseinrichtungen verfügbar sind.The given prioritization method depends on at least one criterion. Such a criterion can e.g. the mouth, the part eye-nose-mouth, the face, the head or the upper body of the first communication participant. The criterion belonging to a prioritization method to be carried out can be permanently set or built into the prioritization devices and thus the communication device. However, it is also possible to choose freely or depending on e.g. a maximum possible bandwidth to provide various criteria for use by the prioritization devices. For this purpose, memory must then be provided in the prioritization devices or assigned to them, in which data and information for a respective electronic program sequence are stored and available for the processing devices.
Die konkrete Durcl führung der Priorisierung, oder anders ausgedrückt, die konkrete Anwendung von wenigstens einem Kriterium entsprechend der gewählten oder eingestellten Priorisierungsweise kann mittels bekannter Bildbe- und -Verarbeitungstechniken erfolgen. Ein genaues Eingehen auf diese Techniken ist nicht erforderlich, da ein Fachmann ohne weiteres geeignete Bildbe- und -Verarbeitungstechniken auswählen und auch kombinieren kann. In Abhängigkeit der eingesetzten Techniken ergibt sich dann auch automatisch die erforderliche Grosse und Leistungsfähigkeit der Verarbeitungseinrichtungen und der Speicher. Soweit vorstehend nur eine Befassung mit den Bilddaten beschrieben wurde, stellt dies keine Beschränkung der vorliegenden Erfindung darauf dar. Eine entsprechende Behandlung der Audiodaten ist für den Fachmann auch ohne gesonderte Darstellung ohne weiteres klar.The specific implementation of the prioritization, or in other words, the specific application of at least one criterion in accordance with the selected or set method of prioritization can be carried out using known image processing and processing techniques. It is not necessary to go into these techniques precisely, since a person skilled in the art can easily select and combine suitable image processing and processing techniques. Depending on the technology used, the required size and performance of the processing equipment and the memory are then automatically determined. Insofar as only a reference to the image data has been described, this does not limit the present invention to this. A corresponding treatment of the audio data is readily apparent to the person skilled in the art even without a separate representation.
Das erfindungsgemässe Verfahren, bei dem die Priorisierung nach wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium erfolgt, weist im Rahmen bevorzugter Ausgestaltungen einen oder mehrere der nachfolgend angegebenen Schritte auf, aus denen sich auch entsprechende Vorrichtungsausgestaltungen ergeben:The method according to the invention, in which the prioritization takes place according to at least one predetermined or predeterminable criterion, has, in the context of preferred configurations, one or more of the steps specified below, from which corresponding device configurations also result:
a) Die Priorisierung innerhalb der Bild- und/oder Audiodaten wird vor und/oder während der Übertragung durchgeführt. Eine Priorisierung vor der Übertragung erzeugt sozusagen einen für eine hergestellte oder herzustellende Kommunikationsverbindung einmalig aktuell eingestellten "Filter" für die Bild- und/oder Audiodaten. Eine andauernde Priorisierung während der Übertragung ermöglicht eine ständige Aktualisierung dieses "Filters", so dass geänderten Umständen beim gesendeten Bild und/oder Ton ebenso wie beim technischen Ablauf der Verbindung Rechnung getragen werden kann.a) The prioritization within the image and / or audio data is carried out before and / or during the transmission. Prioritization prior to transmission produces, so to speak, a "filter" for the image and / or audio data that is currently set once for a communication connection that is established or to be established. Continuous prioritization during transmission enables this "filter" to be constantly updated, so that changed circumstances in the transmitted image and / or sound as well as in the technical process of the connection can be taken into account.
b) Die Priorisierung kann während der Übertragung geändert werden. Dies ermöglicht gemäss dem zweiten Aspekt des vorstehenden Punktes a) die ständige Aktualisierung der Priorisierung, so dass geänderten Umständen beim gesendeten Bild und/oder Ton ebenso wie beim technischen Ablauf der Verbindung Rechnung getragen werden kann.b) The prioritization can be changed during the transmission. According to the second aspect of point a) above, this enables the prioritization to be constantly updated, so that changed circumstances in the transmitted image and / or sound as well as in the technical process of the connection can be taken into account.
c) Durch die verfügbare Bandbreite wird bestimmt, wieviele Bild- und/oder Audiodaten in welcher Qualität übertragen werden. Damit wird ein Automatismus vorgesehen, um die jeweils aktuellen maximalen Möglichkeiten der Verbindung auszunutzen. Die Priorisierungseinrichtungen enthalten dazu neben den Verarbeitungseinrichtungen und den Speichern noch Überwachungseii richtungen, die die Leistung und Qualität der Verbindung, insbesondere die verfügbare Bandbreite, über das Kommunikationsnetzwerk in Abhängigkeit von Änderungen, in Abhängigkeit von Änderungen in mein- als einem vorgegebenen Umfang oder in Abhängigkeit von voreingestellten Zeitintervallen überprüfen und zumindest bei festgestellten Änderungen das Ergebnis an die Verarbeitungseinrichtungen ausgeben. Letztere verwenden dann in Abhängigkeit von den geänderten Nerbindungspa- rametern geeignete Kriterien auf der Basis entsprechender Informationen in den Speichern. Wieviele Bild- und/oder Audiodaten in welcher Qualität übertragen werden, betrifft nicht nur den Umstand, ob jeweilige Daten überhaupt übertragen werden, sondern auch, mit welcher Auflösung und somit Datenmenge einzelne Bildbereiche übertragen werden. Beispiele für reduzierte Auflösungen ergeben sich aus dem Vergleich der Fig. 1 und 2 bei den Bildeinzelheiten der Krawatte 11 und der Hintergrundinformationen 7 (Regal 8 und Bild 9), wo bei der Übertragung gemäss der Fig. 2 in dem weiteren priorisierten Bereich 10 mit der Krawatte 11 eine geringere Auflösung als in dem priorisierten Bereich 1 gewählt ist, und die Hintergrundinformationen 7 wiederum mit einer geringeren Auflösung als der weitere priorisierte Bereich 10 übertragen wurden. Damit ist eine jeweils optimale Ausnutzung der Nerbindungsmöglichkeiten in automatisierter Weise gewährleistet.c) The available bandwidth determines how much image and / or audio data is transmitted and in what quality. An automatism is thus provided in order to utilize the current maximum possibilities of the connection in each case. In addition to the processing devices and the memories, the prioritization devices also contain monitoring devices which monitor the performance and quality of the connection, in particular the available bandwidth, via the communication network as a function of changes, as a function of changes to a predetermined extent or as a function of Check the preset time intervals and at least output the result to the processing equipment if changes are detected. The latter then use suitable criteria based on the corresponding information in the memories, depending on the changed connection parameters. How much image and / or audio data is transmitted in which quality not only affects the fact whether respective data is transmitted at all, but also the resolution and thus the amount of data that individual image areas are transmitted. Examples of reduced resolutions result from the comparison of FIG. 1 and 2 in the picture details of the tie 11 and the background information 7 (shelf 8 and picture 9), where in the transmission according to FIG. 2 in the further prioritized area 10 with the tie 11 a lower resolution than in the prioritized area 1 is selected , and the background information 7 was in turn transmitted with a lower resolution than the further prioritized area 10. This ensures optimal utilization of the connection options in an automated manner.
d) Durch die Priorisierung wird bestimmt, welche Bild- und/oder Audiodaten übertragen werden, und die am höchsten priorisierten Bild- und/oder Audiodaten werden dabei bevorzugt übertragen. Diese Verfahrensweise oder vorrichtungsmässige Steuerung sorgt dafür, dass die jeweils wichtigsten Daten (z.B. der Mund, die Partie Augen-Νase-Mund, das Gesicht, der Kopf oder der Oberkörper des ersten Kommunikationsteilnehmers) übertragen werden und weniger wichtige Daten (beispielsweise H tergrunddarstellungen) vernachlässigt oder nicht übertragen werden. Anstelle der weniger wichtigen Daten kann bei der Wiedergabe beim Empfänger entweder nichts (z.B. Bildschirm schwarz oder weiss oder in einer Grundfarbe) oder ein Standardhintergrund oder ein früher übertragener Hintergrund wiedergegeben werden. Damit wird auch bei geringerer oder reduzierter Bandbreite im Übertragungskanal ein Maximum an Informationen übertragen.d) The prioritization determines which image and / or audio data are transmitted, and the image and / or audio data with the highest priority are preferably transmitted. This procedure or device-based control ensures that the most important data (e.g. the mouth, the part of the eye-Νase-mouth, the face, the head or the torso of the first communication participant) are transmitted and that less important data (e.g. background images) are neglected or not transmitted. Instead of the less important data, either nothing can be reproduced at the receiver (e.g. screen black or white or in a basic color) or a standard background or a previously transmitted background. This means that a maximum amount of information is transmitted in the transmission channel even when the bandwidth is reduced or reduced.
e) Durch die Priorisierung wird bestimmt, in welcher Qualität Bild- und/oder Audiodaten übertragen werden, wobei den am höchsten priorisierten Bild- und/oder Audiodaten dabei grössere Anteile an der zur Verfügung stehenden Bandbreite zugestanden werden, oder anders ausgedrückt, die am höchsten priorisierten Bild- und/oder Audiodaten (z.B. der Mund, die Partie Augen-Νase-Mund, das Gesicht, der Kopf oder der Oberkörper des ersten Kommunikationsteilnehmers) mit höherer bis Irin zu maximalen Qualität und nachrangige Bild- und/oder Audiodaten (beispielsweise Hintergrunddarstellungen) mit niedrigerer Qualität bis hin zum vollständigen Weglassen übertragen werden. Diese Verfahrensweise oder vorrichtungsmässige Steuerung sorgt dafür, dass die jeweils wichtigsten Daten (z.B. der Mund, die Partie Augen-Νase-Mund, das Gesicht, der Kopf oder der Oberköφer des ersten Kommunikationsteilnehmers) in maximaler oder vollständiger Qualität, wie beispielsweise Auflösung, wenn es sich um Bilddaten handelt, übertragen werden und weniger wichtige Daten (beispielsweise Hintergrundinformationen 7) mit geringerer Qualität oder analog Bildauflösung übertragen werden. Dies ist beispielsweise beim Vergleich der Fig. 1 und 2 zu erkennen. In der Fig. 2 sind die Bilddaten z.B. des Regals 8 gemäss der Auflösung in der Darstellung der Fig. 1 am rechten Bildrand durch Farbflächen ersetzt, die durch eine geringere Datenmenge repräsentiert werden als die Datenmenge, die für die Darstellung des Bildes des Regals 8 selbst in der Fig. 1 erforderlich ist. Ein weiteres Beispiel für reduzierte Auflösungen ergibt sich aus dem Vergleich der Fig. 1 und 2 bei den Bildeinzelheiten der Krawatte 11, wo bei der Übertragung gemäss der Fig. 2 in dem weiteren priorisierten Bereich 10 mit der Krawatte 11 eine geringere Auflösung als in dem priorisierten Bereich 1 gewählt ist. Die Hintergrundinformationen 7 wurden wiederum mit einer geringeren Auflösung als der weitere priorisierte Bereich 10 übertragen. Damit wird auch bei geringerer oder reduzierter Bandbreite im Übertragungskanal ein Maximum an Informationen übertragen.e) The prioritization determines the quality in which image and / or audio data are transmitted, the highest priority image and / or audio data being granted larger shares of the available bandwidth, or in other words, the highest prioritized image and / or audio data (e.g. the mouth, the part of the eye-Νase-mouth, the face, the head or the upper body of the first communication participant) with higher to irin to maximum quality and subordinate image and / or audio data (e.g. background images ) are transmitted with lower quality up to the complete omission. This procedure or device-based control ensures that the most important data (e.g. the mouth, the part of the eye-Νase-mouth, the face, the head or the upper body of the first communication participant) in maximum or complete quality, such as resolution, if it it is image data that are transmitted and less important data (for example background information 7) with lower quality or analog image resolution are transmitted. This can be seen, for example, when comparing FIGS. 1 and 2. In FIG. 2, the image data of, for example, the shelf 8 according to the resolution in the illustration in FIG. 1 on the right-hand edge of the image are replaced by color areas which are represented by a smaller amount of data than that Amount of data required to display the image of the shelf 8 itself in FIG. 1. A further example of reduced resolutions results from the comparison of FIGS. 1 and 2 in the picture details of the tie 11, where in the transmission according to FIG. 2 in the further prioritized area 10 with the tie 11 a lower resolution than in the prioritized one Area 1 is selected. The background information 7 was in turn transmitted with a lower resolution than the further prioritized area 10. This means that a maximum amount of information is transmitted in the transmission channel even when the bandwidth is reduced or reduced.
f) Durch die Priorisierung und die Höhe der Bandbreite wird bestimmt, ob und in welcher Qualität nachrangige oder "geringer priorisierte" Bild- und/oder Audiodaten übertragen werden. Die Priorisierungseinrichtungen enthalten dazu neben den Verarbeitungseinrichtungen und den Speichern noch Überwachungseinrichtungen, die die Leistung und Qualität der Verbindung, insbesondere die verfügbare Bandbreite, über das Kommunikationsnetzwerk in Abhängigkeit von Änderungen, in Abhängigkeit von Änderungen in mehr als einem vorgegebenen Umfang oder in Abhängigkeit von voreingestellten Zeitintervallen übeφriifen und zumindest bei festgestellten Änderungen das Ergebnis an die Verarbeitungseinrichtungen ausgeben. Letztere verwenden dann in Abhängigkeit von den geänderten Verbindungsparametern geeignete Kriterien auf der Basis entsprechender Informationen in den Speichern. Damit ist eine jeweils optimale Ausnutzung der Verbindungsmöglichkeiten in automatisierter Weise gewährleistet. Diese Verfahrensweise oder vorrichtungsmässige Steuerung sorgt dafür, dass die jeweils wichtigsten Daten (z.B. der Mund, die Partie Augen-Nase-Mund, das Gesicht, der Kopf oder der Oberköφer des ersten Kommunikationsteilnehmers) mit hoher Qualität und insbesondere vollständig übertragen werden und weniger wichtige Daten (beispielsweise Hintergrunddarstellungen) mit geringerer Qualität übertragen, vernachlässigt oder nicht übertragen werden. Anstelle der weniger wichtigen Daten kann bei der Wiedergabe beim Empfänger entweder der Datensatz mit niedrigerer Auflösung (inklusive Ersatz-Farbflächen), nichts (z.B. Bildschirm schwarz oder weiss oder in einer Grundfarbe) oder ein Standardhintergrund oder ein früher übertragener Hintergrund wiedergegeben werden. Damit wird auch bei geringerer oder reduzierter Bandbreite im Übertragungskanal ein Maximum an Informationen übertragen.f) The prioritization and the amount of the bandwidth determine whether and in what quality subordinate or "less prioritized" image and / or audio data are transmitted. In addition to the processing devices and the memories, the prioritization devices also contain monitoring devices which monitor the performance and quality of the connection, in particular the available bandwidth, via the communication network as a function of changes, as a function of changes in more than a predetermined scope or as a function of preset time intervals Check and output the result to the processing equipment at least when changes are detected. The latter then use suitable criteria based on the corresponding information in the memories, depending on the changed connection parameters. This ensures optimal use of the connection options in an automated manner. This procedure or device-based control ensures that the most important data (e.g. the mouth, the part of the eye-nose-mouth, the face, the head or the upper body of the first communication participant) are transmitted with high quality and in particular completely, and less important data (e.g. background representations) are transmitted with lower quality, neglected or not transmitted. Instead of the less important data, either the data record with a lower resolution (including replacement color areas), nothing (e.g. screen black or white or in a basic color) or a standard background or a previously transmitted background can be reproduced at the receiver. This means that a maximum amount of information is transmitted in the transmission channel even when the bandwidth is reduced or reduced.
Weitere vorrichtungs- und verfahrensmässig bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind nachfolgend angegeben: a) Erkennung und Verfolgung beispielsweise des Gesichtsbereiches (Face-Träcking) in Kombination mit einer Reduktion der Bild- oder Bildschirmauflösung: Unter Einsatz insbesondere auch bekannter Bildbe- und -Verarbeitungstechniken erfassen die Verarbei- tungseimichtungen vorzugsweise in Echtzeit das Gesicht oder den Kopf oder Teile davon innerhalb der Bilddaten von dem Kommunikationsteilnehmer. Dies entsprechende Gestalt wird dann vorzugsweise weiterhin in Echtzeit verfolgt. Es können mehrere einzelne Gestalten, wie z.B. für den Mund, die Augen, die Nase, die Partie Augen-Nase-Mund, das Gesicht, den Kopf oder den Oberköφer des ersten Kommumkationsteilnehmers erfasst und verfolgt werden. Die gesonderte Erfassung und Verfolgung ermöglicht dabei auch unterschiedliche Priorisierungen für die Gestalten von beispielsweise Mund, Augen, Nase, Partie Augen-Nase-Mund, Gesicht, Kopf oder Oberköφer. Einzelheiten hierzu sind in den Speichern hinterlegt und werden von dort von den Verarbeitungseinrichtungen abgefragt oder dorthin zur Verfugung gestellt. Entsprechend einzelnen konkreten Priorisierungen oder zugehörigen Kriterien stellen die Verarbeitungseinrichtungen unterschiedliche Bildauflösungen für die einzelnen Gestalten ein. Dadurch wird die Datenmenge eines Einzelbildes oder Rahmens verringert, so dass auch bei reduzierter Bandbreite ein optimiertes Bild übertragen werden kann, insbesondere mit optimaler bis maximaler Auflösung zumindest in den am höchsten priorisierten Bereichen der Bilddaten.Further refinements and developments of the invention preferred in terms of device and method are given below: a) Detection and tracking, for example of the face area (face tracking) in combination with a reduction in the image or screen resolution: using known image processing and processing techniques in particular, the processing devices preferably capture the face or the head or parts thereof in real time within the image data from the communication participant. The corresponding shape is then preferably tracked in real time. Several individual shapes, such as for the mouth, the eyes, the nose, the part eye-nose-mouth, the face, the head or the upper body of the first communication participant, can be detected and tracked. The separate recording and tracking also enables different prioritizations for the shapes of, for example, mouth, eyes, nose, batch of eyes-nose-mouth, face, head or upper body. Details of this are stored in the memories and are queried from there by the processing facilities or made available there. The processing devices set different image resolutions for the individual characters in accordance with individual concrete prioritizations or associated criteria. As a result, the amount of data in a single image or frame is reduced, so that an optimized image can be transmitted even with a reduced bandwidth, in particular with optimal to maximum resolution, at least in the most highly prioritized areas of the image data.
b) Eine Auflösungsreduzierung für die Bild- und/oder Audiodaten je nach verfügbarer Bandbreite fest voreingestellt oder variabel oder optimiert nach der jeweiligen Möglichkeit: Durch diese Verfahrensvarianten und deren vorrichtungsmässigen Umsetzungen durch geeignete Steuerungen in den Verarbeitungseinrichtungen und Überwachungseinrichtungen sowie für deren Operation erforderlichen Daten in den Speichern sind Betriebsmodi realisiert. Eine in Abhängigkeit von verfügbaren Bandbreitenwerten vorgegebene Auflösung für jeweilige Priorisierungen ergibt eine automatisierte und schrittweise Optimierung der beim Empfänger wiedergegebenen Daten unter Berücksichtigung der aktuellen Leistungsfähigkeit und Qualität des Kommunikationsnetzes. Eine Variabilität kann hinsichtlich der Grosse der verfügbaren Bandbreitenwerte und/oder der Auflösung eingesetzt werden, so dass eine quasi kontinuierliche Anpassung der Übertragung an die Leistungsfähigkeit und Qualität des Kommunikationsnetzes erfolgen kann.b) A resolution reduction for the image and / or audio data depending on the available bandwidth is preset or variable or optimized according to the respective possibility: Through these process variants and their implementations by means of suitable controls in the processing devices and monitoring devices as well as the data required for their operation in the Operating modes are implemented. A predetermined resolution depending on available bandwidth values for respective prioritizations results in an automated and step-by-step optimization of the data reproduced at the receiver, taking into account the current performance and quality of the communication network. A variability can be used with regard to the size of the available bandwidth values and / or the resolution, so that a quasi-continuous adaptation of the transmission to the performance and quality of the communication network can take place.
Unter einer optimierten Auflösung oder Auflösungsreduzierung soll hier verstanden werden, dass auch noch weitere Kriterien berücksichtigt werden. Diese können beispielsweise auch eine möglichst geringe Belastung des Kommunikationsnetzes beinhalten, indem beispielsweise Hintergrundbilddaten, z.B. ermittelt in Folge einer Erkennung und Verfolgung beispielsweise des Gesichtsbereiches (Face-Tracking), grundsätzlich mit einer ge- ringeren Auflösung übertragen werden, als Bilddaten des Gesichtsbereiches. Damit wird quasi eine Rücksichtnahme auf die Verfügbarkeit des Kommunikationsnetzes für möglichst viele Nutzer erreicht. Dabei kann mit Vorteil vorgesehen werden, dass die Optimierung der Auflösung oder Auflösungsreduzierung in Abhängigkeit von insbesondere einer üblichen tageszeitabhängigen oder aktuellen Auslastung des Kommunikationsnetzes erfolgt, was über die Überwachungseinrichtungen "aus dem Kommunikationsnetz in Erfahrung gebracht" und somit zur Steuerung der Verarbeitungseinrichtungen festgestellt werden kann. Weitere Kriterien für eine optimierte Auflösung oder Auflösungsreduzierung sind beispielsweise Gerätevorgaben, wodurch eine Übertragung mit einer höheren Auflösung, als das Empfängergerät darstellen kann, unterlassen wird, das sonst selbst eine Umrechnung der empfangenen Daten in solche repräsentativ für die geringere darstellbare Auflösung durchführen würde/müsste. Noch weitere Kriterien für eine optimierte Auflösung oder Auflösungsreduzierung können in den Inhalten der Bild- und Audiodaten bestehen, die über die Teilnehmerdaten-Eingabeeinrichtungen der Kommunikationseinrichtung erfasst werden. Befindet sich der Anwender nahe an diesen Teilnehmerdaten-Eingabeeinrichtungen, wie z.B. einer Kamera für die Eingabe der Bilddaten, so sind grössere gleichmässige Flächen zu erwarten, für die geringere Auflösungen gewählt werden können. Sind die gleichmässigen Flächen kleiner, so würde mit einer höheren Auflösung gearbeitet. Die Priorisierung nach solchen Kriterien würde somit Einsparungen an Übertragungsaufwand bei gleichmässigen Flächen in dem zu übertragenden Bild ermöglichen.An optimized resolution or resolution reduction is to be understood here to mean that other criteria are also taken into account. For example, these can also contain the lowest possible load on the communication network, in that, for example, background image data, for example ascertained as a result of detection and tracking, for example of the face area (face tracking), is fundamentally with a lower resolution are transmitted than image data of the facial area. In this way, consideration for the availability of the communication network for as many users as possible is achieved. It can advantageously be provided that the optimization of the resolution or reduction in resolution takes place as a function of, in particular, a customary time of day or current utilization of the communication network, which can be “learned from the communication network” via the monitoring devices and can thus be determined for controlling the processing devices. Further criteria for an optimized resolution or resolution reduction are, for example, device specifications, which means that transmission with a higher resolution than the receiver device can display is not carried out, which would otherwise itself have to / have to convert the received data into data representative of the lower displayable resolution. Still further criteria for an optimized resolution or reduction in resolution can consist in the contents of the image and audio data, which are recorded via the subscriber data input devices of the communication device. If the user is close to these subscriber data input devices, such as a camera for inputting the image data, larger uniform areas can be expected for which lower resolutions can be selected. If the even areas are smaller, a higher resolution would be used. The prioritization according to such criteria would thus enable savings in transmission effort with uniform areas in the image to be transmitted.
c) Eine Reduktion des zu übertragenden Bildes oder genauer der letzteres repräsentierenden Daten in der Art, dass die erfassten und verarbeiteten Informationen zum Aussenrand des Bildes in einem Schritt oder in mehreren Schritten oder kontinuierlich linear oder nach einer Intensitätskurve hin abnehmen: Die Priorisierung bevorzugt in diesem Fall das Zentrum des Bildes. Weiter aussen liegende Bereiche des Bildes sind nachrangig. Dabei wird der Umstand ausgenutzt, dass Wesentliches in einem Bild, wie beispielsweise der Kopf oder das Gesicht einer Person, möglichst in der Bildmitte liegt. Neben oder statt der Auflösung kann vom Zentrum des Bildes nach aussen auch die Farbtiefe verringert werden.c) A reduction in the image to be transmitted or more precisely the data representing the latter in such a way that the acquired and processed information on the outside edge of the image decreases in one step or in several steps or continuously linearly or according to an intensity curve: the prioritization preferably in this Fall the center of the picture. Areas of the image that are further out are secondary. This takes advantage of the fact that essentials in a picture, such as the head or face of a person, are as far as possible in the center of the picture. In addition to or instead of the resolution, the color depth can also be reduced from the center of the image to the outside.
d) Eine radiale Gradierung, vorzugsweise orientiert am Gesichtsbereich: Im Unterschied zur Variante gemäss dem vorstehenden Punkt c) wird nicht voreingestellt vom Bildmittelpunkt nach aussen beispielsweise die Auflösung oder Farbtiefe in einem Schritt oder in mehreren Schritten oder kontinuierlich linear oder nach einer Intensitätskurve reduziert, sondern ausgehend von einem tatsächlich erfassten Gesichtsbereich, der nicht zwingend in der Bildmitte liegen muss. Dabei wird eine Gesichtsbereichserkennung und -Verfolgung gemäss dem obigen Punkt a) der weiteren vorrichtungs- und verfahrensmässig be- vorzugten Ausgestaltungen und Weiterbildungen der Erfindung genutzt. Die Priorisierung bevorzugt in diesem Fall das Anwendergesicht im Bild als Zentrum. Ausserhalb des Gesichtes liegende Bereiche des Bildes sind nachrangig. Neben oder statt der Auflösung kann vom Gesicht aus nach aussen auch die Farbtiefe verringert werden.d) A radial grading, preferably based on the facial area: In contrast to the variant according to item c) above, the resolution or color depth is not preset in one step or in several steps or continuously linearly or according to an intensity curve, but is not preset from the outside, but rather based on an actually recorded facial area that does not necessarily have to be in the center of the image. A facial area recognition and tracking in accordance with point a) above is carried out in terms of the further device and method. preferred refinements and developments of the invention. In this case, prioritization favors the user face in the image as the center. Areas of the image outside the face are of secondary importance. In addition to or instead of the resolution, the color depth can also be reduced from the face to the outside.
e) Eine Konzentration auf den Gesichtsbereich: Bei dieser Variante wird davon ausgegangen, dass alle Bildbestandteile ausserhalb des Gesichtes des Anwenders nebensächlich sind. Dabei wird eine Gesichtsbereichserkennung und -Verfolgung gemäss dem obigen Punkt a) der weiteren vorrichtungs- und verfahrensmässig bevorzugten Ausgestaltungen und Weiterbildungen der Erfindung genutzt. Stufenweise oder vollständig werden bei dieser Priorisierung vor der Bildübertragung Hintergrundinformationen 7 ausgeblendet oder vernachlässigt.e) Concentration on the facial area: This variant assumes that all image components outside of the user's face are irrelevant. In this case, facial area detection and tracking is used in accordance with point a) above of the further refinements and developments of the invention preferred in terms of device and method. In this prioritization, background information 7 is hidden or neglected in stages or completely before the image transmission.
Eine weitere priorisierungsabhängige Einspaπnöglichkeit bei der Übertragung der Bilddaten ist in der Verringerung der erkannten und übertragenen Farbdaten für jeden oder einzelne Bildpunkte oder Bildbereiche zu sehen. Diese Bearbeitung kann für jede Art von Prioritätsbereichen unabhängig vom Auswahlkriterium eingesetzt werden.Another priority-dependent saving possibility in the transmission of the image data can be seen in the reduction in the recognized and transmitted color data for each or individual pixels or image areas. This processing can be used for any type of priority area, regardless of the selection criterion.
Insbesondere können im Rahmen der vorliegenden Erfindung verschiedene Priorisierungen oder anders ausgedrückt Prioritätskriterien kombiniert, hintereinandergeschaltet oder geschachtelt werden. Dafür sind die Verarbeitungseimichtungen unter Einbeziehung entsprechender Programm- und/oder Dateninformationen aus den Speichern in den Priorisierungseinrichtungen zuständig.In particular, within the scope of the present invention, different prioritizations or, in other words, priority criteria can be combined, connected in series or nested. The processing devices are responsible for this, including appropriate program and / or data information from the memories in the prioritization devices.
Die Kommunikationseinrichtungen, die im Sinne der vorliegenden Erfindung eine Vorrichtung zur Übertragung von Video- und/oder Audiodaten darstellen, können auch über Manuell- Auswahleinrichtungen verfügen, die es dem Anwender ermöglichen einzelne Priorisierungen oder Kombinationen davon voreinzustellen oder für bestimmte Verbindungen jeweils aktuell oder dauerhaft als Vorgabe einzustellen. Damit kann bekannten Eigenheiten von Empfängergeräten, wie beispielsweise geringere Wiedergabeauflösungsmöglichkeit, standortbedingten Umständen, wie z.B. Hintergrundlautstärke und/oder Beleuchtung am eigenen oder Kommunikationspartner-Gerätestandort, und anderem Rechnung getragen werden. Neben der Möglichkeit zur manuellen Einstellung von Priorisierungen können solche Einstellungen auch automatisiert vorgenommen werden. Zur Berücksichtigung der vorstehend exemplarisch angegebenen Kriterien ist beispielsweise eine Übermittlung der jeweiligen Umstände (Eigenheiten von Empfängergeräten, Hintergrundlautstärke und/oder Beleuchtung) von jedem Empfangsgerät geeignet. Bezüglich der Priorisierung von Audiodaten sind mögliche Kriterien die Lautstärke, wodurch Hintergrundgeräusche unterdrückt oder vernachlässigt werden können, Frequenzbereiche, womit die beispielsweise für menschliche Sprache üblichen Bereiche bevorzugt werden können, oder die Lautstärkedynamik, die gedämpft werden kann. Mit beispielsweise diesen Kriterien ist auch in Abhängigkeit von entsprechender Priorisierung eine Reduzierung des Datenübertragungsaufwandes zur Anpassung an reduzierte Bandbreiten im Übertragungskanal erreichbar.The communication devices, which in the sense of the present invention represent a device for the transmission of video and / or audio data, can also have manual selection devices which enable the user to preset individual priorities or combinations thereof or for current connections as current or permanent Set default. Known peculiarities of receiver devices, such as, for example, lower playback resolution options, location-related circumstances, such as background volume and / or lighting at one's own or communication partner device location, and others can thus be taken into account. In addition to the possibility of manually setting priorities, such settings can also be made automatically. A transmission of the respective circumstances (peculiarities of receiver devices, background volume and / or lighting) from each receiving device is suitable, for example, to take into account the criteria given above by way of example. With regard to the prioritization of audio data, possible criteria are the volume, whereby background noise can be suppressed or neglected, frequency ranges, with which the ranges customary for human speech, for example, can be preferred, or the volume dynamics, which can be damped. With these criteria, for example, depending on the corresponding prioritization, a reduction in the data transmission effort to adapt to reduced bandwidths in the transmission channel can be achieved.
Die Erfindung ist anhand der Ausführungsbeispiele in der Beschreibung und in den Zeichnungen lediglich exemplarisch dargestellt und nicht darauf beschränkt, sondern umfasst alle Variationen, Modifikationen, Substitutionen und Kombinationen, die der Fachmann den vorliegenden Unterlagen insbesondere im Rahmen der Ansprüche und der allgemeinen Darstellungen in der Einleitung dieser Beschreibung sowie der Beschreibung der Ausführungsbeispiele und deren Darstellungen in der Zeichnung entnehmen und mit seinem fachmännischen Wissen sowie dem Stand der Technik kombinieren kann. Insbesondere sind alle einzelnen Merkmale und Ausgestaltungsmöglichkeiten der Erfindung und ihrer Ausführungsbeispiele kombinierbar. The invention is only illustrated by way of example in the description and in the drawings, and is not limited thereto, but includes all variations, modifications, substitutions and combinations which the person skilled in the art will understand in the introduction, in particular within the scope of the claims and the general representations this description and the description of the exemplary embodiments and their representations in the drawing and can combine with his professional knowledge and the prior art. In particular, all individual features and configuration options of the invention and its exemplary embodiments can be combined.

Claims

Ansprüche Expectations
1. Verfahren zur Übertragung von Video- und/oder Audiodaten, wobei eine Priorisierung von Bereichen innerhalb der Video- und/oder Audiodaten nach wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium erfolgt.1. A method for transmitting video and / or audio data, wherein areas within the video and / or audio data are prioritized according to at least one predetermined or predeterminable criterion.
2. Verfahren nach Ansprach 1, wobei ein Kriterium eine Gesichtsbereichserkennung ist.2. The method according to spoke 1, wherein a criterion is a facial area recognition.
3. Verfahren nach Anspruch 1 oder 2, wobei a) die Priorisierung innerhalb der Bild- und/oder Audiodaten vor und/oder während der Übertragung durchgeführt wird, b) die Priorisierung während der Übertragung geändert werden kann, c) durch die verfügbare Bandbreite bestimmt wird, wieviele Bild- und/oder Audiodaten in welcher Qualität übertragen werden, d) durch die Priorisierung bestimmt wird, welche Bild- und/oder Audiodaten übertragen werden, wobei die am höchsten priorisierten Daten dabei bevorzugt übertragen werden, e) durch die Priorisierung bestimmt wird, in welcher Qualität Bild- und/oder Audiodaten übertragen werden, wobei den am höchsten priorisierten Bild- und Audiodaten dabei grössere Anteile an der zur Verfügung stehenden Bandbreite zugestanden werden, und/oder f) durch die Priorisierung und die Höhe der Bandbreite bestimmt wird, ob und in welcher Qualität nachrangige Bild- und/oder Audiodaten übertragen werden.3. The method according to claim 1 or 2, wherein a) the prioritization within the image and / or audio data is carried out before and / or during the transmission, b) the prioritization can be changed during the transmission, c) determined by the available bandwidth how much image and / or audio data are transmitted in which quality, d) the prioritization determines which image and / or audio data are transmitted, the highest-priority data being preferably transmitted, e) the prioritization the quality in which image and / or audio data are transmitted, the highest-priority image and audio data being granted larger shares of the available bandwidth, and / or f) being determined by the prioritization and the amount of the bandwidth whether and in what quality subordinate image and / or audio data are transmitted.
4. Verfahren nach Anspruch 1 , 2 oder 3 , wobei a) eine Erkennung und Verfolgung des Gesichtsbereiches (Face-Tracking) in Kombination mit einer Reduktion der Bildschirmauflösung durchgeführt wird, b) eine Auflösungsreduzierung je nach verfügbarer Bandbreite fest voreingestellt oder variabel oder optimiert nach der jeweiligen Möglichkeit durchgeführt wird, c) eine Reduktion des Bildes, in der Art durchgeführt wird, dass die erfassten und verarbeiteten Informationen zum Aussenrand des Bildes hin abnehmen, d) eine radiale Gradierung, vorzugsweise orientiert am Gesichtsbereich durchgeführt wird, und/oder e) eine Konzentration auf den Gesichtsbereich durchgeführt wird.4. The method of claim 1, 2 or 3, wherein a) a detection and tracking of the face area (face tracking) is carried out in combination with a reduction in screen resolution, b) a resolution reduction depending on the available bandwidth is preset or variable or optimized the respective possibility is carried out c) a reduction of the image in such a way that the recorded and processed information decreases towards the outer edge of the image, d) a radial grading, preferably based on the facial area, and / or e) a concentration on the facial area becomes.
5. Vorrichtung zur Übertragung von Video- und/oder Audiodaten, mit Teilnehmerdaten- Eingabeeinrichtungen zum Eingeben von Bild- und/oder Audiodaten und Übertragungsdaten- Ausgabeeinrichtungen zum Ausgeben von Bild- und/oder Audiodaten an ein Kommunikationsnetz zwecks Verbindung mit einer Kommunikationseinrichtung eines anderen Kommunikationsteilnehmers, wobei zwischen den Teilnehmerdaten- Eingabeeinrichtungen und den Übertragungsdaten- Ausgabeeinrichtungen Priorisierungseinrichtungen angeordnet sind, die über Verarbeitungseinrichtungen verfügen, die einzelnen Bild- und/oder Audiodatenbereichen unterschiedliche Prioritäten zuweisen und ferner dazu ausgelegt sind, einen Bild- und/oder Audiodatenbereich in Abhängigkeit von seiner Priorität unbearbeitet oder mit einer reduzierten Datenmenge an die Übertragungsdaten- Ausgabeeinrichtungen zur Übertragung auszugeben.5. Device for transmitting video and / or audio data, with subscriber data input devices for inputting image and / or audio data and transmission data output devices for outputting image and / or audio data to a communication network for the purpose of connection to a communication device of another communication subscriber , Priority devices are arranged between the subscriber data input devices and the transmission data output devices, which have processing devices which assign different priorities to the individual image and / or audio data areas and are further designed to provide an image and / or audio data area depending on its priority output unprocessed or with a reduced amount of data to the transmission data output devices for transmission.
6. Vorrichtung zur Übertragung von Video- und/oder Audiodaten nach Anspruch 5, wobei die Verarbeitungseinrichtungen zur Durchführung von verschiedenen Priorisierungen entsprechend unterschiedlichen Kriterien alternativ oder in Kombinationen ausgelegt sind.6. The device for transmitting video and / or audio data according to claim 5, wherein the processing devices are designed to carry out different prioritizations according to different criteria, alternatively or in combinations.
7. Vorrichtung zur Übertragung von Video- und/oder Audiodaten nach Anspruch 5 oder 6, wobei die Priorisierungseinrichtungen Speicher enthalten, in denen Programm- und/oder Dateninformationen für zumindest eine Priorisierung oder deren Durchführung gespeichert sind, und wobei die Verarbeitungseinrichtungen die Programm- und/oder Dateninformationen ggf. in Abhängigkeit von spezifizierten Anforderungen von den Speichern abrufen oder von dort zur Verfügung gestellt bekommen.7. The apparatus for transmitting video and / or audio data according to claim 5 or 6, wherein the prioritization devices contain memories in which program and / or data information for at least one prioritization or their implementation are stored, and wherein the processing devices the program and / or retrieve data information from the memories or receive it from there, depending on specified requirements.
8. Vorrichtung zur Übertragung von Video- und/oder Audiodaten nach einem der Ansprüche 5 bis 7, wobei die Priorisierungseinrichtungen Überwachungseinrichtungen enthalten, die die Leistung und/oder Qualität des Kommunikationsnetzes, insbesondere dessen verfügbare Ubertragungs- oder Signalbandbreite, und/oder der Kommunikationseinrichtung eines Kommunikationspartners, vorzugsweise in Abhängigkeit von Änderungen, in Abhängigkeit von Änderungen in mehr als einem vorgegebenen Umfang oder in Abhängigkeit von voreingestellten Zeitintervallen übeφriifen und zumindest bei festgestellten An- derungen das Ergebnis an die Verarbeitungseinrichtungen ausgeben, und wobei die Verarbeitungseinrichtungen dann in Abhängigkeit von den festgestellten Änderungen ggf. geeignete Kriterien auf der Basis entsprechender Informationen in den Speichern verwenden und Priorisierungen von Bild- und/oder Audiodatenbereichen veranlassen und durchführen.8. Device for the transmission of video and / or audio data according to one of claims 5 to 7, wherein the prioritization devices contain monitoring devices, the performance and / or quality of the communication network, in particular its available transmission or signal bandwidth, and / or the communication device Communication partner, preferably depending on changes, depending on changes to more than a predetermined extent or depending on preset time intervals and at least when determined output the result to the processing devices, and the processing devices then, depending on the changes ascertained, use suitable criteria, if necessary, on the basis of corresponding information in the memories and initiate and carry out prioritization of image and / or audio data areas.
9. Vorrichtung zur Übertragung von Video- und/oder Audiodaten nach einem der Ansprüche 5 bis 8, wobei Manuell-Auswahleinrichtungen enthalten sind, die es dem Anwender ermöglichen einzelne Priorisierungen oder Kombinationen davon voreinzustellen oder für bestimmte Verbindungen jeweils aktuell oder dauerhaft als Vorgabe einzustellen. 9. Device for the transmission of video and / or audio data according to one of claims 5 to 8, wherein manual selection devices are included which allow the user to preset individual priorities or combinations thereof or to set current or permanent as default for certain connections.
PCT/DE2002/001139 2001-03-27 2002-03-27 Method and device for transmitting video and/or audio data WO2002078351A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10291291T DE10291291D2 (en) 2001-03-27 2002-03-27 Method and device for transmitting video and / or audio data

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE20105360.8 2001-03-27
DE20105360 2001-03-27
DE20105531 2001-03-28
DE20105531.7 2001-03-28

Publications (1)

Publication Number Publication Date
WO2002078351A1 true WO2002078351A1 (en) 2002-10-03

Family

ID=26056891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2002/001139 WO2002078351A1 (en) 2001-03-27 2002-03-27 Method and device for transmitting video and/or audio data

Country Status (2)

Country Link
DE (1) DE10291291D2 (en)
WO (1) WO2002078351A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018220880A1 (en) 2018-12-04 2020-06-04 Audi Ag Method and device for modifying an image display of a vehicle interior during a video call in a vehicle and a motor vehicle
CN116074464A (en) * 2023-01-16 2023-05-05 石家庄纵宇科技有限公司 Online video communication system and communication method thereof

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0589657A2 (en) * 1992-09-21 1994-03-30 Canon Kabushiki Kaisha Network system and terminal apparatus
US5481312A (en) * 1994-09-12 1996-01-02 At&T Corp. Method of and apparatus for the transmission of high and low priority segments of a video bitstream over packet networks
US5550581A (en) * 1994-04-06 1996-08-27 Lucent Technologies Inc. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
EP0854652A1 (en) * 1996-08-07 1998-07-22 Matsushita Electric Industrial Co., Ltd. Picture and sound decoding device, picture and sound encoding device, and information transmission system
WO1999022518A1 (en) * 1997-10-28 1999-05-06 Siemens Aktiengesellschaft Method and device for processing a digitized image
WO1999049412A1 (en) * 1998-03-20 1999-09-30 University Of Maryland Method and apparatus for compressing and decompressing images
WO2000000933A1 (en) * 1998-06-26 2000-01-06 Sarnoff Corporation Region-based image processing method and apparatus
WO2001015457A2 (en) * 1999-08-21 2001-03-01 The University Of Manchester Institute Of Science And Technology Image coding
WO2001082217A1 (en) * 2000-04-25 2001-11-01 Hewlett-Packard Company Image sequence compression featuring independently coded regions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0589657A2 (en) * 1992-09-21 1994-03-30 Canon Kabushiki Kaisha Network system and terminal apparatus
US5550581A (en) * 1994-04-06 1996-08-27 Lucent Technologies Inc. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US5481312A (en) * 1994-09-12 1996-01-02 At&T Corp. Method of and apparatus for the transmission of high and low priority segments of a video bitstream over packet networks
EP0854652A1 (en) * 1996-08-07 1998-07-22 Matsushita Electric Industrial Co., Ltd. Picture and sound decoding device, picture and sound encoding device, and information transmission system
WO1999022518A1 (en) * 1997-10-28 1999-05-06 Siemens Aktiengesellschaft Method and device for processing a digitized image
WO1999049412A1 (en) * 1998-03-20 1999-09-30 University Of Maryland Method and apparatus for compressing and decompressing images
WO2000000933A1 (en) * 1998-06-26 2000-01-06 Sarnoff Corporation Region-based image processing method and apparatus
WO2001015457A2 (en) * 1999-08-21 2001-03-01 The University Of Manchester Institute Of Science And Technology Image coding
WO2001082217A1 (en) * 2000-04-25 2001-11-01 Hewlett-Packard Company Image sequence compression featuring independently coded regions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHUMEYER R P ET AL: "Region of interest priority coding for sign language videoconferencing", IEEE WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING. PROCEEDINGS OF SIGNAL PROCESSING SOCIETY WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING, XX, XX, 23 June 1997 (1997-06-23), pages 531 - 536, XP002116570 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018220880A1 (en) 2018-12-04 2020-06-04 Audi Ag Method and device for modifying an image display of a vehicle interior during a video call in a vehicle and a motor vehicle
DE102018220880B4 (en) 2018-12-04 2023-06-29 Audi Ag Method and device for modifying an image display of a vehicle interior during a video call in a vehicle and a motor vehicle
CN116074464A (en) * 2023-01-16 2023-05-05 石家庄纵宇科技有限公司 Online video communication system and communication method thereof
CN116074464B (en) * 2023-01-16 2023-12-15 深圳普汇智为科技有限公司 Online video communication system and communication method thereof

Also Published As

Publication number Publication date
DE10291291D2 (en) 2004-04-15

Similar Documents

Publication Publication Date Title
DE3823219C1 (en)
DE10084867B4 (en) A method and apparatus for allowing a videoconference participant to appear focused on the associated users in the camera
EP1201082B1 (en) Method and system for video conferences
DE19642558B4 (en) Device for electronic program guide
DE69827235T2 (en) COMMUNICATION PROCESS AND SENDING DEVICE
DE69826069T2 (en) Method and device for processing an image before transmission from a terminal
DE102012013336B4 (en) NEGOTIATING A CONTINUOUS MULTI-STREAM PRESENCE
DE112010005264T5 (en) GUI for multiple users
EP0941609A1 (en) Method and telecommunications system for supporting multimedia services via an interface and a correspondingly configured subscriber terminal
DE102005035465A1 (en) Video camera device
DE102011085361A1 (en) microphone device
EP2930926A1 (en) Method, software product and device for managing a conference
WO1988004508A1 (en) Process and circuitry for reducing the data rate of digital pictures
EP2047632B1 (en) Method for carrying out a voice conference, and voice conference system
WO2005106706A2 (en) Method and system for preparing an automatic translation of a text
DE3221683C2 (en) Message switching system, in particular telephone switching system, with central storage devices for digital voice signals
WO2002078351A1 (en) Method and device for transmitting video and/or audio data
DE10032521B4 (en) Method and multimedia communication device for communication between terminals with different multimedia capabilities
WO2016059257A1 (en) Method for adapting a data stream to be transferred to a resource consumption
EP1107585B1 (en) Method for displaying information on a TV remote control and TV remote control unit for carrying out the method
DE19948546A1 (en) Method for optimizing transmission of video and/or audio data for video telephone by editing selected image based on selected image data parameter(s) assigned by reference image information
DE69837834T2 (en) Videophone system with anti-malicious feature
EP0975182A2 (en) Telecommunication device with an interface to a TV as a monitor for application in telecommunications
EP1976292B1 (en) Method and video communication system for feeding avatar information into a video data stream
WO2002015569A1 (en) Multimedia frame

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
REF Corresponds to

Ref document number: 10291291

Country of ref document: DE

Date of ref document: 20040415

Kind code of ref document: P

WWE Wipo information: entry into national phase

Ref document number: 10291291

Country of ref document: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: FESTSTELLUNG EINES RECHTSVERLUSTS NACH REGEL 69(1) EPUE (EPA FORMULAR 1205A)24.02.04

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: JP