DE69930530T2

DE69930530T2 - Verfahren zur verbesserung einer bildpraesentation eines laufenden ereignisses

Info

Publication number: DE69930530T2
Application number: DE69930530T
Authority: DE
Inventors: R. James San Mateo GLOUDEMANS; H. Richard Mountain View CAVALLARO; N. Jerry Langhorn GEPNER; K. Stanley Palo Alto HONEY; Walter Mountain View HSIAO; J. Terence San Jose O'BRIEN; S. Marvin San Carlos WHITE
Original assignee: Sportvision Inc
Current assignee: Sportvision Inc
Priority date: 1998-09-04
Filing date: 1999-08-31
Publication date: 2006-12-21
Anticipated expiration: 2019-09-01
Also published as: WO2000014959A1; EP1110382A4; ATE321421T1; US6266100B1; EP1110382A1; EP1110382B1; DE69930530D1; US6597406B2; AU5795799A; CA2342884A1; US20010005218A1

Description

Diese Anmeldung beansprucht die Priorität der US Provisional Application No. 60/099,262, „Ein Verfahren zur Verbesserung einer Bildpräsentation eines laufenden Ereignisses", eingereicht am 04. September 1988.
Diese Anmeldung ist verwandt mit folgenden Anmeldungen:
A Method And Apparatus for Enhancing The Broadcast Of A Life Event, von Stanley K. Honey, Richard H. Cavallaro, Jerry Neil Gepner, Edward Gerald Goren, David Blyth Hill, Anwaltsakte Nr. NTGR1006MCF/BBM, Seriennummer 08/735,020, eingereicht am 22. Oktober 1996;
Detecting A Tallied Camera, von Marvin S. White, Richard H. Cavallaro, James R. Gloudemans und Stanley K. Honey, Anwaltsakte Nr. SPTV1013MCF/BBM/WJH, eingereicht am selben Tag wie die vorliegende Anmeldung, und
Blending A Graphic, von James R. Gloudemans, Richard H. Cavallaro, Stanley K. Honey und Marvin S. White, Anwaltsakte Nr. SPTV1019MCF/BBM/WJH, eingereicht am selben Tag wie die vorliegende Anmeldung.
Die vorliegende Erfindung betrifft ein Verfahren zur Verbesserung einer Bildpräsentation eines laufenden Ereignisses.
Die bemerkenswerten, oft erstaunlichen physischen Fähigkeiten und bedeutenden Leistungen großartiger Athleten locken jeden Tag Millionen von Menschen, Sport zu verfolgen, der von der Energie des American Football bis hin zur Anmut des Eiskunstlaufens, von der Schnelligkeit im Eishockey bis hin zur Präzision im Golf reicht. Die Sportbegeisterten sind fasziniert von den Fähigkeiten der Basketballspieler, zu den Sparren des Korbes aufzusteigen, eines Baseballschlag mannes, den Ball aus dem Spielfeld hinauszutreiben, des Läufers, die Bahn herunterzuschießen, des Skiläufers, den Berg herunterzuflitzen, des Ballträgers, die gegnerische Verteidigung zu durchbrechen und einen „first down" zu machen usw. Um diese Ereignisse im Fernsehen zu übertragen, haben die Sender ein unterschiedliches Repertoire von Technologien eingesetzt, das sich von der Zeitlupenwiederholung bis hin zu lippenstiftgroßen Kameras, die an Kopfbedeckungen befestigt werden, erstreckt, damit diese aufregenden Ereignisse für den Fernsehzuschauer hervorgehoben werden.
Eine Technologie, die verbessert werden kann, ist die Nutzung von Grafiken, um Ereignisse und Informationen hervorzuheben oder während eines laufenden Ereignisses zusätzliche Informationen zu liefern. Zum Beispiel wäre es nützlich, den Zuschauern während der Ausstrahlung von American Football Spielen eine Sichtmarkierung zu bieten, die den Ort anzeigt, bis zu dem der Angriff fortgesetzt werden muss, um einen „first down" zu erzielen. Wenn ein Receiver einen Haken schlägt, um ein Abspiel „non third and long" zu fangen, ein Quarterback unten auf dem Feld herumkraxelt, um einen Vorstoß fortzusetzen oder wenn ein Runningback um das extra Yard kämpft, um einen „first down" zu erzielen, dann würde sich der Reiz für den Fernsehzuschauer erhöhen, wenn in das Bild eine grafische Anzeige der zur Zeit unsichtbaren First-Down-Linie, die diese Spieler bestrebt sind, zu überqueren, projiziert wird.
Eine Verbesserung, die für Fernsehzuschauer von Golfturnieren hilfreich sein würde, ist das Hervorheben desjenigen Teilbereiches des Golfplatzes, in dem die Stellen mit den offenkundigen Schwierigkeiten für die Golfer liegen. Während der Profi-Golfer sich dieser schwierigen Stellen bewusst ist und den Ball so schlägt, dass er diese Stellen meidet, sind dem Fernsehzuschauer vielleicht diese schwierigen Stellen nicht bewusst und er mag sich wundern, warum ein bestimmter Golfer den Ball in eine bestimmte Richtung schlägt. Wenn der Golfplatz so hervorgehoben würde, dass diese schwierigen Stellen gezeigt werden, dann würde der Fernsehzuschauer die Strategie, die der Golfer verfolgt, verstehen und so mehr Vergnügen aus dem Zuschauen beim Golfturnier ziehen. Eine andere nützliche Verbesserung würde das Zeigen der Konturen des Greens beinhalten.
Die gleichen Verbesserungen, bezogen auf das Spielfeld, würden auch für andere Sportarten von Nutzen sein. Beispielsweise würden sich die Fernsehzuschauer von einem Skispringen, Weitsprung oder einem anderen gleichartigen Ereignis für das Sehen einer grafischen Anzeige interessieren, wie der erste Platz belegt ist oder welchen Platz der Springer, der den Rekord hält, derzeitig einnimmt. In einem Rennen würde es von Interesse sein, zu wissen, welche Zeit ein Rekordhalter zu einem bestimmten Zeitpunkt vorgelegt hat. Die Anzahl von Anwendungen für Grafiken ist unbegrenzt.
Darüber hinaus ziehen Live-Ereignisse keinen Vorteil aus der Breite des Fernsehpublikums in Bezug auf Werbung. Erstens kann Reklame auf Schautafeln, die sich im Stadion befinden, gezeigt werden, die allerdings nicht alle für das Fernsehpublikum geeignet sind. Zum Beispiel mag sich ein bestimmtes Sportereignis in San Francisco abspielen und wird in der ganzen Welt im Fernsehen gezeigt. Ein einheimisches Geschäft mag für eine Reklamewand im Stadion bezahlen, jedoch mögen Fernsehzuschauer, die in anderen Teilen der USA oder in anderen Ländern die Ausstrahlung empfangen, keinen Zugang zu diesem Geschäft haben, und folglich ist die Ausstrahlung dieser Reklame nicht effizient. Zweitens werden einige Plätze im Stadion nicht für Reklame benutzt, weil solche Nutzung die Sicht auf die Spieler oder die der Zuschauer im Stadion beeinträchtigen würde, oder weil der Besitzer der Sportstätte bestimmt hat, dass die Plätze nicht für Reklame verwendet werden. Jedoch würde die Nutzung dieser Plätze für an das Fernsehpublikum gerichtete Reklame sehr wirksam sein. Beispielsweise würde die Glaswand rund um eine Eishockeyspielfläche einen sehr wirksamen Ort für an das Fernsehpublikum gerichtete Reklame abgeben. Wenn jedoch solche Reklame physisch vorhanden wäre, würde sie die Sicht der Zuschauer im Stadion versperren. Drittens würde manche Reklame wirksamer sein, wenn deren Darstellung zu solchen bestimmten Zeiten, zu denen Kunden an diese Art von Produkten denken, eingeschränkt ist. Beispielsweise würde die Reklame für einen Regenschirm wirksamer sein, während es regnet.
Eine Lösung für den Gebrauch von Grafiken in der Videopräsentation eines aktuell laufenden Ereignisses, wie oben behandelt, beinhaltet die Digitalisierung eines Einzelbildes eines Videos und die Benutzung eines Computers mit Bilderkennungssoftware für das Lokalisieren des Zielbildes, um das Einzelbild des Vi deos zu ersetzen. Wenn das Zielbild gefunden wurde, dann wird an dieser Stelle ein Ersatzbild eingefügt. Diese Lösung ist jedoch nicht zufriedenstellend, weil die Software zu langsam ist, denn sie kann tatsächlich nicht in Verbindung mit einem aktuell laufenden Ereignis benutzt werden, wenn die Kameras rasch schwenken und wenn mehrere Kameras rasch in Übereinstimmung gebracht werden. WO 97/03517 offenbart ein Verfahren zum Hinzufügen sekundärer Videobilder zu primären Videobildern unter Verwendung eines dreidimensionalen Umgebungsmodells, das vordefinierte ausgewiesene Zielbereiche für das Hinzufügen einer Grafik beinhaltet. Der Anspruch 1 der vorliegenden Anmeldung ist gegenüber dieser Offenbarung charakterisierend. WO 93/02524 beschreibt ein Gerät und ein Verfahren zur Änderungen von Videobildern, das das Hinzufügen von Freimachungsvermerken zu dem Originalbild ermöglicht.
Folglich gibt es einen Bedarf für ein verbessertes Verfahren, das eine Grafik nutzt, um die Videopräsentation eines aktuell laufenden Ereignisses aufzuwerten.
Gemäß einem ersten Aspekt ist die vorliegende Erfindung auf ein Verfahren zum Hinzufügen einer Grafik zu einer Videodarstellung in einer Umgebung ausgerichtet, wie mit Anspruch 1 beansprucht. Es wurde ein dreidimensionales mathematisches Modell entwickelt, um eine Umgebung, die durch das Einblenden von Grafiken in einem Video verbessert wurde, darzustellen. In einer Ausführungsform sind die Kameras mit Schwenk-, Neigungs- und/oder Zoomsensoren ausgerüstet. Ein Bediener wählt einen Schauplatz (zum Beispiel einen Punkt, eine Linie einen Bogen oder eine andere Form) in der Umgebung aus. Das dreidimensionale Modell wird benutzt, um die dreidimensionalen Koordinaten bezogen auf den Schauplatz, den der Bediener ausgewählt hat, zu bestimmen. Die Informationen des Schwenk-, Neigungs- und/oder Zoomsensors werden für die Umrechnung der dreidimensionalen Koordinaten in eine zweidimensionale Position des Videos der Kamera benötigt. Während des Gebrauchs der zweidimensionalen Position in dem Video wird eine Grafik in das Video derart genau eingeblendet, dass die Grafik an dem gewünschten Ort in der Umgebung mit der korrekten Perspektive erscheint.
In einer Ausführungsform der vorliegenden Erfindung ist die Umgebung ein Football-Stadion. Beispiele von Grafiken sind ein Logo (welche eine Reklame, ein Emblem usw. sein können), eine Linie oder andere x-beliebige Bilder (oder Sätze von Bildern). In einer bevorzugten Ausführungsform kann eine Linie Anwendung finden, die den Ort markiert, bis zu dem der Angriff vorangetrieben werden muss, um einen „first down" zu erzielen. Die Linie kann auch verwendet werden, um die „line of scrimmage" oder andere Informationen zu zeigen. Die vorliegende Erfindung kann in anderen Sportarten als American Football sowie in Ereignissen, die nichts mit Sport zu tun haben, Anwendung finden.
Diese und andere Ziele und Vorteile der Erfindung werden durch folgende Darstellungen deutlicher, in der die bevorzugte Ausführungsform der Erfindung in Verbindung mit den Zeichnungen dargelegt wird:
1 beschreibt einen Teilbereich eines Footballfeldes,
2 ist ein Blockdiagramm eines Musteraufbaus von Geräten, der zu Verwirklichung der vorliegenden Erfindung dient,
3 ist ein Ablaufdiagramm, das den allgemeinen Ablauf der Verwendung der vorliegenden Erfindung beschreibt,
4 ist ein Ablaufdiagramm, das den Arbeitsschritt zum Entwerfen eines Modells beschreibt,
5 ist eine symbolische Darstellung eines mathematischen Modells,
6 ist ein Ablaufdiagramm, das den Arbeitsschritt des Registrierens des Systems beschreibt,
7 ist ein Ablaufdiagramm, das einen Prozess des Abgleichens eines Index-Detektors beschreibt,
8 beschreibt einen Schaltungsaufbau eines Multiviewers, der während des Abgleichs des Index-Detektors benutzt wird,
9 beschreibt Parameter eines Bildes, die durch den Index-Detektor zur Wirkung gebracht werden,
10 beschreibt eine grafische Nutzerschnittstelle (GUI), die vom Index-Detektor während des Versatzsausgleichs benutzt wird,
11 ist ein Ablaufdiagramm, das die Methode der Versatzkorrektur beschreibt,
12 ist ein Ablaufdiagramm, das die Methode der Verzögerungskorrektur beschreibt,
13 ist ein Ablaufdiagramm, das die Methode der Bestimmung eines Bildabgleichwertes beschreibt,
14 beschreibt einen Bauschaltplan eines Multiviewers, der während der umgebungsbedingten Verzögerungskorrektur des Index-Detektors benutzt wird,
15 ist ein Ablaufdiagramm, das die Methode der Korrektur der umgebungsbedingten Verzögerung beschreibt,
16 ist ein Ablaufdiagramm, das eine Ausführungsform des Arbeitsschrittes zur Festlegung von Einbeziehungen und/oder Ausschließungen beschreibt,
17 beschreibt Balkendiagramme eines Einbeziehungsfilters,
18 beschreibt Balkendiagramme eines Ausschließungsfilters,
19 ist ein Ablaufdiagramm, das die Einstellung eines Bandpass-Filters beschreibt,
20 ist ein Ablaufdiagramm, das eine alternative Ausführungsform des Arbeitsschrittes zur Festlegung von Einbeziehungen und/oder Ausschließungen beschreibt,
21 ist ein Ablaufdiagramm, das die Methode des Ablaufes der Ausführungsform, wie in 2 dargestellt, beschreibt,
22A ist ein Ablaufdiagramm, das eine Ausführungsform der Methode zur Bestimmung von dreidimensionalen Orten beschreibt,
22B ist ein Ablaufdiagramm, das eine zweite Ausführungsform der Methode zur Bestimmung von dreidimensionalen Orten beschreibt,
23 ist ein Ablaufdiagramm, das die Methode zur Bestimmung, welche Kamera indiziert ist, beschreibt,
24 ist ein Ablaufdiagramm, das eine Ausführungsform des Prozesses zur Verbesserung von Videos erklärt,
25 stellt einen Teilbereich einer Linie, die in Übereinstimmung mit der Methode entsprechend 24 gestaltet wurde, symbolisch dar,
26 ist ein Ablaufdiagramm, das den Arbeitsschritt zur Bestimmung von Alpha-Signalen für Randpunkte erklärt,
27 stellt einen Teilbereich eines Einzelbildes des Sendevideos symbolisch dar.
1 ist eine Teilansicht eines Stadions, welches ein Footballfeld 2 enthält. Das Stadion schließt auch einen Sitzbereich 4 für Fans ein. Vor dem Sitzbereich 4 befindet sich eine Stützmauer 6, welche den Sitzbereich 4 vom Feld 2 trennt. 1 stellt ein Feld 2 dar, das eine Anzahl von Yard-Linien besitzt, die eine 10-Yard-Linie, eine 15-Yard-Linie, eine 20-Yard-Linie und eine 25-Yard-Linie einschließen.
Die vorliegende Erfindung kann dazu verwendet werden, eine Videodarstellung eines Football-Stadions zu verbessern. Ein Beispiel einer Verbesserung ist das Einblenden einer Grafik in das Video. Mit Video ist ein analoges oder digitales Signal gemeint, das bewegliche Bilder darstellt (oder zur Herstellung beweglicher Bilder dient). Einblenden bedeutet die Kombination mindestens eines ersten Bildes oder Videos mit mindestens einem zweiten Bild oder Video derart, dass das Resultat alle oder einen Teil des ersten Bildes oder Videos und alle oder einen Teil des zweiten Bildes oder Videos beinhaltet. Ein Beispiel, wie Bilder eingeblendet werden, berücksichtigt die Verwendung eines Tastgerätes, das ein Video über ein anderes Video tastet. Ein Beispiel einer Grafik, die in eine Videopräsentation eines Footballspiels eingeblendet werden kann, ist eine zusätzliche Yard-Linie, welche in der 1 mit dem Bezugszeichen 8 dargestellt wurde. Die Yard-Linie 8 ist nicht Teil des Original-Footballfeldes. Um genau zu sein, blendet die vorliegende Erfindung das Bild der Yard-Linie 8 in das Video so ein, dass es für den Fernsehzuschauer des Videos so aussehen würde, als ob sich die Yard-Linie eigentlich auf dem Feld befindet. Ein Beispiel einer geeigneten Nutzung einer „Phantom"-Yard-Linie ist das Zeigen einer Linie auf dem Feld, die während eines Angriffes überquert werden muss, um einen „first down" zu erzielen.
Ein anderes Beispiel einer Grafik, die dem Video hinzugefügt werden kann, ist ein Logo. Wie in 1 dargestellt, kann ein Logo 12 in das Video so eingeblendet werden, dass das Logo so aussieht, als ob es sich auf dem Feld 2 befindet. Das Logo 12 kann eine Reklame, ein Informationsfeld, ein Teamemblem oder eine x-beliebige andere passende Grafik sein. Ein Logo kann auch in Stadionbereichen außerhalb des Spielfeldes platziert werden. Zum Beispiel ist ein Logo 14 der Stützmauer 6 hinzugefügt worden. Ein Logo kann auch oberhalb der Fans so eingeblendet werden, dass es so aussieht, als ob die Fans eine riesige Reklamewand halten oder als ob die Fans Karten halten, die Reklametafeln darstellen. Andere Plätze, ein Logo einzufügen, könnte ein x-beliebiger Raum oberhalb des Stadions, der Raum zwischen den Torpfosten oder andere Flächen im Stadion sein. Yard-Linien und Logos müssen an der richtigen Stelle und in der richtigen Perspektive, so dass sie einen wirklichkeitsnahen Eindruck machen, dem Video hinzugefügt werden. In einer Ausführungsform kann eine Yard-Linie wie ein Logo bedacht werden (zum Beispiel eine Auswahl aus einer Gesamtmenge von möglichen Logos). Wenn die vorliegende Erfindung zur Verbesserung des Videobil des, wie oben diskutiert, benutzt wird, dann würden die Zuschauer und Spieler im Stadion keine dieser Verbesserungen sehen.
In manchen Ausführungsformen muss das Einblenden einer Grafik in verdeckte Darstellungen vorgenommen werden. Dies tritt dann auf, wenn sich ein Spieler im oberen Teil des Bereiches bewegt, in dem sich die Yard-Linie oder das Logo befindet, die zwar Yard-Linie oder das Logo nicht aber den Spieler verdecken sollte. Der Spieler sollte, sich bewegend oder stehend, vor der Grafik sichtbar sein.
Eine First-Down-Linie kann durch Zeichnen quer durch das Spielfeld dargestellt werden. Diese Linie kann schwarz oder weiß oder eine andere geeignete Farbe besitzen (z. B. rot). Die Linie kann fett, dünn, dick, schattiert, blinkend, gepunktet, gestrichelt, spitz zulaufend usw. sein. In einer anderen Ausführungsform wird die Linie oder eine andere Grafik so dargestellt, dass sie eine bestimmte Bedeutung aufzeigt, wie z. B. die First-Down-Linie beim „third down" blinken zu lassen, oder die Farbe wechseln zu lassen, wenn der Angriff nahe der Torlinie stattfindet. Die Verbesserung muss nicht einmal eine Linie sein. Die Grafik kann eine andere Gestalt oder Form annehmen, so wie es angebracht ist. Zusätzlich zur Einblendung eines Bildes in ein anderes Bild kann die Verbesserung durch Bearbeiten eines Bildes, durch Hinzufügen eines Bildes, durch Ersetzen eines Bildes durch ein anderes Bild, durch Hervorheben eines Bildes mit einer geeigneten Methode zum Hervorheben, andere grafische Erweiterungen des Videos usw. erfolgen. Darüber hinaus ist die Weiterentwicklung nicht auf das Zeigen von First-Down-Linien und Logos beschränkt. Jede andere Grafik kann von einer beliebigen geeigneten Fläche oder einem Teilbereich des Stadions (eingeschlossen das Spielfeld) hinzugefügt oder entfernt werden. Beispielsweise könnte eine Grafik hinzugefügt werden, die mehr Menschen in den Zuschauertribünen zeigt, als vorhanden sind.
2 ist ein Blockdiagramm von Gerätekomponenten, die eine Ausführungsform der vorliegenden Erfindung bilden. 2 zeigt drei Videokameras 60, 62 und 64. Alternative Ausführungsformen können mehr als drei oder weniger als drei Kameras beinhalten. Die vorliegende Erfindung funktioniert auch mit nur einer Kamera. Jede Kamera ist mit ein oder mehreren Kameraaufnahmesensoren verbunden. Beispielsweise schließt Kamera 60 Aufnahmesensoren 66, Kamera 62 Aufnahmesensoren 68 und Kamera 64 Aufnahmesensoren 70 ein. Ein Satz von Kameraaufnahmesensoren kann einen oder mehrere der folgenden Sensoren beinhalten: einen Zoom-Sensor, einen Schwenksensor und/oder einen Neigungssensor.
Zu jeder Kamera gehören ein 2X-Extender, ein Zoomobjektiv und Mittel zum Fokussieren der Kamera. Ein Zoomsensor empfängt ein elektrisches Signal von jedem der drei Geräte, um den Zoom und die Brennweite der Kamera zu erfassen und ob der 2X-Extender zum Einsatz gelangt. Das analoge Signal wird in ein digitales Signal umgewandelt und an einen lokalen Computer gesendet. Jede der Kameras ist einem lokalen Computer zugeordnet. Zum Beispiel ist Kamera 60 mit dem lokalen Computer 72, Kamera 62 mit dem lokalen Computer 74 und Kamera 64 mit dem lokalen Computer 76 verbunden. Die lokalen Computer können mit einem 486-Mikroprozessor, mit einem Pentiumprozessor, mit einer Macintosh Plattform oder einem anderen geeigneten Mikrocontroller oder anderen Typen von Computern/Prozessoren ausgerüstet sein. Eine Alternative wäre, dass der Zoom-Sensor ein digitales Ausgangssignal besitzt, so dass ein Analog-Digital-Wandler nicht benötigt werden würde. In einer Ausführungsform könnte eine Kamera auch mit einem oder mehreren Neigungsmessern (es wird der Neigungswinkel gemessen) oder mit einem oder mehreren Wendekreisel (es wird die Neigungsgeschwindigkeit gemessen) ausgerüstet sein.
Jede der Kameras ist auch mit einem Schwenk- und Neigekopf ausgerüstet, der sie befähigt, die Kamera zu schwenken und zu neigen. An den Schwenk- und Neigekopf sind jeweils ein Schwenksensor und ein Neigungssensor angeschlossen. In einer Ausführungsform ist der Schwenk- und Neigekopf Teil der Kamera. In einer anderen Ausführungsform ist der Schwenk- und Neigekopf Teil eines Stativs. Eine Ausführungsform nutzt separate Schwenkköpfe und Neigeköpfe. Die lokalen Computer 72, 74 und 76 beinhalten eine Schwenk- und Neigungselektronikbaugruppe für den Empfang elektrischer Signale von den Schwenk- und Neigungssensoren. Diese Baugruppen können die Signale in für den Prozessor, der sich im lokalen Computer befindet, verwendbare Signale umwandeln. Zusätzlich können jede der lokalen Computer auch mit Arbeitsspeicher, Festplatten und zweckdienlichen Eingabe- und Ausgabebaugruppen ausgestattet sein. In einer Ausführungsform kann eine bestimmte Kamera entweder keinen Schwenkkopf, keinen Neigungskopf oder kein Zoomobjektiv besitzen. Wenn eine dieser frei wählbaren Möglichkeiten fehlt, dann besteht auch kein Bedarf für den dazugehörigen Sensor.
In einer Ausführungsform sind der Schwenksensor und der Neigungssensor optische Impulsgeber, die ein Signal senden, das als eine Anzahl von Impulsen (oder Takte) gemessen und als Rotationssegmente um eine Achse angezeigt wird. Vierzigtausend (40.000) Impulse repräsentieren eine vollständige 360°-Rotation. Somit kann ein Rechner die Anzahl der gemessenen Impulse durch 40.000 dividieren und mit 360 multiplizieren, um so den Schwenk- oder Neigungswinkel in Grad zu bestimmen. Die Schwenk- oder Neigungssensoren nutzen Standardtechnologien, die bei Fachleuten bekannt sind, und können durch andere geeignete Schwenk- und Neigungssensoren ersetzt werden. Die Schwenk- und Neigungselektronikbaugruppe innerhalb des lokalen Computers empfängt die Ausgangssignale von den Schwenk- und Neigungssensoren, wandelt sie in digitale Signale um, speichert das Resultat und sendet ein digitales Signal mit geeignetem Format an den Prozessor des lokalen Computers. Die Schwenk-, Neigungs- und Zoomsensoren werden zur Bestimmung der dazugehörigen Kameraaufnahmeeinstellungen benutzt. Also können ein oder mehrere der Schwenk-, Neigungs- oder Zoomsensoren als Kameraaufnahmesensor/en bezeichnet werden. Wenn zum Beispiel eine Kamera nicht zoomen oder sich nicht neigen kann, dann würde der Kameraaufnahmesensor ausschließlich aus einem Schwenksensor bestehen. Die „Kamerasicht" wird definiert als das, was von der Kamera gesehen wird. Bei einigen Kameras kann die Kamerasicht durch Hindurchsehen durch den Sucher einer Kamera bestimmt werden.
Die Ausgangssignale der lokalen Computer 72, 74 und 76 werden im RS-422-Format an den RS-422/RS-232-Wandler 80 zum Zwecke der Umwandlung in das Signalformat RS-232 gesendet. Die Informationen, die durch die Lokalcomputer 72, 74 und 76 gesendet werden, beinhalten die entsprechenden Schwenk-, Neigungs- und Zoomdaten, die für die Kameras 60, 62 und 64 gemessen wurden. Nach der Umwandlung der Signale in RS-232-formatierte Signale sendet der Wandler 80 alle drei Signale an den PC-Konzentrator 82. Der PC-Konzentrator 82 empfängt auch ein Signal vom Index-Detektor 88. Alle vom PC-Konzentrator 82 empfangenen Signale werden zu einem seriellen Signal zusammengefasst und an den Hauptcomputer 94 gesendet. Eine Ausführungsform beinhaltet das Senden aller Signale direkt an den Computer 94 und vermeidet damit den Gebrauch eines PC-Konzentrators 82. Alternativ können die Signale der Lokalcomputer über den Mikrofonkanal des Videosignals der Kamera gesendet werden.
Die Videoausgangssignale der Kameras 60, 62 und 64 werden an den Multiviewer 90 gesendet. Darüber hinaus werden sie auch an den Produktionswagen gesendet, der sie zur Produktion der Videopräsentation des Live-Ereignisses verwendet. Der Produktionswagen kann Signale von mehreren verschiedenen Videokameras empfangen. Der Produzent wählt aus, welches Videosignal ausgestrahlt wird. Das Videosignal, das ausgestrahlt wird, bezeichnet man als „Sendesignal" oder „Sendevideo". Das Sendesignal wird auch an den Multiviewer 90 gesendet. In einer Ausführungsform ist das Kameraausgangssignal ein Analogvideosignal. In einer anderen Ausführungsform ist das Kameraausgangssignal ein digitales Videosignal. In wiederum einer anderen Ausführungsform wird ein analoges Kameraausgangssignal umgewandelt in ein digitales Signal. Das System kann sowohl mit analogen als auch mit digitalen Signalen arbeiten, wobei ein geeigneter Multiviewer auszuwählen ist. Beispielsweise ist der Mulitviewer vom Typ „Video Gainsville CVX64Q" ein Multiviewer, der digitale Eingangssignale verarbeiten kann. Ein Beispiel für einen Multiviewer, der analoge Eingangssignale verarbeiten kann, ist der „Panasonic WJ-420 Quad Unit" oder der „FOR-A MB-40E". Die Nutzung digitaler Signale kann die Genauigkeit des Index-Detektors 88 verbessern. Der Multiviewer 90 fasst die vier Eingangsvideosignale zu einem Signal zusammen, welches dann zum Index-Detektor 88 und zum Monitor 92 gesendet wird. Ein geeigneter Multiviewer kann für weniger als vier oder für mehr als vier Signale genutzt werden. Wenn alternativ der Index-Detektor mehr als ein Eingangssignal empfangen kann, dann wird kein Multiviewer benötigt. Der Monitor 92 (optional) wird von einem Bediener zur Überwachung der Videosignale, die an den Index-Detektorr 88 gesendet werden, benutzt.
Der Index-Detektor 88 bestimmt, welche (wenn überhaupt eine) der drei Kameras 60, 62 oder 64 indiziert ist. Eine Kamera ist indiziert, wenn sie die Primärquelle des Videos ist, die von dem Produzenten für die Ausstrahlung vorgesehen wurde. Unter Berücksichtigung des Systems entsprechend 2 ist eine Kamera indiziert, wenn sie die Primärquelle des Videos ist, das das Signal 89 sendet. Der Index-Detektor 88 meldet dem PC-Konzentrator 82, welche (wenn überhaupt eine) der drei Kameras indiziert ist. Ein System, welches nur eine Kamera besitzt, benötigt keinen Index-Detektor. In einem System, das mehr als drei Kameras besitzt, kann der Index-Detektor dafür vorgesehen werden zu ermitteln, welche der vielen Kameras indiziert ist.
Das System empfängt auch einen von der Sendeanstalt genutzten hauseigenen Zeitcode oder ein hauseigenes Synchronisationssignal 83. Der Zeitcode-Generator 84 verarbeitet das Signal 83, wertet das VITC/LTC-Signal aus und wandelt dieses Signal in ein RS-232-Signal um, welches zum Wandler 86 und zum Zeitcode-Inserter 85 gesendet wurde. Der Wandler 86 verarbeitet das RS-232-Signal und wandelt es in ein RS-422-Signal um. Das Ausgangssignal des Wandlers 86 wird an die lokalen Computer 72, 74 und 76 gesendet. Die lokalen Computer fügen die Zeitcodes dem Bereich der Aufnahmedaten hinzu. In einer alternativen Ausführungsform wird das Ausgangssignal des Generators 84 an den PC-Konzentrator 82 gesendet. Der Zeitcode-Inserter empfängt sowohl das RS-232-Signal vom dem Generator 84, als auch das Sendevideosignal. Der Zeitcode-Inserter 85 fügt die Zeitcodes in das Sendevideosignal ein und sendet das Sendevideosignal mit dem Zeitcode, das Signal 89, an den Multiviewer 90, an den Computer 94 und an die Einzelbildverzögerung 100. Der Zeitcode wird dazu benutzt, den Bereich der Aufnahmedaten mit dem korrekten Einzelbild des Videos abzugleichen. Der Zeitcode wird auch dazu benutzt, die zeitliche Koordinierung zwischen den Computern 94 und 96 zu synchronisieren.
Der PC-Konzentrator 82 sendet die Kameraaufnahmedaten aller drei Kameras und die Indexmeldung an den Computer 94. In einer Ausführungsform ist der PC-Konzentrator 82 ein Computer, der dem Bediener eine Nutzerschnittstelle liefert, um so den Ort, der aufgewertet werden soll, auszuwählen. In einer anderen Ausführungsform nutzt der Bediener den Computer 94, um den Ort, der aufgewertet werden soll, auszuwählen. In jedem der verwendeten Gerätekonfigurationen bestimmt der Computer 94 die dreidimensionalen Koordinaten des ausgewählten Ortes. Unter Verwendung der Kameraaufnahmedaten, die von den lokalen Computern 72, 74 und 76 empfangen wurden, bestimmt der Hauptcomputer 94 die Position des ausgewählten Ortes des Videosignals der Kamera, die indiziert wurde. Diese Informationen können zur Einblendung einer Grafik in das Video an oder in der Nähe der bestimmten Position verwendet werden. Die Computer 94 und 96 arbeiten zusammen, um eine Grafik und eine Gruppe von miteinander verknüpften Alpha-Signalen zu entwerfen. Beide, die Grafik und die Alpha-Signale, werden an ein Tastgerät 98 gesendet. Ein Alpha-Signal, das an das Tastgerät 98 gesendet wurde, wird auch als Tastsignal bezeichnet. Jedes Pixel besitzt seinen eigenen Code oder Alpha-Wert. Das Grafiksignal kann als ein YUV-Signal, RGB-Signal, YCbCr-Signal oder als ein anderes geeignetes Signal, das mit der Spezifikation des Tastgerätes übereinstimmt, gesendet werden. Das Tastgerät 98 empfängt auch ein Videosignal von der Einzelbildverzögerung 100. Die Einzelbildverzögerung 100 empfängt das Videosignal 89 und veranlasst eine Verzögerung dieses Videosignals 89, die durch die Bearbeitungszeit der Computer 94 und 96, der Datenerfassung und durch andere Verzögerungen in der Produktion bedingt ist. In einer Alternative kann anstelle der Benutzung eines Abtastgerätes ein Computer zur Einblendung der Grafik benutzt werden. Zum Beispiel kann entweder der Computer 94, der Computer 96 oder ein zusätzlicher Computer hierzu benutzt werden.
Die Grafik, die vom Computer 96 an der Keyer 98 gesendet wurde, wird als Vordergrund bezeichnet, und das Signal von der Einzelbildverzögerung 100 wird als Hintergrund bezeichnet. Basierend auf der Alpha-Ebene oder der Kodierungsebene des Computers 96 bestimmt der Keyer 98, wie viel Vordergrund und wie viel Hintergrund eines Pixels von der zur Verfügung stehenden Pixelbasis eingeblendet werden. Der Keyer 98 kann von 100% Vordergrund und 0% Hintergrund zu 0% Vordergrund und 100% Hintergrund einblenden. In einer Ausführungsform kann der Code oder der Alpha eines Pixels in einem Bereich von 0% bis 100% liegen (oder 0-1, oder ein anderer ähnlicher Bereich entsprechend der Spezifikation des Keyers). Das Ausgangssignal des Keyers 98 kann ausgestrahlt, aufgezeichnet oder beides werden. Dieses Ausgangssignal des Keyers 98 wird auch an einen Monitor 102 zur Bewertung durch den Bediener des Systems gesendet.
Kill Switch (Sicherheitsbaustein)/Laufzeitüberwacher (Watch Dog Timer) 97, welche sich in Verbindung mit dem Computer 96 (mittels Signal WDT) und dem Abtastgerät 98 befindet, kann durch den Bediener für das Freigeben oder Sperren der Tastung der Grafik benutzt werden. Zusätzlich sperrt der Laufzeitüberwacher automatisch das Keying der Grafik, wenn das WDT-Signal vom Computer 96 das Senden eines periodischen Signals stoppt. In einem Beispiel ist das WDT-Signal ein Takt, der für jedes Einzelbild oder für jeden Bereich gesendet wird. Der Laufzeitüberwacher kann das Keying sperren, wenn die Takte für einen vorher festgelegten Zeitbetrag, Einzelbilder oder Bereiche aufhören. Zum Beispiel kann der Laufzeitüberwacher das Keying sperren, wenn die Takte für zwei Einzelbilder aufhören.
Als eine Option könnte das System auch einen Daten-Inserter für das Einfügen von non-Videodaten in ein Fernsehsignal beinhalten. Non-Videodaten sind Informationen, die anders sind, als die traditionellen Daten, die im Fernsehen benutzt werden, um die normalen Zeilenlinien auf dem Fernsehbildschirm zu zeichnen. Beispiele von non-Videodaten sind Daten, die während der vertikalen Austastlücke gesendet werden, können Untertitel, Statistiken, die das Spiel betreffen, interaktive Abfragen oder Internetadressen sein. Der optionale Daten-Inserter kann das Fernsehsignal vom Abtastgerät 98 empfangen und fügt die Non-Videodaten in die vertikale Austastlücke des Fernsehsignals ein. Das Ausgangssignal des Daten-Inserter könnte ausgestrahlt und/oder aufgezeichnet werden. In einer Ausführungsform kann ein Daten-Inserter in das Videosignal Computeranweisungen zur Aufwertung des Videos einfügen. Der Fernsehzuschauer benötigt bei sich zu Hause einen Digitalempfänger, welcher die Anweisungen aus dem empfangenen Signal lesen und die Informationen an einen Computer übergeben kann. Der Computer kann die Informationen vom Digitalempfänger und das Video empfangen. Der Computer kann die Anweisungen dazu benutzen, die Grafik in das Video einzublenden. Auf diese Weise kann ein Fernsehzuschauer durch die Verwendung seines Personalcomputers die Aufwertungen steuern und seinen Wünschen anpassen. Alternativ ist der Digitalempfänger imstande, die Verbesserung auszuführen.
In einer Ausführungsform sind der Computer 94 und der Index-Detektor 88 O2-Bildschirmarbeitsplätze von Silicon Graphics und der Computer 96 ein Indigo 2 Impact von Silicon Graphics. In anderen Ausführungsformen können andere geeignete Computer benutzt werden. Es ist bekannt, dass diese Computer üblicherweise Prozessoren, Speicher, Diskettenlaufwerke, Monitore, Eingabegeräte, Ausgabegeräte, Netzwerkschnittstellen usw. beinhalten. In einer Ausführungsform wird ein Ethernet-Netzwerk zwischen den Computern 94, 96 und dem Index-Detektor 88 eingesetzt. Das Ethernet-Netzwerk wird für Wartungs- und Verwaltungszwecke und für die Kommunikation von dem Computer 94 zu dem Computer 96 benutzt.
3 beschreibt den grundsätzlichen Ablauf des in 2 dargestellten Systems. In 150 entwirft der Nutzer des Systems ein mathematisches Modell der Umgebung, dessen Videobild mit der Grafik aufgewertet werden sollen. Wenn das System dazu benutzt wird, eine Yard-Linie einem Footballfeld hinzuzufügen, dann würde die Umgebung nur das Footballfeld und damit Schritt 150 das Entwerfen eines Modells des Footballfelds beinhalten. Wenn der Nutzer beabsichtigt, eine Grafik in andere Teilbereiche des Stadions einzufügen, dann muss die Umgebung ebenso diese anderen Teilbereiche des Stadions beinhalten. Das Modell, welches entworfen wird, ist ein dreidimensionales Modell der Umgebung. Wenn zum Beispiel die Umgebung, die zu modellieren ist, ein Footballfeld ist, dann würde das Modell eine Darstellung der Fläche des Footballfeldes beinhalten. Die meisten Footballfelder besitzen keine ebenen Flächen und schließen Kalotten für Entwässerungszwecke mit ein. Nebenbei besitzen viele Felder infolge von Abweichungen und anderen Abnormitäten unterschiedliche Feldgrößen (die Länge und die Breite können verschieden sein). Daher dient das Modell als eine dreidimensionale Darstellung der Fläche des Feldes. Wenn die Umgebung Teilbereiche des Stadions enthält, dann wird das Modell die relevanten Konturen des Stadions beinhalten, wie z. B. irgendwelche Stützmauern, das Dach der Zuschauertribünen und jede andere Fläche, zu der der Nutzer eine Grafik hinzufügen kann.
In Schritt 152 registriert der Bediener des Systems das System. Der Schritt des Registrierens wird weiter unten detaillierter behandelt. In Schritt 154 konfiguriert der Bediener Einbeziehungen und Ausschließungen. In einer Ausführungsform der vorliegenden Erfindung kann die Grafik ohne Zugrundelegung der Berechnung der Inhalte des Videosignals einfach dem Video hinzugefügt werden. Es findet keine Berücksichtigung von Verdeckungen, z. B. durch einen Spieler oder ein Objekt vor der Hinzufügung, statt. In einer anderen Ausführungsform kann das System Einbeziehungen und/oder Ausschließungen enthalten. Eine Einbe ziehung ist eine Palette von Farben eines Pixels, das gemäß der vorliegenden Erfindung zu verbessern ist. Eine Ausschließung ist eine Farbauswahl für ein Pixel, die bei Verwendung der vorliegenden Erfindung keine Verbesserung hervorrufen sollte. Während der Bedienung kann der Bediener ein oder mehrere Einbeziehungen und/oder ein oder mehrere Ausschließungen konfigurieren. Zum Beispiel kann der Bediener entscheiden, dass eine Yard-Linie über weiß (die Original-Yard-Linien), grün (Rasen) und braun (Schmutz) gezeichnet werden kann. Zusätzlich kann der Bediener eine Ausschließung so konfigurieren wollen, dass eine Linie nicht über eine spezielle Farbe (z. B. Teamuniformen) gezeichnet wird. In einer alternativen Ausführungsform der vorliegenden Erfindung beinhalten Ausschließungen auch Pixelorte eines Einzelbildes des Videos, die nicht zu verbessern sind. In Schritt 156 wird der Index-Detektor 88 abgeglichen. In Schritt 158 wird das System während des Live-Ereignisses bedient. In Schritt 160 können die Einbeziehungs- und Ausschließungszonen modifiziert oder entfernt werden oder neue Einbeziehungs- und/oder Ausschließungszonen entworfen werden. Schritt 160 ist ein optionaler Schritt, der ausgeführt werden kann, solange das System bedient (Schritt 158) oder bevor das System bedient wird. Auf diese Weise können die Einbeziehungszonen und Ausschließungszonen während eines Live-Ereignisses, solange das System bedient wird, entworfen und modifiziert werden.
4 ist ein Ablaufdiagramm, das diese Methode des Entwerfens des Modells (Schritt 150 in 3) erklärt. In Schritt 180 erfasst ein Bediener Daten von verschiedenen Punkten in der Umgebung. In einer Ausführungsform enthält jeder Datenpunkt die Größen x, y und z. Jede x-beliebige Methode kann verwendet werden, um diese Größen x, y und z zu erhalten. Ein Beispiel einer geeigneten Methode ist die Verwendung einer Lasermatrix für die Größe z und eines Laserentfernungsmessers für die Größen x und y oder andere geeignete Vermessungsgeräte. Es wird angenommen, das die Umgebung, die modelliert wird, das Footballfeld entsprechend 1 ist. Der erste Schritt ist das Entwerfen eines Koordinatensystems. Der Einfachheit halber wird angenommen, dass der Ausgangspunkt in der Nähe der Ecke der linken Endzone die y-Achse ist, die entlang der Breite des Feldes verläuft (z. B. die Hintergrundseite der Endzone), die x-Achse entlang der Länge des Feldes (z. B. die Seitenlinie) verläuft und die z-Achse sich vertikal zum Feld erstreckt. Der Bediener kann die Yard- Markierungen auf dem Feld erfassen oder verwenden, um die x- und y-Koordinaten für die meisten interessierenden Punkte auf dem Feld zu bestimmen. Die Lasermatrix kann zur Erfassung der entsprechenden z-Koordinate verwendet werden. Die Lasermatrix wird durch das Platzieren der Lasermatrix auf dem Ausgangspunkt (oder einen anderen Punkt) genutzt, und das Auslesen des Laserbildes erfolgt aus einer Messlatte, die am interessierenden Punkt positioniert ist. In einer Ausführungsform werden die Musterdaten für die Hinterseite der beiden Endzonen, der beiden Torlinien, der beiden 20-Yard-Linien und der beiden 40-Yard-Linien genommen. Für die Erfassung jeder Yard-Linie sollten als erstes die Vermessungen entlang jeder Seitenlinie und in einem oder mehreren Punkten zwischen den beiden Seitenlinien einschließlich der Mitte des Feldes vorgenommen werden. Es können auch Daten für zusätzliche Punkte genommen werden. Wenn die Umgebung Teilbereiche des Stadions beinhaltet, können die Lasermatrix, ein Bandmaß oder ein anderes Vermessungsgerät zur Bestimmung von Daten für andere Punkte in der Umgebung verwendet werden (ebenso wie einfache Geometrie).
In einer Ausführungsform können die Zahlenwerte, die in Schritt 180 erfasst wurden, geeignet sein, das Modell einfach zu entwerfen. Das heißt, die Zahlenwerte können (symbolisch) gezeichnet und miteinander verbunden werden. In einer anderen Ausführungsform werden ein Satz von Kurven (Schritt 182) unter Nutzung der erfassten Daten entworfen. Das heißt, wenn die Daten für eine Anzahl von Punkten entlang einer Linie (z. B. 20-Yard-Linie, 40-Yard-Linie, Begrenzung einer Mauer, usw.) genommen wurden, dann kann diese Linie durch Einsetzen der Daten in eine Kurve der Art A + By + Cy² = z geformt werden. Also kann jeder Punkt auf einer Yard-Linie unter Verwendung dieser Gleichung gefunden werden, weil vorausgesetzt wird, dass jeder Punkt auf der Yard-Linie denselben x-Wert besitzt. So wie sich der y-Wert ändert, wird sich auch der z-Wert ändern. Ähnliche Kurven können verwendet werden, um andere Linien abzubilden. Zum Beispiel kann eine Seitenlinie (entgegengesetzt zu einer Yard-Linie) mit der Gleichung der Art A + Bx + Cx² = z geformt werden. Andere Linien in der Umgebung können sowohl eine von diesen zwei Gleichungen oder andere Gleichungen verwenden. Wenn das System den z-Wert für einen Punkt zwischen zwei Kurven finden will, kann das System dazu die lineare Interpolation verwenden.
Nachdem Schritt 182 abgearbeitet ist, besitzt das System einen Satz von Kurven. Dieser Satz Kurven beschreibt das Modell. 5 ist eine symbolische (oder graphische oder schematische) Darstellung von solch einem Modell. Die Kurven 204 und 206 stellen die Seitenlinien und die Kurve 208, die Hinterseite der Endzone dar. Die Kurven 210, 212 und 214 stellen Yard-Linien dar. Die Kurven 218, 228 und 222 stellen die Konturen der Mauer rund um die Zuschauertribünen dar. In einer Ausführungsform kann eine Ebene 240 zur Darstellung der Fans definiert werden. In einer Ausführungsform wird das Modell als Datenbank gespeichert und kann von jedem der oben behandelten Computer bezogen werden. Auf diese Weise kann das Modell als eine Datenbank bestehen und als ein Bild erstellt werden.
6 ist ein Ablaufdiagramm, welches die Methode zur Registrierung des Systems (Schritt 152 der 3) erklärt. In Schritt 300 setzt der Bediener die Kodierer für alle Schwenk- und Neigungssensoren zurück. Das schließt das Bewegen der Kameras durch den gesamten Bewegungsbereich ein, um den Null-Zählungsindexreferenzpunkt für jeden Kodierer einzustellen. In Schritt 302 wird für jede Kamera und für jede Extendereinstellung das optische Zentrum (oder die optische Achse) gefunden. Bei dieser Verfahrensweise wird der Positionsanzeiger der Kamera (z. B. ein Fadenkreuz) in das Zentrum des Kamerasuchers positioniert, und bei der Kamera wird die längste Brennweite gezoomt. Die Kamera wird so positioniert (geschwenkt und geneigt), dass der Positionsanzeiger auf einen festgelegten Ort zentriert wird. An diesem Punkt wird bei der Kamera die kürzeste Brennweite eingestellt. Wenn der Positionsanzeiger dann immer noch auf den festgelegten Ort zentriert ist, dann befindet er sich auf der optischen Achse. Wenn der Positionsanzeiger nicht auf den festgelegten Ort zentriert ist (während die Kamera noch herauszoomt), dann bewegt sich der Positionsanzeiger ohne eine Bewegung der Kamera so, dass der Positionsanzeiger zu dem Zeitpunkt auf den festgelegten Ort im Sucher zentriert ist. Dann ist die Kamera auf die längste Brennweite gezoomt. Wenn der Positionsanzeiger immer noch auf den festgelegten Ort zentriert ist, dann befindet er sich auf der optischen Achse. Andererseits wurde die Kamera derart bewegt, dass der Positionsanzeiger auf den festgelegten Ort zentriert ist. Dieser Prozess dauert fort, solange bis der Positionsanzeiger auf dem festgelegten Ort verbleibt, während die Kamera herein und herauszoomt. Dieser Prozess wird sowohl für 1X-Einstellung, als auch für die 2X-Einstellung des X2-Extenders wiederholt.
In Schritt 304 wird der Messwert der Levelneigung ermittelt. Die Levelneigung ist die Neigung der Kamera, wenn sich die optische Achse senkrecht zur Erdoberfläche befindet. Die Levelneigung wird durch die Einstellung der Lasermatrix neben der Kamera an der Ebene der Kameraobjektivs erfasst. Ein Stab oder ein anderes Objekt, das benutzt werden kann, um die Markierungen der Lasermatrix zu prüfen, sollte jenseits des Stadions in einer Höhe platziert werden, um der Strahl der Matrix zu empfangen. Durch das Ausrichten des optischen Zentrums der Kamera auf den durch die Lasermatrix quer durch das Stadion auf dem Stab beleuchteten Punkt wird die Levelneigung der Kamera eingestellt. Der Registrierungsparameter der Neigung, welcher unten genannt wird, ist der Kodierermesswert in Grad (oder Radiant) der Levelneigung. Bevor die Levelneigung bestimmt wird, wird eine digitale Ebene an der Kamera platziert und die Kamera geschwenkt, um zu gewährleisten, dass die Schwenkachse vertikal verläuft. Wenn dies nicht der Fall ist, sind geeignete Korrekturen vorzunehmen. In einer Alternative kann eine Schwenkachse gebildet werden, die nicht vertikal verläuft (lieber als korrigiert). In einer anderen Ausführungsform können ein oder mehrere Neigungsmesser an den Füßen der Schwenk- und Neigungsköpfe gekoppelt werden, um genauer zu messen, und vielleicht das Verhalten der Schwenkachse zu modellieren. Dies erlaubt das Tolerieren von Veränderungen des Kameraverhaltens. Hochfrequenzen rufen manchmal in den Schwenk- und Neigungssensoren ein Rauschen hervor. Um dies zu kompensieren, wird die Nullzählungsmarke so bewegt, dass sie sich im typischen Zentrum des Suchers der Kamera befindet.
In Schritt 306 wird das Zoom-Objektiv auf den weitesten Winkel geöffnet und dessen Ausgangsspannung aufgezeichnet. In Schritt 308 wird das Zoom-Objektiv auf die längste Brennweite gezoomt und dessen Ausgangsspannung aufgezeichnet. Die Schritte 306 und 308 werden benutzt, um den Bereich der Zoom-Spannungen zu bestimmen. In einer Ausführungsform beinhaltet der Zoom-Sensor ein zusätzliches Abfragegerät, damit eine Ausgangsspannung von einem Zoom-Objektiv abgelesen werden kann. Alternativ kann ein Zoom-Objektiv ein digitales Signal ausgeben, das den Status des Zoom-Objektivs beschreibt.
In Schritt 310 bestimmt das System den Ort (x-, y- and z-Koordinaten) der Kameras. Um die x- und y-Koordinaten einer Kamera zu bestimmen, wird das optische Zentrum einer Kamera auf drei oder mehrere (zum Beispiel 8) bekannte Bildkoordinaten ausgerichtet. Eine bekannte Bildkoordinate ist eine Marke oder ein Ort, deren Koordinaten durch akkurates Erfassen der Koordinaten in Relation zum Ausgangspunkt bekannt sind. Die Bildkoordinaten können durch Nutzung einer Lasermatrix, eines Bandmaßes und/oder anderer geeigneter Verfahren erfasst werden. Solange die Kamera auf die bekannte Bildkoordinate ausgerichtet wird, zählt das System die Zähleinheiten des Schwenksensors zwischen den Bildkoordinaten. Jede Zahl bedeutet 0,009 Grad im Schwenkbereich. Die Geometrie kann dazu benutzt werden, Dreiecke in Verbindung der Kameras zu allen Bildkoordinaten darzustellen, die Winkel zwischen den verschiedenen Linien unter Nutzung der Anzahl der Schwenksensorzähleinheiten zu bestimmen und nach den x- und y-Koordinaten des Punktes so aufzulösen (Nutzung einer numerischen Auflösungssoftware), dass allen Daten am besten entsprochen wird. Eine Vorsichtsmaßnahme ist dabei, dass alle Bildkoordinaten sich nicht auf derselben geraden Linie befinden dürfen.
Um die z-Koordinate einer Kamera zu bekommen, wird eine Kamera auf eine bekannte Bildkoordinate (eine der x-, y-Position ist bekannt) ausgerichtet. Das Ausrichten bedeutet, dass die Kamera so geschwenkt und geneigt wird, dass sich das optische Zentrum im Sucher der Kamera auf die bekannte Bildkoordinate richtet. Das System kann die Anzahl der Zähleinheiten des Neigungssensors durch die Position auf der Levelneigung ermitteln. Diese Zähleinheiten können zur Berechnung eines Winkels θ genutzt werden. Durch die Nutzung der Geometrie kann sich ein rechter Winkel darauf beziehen, dass ein Eckpunkt die Bildkoordinate darstellt, ein zweiter Eckpunkt die Kamera ist und der dritte Eckpunkt sich direkt unterhalb der Kamera befindet (bei der z-Koordinate des Bildpunktes), der notwendig ist, den rechten Winkel zu bilden. Einer der Winkel des Dreiecks ist θ, und der andere Winkel ergibt sich aus 90°-θ. Das System kennt die x- und y-Koordinaten aller drei Eckpunkte, demnach ist die Dreieckslänge auf der Bodenfläche bereits bekannt. Also kann die Höhe des Dreiecks, welche die z-Koordinate des Ortes der Kamera darstellt, durch Nutzung der bekannten Trigonometrie bestimmt werden. Dies kann für mehrere Bildkoordinaten wiederholt, und das Resultat kann für eine weitere genaue Lösung gemittelt werden.
Zur Bestimmung des Schwenkregistrierungsparameters (wird unten behandelt) wird das optische Zentrum einer Kamera auf eine Bildkoordinate ausgerichtet. Der Schwenkkodierermesswert, in Grad (θ), ist bekannt. Die x- und y-Koordinaten der Bildkoordinate (x₁, y₁) sind bekannt. Die x- und y-Koordinaten der Kamera sind bekannt (x₂, y₂). Ein Winkel Φ wird bestimmt als
Der Schwenkregistrierungsparameter wird berechnet als Pan Reg = 180° – θ – Φ
In Schritt 312 wird für jede Kamera ein Drehungsparameter bestimmt. Eine Kamera wird auf das Feld (oder einen anderen Teilbereich der Umgebung) ausgerichtet, und das Ausgangssignal der Kamera wird an den Computer 94 gesendet. Das Bild der Kamera wird einem transformierten Bild des Modells der Umgebung überlagert. Ein Schieber einer Graphischen Nutzerschnittstelle (GUI) wird dazu benutzt, die Drehung des Bildes der Kamera so zu ändern, dass dieses Bild mit dem Bild des Modells komplett abgeglichen wird. Die Gradzahl der Abgleichkorrektur wird als Drehungsregistrierungsparameter aufgezeichnet. Es ist bekannt, dass die Transformation des Bildes des Modells mit den zu der Zeit bekannten besten Parametern ausgeführt wird.
In Schritt 314 registriert das System den Zoom für jede Kamera. Das Video der Kamera wird an den Computer 94 gesendet und im oberen Teil von einem transformierten Bild des Modells überlagert. Als erstes wird die Kamera in die weiteste Position gezoomt, und ein zweiter Schieber der GUI wird bewegt, bis das Bild der Kamera mit dem Bild des Modells abgeglichen ist (erweitert oder geschrumpft). An diesem Punkt speichert das System die Zoomspannung, die Fokusspannung und einen Zoomfaktor, der zum Abgleich des Bildes des Modells benutzt wird. Das System zeichnet mindestens fünf (könnten auch sechs oder zwölf oder eine andere Anzahl sein) verschiedene Zoomgrößen mit dem Extender an 1X und vier Zoomgrößen mit dem Extender an 2X auf. Die Daten werden für die Gestaltung von zwei Kurven, die die Zoomspannung und den Zoomfaktor Bilden, verwendet: eine Kurve für den Extender an der 1X-Position und eine Kurve für den Extender an der 2X-Position. In einer alternativen Ausführungsform können vier Kurven erzeugt werden: Nahfokus und 1X, Nahfokus und 2X, Fernfokus und 1X und Fernfokus und 2X. Für die Punkte zwischen den Kurven wird eine Interpolation verwendet.
In Schritt 316 nimmt das System das Erstellen eines Kompensationsfaktors für die Verzögerung der Schwenk-, Neigungs- und Zoomdaten hinsichtlich des Videosignals der Kameras vor. Um dies zu tun, werden die Schwenk-, Neigungs- und Zoomdaten für die Überlagerung einer Grafik auf das Video einer Kamera benutzt. Die Kamera wird vor und zurück geschwenkt. Durch die Benutzung eines Schiebers an einer GUI wird eine Verzögerung zu der Grafikwiedergabe so hinzugefügt, dass die Bewegung der Grafik in Bezug auf das Originalvideo beseitigt wird. Dieser Verzögerungsfaktor wird für den Vergleich der Schwenk-, Neigungs- und Zoomdaten bezogen auf das Video benutzt.
In Schritt 318 gleicht das System die Zoomblende und die Zoomabschaltung ab. Das heißt, in einigen Ausführungsformen kann es wünschenswert sein, dass die Grafik dem Video nicht hinzugefügt wird, wenn die Zoombrennweite einen Grenzwert überschreitet. Folglich kann ein Bediener einen ersten Grenzwert für die Zoombrennweite festlegen, an welchem Punkt für jede Grafik, die einem Video hinzugefügt wird, das Einblenden beginnt. Der Bediener kann auch einen Grenzwert für die Zoomabschaltung auswählen. Wenn die Zooms der Kamera am Schwellwert für die Zoomabschaltung vorbeigezoomt werden, wird die Grafik komplett ausgeblendet. Die Menge der Linien, die eingeblendet sind, ist abhängig davon, in welchem Bereich sich die gezoomte Kamera zwischen dem ersten Zoomgrenzwert und dem Abschaltungsgrenzwert befindet.
7 ist ein Ablaufdiagramm, welches das Verfahren zur Kalibrierung des Index-Detektors beschreibt (Schritt 156 in 3). Der Index-Detektor 88 ermittelt, ob eine Kamera indiziert ist, die ein Bild für die Ausstrahlung durch das Vergleichen von Teilbereichen des Sendevideos (das indizierte Videosignal) mit den Teilbereichen des Videos, das durch die Kamera bereitgestellt wurde, zur Verfügung zu stellen. Die getestete Kamera soll das Sendevideo zur Verfügung stel len, wenn das Resultat des Vergleiches erfüllt ist oder unter einen vorher festgelegten Grenzwert sinkt. In einer Ausführungsform der vorliegenden Erfindung ist der Index-Detektor 88 als ein Computer mit Software, die auf einem durch einen Rechner lesbaren Speichermedium (zum Beispiel Speicher, Disk, usw.) gespeichert wird, ausgeführt. Alternativ kann der Index-Detektor 88 komplett als Hardware-Komponente ausgeführt sein.
Ein Multiviewer 90 stellt dem Index-Detektor 88 einen Videoausgang zur Verfügung, der ihm erlaubt, alle Bilder, die am Eingang des Multiviewer 90 vorhanden sind, gleichzeitig auf einem Einzelbildschirm anzuzeigen. In alternativen Ausführungsformen der vorliegenden Erfindung ist der Index-Detektor 88 für den Empfang mehrerer unabhängiger Videoeingänge konfiguriert, so dass dadurch kein Bedarf für den Multiviewer 90 besteht. Der Index-Detektor 88 kann auch so gekoppelt werden, dass er die Abschlussschaltsignale (CS1, CS2 und CS3) der Kameras 60, 62 und 64, die der Index-Detektion ausgesetzt sind, empfängt.
Um zu gewährleisten, dass exakte Bildvergleiche während der Bedienung des Index-Detektors 88 durchgeführt werden, wird der Index-Detektor 88 kalibriert, um die Fehlausrichtung zwischen den vorhanden Bildern, die zu vergleichen sind, zu minimieren. Wie in 7 gezeigt, wird in Schritt 400 eine Versatzkorrektur zur Reduzierung der horizontalen und vertikalen Fehlausrichtung, verursacht durch den Multiviewer 90 und anderen Komponenten des Systems, die in 2 dargestellt sind, ausgeführt. Als nächstes wird in Schritt 402 eine Multiviewer-Verzögerungskorrektur zur Minimierung der Fehlausrichtung der Verzögerung, verursacht durch den Multiviewer 90 und anderen Komponenten in dem System, die in 2 dargestellt sind, ausgeführt. Wurden einmal diese Werte der Fehlausrichtung erfasst, wird in Schritt 404 zur Reduzierung der Fehlausrichtung der Verzögerung, verursacht durch Umgebungsfaktoren der Art, dass die Verzögerungen variieren, die durch Produktionsausrüstung verursacht werden, eine Umgebungsverzögerungskorrektur ausgeführt.
Während die Versatzkorrektur 400 und die Multiviewer-Verzögerungskorrektur 402 ausgeführt wird, wird, wie in 8 dargestellt, der Multiviewer 90 konfiguriert. Ein erster Eingang des Multiviewer 90 ist für den Empfang eines Videoeingangssignals von einer Videoquelle 414 konfiguriert. In einer Ausführungsform der vorliegenden Erfindung kann die Videoquelle 414 ein Videoabspielgerät oder ein Computer sein. Der erste Videoausgang des Multiviewers 90, welches das zur Verfügung stehende Video zum ersten Eingang befördert, ist an einen zweiten Eingang des Multiviewers 90 gekoppelt. Ein zweiter Videoausgang, welcher das zur Verfügung stehende Video zu dem zweiten Videoeingang befördert, ist an einen dritten Videoeingang des Multiviewers 90 gekoppelt. Ein dritter Videoausgang, welcher das zur Verfügung stehende Video zu dem dritten Videoeingang befördert, wird einem vierten Eingang des Multiviewers 90 zur Verfügung gestellt. Als ein Resultat dieses Aufbaus wird das durch die Videoquelle 414 zur Verfügung gestellte Video in den vier Quadranten auf dem Bildschirm des Index-Detektors dargestellt.
Zum Zwecke der Ausführung der Kalibrierung wird ein Satz von Parametern für jede Videoansicht definiert, der durch den Index-Detektor 88 auf dem Bildschirm angezeigt wird. 9 veranschaulicht diese Parameter, welche aus einem oberen Rand 420, einem rechten Rand 430, einem unteren Rand 426, einem linken Rand 424, einer Höhe 432 und einer Breite 422 bestehen. Es wird auch eine Teilbildgröße für Teilbilder 434, die innerhalb der Ansicht erscheinen, worin jedes Teilbild 434 aus einem Satz von angrenzenden Pixeln zusammengestellt ist, definiert. Die Ränder 420, 430, 426 und 424 definieren eine Testregion 428 für die Bildansicht, in welcher die Videovergleiche ausgeführt werden. Die Höhe 432 legt die Anzahl von Teilbildern 434, die sich von dem oberen Rand 420 bis zum unteren Rand 426 erstrecken, fest. Die Breite 422 legt die Anzahl von Teilbildern 434, die sich von dem linken Rand 424 bis zum rechten Rand 430 erstrecken, fest. Wurde die Höhe 432 und die Breite 422 vorgegeben, dann ordnet der Index-Detektor 88 die Teilbilder 434 gleichmäßig zwischen den Rändern 420, 424, 426 und 430 an. In einer Ausführungsform der vorliegenden Erfindung wurde definiert, dass jeder der Ränder 420, 424, 426 und 430 aus 32 Pixel, jedes der Teilbilder 434, die als ein Quadrat von jeweils 4 Pixel an jeder Seite konfiguriert sind, aus einem Satz von 16 Pixel, die Höhe 432 aus 12 Teilbildern und die Breite 422 aus 16 Teilbildern besteht.
Wurden einmal die oben beschriebenen Bildparameter festgelegt, dann komplettiert der Index-Detektor 88 die Parameter, die durch das Auswählen eines Satzes 436 von Teilbildern 434 in der Testregion 428 definiert sind und die verwendet werden, wenn die Verzögerungsvergleiche ausgeführt werden. In einer Ausführungsform der vorliegenden Erfindung bildet der ausgewählte Satz 436 von Teilbildern 428 einen Rombus, der sich nach außen vom Zentrum der Testregion 428 zu den die Testregion begrenzenden Rändern 420, 424, 426 und 430 erstreckt. In alternativen Ausführungsformen der vorliegenden Erfindung kann der ausgewählte Satz 436 von Teilbildern 434 eine unterschiedliche Form oder gar keine bestimmte Form bilden. Der in 9 gezeigte ausgewählte Satz 436 von Teilbildern sind die Teilbilder innerhalb der gepunkteten Linie in der Testregion 428.
Während der Kalibrierung des Geräteaufbaus können auch zusätzliche Variablen festgelegt werden, wie zum Beispiel die Übertragungsrate der hereinkommenden Bilddaten und ein Kennzeichen, der das Format der Videodaten, die empfangen werden, bezeichnet.
Wurde einmal der Multiviewer 90 konfiguriert, und sind die Parameter festgelegt, dann kann der Kalibrierungsprozess, wie in 7 dargestellt, beginnen. Innerhalb der Ausführung der Versatzkorrektur 400 ermittelt der Bediener, ob das Video vom zweiten, dritten und vierten der Videoeingänge des Multiviewers 90 jeweils mit dem vom ersten Videoeingang des Multiviewers 90 zur Verfügung gestellten Video vertikal und horizontal ausgerichtet ist. Die Videoquelle 414 stellt ein statisches Bild ohne jene Änderung der Pixel dem ersten Videoeingang des Multiviewers 90 zur Verfügung, so dass die Versatzkorrektur 400 ausgeführt werden kann.
10 beschreibt das GUI, die durch den Index-Detektor 88 zur Verfügung gestellt wird. In 8 zeigt das GUI auf dem Bildschirm ein durch die Videoquelle 414 in vier Quadranten aufgeteiltes statisches Bild. Das Video im oberen linken Quadranten 440 ist das Video, das am ersten Videoeingang des Multiviewers 90 empfangen wird; das Video im rechten oberen Quadranten 441 ist das Video, welches am zweiten Videoeingang des Multiviewers 90 empfangen wird; das Video im unteren rechten Quadranten 442 ist das Video, welches am dritten Videoeingang des Multiviewers 90 empfangen wird; und das Video im unteren linken Quadranten 443 ist das Video, das am vierten Videoeingang des Multiviewers 90 empfangen wird. In einer alternativen Ausführungsform der vorliegenden Erfindung können die Videoeingänge am Multiviewer 90 zu verschiedenen Quadranten auf dem Bildschirm des Index-Detektors 88, wie oben dargelegt, geführt werden.
Wie aus 10 zu ersehen ist, sind nicht alle Bilder vertikal und horizontal ausgerichtet. Dies wird durch die unteren Teilbereiche des bereitgestellten statischen Videos, die sich auf den unteren Teil des Bildschirmes in den unteren Quadranten 442 und 443 beschränken, illustriert. Während der Versatzkorrektur 400 zeigt der Index-Detektor 88 eindeutig die horizontale und vertikale Fehlausrichtung durch die Bestimmung der Abweichungen zwischen den Pixelwerten der Pixel in der Testregion des ersten Quadranten 440 und den Pixelwerten der entsprechenden Pixel in den anderen Quadranten 441, 442 und 443 auf. Jede Abweichung wird dann dem betreffenden Pixelort in dem passenden Quadranten (441, 442 oder 443) hinzugeschrieben. Als ein Resultat werden Pixel, dessen Werte mit den entsprechenden Pixeln in dem oberen linken Quadranten 440 abgeglichen wurden, auf eine vorher festgelegte Farbe, zum Beispiel schwarz, gesetzt. Wenn das Video eines Quadranten mit dem Video in dem oberen linken Quadranten 440 vertikal und horizontal ausgerichtet wurde, dann werden alle entsprechenden Pixel in dem Bild des Quadranten auf die vorher festgelegte Farbe gesetzt.
Während der Versatzkorrektur 400 (7) kann die vertikale und die horizontale Ausrichtung eines jeden Bildes in Bezug auf das Video im Quadranten 440 ausgeglichen werden. In der Ausführungsform, wie in 10 gezeigt, wird dieser Ausgleich durch das Bewegen der vertikalen Versatzschieber 444, 445 und 446 und der horizontalen Versatzschieber 447, 448 und 449, die entlang der horizontalen und vertikalen Achsen eines jeden Quadranten 441, 442 und 443 am GUI des Index-Detektors positioniert sind, erreicht. Ist einmal ein Ausgleich ausgeführt, kann ein anderer Satz von Abweichungen bestimmt und beschrieben werden, um zu sehen, ob die vertikale und horizontale Ausrichtung brauchbar ist. In einer alternativen Ausführungsform der vorliegenden Erfindung wertet der Index-Detektor 88 die Resultate der Pixelwertabweichungen aus, um zu ermitteln, ob eine ausreichende Anzahl von Pixel richtig ausgerichtet ist. In einer weiteren Ausführungsform der vorliegenden Erfindung nimmt der Index-Detektor 88 einen Selbstausgleich der horizontalen und vertikalen Ausrichtungen vor.
11 erläutert eine Folge von Tätigkeiten, die ausgeführt werden, um die Versatzkorrektur, wie in 7 gezeigt, vorzunehmen. Als erstes wird in Schritt 460 ein Video für einen Vergleich von einem der Quadranten 441, 442 und 443 am Index-Detektor 88 ausgewählt. Als nächstes wird in Schritt 462 die Testregion 428 des Videos in Quadrant 440 mit dem Video des ausgewählten Quadranten zur Bestimmung der Pixelwertabweichungen verglichen. Nach dem Vergleich in Schritt 462 werden in Schritt 464 die Pixelwertabweichungen den entsprechenden Pixeln in dem ausgewählten Quadranten 441, 442 oder 443 hinzugeschrieben.
In einer Ausführungsform der vorliegenden Erfindung werden die Pixelwertabweichungen für jedes Pixelpaar bestimmt, weil das Bild des Videos in einem 4:2:2-YCbCr-Format vorliegt. In solch einem Format werden alle zwei horizontal angrenzenden Pixel durch einen Satz von Cb- und Cr-Charakteristiken definiert, und jedes Pixel weist eine Y-Charakteristik auf. Die Y-Charakteristik definiert die Helligkeit eines Pixels, und die Kombination der Cb- und Cr-Charakteristiken definieren die Farbe des Pixels. Die Y-Charakteristik kann einen Wert in einem Bereich von 16 bis 180 aufweisen. Die Cb- und Cr-Charakteristiken können jeden Wert in einem Bereich von 16 bis 240 annehmen. Ein Pixel ist schwarz, wenn Y gleich 16 und Cb und Cr jeweils gleich 180 sind. In solch einer Ausführungsform werden in Schritt 462 die Pixelwertabweichungen entsprechend den folgenden Gleichungen bestimmt: Y1PD = (Y1P – Y1C) Y2PD = (Y2P – Y2C) CrPD = (CrP – CrC) CbPD = (CbP – CrC)
Dabei ist

Y1PD: die Y-Pixelwertabweichung für ein erstes Pixel,
Y2PD: die Y-Pixelwertabweichung für ein zweites Pixel,
CrPD: die Cr-Pixelwertabweichung,
CbPD: die Cb-Pixelwertabweichung,
Y1P: der Y-Wert für das erste Pixel in dem Pixelpaar aus dem Video des Quadranten 440,
Y1C: der Y-Wert für das erste Pixel des Pixelpaares aus dem Video des ausgewählten Quadranten,
Y2P: der Y-Wert für das zweite Pixel des Pixelpaares aus dem Sendevideo des Quadranten 440,
Y2C: der Y-Wert für das zweite Pixel des Pixelpaares aus dem Video des ausgewählten Quadranten,
CrP: der Cr-Wert für das Pixelpaar aus dem Video des Quadranten 440,
CrC: der Cr-Wert für das Pixelpaar aus dem Video des ausgewählten Quadranten,
CbP: der Cb-Wert für das Pixelpaar aus dem Video des Quadranten 440 und
CbC: Cb-Wert für das Pixelpaar aus dem Video des ausgewählten Quadranten.

Als nächstes wird in Schritt 466 (11) eine Ermittlung, ob eine geeignete Versatzausgleichung ausgereicht hat, ausgeführt. Ein Ausgleich ist ausreichend, wenn die Abweichungswerte kleiner sind als ein ausgewählter Grenzwert. Ein Beispiel eines typischen Grenzwertes ist 10.000. In einer Ausführungsform der vorliegenden Erfindung wird eine Ermittlung in der Art ausgeführt, dass ein Nutzer eine visuelle Auswertung, ob eine ausreichende Anzahl von Pixel in dem Bild eines ausgewählten Quadranten die Farbe schwarz besitzt, vornimmt. In einer alternativen Ausführungsform der vorliegenden Erfindung wertet der Index-Detektor 88 jede der Pixelabweichungen aus, um zu gewährleisten, dass eine ausreichende Anzahl von ihnen einen kleineren als den eines vorher festgelegten maximalen Wertes besitzt. Solch ein Maximalwert kann sich aus einem Pixelwert ergeben, der aus einem Pixel, der schwarz ist, resultiert. Alternativ kann solch ein Maximalwert der Grenzwert, wie oben genannt, sein.
Wenn ermittelt wurde, dass in Schritt 466 kein geeigneter Ausgleich hergestellt wurde, dann wird in Schritt 468 ein horizontaler, ein vertikaler oder ein horizontaler und ein vertikaler Ausgleich durchgeführt. Das Ergebnis des Ausgleichs führt dazu, dass der Index-Detektor 88 aufzeichnet, dass jedes Pixel in dem Video des Quadranten 440 mit einem Pixel in dem Video des ausgewählten Quadranten übereinstimmt, welches von dem Pixel des Quadranten 440 durch einen Ausgleich eine Anzahl von Pixel entweder in horizontaler, in vertikaler oder sowohl in horizontaler als auch in vertikaler Richtung versetzt ist. Nach dem Ausgleichen des Abstandes, der in Schritt 468 erfolgt, wird in Schritt 462 der Vergleich der Pixelwertabweichung, wie oben beschrieben, wiederholt.
In einer Ausführungsform der vorliegenden Erfindung wird der Ausgleich des Abstandes durch einen Nutzer, der die horizontalen und vertikalen Schieber 447, 448 und 444 bis 446, wie oben bezüglich 10 beschrieben, betätigt, festgelegt. In einer alternativen Ausführungsform der vorliegenden Erfindung kann in Schritt 466 das Ausgleichen des Abstandes durch den Index-Detektor 88 durch das Ausführen eines iterativen Verfahrens vorgenommen werden, in welchem er verschiedene Abstände für den Ausgleich liefert, bis ermittelt wurde, dass die Ausgleichung des Versatzes verwendbar ist.
Wenn in Schritt 466 ermittelt wurde, dass der Ausgleich des Versatzes für das Video des ausgewählten Quadranten verwendbar ist, dann wird in Schritt 470 geprüft, ob jedes Video der Quadranten noch mit den noch nicht ausgewählten Videos zu vergleichen ist. Wenn ermittelt wurde, dass irgendeines der Videos noch nicht ausgewählt wurde, dann wird in Schritt 460 ein neues Video ausgewählt, und der Ablauf in 11 wird für das neu ausgewählte Video, wie oben beschrieben, wiederholt. Wenn in Schritt 470 ermittelt wurde, dass es keine nicht ausgewählten Videos der Quadranten mehr gibt, dann ist die Versatzkorrektur (Schritt 400, 7) abgeschlossen.
Wie in 7 gezeigt, folgt der Versatzkorrektur 400 der Schritt 402, die Multiviewer-Verzögerungskorrektur. Bevor die Multiviewer-Verzögerungskorrektur 402 ausgeführt wird, wird die Videoquelle 414 (8) justiert, damit die Bereitstellung eines bewegten Bildes an den Multiviewer 90 beginnen kann. 12 erläutert eine Folge von Tätigkeiten für das Ausführen der Multiviewer-Verzögerungskorrektur 402. Als erstes wird in Schritt 480 ein Video aus einem der Quadranten 441, 442 oder 443 ausgewählt, um es mit dem Video des Quadranten 440 zu vergleichen. Als nächstes wird in Schritt 482 ein Bildabgleichwert oder ein Satz von Werten ermittelt. Der Bildabgleichwert gibt den Betrag der Fehlausrichtung der Verzögerung zwischen einem Einzelbild des Videos in dem Quadranten 440 und einem Einzelbild des Videos in dem ausgewählten Quadranten an. Eine Erläuterung des Bildabgleichwertes ist unten in den Erläuterungen bezogen auf 13 zu finden.
Der Bildabgleichwert (oder -werte) wird dann in Schritt 484 unter Verwendung eines Grenzwertes verglichen. Der Grenzwert ist ein maximal zulässiger Bildabgleichwert. In einer Ausführungsform der vorliegenden Erfindung wird die Grenzwertbestimmung 484 dadurch ausgeführt, dass ein Nutzer einen auf einem Bildschirm angezeigten Bildabgleichwert an dem GUI des Index-Detektors 88 mit dem Grenzwert des Bildabweichungswertes vergleicht. In solch einer Ausführungsform können mehrere Bildabgleichwerte durch den Index-Detektor 88 für sukzessive eingehende Einzelbilder von Videos bestimmt werden, bevor eine Grenzwertbestimmung 484 ausgeführt wird. Die Werte würden einem Nutzer auf einem Bildschirm angezeigt werden, der dann entscheiden kann, ob der Grenzwert eingehalten wurde. In einer alternativen Ausführungsform führt der Index-Detektor 88 den Grenzwertvergleich durch. Ein Bereich geeigneter Grenzwerte erstreckt sich von 10.000 bis 20.000. Ein beispielhaftes Verfahren zur Berechnung eines geeigneten Grenzwertes ist die Multiplikation der Anzahl der für die Ermittlung des Bildabgleichwertes (wie unten erläutert) verwendeten Pixel mit der Zahl 32.
Wenn in Schritt 484 ermittelt wurde, dass der Bildabgleichwert oberhalb des Grenzwertes liegt, dann wird in Schritt 486 der Abgleich der Verzögerung zwischen dem Video des Quadranten 440 und dem Video des ausgewählten Quadranten justiert. Wurde einmal die Verzögerungsanpassung ausgeführt, dann wird in Schritt 482 ein neuer Bildabgleichwert ermittelt. In einer Ausführungsform der vorliegenden Erfindung bewirkt eine Anpassung der Verzögerung beim Index- Detektor 88 entweder eine Verlängerung oder eine Verkürzung der Verzögerung im Video des ausgewählten Quadranten. Solch eine Anpassung wird in einer Ausführungsform der vorliegenden Erfindung durch die Justierung eines oder mehrerer Laufzeitschieber 450, 451, 452 oder 453 für das Bild des ausgewählten Quadranten am GUI des Index-Detektors 88 ausgeführt. Die Schieber 450, 451 und 452 justieren die Verzögerungen für die Videos in den Quadranten 441, 442 und 443. Der Laufzeitschieber 453 justiert die Verzögerung für das Sendevideo. Das Sendevideo kann um ein oder zwei Einzelbilder verzögert werden. Der Laufzeitschieber 453 gestattet zeitgleich das Justieren der drei Kameras und verhindert negative Verzögerungen für die Kameras. In einer alternativen Ausführungsform der vorliegenden Erfindung kann die Anpassung automatisch durch den Index-Detektor 88 ausgeführt werden.
Wurde in Schritt 484 einmal der Bildabgleichwert so ermittelt, dass er gleich oder kleiner als der Grenzwert (Bildabweichungswert) ist, wird in Schritt 488 ermittelt, ob irgendeines der Videos der Quadranten 441, 442 und 443 noch nicht ausgewählt wurde. Wenn irgendeines der Videos der Quadranten 441, 442 und 443 noch nicht ausgewählt wurde, dann wird in Schritt 480 ein neues Video aus einem der Quadranten ausgewählt. Wenn alle Videos der Quadranten ausgewählt wurden, dann ist die Multiviewer-Verzögerungskorrektur abgeschlossen.
13 erläutert in Übereinstimmung mit der vorliegenden Erfindung eine Folge von Tätigkeiten zur Ermittlung eines Bildabgleichwertes (Schritt 482 der 12). Als erstes wird in Schritt 490 eine Gruppe von Pixeln des Videos des Quadranten 440 ausgewählt. Als nächstes wird in Schritt 492 eine Gruppe von entsprechenden Pixeln des Videos des ausgewählten Quadranten 441, 442 oder 443 ausgewählt. In einer Ausführungsform der vorliegenden Erfindung beinhaltet bei Verwendung des 4:2:2-YCbCr-Formates die Auswahl von Gruppen von Pixeln für die Videos der beiden Quadranten, des Quadranten 440 und des ausgewählten Quadranten, das Auswählen eines Pixelpaares für jedes Video.
Wurden einmal die Pixelgruppen ausgewählt, dann kann in Schritt 494 ein Pixelabgleichswert bestimmt werden. Der Pixelabgleichswert wird durch das Berechnen der Differenz zwischen den Pixelgruppencharakteristiken der Videopixelgruppe des Quadranten 440 und der Videopixelgruppe des ausgewählten Quad ranten bestimmt. In einer Ausführungsform der vorliegenden Erfindung wird der Pixelabgleichswert entsprechend der folgenden Gleichung berechnet: PM = |(Y1P – Y1C + Y2P – Y1P)·LW + (CrP – CrC + CbP – CbC)·CW|
Dabei ist:

PM: der Pixelabgleichwert;
Y1P: der Y-Wert für ein erstes Pixel einer Gruppe von Pixeln des Videos in dem Quadranten 440,
Y1C: ein Y-Wert für ein erstes Pixel einer Gruppe von Pixeln des Videos in dem ausgewählten Quadranten,
Y2P: ein Y-Wert für einen zweiten Pixel einer Gruppe von Pixeln des Videos in dem Quadranten 440,
Y2C: ein Y-Wert für einen zweiten Pixel einer Gruppe von Pixeln des Videos in dem ausgewählten Quadranten,
LW: eine Helligkeitsbewertungsgröße, welche während der Kalibrierung des Aufbaus verwendet werden kann,
CrP: ein Cr-Wert für eine Gruppe von Pixeln des Videos des Quadranten 440,
CrC: ein Cr-Wert für eine Gruppe von Pixeln des Videos des ausgewählten Quadranten,
CbP: ein Cb-Wert für eine Gruppe von Pixeln des Videos des Quadranten 440,
CbC: ein Cb-Wert für eine Gruppe von Pixeln des Videos des ausgewählten Quadranten und
CW: ist eine Farbbewertungsgröße, welche während der Kalibrierung des Aufbaus verwendet werden kann.

In einer Ausführungsform der vorliegenden Erfindung wird LW gleich 1 und CW gleich 2 gesetzt. LW und CW können dazu verwendet werden, die effektiven Abweichungen, vermerkt in Lumen und Chrominanz, für einen Eingang eines Testvideos auszugleichen.
Wurde in Schritt 494 einmal ein Pixelabgleichwert bestimmt, dann wird in Schritt 496 ermittelt, ob noch irgend eine andere Pixelgruppe auszuwerten ist. In einer Ausführungsform der vorliegenden Erfindung werden alle Pixelgruppen, die sich innerhalb der Teilbilder 434 (9) der Testregion 428 (9) des Bildes des Quadranten 440 befinden, für die Berechnung des Pixelabgleichwertes benutzt. Wenn ermittelt wurde, dass mehr Pixelabgleichwerte für Pixelgruppen zu berechnen sind, dann werden in den Schritten 490 und 492 neue Pixelgruppen ausgewählt, und in Schritt 494, wie oben beschrieben, ein neuer Pixelabgleichwert bestimmt.
Wenn in Schritt 496 ermittelt wurde, dass keine weiteren Pixelgruppen auszuwerten sind, dann wird in Schritt 498 ein Bildabgleichwert berechnet, der auf die Pixelabgleichwerte basiert. In einer Ausführungsform der vorliegenden Erfindung wird der Bildabgleichwert entsprechend der folgenden Gleichung berechnet: IM = (IMP·(TC – 1)/TC) + (ΣPM/TC)
Dabei ist:

IM: der Bildabgleichwert,
IMP: der zuletzt berechnete Bildabgleichwert für das Bild des ausgewählten Quadranten,
TC: eine Zeitkonstante, welche während der Kalibrierung des Aufbaus verwendet werden kann,
FPM: eine Summe eines Satzes von Pixelabgleichwerten, die in Schritt 494 berechnet wurden.

Die Benutzung der Zeitkonstante und des vorherigen Bildabgleichwertes ergibt den Bildabgleichwert am Ausgang eines einpoligen Filters mit unendlichem Impulsgang. Dies reduziert den Einfluss von Einwirkungen, z. B. ein Einzelbild verändert sich in einem der Bilderströme. Solch eine Veränderung kann durch Rauschen oder durch Signalbearbeitung im Multiviewer 90 auftreten. In einer Ausführungsform der vorliegenden Erfindung wird die Zeitkonstante gleich 8 Teilbilder eines Einzelbildes gesetzt.
Der Satz von Pixelabgleichwerten, der für die Bestimmung des Bildabgleichwertes ausgewählt wurde, um in einer Summe (ΣPM) zusammengefasst zu werden, sind in einer Ausführungsform der vorliegenden Erfindung Pixelabgleichwerte, die für Pixelgruppen berechnet wurden, die unter den ausgewählten Satz 436 von Teilbildern in der Testregion 428, wie oben bezüglich 9 beschrieben, fallen. Der ausgewählte Satz 436 von Teilbildern wird verwendet, weil die meisten Aktivitäten und Wechsel in dem Bild üblicherweise in dieser Region ablaufen und weil Titel und andere Grafiken üblicherweise nicht in dieser Region auftreten. In weiteren Ausführungsformen der vorliegenden Erfindung können Pixelabgleichwerte für Pixel zusätzlich zu diesen Pixeln des ausgewählten Satzes 436 von Teilbildern zur Bestimmung des Bildabgleichwertes verwendet werden.
7 zeigt eine Versatzkorrektur 400, gefolgt von einer Multiviewer-Verzögerungskorrektur 402. In alternativen Ausführungsformen erfolgen die Versatzkorrektur 400 und die Multiviewer-Verzögerungskorrektur 402 nicht nacheinander. In solchen Ausführungsformen kann die Versatzkorrektur 400 und die Multiviewer-Verzögerungskorrektur 402 zeitgleich ausgeführt werden. In weiteren Ausführungsformen der vorliegenden Erfindung wird zuerst die Versatzkorrektur und danach die Multiviewer-Verzögerungskorrektur 402 zeitgleich mit der Umgebungsverzögerungskorrektur 404 ausgeführt. In dieser Ausführungsform wird die Gerätekonfiguration der 14 benutzt.
Wurden einmal die Versatzkorrektur 400 und die Multiviewer-Verzögerungskorrektur 402 abgeschlossen, wird die Umgebungsverzögerungs korrektur 404 (7) ausgeführt. Während der Umgebungsverzögerungskorrektur 404 und während des normalen Ablaufes wird der Multiviewer 90 konfiguriert, wie in 14 gezeigt. Die Videoeingänge des Multiviewers 90 sind für den Empfang eines Sendevideos 89 und der Videos der Ausgänge des Satzes der Kameras 60, 62 und 64 konfiguriert, die einer Index-Detektion unterzogen werden.
Der erste Videoeingang des Multiviewers 90 ist so gekoppelt, dass er das Sendesignal 89 empfängt, dem Video, das ausgestrahlt wird. Der zweite Videoeingang des Multiviewers 90 empfängt das Ausgangssignal der Kamera 60; der dritte Videoeingang des Multiviewers 90 empfängt das Ausgangssignal der Kamera 62; und der vierte Videoeingang des Multiviewers 90 empfängt das Ausgangssignal der Kamera 64. Der Vierergruppenausgang des Multiviewers stellt, wie oben beschrieben, einen Videoausgang für den Index-Detektor 88 zur Verfügung, der zeitgleich alle von dem Multiviewer 90 empfangenen Videos auf dem Bildschirm des Index-Detektors 88 anzeigt. Das Resultat ist, das der obere linke Quadrant 440 des Bildschirms des Index-Detektors 88 das Sendevideo 89, der obere rechte Quadrant 441 das Video der Kamera 60, der untere rechte Quadrant 442 das Video der Kamera 62 und der untere linke Quadrant 443 das Video der Kamera 64 zeigt. In alternativen Ausführungsformen der vorliegenden Erfindung sind das Sendesignal 89 und die Videoausgänge der Kameras 60, 62 und 64 mit den Eingängen verschiedener Multiviewer 90, wie oben beschrieben, gekoppelt. Als ein Resultat kann das Video des Sendesignals 89 in einem anderen Quadranten als 440 erscheinen.
Wurde einmal der Multiviewer 90 konfiguriert, dann korrigiert die Umgebungsverzögerungskorrektur in Schritt 404 die Verzögerungseinstellungen, die zwischen dem Sendevideo und den anderen Videos der Kameras 60, 62 und 64 existieren. Solche Verzögerungen werden üblicherweise durch Umgebungsfaktoren, wie zum Beispiel Einzelbildsynchronisation, eingeführt.
15 veranschaulicht eine Folge von Tätigkeiten, in der in einer Ausführungsform der vorliegenden Erfindung die Umgebungsverzögerungskorrektur 404 ausgeführt wird. Als erstes wird in Schritt 500 eine Kamera 60, 62 oder 64 ausgewählt. Durch die Auswahl der Kamera wird die Kamera indiziert, so dass deren Ausgang als Sendesignal 89 zur Verfügung gestellt wird. In Schritt 502 wird die ausgewählte Kamera so betätigt, dass sie rasch wechselnde Videobilder zur Verfügung stellt. Dies kann durch kontinuierliches Schwenken und Neigen der ausgewählten Kamera erreicht werden. Solange die rasch wechselnden Videobilder zur Verfügung gestellt werden, wird in Schritt 504 ein Bildabgleichwert zwischen dem Sendebild und dem Bild der ausgewählten Kamera ermittelt. Der Bildabgleichwert wird, wie oben beschrieben, in Bezug auf die Bestimmung des Bildabgleichwertes entsprechend Schritt 482 (12) im Rahmen der Multiviewer-Verzögerungskorrektur (Schritt 402 in 7) berechnet.
Nach der Bestimmung eines Bildabgleichwertes wird in Schritt 506 ermittelt, ob sich der Bildabgleichwert innerhalb eines gewünschten Grenzbereiches befindet, z.B. gleich oder kleiner ist als ein maximal möglicher Wert (z.B. Nutzung des Grenzwertes, wie im obigen Beispiel beschrieben, oder Bestimmen eines neuen durch Ausprobieren). Wenn ermittelt wurde, dass sich der Bildabgleichwert oberhalb eines gewünschten Grenzwertes befindet, dann kann in Schritt 508 die Verzögerungseinstellung zwischen dem Bild der Kamera und dem Sendebild durch das Anpassen der Verzögerung des Bildes der Kamera justiert werden. Nach der Justierung der Verzögerung wird in Schritt 504 ein neuer Bildabgleichwert berechnet. Der Grenzwertvergleich 506 und die Verzögerungsanpassung 508 können, wie oben beschrieben, in Bezug auf die Grenzwertbestimmung in Schritt 484 und die Anpassung in Schritt 486 (12) im Rahmen der Multiviewer-Verzögerungskorrektur (Schritt 402 in 7) ausgeführt werden.
Wurde einmal in Schritt 506 ermittelt, dass sich der Bildabgleichwert nicht oberhalb eines Verzögerungsgrenzwertes befindet, dann stoppt in Schritt 510 die ausgewählte Kamera das zur Verfügung stellen rasch wechselnder Bilder des Videos. Stehen danach die rasch wechselnden Bilder des Videos nicht länger zur Verfügung, dann wird in Schritt 512 ermittelt, ob irgend eine der Kameras 60, 62 und 64 noch nicht ausgewählt wurde. Wenn ermittelt wurde, dass eine der Kameras 60, 62 und 64 noch nicht ausgewählt wurde, dann wird in Schritt 500 eine der noch nicht ausgewählten Kameras ausgewählt und die Umgebungsverzögerungskorrektur 404, wie oben beschrieben, in Bezug auf 15 fortgesetzt. Wenn ermittelt wurde, das alle Kameras 60, 62 und 64 ausgewählt waren, dann ist die Umgebungsverzögerungskorrektur 404 beendet. In alternativen Ausführungsformen der vorliegenden Erfindung wird die Umgebungsverzögerungskor rektur 404 ausschließlich von einer einzigen Kamera ausgeführt. Diese ist beendet, wenn anzunehmen ist, dass die Verzögerung für jede Kamera bezogen auf das Sendebild die selbe ist.
In einer Ausführungsform der vorliegenden Erfindung wird für die Ausführung der Versatzkorrektur 400 durch den Multiviewer dieselbe Konfiguration wie für die Umweltverzögerungskorrektur 404 benutzt. Mit solch einer Ausführungsform stellt das Sendesignal 89 ein statisches Videoeinzelbild anstatt eines rasch wechselnden Videos zur Verfügung. In eben dieser Ausführungsform wird die Multiviewer-Verzögerungskorrektur 402 nicht ausgeführt, da sie ja durch das Ausführen der Umgebungsverzögerungskorrektur 404 erreicht wird.
Zurückschauend auf die 3 beinhaltet der Schritt 154 die Schaffung von Einbeziehungen und Ausschließungen. In einer Ausführungsform umfasst der Entwurf von Einbeziehungen die Identifikation von Helligkeit und/oder Farben für Pixel, die verändert werden können (Einbeziehungen), und der Entwurf einer Ausschließung umfasst die Identifikation von Helligkeit und/oder Farben von Pixeln, die sich nicht verändern (Ausschließungen). In einer weiteren Ausführungsform beinhaltet der Entwurf einer Ausschließung die Identifikation von Pixelorten, die nicht zu verändern sind (Ausschließungen).
Die Etablierung von Einbeziehungen und Ausschließungen in den Ausführungsformen der vorliegenden Erfindung wird vorgenommen, um die feinen Unterschiede zwischen der Helligkeit und den Farbwerten, die sehr dicht beieinander liegen, herauszuarbeiten, wobei das Verändern von Pixeln mit einer Helligkeitsfarbkombination und das nicht Ändern von Pixeln mit einer anderen Kombination kritisch ist. Solche Umstände treten während der, wie oben beschriebenen, Widergabe einer First-Down-Linie auf, wenn das Aussehen einer Uniform eines Spielers dem des Feldes sehr ähnlich ist. Zum Beispiel kann eine Einbeziehung die grüne Farbe des Rasens beschreiben, so lange eine Ausschließung eine andere Farbtönung des Grün, die in einer Uniform des Spielers benutzt wurde, beschrieben werden konnte. Ein traditionelles Chrominanz-Kodierungssystem entbehrt die Fähigkeit, solche Unterscheidungen zu treffen, da es ja lediglich das Ersetzen einer vorher bestimmten Farbe zur Verfügung stellt.
Wenn ein in Betrieb befindliches System entsprechend 2 eine First-Down-Linie zur Verfügung stellt, beinhaltet Schritt 154 das Senden des an einer Kamera vorhandenen Ausgangssignals an den Hauptcomputer 94. Die Kamera wird geschwenkt und geneigt, um auf verschiedene Bereiche des Stadions ausgerichtet zu werden. Der Bediener kann sich das Ausgangssignal der Kamera auf einem Monitor anschauen und unter Zuhilfenahme eines Zeigegerätes (z. B. eine Mouse) Bereiche für ein Einbeziehungen (Entwerfen eines Einbeziehungsfilters) oder Ausschließungen (Entwerfen eines Ausschließungsfilters) auswählen. Zum Beispiel könnte der Bediener für Einbeziehungen den Schattenrasen, sonnigen Rasen, Kalk und Schmutz wählen. Der Bediener kann als Ausschließungen die Uniformen der Spieler, Schuhe, den Football und die Schiedsrichter wählen.
16 stellt eine Folge von Tätigkeiten dar, die in einer Ausführungsform der vorliegenden Erfindung ausgeführt werden, um einen Satz von Helligkeits- und Farbkriterien für die Nutzung zur Bestimmung von Einbeziehungen und Ausschließungen zu etablieren. Der Ablauf von 16 kann für jeden Satz von Kriterien wiederholt werden. Als erstes empfängt in Schritt 520 der Hauptcomputer 94 einen Satz von Pixeln. In einer Ausführungsform der vorliegenden Erfindung wird der Pixelsatz von dem Ausgang einer der Kameras 60, 62 oder 64 empfangen. Wenn z. B. das System für die Anzeige einer First-Down-Linie in einem Footballspiel verwendet (oder einen anderen Typ einer Markierung), kann ein Pixelsatz ausgewählte Pixel eines Bildes von dem Spielfeld, ausgewählte Pixel eines Bildes von einer der Uniformen der Teams oder Pixel anderer Bilder beinhalten. In einer anderen Ausführungsform kann der Pixelsatz von einem gespeicherten Bild empfangen werden.
Wurde der Pixelsatz einmal empfangen, legt in Schritt 522 der Bediener des Hauptcomputers 94 fest, ob der Pixelsatz für die Identifizierung von Ausschließungspixeln oder für die Identifizierung von Einbeziehungspixeln verwendet wird. Ein Ausschließungspixel ist in dem eingestellten Video ein Pixel, das nicht veränderbar ist. Ein Einbeziehungspixel ist in dem das eingestellte Video ein Pixel, das durch Einblenden einer Grafik verändert werden kann (solange wie es auch kein Ausschließungspixel ist). Wenn zum Beispiel die Grafik eine First-Down-Markierung in einem Footballspiel ist, könnte ein Ausschließungspixel innerhalb der Ausstrahlung des Sendebildes ein Pixel sein, welches die Helligkeits- und Farbkombination von einem der Uniformen der Teams besitzt. Ein Einbeziehungspixel könnte in solch einem Beispiel in dem ausgestrahlten Sendebild ein Pixel sein, das die Helligkeits- und Farbkombination des Rasens des Spielfeldes besitzt.
Wenn in Schritt 522 ermittelt wurde, dass der Pixelsatz für das Etablieren von Kriterien für Ausschließungspixel (auch Ausschließungskriterien genannt) empfangen wurde, dann erzeugt der Hautcomputer 94 ein Ausschließungsfilter (Schritt 526). Wenn in Schritt 522 ermittelt wurde, dass der Pixelsatz für das Etablieren von Kriterien für Einbeziehungspixel (auch Einbeziehungskriterien genannt) empfangen wurde, dann erzeugt der Hauptcomputer 94 einen Einbeziehungsfilter (Schritt 524). Ein Ausschließungsfilter definiert eine Ausschließung durch das zur Verfügung stellen von Kriterien, die für die Ermittlung zum Einsatz gelangen können, ob ein Pixel ein Ausschließungspixel ist. Ein Einbeziehungsfilter definiert eine Einbeziehung durch das zur Verfügung stellen von Kriterien, die für das Ermitteln zum Einsatz gelangen können, ob ein Pixel ein Einbeziehungspixel ist. In einer Ausführungsform wird ein Pixel als Teil einer Ausschließung betrachtet, wenn das Pixel sowohl ein Einbeziehungsfilter als auch ein Ausschließungsfilter passiert.
Nach der Erzeugung entweder eines Einbeziehungsfilters in Schritt 524 oder eines Ausschließungsfilters in 526 wird in Schritt 528 eine Ermittlung ausgeführt, ob ein anderer Pixelsatz empfangen wurde. Wenn ein anderer Pixelsatz empfangen wurde, dann erfolgt der Empfang des neuen Pixelsatzes entsprechend Schritt 520, und der oben beschriebene Ablauf wird wiederholt. Anderenfalls ist der Ablauf zur Etablierung der Helligkeits- und Farbkriterien beendet. Wie gesehen werden kann, können mehrere Einbeziehungsfilter und Ausschließungsfilter erzeugt werden.
Der Ablauf von 16 kann während des gesamten Arbeitsablaufes des Systems von 2 zu verschiedenen Zeiten ausgeführt werden. Dies kann z. B. notwendig sein, wenn vor dem Start eines Footballspiels eine First-Down-Markierung auf einem Spielfeld, das insgesamt einen grünen Rasen darstellt, gezeigt wird. Während des Footballspiels können Bereiche des Rasens zerfetzt und dadurch als brauner Schmutz dargestellt werden, die vor dem Spiel nicht vorhanden waren. Die First-Down-Markierung muss über den Schmutz gezogen werden, damit sie auf der Spielfläche erscheint. Dementsprechend wird der Ablauf zur Ermittlung der Helligkeits- und Farbkriterien gemäß 16 neu ausgelöst, so dass ein Einbeziehungsfilter für den Schmutz erzeugt werden kann. Andere Faktoren, die eine Wiederauslösung des Ablaufes von 16 erfordern können, aber keiner Beschränkung unterliegen, können Sonnenuntergänge, sich bewegende Wolken, Zoomwechsel und Wechsel in Farbkorrektursteuerungen von Kameras sein.
In einer Ausführungsform der vorliegenden Erfindung erzeugt der Hauptcomputer 94 Einbeziehungsfilter und Ausschließungsfilter durch das Erzeugen eines Satzes von Balkendiagrammen, die die empfangenen Sätze der Pixel charakterisieren. 17 zeigt einen Satz von Balkendiagrammen 530, 532 und 533, die in einer Ausführungsform der vorliegenden Erfindung für einen Einbeziehungsfilter entworfen wurden. In solch einer Ausführungsform haben die Pixel Pixelcharakteristiksätze, die, wie oben beschrieben, einem YCbCr-Format entsprechen. Das Filter beinhaltet ein Balkendiagramm für jedes der YCbCr-Charakteristiken.
Das Balkendiagramm 530 der Y-Charakteristik besitzt eine horizontale Achse, auf der die Helligkeitswerte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden der Helligkeitswerte bezieht, dargestellt werden. Das Balkendiagramm 532 der Cr-Charakteristik besitzt eine horizontale Achse, auf der die Cr-Werte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden der Cr-Werte bezieht, dargestellt werden. Das Balkendiagramm 533 der Cb-Charakteristik besitzt eine horizontale Achse, auf der die Cb-Werte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden Cb-Werte bezieht, dargestellt werden. Jedes Balkendiagramm 530, 532 und 533 besitzt ein zugehöriges Pass-Band 534, 536 und 538, die die Y-, Cr-, oder Cb-Charakteristik, die ein Pixel besitzen muss, um ein Einbeziehungspixel darzustellen, definieren. Dementsprechend ist ein Pixel als ein Einbeziehungspixel vorgesehen, wenn das Filter, wie in 17 gezeigt, angewandt wird und das Pixel einen Wert der Y-Charakteristik innerhalb des Pass-Bandes 534, einen Wert der Cr-Charakteristik innerhalb des Pass-Bandes 536 und einen Wert der Cb-Charakteristik innerhalb des Pass-Bandes 538 besitzt.
18 zeigt einen Satz von Balkendiagrammen 540, 542 und 543, die in einer Ausführungsform der vorliegenden Erfindung für ein Ausschließungsfilter entworfen wurden, das auf einen empfangenen Pixelsatz basiert, der mit einem Satzformat der YCbCr-Charakteristik der Pixel übereinstimmt. Das Filter beinhaltet jeweils ein Balkendiagramm 540, 542 und 543, für jedes der YCbCr-Charakteristiken.
Das Balkendiagramm 540 der Y-Charakteristik besitzt eine horizontale Achse, auf der die Helligkeitswerte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden der Helligkeitswerte bezieht, dargestellt werden. Das Balkendiagramm 542 der Cr-Charakteristik besitzt eine horizontale Achse, auf der die Cr-Werte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden der Cr-Werte bezieht, dargestellt werden. Das Balkendiagramm 543 der Cb-Charakteristik besitzt eine horizontale Achse, auf der die Cb-Werte und eine vertikale Achse, auf der die Pixelanzahl des empfangenen Pixelsatzes, der sich auf jeden der Cb-Werte bezieht, dargestellt werden. Jedes Balkendiagramm 540, 542 und 543 besitzt ein zugehöriges Pass-Band 544, 546 und 548, der die Werte der Y-, Cr- oder Cb-Charakteristik, die ein Pixel besitzen muss, um ein Ausschließungspixel darzustellen, definieren. Dementsprechend wird ein Pixel als ein Ausschließungspixel vorgesehen, wenn das Filter, wie in 18 gezeigt, angewandt wird und das Pixel einen Wert der Y-Charakteristik innerhalb des Pass-Bandes 544, einen Wert der Cr-Charakteristik innerhalb des Pass-Bandes 546 und einen Wert der Cb-Charakteristik innerhalb des Pass-Bandes 548 besitzt.
19 erläutert eine Folge von Tätigkeiten, die durch den Hauptcomputer 94 zur Bestimmung eines Pass-Bandes für ein Balkendiagramm eines Einbeziehungsfilters oder ein Balkendiagramm eines Ausschließungsfilters ausgeführt werden. In der Ausführungsform, die YCbCr benutzt, werden die Schritte gemäß 19 für jedes der drei Balkendiagramme ausgeführt. Als erstes identifiziert der Hauptcomputer 94 in Schritt 550 die am häufigsten auftretenden Werte der Charakteristiken (Y, Cr oder Cb), die durch das jeweilige Balkendiagramm dargestellt werden. Als nächstes wird in Schritt 551 der Charakteristikwert inkrementiert. In Schritt 552 wird dann ermittelt, ob die Pixelanzahl, die den sich ergebenden Charakteristikwert besitzen, sich innerhalb eines vorher festgelegten Pro zentsatzes befinden, die den am häufigsten auftretenden Charakteristikwert aufweist. In einer Ausführungsform der vorliegenden Erfindung wird in Schritt 552 der vorher festgelegte Prozentsatz in Höhe von 10% für ein Einbeziehungsfilter und in Höhe von 50% für ein Ausschließungsfilter verwendet.
Wenn ermittelt wurde, dass die Pixelanzahl mit dem Charakteristikwert sich innerhalb des vorher festgelegten Prozentsatzes befindet, dann wird in Schritt 551 der Charakteristikwert inkrementiert, und ein neuer Vergleich wird ausgeführt. Wenn ermittelt wurde, dass die Pixelanzahl mit dem Charakteristikwert sich nicht innerhalb des vorher festgelegten Prozentsatzes befindet, dann wird in Schritt 554 der maximale Charakteristikwert für das Pass-Band gesetzt. In Schritt 554 wird der maximale Wert des Pass-Bandes dem letzen Charakteristikwert gleichgesetzt, der aus der Pixelanzahl, die den am häufigsten auftretenden Charakteristikwert repräsentieren, die wiederum durch eine Anzahl von Pixel dargestellt werden, die sich innerhalb des vorher festgelegten Prozentsatzes befinden, ermittelt wurde.
Wurde einmal der maximale Charakteristikwert des Pass-Bandes gesetzt, dann wird in Schritt 555 der Charakteristikwert dem jetzt unterhalb des am häufigsten auftretenden Charakteristikwertes gleichgesetzt. In Schritt 556 wird dann ermittelt, ob die Pixelanzahl, die den sich ergebenden Charakteristikwert aufweisen, sich innerhalb eines vorher festgelegten Prozentsatzes von einer Anzahl von Pixel, die den am häufigsten auftretenden Charakteristikwert aufweisen, befinden. In einer Ausführungsform der vorliegenden Erfindung wird in Schritt 556 der vorher festgelegte Prozentsatz in Höhe von 1 % für ein Einbeziehungsfilter und in Höhe von 25% für ein Ausschließungsfilter verwendet. In einer anderen Ausführungsform der vorliegenden Erfindung wird in Schritt 556 der vorher festgelegte Prozentsatz in Höhe von 10% für ein Einbeziehungsfilter und in Höhe von 50% für ein Ausschließungsfilter verwendet.
Wenn ermittelt wurde, dass der Charakteristikwert der Pixelanzahl sich innerhalb des vorher festgelegten Prozentsatzes befindet, dann wird in Schritt 557 der Charakteristikwert dekrementiert, und ein neuer Vergleich wird ausgeführt. Wenn ermittelt wurde, dass der Charakteristikwert der Pixelanzahl sich nicht innerhalb des vorher festgelegten Prozentsatzes befindet, dann wird in Schritt 558 der mi nimale Charakteristikwert für das Pass-Band gesetzt. In Schritt 558 wird der minimale Wert des Pass-Bandes dem letzten Charakteristikwert gleichgesetzt, der aus der Pixelanzahl, die den am häufigsten auftretenden Charakteristikwert repräsentieren, die wiederum durch eine Anzahl von Pixel dargestellt werden, die sich innerhalb des vorher festgelegten Prozentsatzes befinden, ermittelt wurde.
Obwohl die Erzeugung eines Einbeziehungsfilters und eines Ausschließungsfilters in Bezug auf das Gestalten eines Balkendiagramms beschrieben wurde, erkennt jemand mit gewöhnlichen fachlichen Fähigkeiten klar, dass es nicht notwendig ist, überhaupt ein graphisches Bild eines Balkendiagramms zu erstellen. Der Hauptcomputer 94 könnte auch eine Aufstellung von Daten erhalten, die die Y-, Cr- und Cb-Häufigkeiten der Pixel für das Setzen eines Pixelwertes widerspiegeln und dasselbe Filter erlangen. Es ist auch klar zu erkennen, dass 1 % und 25% (und 10% und 50%) nicht die einzigen Prozentsätze sind, die verwendet werden können. Jede beliebige Anzahl von Prozentsätzen kann in Abhängigkeit von der Auflösung verwendet werden, die für das Filter wünschenswert sind. Jemand mit gewöhnlichen fachlichen Fähigkeiten kann ferner klar erkennen, dass andere Verfahren zur Erzeugung von Einbeziehungsfiltern und Ausschließungsfiltern verwendet werden können. Zum Beispiel kann eine Farbregion oder ein Satz von Farbregionen für die Einbeziehung oder die Ausschließung unter Nutzung eines Chromfinanz-Diagramms ausgewählt werden.
20 erläutert eine Folge von Tätigkeiten, die durch den Index-Detektor 88 zur Erzeugung eines anderen Typs eines Ausschließungsfilters, das Ausschließungen, basierend auf Pixelorte, identifiziert, ausgeführt werden. Solch eine Ausführungsform identifiziert das Ausschließungsfilter Pixelorte in einem Sendevideo, die auszuschließen sind, anstatt die Ausschließungspixel durch Helligkeits-Farbkombinationen zu identifizieren. Solch ein Ausschließungsfilter ist für die Berücksichtigung des Hinzufügens von Graphiken zu dem Sendevideo, zum Beispiel Spielzeitanzeigen, Punktzahlen und andere Graphiken, verwendbar.
Zuerst wird in Schritt 590 ein Satz von Teilbildern 434 in dem Sendevideo ausgewählt. In einer Ausführungsform der vorliegenden Erfindung wird in Schritt 590 ein Satz von Teilbildern ausgewählt, die Pixelorte darstellen, wo sich ein konstantes Bild (konstanter Ort im Einzelbild), zum Beispiel eine Spielzeitanzeige, befin det, welches an diesem Ort erwartet wird. Beispielsweise kann in einer Ausführungsform das konstante Bild in jeder einzelnen der vier Ecken des Einzelbildes des Sendevideos angeordnet werden. Somit kann es von Vorteil sein, zuerst in eine Ecke des Einzelbildes Teilbilder auszusuchen.
Wurde einmal der Satz von Teilbildern ausgewählt, wird in Schritt 592 ein Bildabgleichwert zwischen den ausgewählten Teilbildern des Sendevideos und entsprechenden Teilbildern des Videos, das direkt von einer Kamera, die das Sendevideo liefert, zur Verfügung gestellt wird, bestimmt. Wie oben beschrieben, weist der Bildabgleichwert auf den Grad der Ähnlichkeit zwischen den ausgewählten Teilbildern des Sendevideos und dem Video der indizierten Kamera hin. In Schritt 594 wird der Bildabgleichwert dann mit einem Abgleichgrenzwert verglichen.
Wenn sich der Bildabgleichwert oberhalb des Grenzwertes befindet, dann wird der niedrigere Grad der Ähnlichkeit als ein Hinweis darauf genommen, dass das Sendevideo ein konstantes Bild, beispielsweise eine Spielzeitanzeige, enthält, welches sich nicht im Video der indizierten Kamera befindet. Als ein Resultat werden in Schritt 596 der Pixelort des Sendevideos, der durch die Teilbilder, die in Schritt 590 ausgewählt wurden, begrenzt ist, in einem Ausschließungsfilter gelistet. Nachdem in Schritt 596 das Ausschließungsfilter erzeugt wurde, wird in Schritt 598 eine Ermittlung ausgeführt, ob noch mehr Teilbilder des Sendevideos auszuwerten sind. Ist dies der Fall, dann führt das System die Schleife zu Schritt 590 zurück und wählt neue Teilbilder aus.
Wenn in Schritt 594 ermittelt wurde, dass sich der Bildabgleichwert nicht oberhalb des Grenzwertes befindet, dann wird der hohe Grad der Ähnlichkeit als ein Hinweis darauf genommen, dass das Sendevideo kein konstantes Bild am Ort der Teilbilder enthält. Als nächstes wird in Schritt 598 ermittelt, ob noch mehr Teilbilder des Sendevideos auszuwerten sind. Wurde einmal ermittelt, dass keine weiteren Sende-Teilbilder auszuwerten sind, dann ist der Ablauf beendet.
In einer Ausführungsform der vorliegenden Erfindung wird der oben beschriebene Ablauf wiederholt, bis die relevanten Begrenzungen für alle konstanten Bilder des Sendevideos identifiziert wurden. Es kann von Vorteil sein, in Schritt 590 eine Ecke des Einzelbildes auszuwählen. Wenn ermittelt wurde, dass die Ecke ein konstantes Bild enthält, kann die gesamte Ecke dazu genutzt werden, eine Ausschließung zu definieren. Kleinere Teilbilder können dazu benutzt werden, in zukünftigen Iterationen des Verfahrens von 20 die exakte Position des Bildes zu finden. Ist danach eine Ecke (oder eine andere Region) erschöpfend bearbeitet, werden anschießend Iterationen des Verfahrens von 20 in anderen Ecken oder Regionen abgearbeitet.
In einer Ausführungsform enthalten die Ausschließungsfilter Pixelorte, die als Begrenzungen des konstanten Bildes identifiziert wurden. Zum Beispiel kann das Ausschließungsfilter darauf hinweisen, dass alle Pixelorte auf der linken Seite von (oder auf der rechten Seite von, oder unterhalb, oberhalb, usw.) einer bestimmten Linie von Pixelorten nicht zu modifizieren sind.
21 ist ein Ablaufdiagramm, das den Ablauf (Schritt 158 von 3) eines Systems während eines Life-Ereignisses beschreibt. In Schritt 602 wird in der Umgebung eine Position für die Platzierung der Graphik ausgewählt. Wenn die Graphik aus einer Yardlinie besteht, die den „first down" darstellt, kann ein Bediener den Ort auswählen, an dem die Yardlinie durch Benutzung eines Mousezeigers oder einer Tastatur hinzugefügt wird. Zum Beispiel kann der Bediener eine Yardliniennummer, beispielsweise „27.3.", eingeben. Wenn die Graphik aus einem Logo, Reklame oder einer anderen Graphik besteht, kann der Bediener den Ort für ein oder mehrere Eckpunkte einer rechteckigen Begrenzung des Logos anklicken oder eingeben. Jedes Logo kann als ein Rechteck durch ausgefüllte Teilbereiche des Rechteckes, wenn notwendig mit einem durchsichtigen Bild, dargestellt werden. In einer Alternative könnte die Position der Graphik automatisch von einem Sensorsystem, anderen Computern usw. erfasst werden. In Schritt 604 benutzt der Computer 94 das in Schritt 150 entworfene Modell zur Bestimmung der dreidimensionalen Koordinaten der Position, die in Schritt 602 ausgewählt wurden. In Schritt 606 ermittelt der Index-Detektor 88, welche Kamera indiziert wurde. In Schritt 608 empfängt der Hauptcomputer 94 Kameraaufnahmedaten (Schwenkung, Neigung und/oder Zoom oder andere Informationen) von den verschiedenen lokalen Computern 72, 74 und 76. Der Hauptcomputer 94 verwertet die Kameraaufnahmedaten der indizierten Kamera.
In Schritt 610 transformiert der Computer 94 die dreidimensionalen Orte (die in Schritt 604 bestimmt wurden) in einen Satz von zweidimensionalen Positionen in dem Einzelbild des Videos von der indizierten Kamera. Der Schritt des Transformierens kann durch die Nutzung irgendeines geeigneten Mittels für die Konvertierung eines Ortes im dreidimensionalen realen Raum zu dem entsprechenden zweidimensionalen Punkt innerhalb des Suchers der Kamera ausgeführt werden. Ein Beispiel für ein geeignetes Mittel ist die Nutzung von Transformationsmatrizen. Andere in Fachkreisen bekannte Mittel können ebenso benutzt werden. Die Ausdrücke „Transformation" und „Verarbeitung" sind nicht ausschließlich für die Benutzung bezogen auf Transformationsmatrizen begrenzt.
Ein Punkt in einem dreidimensionalen Raum wird durch einen Vier-Element-Zeilenvektor dargestellt: (x, y, z, 1.0). Der 1.0 (manchmal w genannt) gestattet die Translation. In dem Raum der Kamera befindet sich der Punkt (0, 0, 0, 1.0) an dem Ausgangspunkt. Eine Kamera wird mathematisch durch eine 4 × 4 Matrix (K) dargestellt, welche Details von Position und Orientierung beinhaltet. Der dreidimensionale Punkt wird durch die Multiplikation des Punktes mit der Kameramatrix (K) in eine zweidimensionale normalisierte Einzelbildposition transformiert. Die Kameramatrix (K) ist eine Kombination von Rotation, Translation und perspektivischen Elementen, welche alle durch 4 × 4 Matrizen dargestellt werden. In der Realität ist die Bewegung der Kameraperspektive (POV) durch Teilüberdeckungen, verursacht durch die Kinematik des Stativkopfes und der Bewegung der optischen POV entlang der optischen Achse der Kamera aufgrund der Objektivcharakteristiken, viel komplizierter. All diese Effekte können als komplexere Verknüpfungen (zusätzliche Matrizen) zwischen der fixierten Kamerabasis und der resultierenden POV der Kamera, wenn die Kamera sich durch seinen Bewegungsbereich bewegt, modelliert werden. Diese Methoden sind fachlich gut bekannt.
In der offenbarten Ausführungsform wird jede der Kameras 60, 62 und 64 als eine 4 × 4 Matrix modelliert, welche zwei Teile beinhaltet – eine feste Transformation (X), welche die Position und die Orientierung der Kamera in dem Stadion darstellt und eine variable Transformation (V), welche mit den Wechsel von Schwenkwinkel, Neigungswinkel und dem Zoom variiert: K = XV
Die fixierte Transformationsmatrix (X) modelliert die x-, y-, z-Position so gut wie fixierte Anstellwinkel, Längsneigung und Rollbewegung, die die Orientierung der Halterung der Kamera darstellt: X = TYPR
Dabei ist:
Die Parameter der Matrizen T, Y, P und R werden während der Registrierung bestimmt. Die x-, y- und z-Variablen der Matrix (T) sind die x-, y- und z-Koordinaten, die in Schritt 310 bestimm werden. Die Variable Anstellwinkel der Matrix (Y) ist der Schwenkparameter, der in Schritt 310 bestimm wird. Die Variable Längsneigung der Matrix (P) ist der Neigungsparameter, der in Schritt 304 bestimmt wird. Die Variable Rollbewegung der Matrix (R) ist der Drehungsparameter, der in Schritt 312 bestimmt wird.
Für eine Kamera, die einen Kamerakopf der Marke Vinton Vector 70 und ein Objektiv der Marke Canon J55 Super Lens verwendet, wird die variable Transformation in vier Bestandteile (Matrizen) modelliert: V = ADFG
Dabei ist:
Die Matrix (A) modelliert die Schwenkung der Kamera auf ihrer festen Basis. Die Matrix (D) modelliert den Neigungswinkel der Kamera. Die Schwenk- und Neigungswinkel werden durch die Schwenk- und Neigungssensoren erfasst. Die Matrix (F) modelliert die Objektivbewegung vor und zurück entlang der optischen Achse des Objektivs als eine Funktion des Zoomfaktors. Die Variable povdist (oder Erster Hauptpunkt, oder Vorderer Knotenpunkt) ist die Position der virtuellen Perspektive der Kamera, die als eine Distanz erfasst wird, die vorn auf der Neigungsachse liegt, wenn sich die Kamera in der horizontalen Position befindet. Diese Informationen können auf einer optischen Bank ermittelt werden und in eine Tabelle, aufgebaut als eine Funktion von Zoomposition, Fokus und 2X Extendereinstellung, erfasst werden. Die Informationen für die Tabelle werden durch das außermittige Platzieren zweier Ziele, von denen eines weiter weg liegt als das andere, in dem Sucher der Kamera, so dass sie in einer Linie im Sucher erscheinen, erfasst. Wo eine Linie, die sich durch diese Ziele erstreckt, mit der optischen Achse der Kamera kreuzt, da ist die Position der virtuellen Perspektive. Die Matrix (G) modelliert die effektive Brennweite des Objektivs als eine Funktion von Zoom, Fokus und 2X Extendereinstellungen. Die Variablen n und f sind die Entfernungen zu den mathematischen nahen und fernen Begrenzungsebenen, welche einzig für das Anweisen eines verwendbaren Bereiches für z-gepufferte graphische Darstellungen deshalb wichtig sind, weil die Nominalwerte, die benutzt werden, n = 1 m und f = 100m betragen. Die Variable f_h ist die effektive horizontale Brennweite des Objektivs. Die Variable f_v ist die effektive vertikale Brennweite des Objektivs. Das Bildseitenverhältnis, welches konstant ist, lautet f_h/f_v. Für die Verarbeitung des adäquaten Zoomfaktors und des Bildseitenverhältnisses f_h zu f_vwird ein Softwareprogramm benutzt.
Nach der Anwendung der Transformationsmatrizen berücksichtigt das System die Verzeichnung des Objektivs. Das bedeutet, dass jede zweidimensionale Pixelposition zum Zwecke der Ermittlung, ob die zweidimensionale Position aufgrund der Verzeichnung des Objektivs gewechselt werden sollte, ausgewertet wird. Für eine vorgegebene zweidimensionale Pixelposition wird die Größe eines Radius des optischen Zentrums zu der zweidimensionalen Pixelposition festgelegt. Die Verzeichnung des Objektivs ist für die Bewegung der Position des Pixels entlang dieses Radius um einen Wert ΔR verantwortlich: ΔR = K(R)2
Dabei ist:

R: = Pixelentfernung von dem optischen Zentrum zu der zweidimensionalen Position,
K: = Verzeichnungsgrad.

An einem festen Fokus wird der Verzeichnungsgrad an einer Anzahl von Zoomwerten durch Benutzung eines GUI-Schiebers zur Ausrichtung des Modells zu dem Video erfasst. Diese Werte werden für die Erzeugung einer Verzeichnungskurve benutzt. Während des Arbeitsvorganges wird der Verzeichnungsgrad an der augenblicklichen Zoomposition mittels der Kurve interpoliert und für alle transformierten zweidimensionalen Punkte der Pixelpositionen verwendet. Die Verzeichnungsdaten können auch von dem Hersteller des Objektivs stammen oder können durch jemanden mit den entsprechenden fachlichen Fähigkeiten erfasst werden.
Nachdem das System die Koordinaten des dreidimensionalen Ortes, die den Platz in der Umgebung darstellen, an dem die Graphik einer zweidimensionalen Position in dem Einzelbild des Videos hinzuzufügen ist, transformiert hat, verbessert in Schritt 612 das System das Video entsprechend. Weil das System das Modell in Verbindung mit den Kameraaufnahmedaten verwendet, ist kein Bedarf an der Nutzung einer Rastererkennung zum Auffinden von Bildern in dem Video vorhanden. Die Schritte zur Verbesserung des Videos beinhalten das Einblenden der Graphik in das Video. In einer Ausführungsform beinhaltet Schritt 612 die Tastung der Graphik über das Video. In anderen Ausführungsformen könnte Schritt 612 den Schritt für eine Computerbearbeitung des eigentlichen Videos für das Hinzufügen der Graphik, das Ersetzen eines Teilbereiches des Videos durch die Graphik, das Hinzufügen eines Highlights an oder nahe der Graphik, usw. beinhalten. In einer Alternative ist das System auch für Verdeckungen verantwortlich. Eine detailliertere Erörterung von Schritt 612 wird unten zur Verfügung gestellt. Ein Bediener kann das verbesserter Video auf einem Monitor 112 betrachten. Wenn sich die in Schritt 610 bestimmte zweidimensionale Position nicht innerhalb des Einzelbildes der indizierten Kamera befindet, dann verbessert in Schritt 612 das System das Video nicht.
Es ist möglich, dass der Bediener, nachdem das System das Video verbesserte, unzufrieden mit der gegenwärtigen Platzierung der Graphik ist. Deshalb kann ein PC-Konzentrator 82 ein GUI enthalten, das dem Bediener in Schritt 614 ermöglicht, die Platzierung der Graphik manuell nachzustellen. Das bedeutet, dass der Bediener einen Schieber oder eine Tastatur für das Bewegen der Graphik benutzen kann, oder in einer Alternative kann der Bediener die Graphik ziehen. Beispielsweise überlegt sich das System, wohin es einem Video von einem Footballfeld eine First-Down-Linie hinzufügt. Wenn das Video einer Kamera eine Markierung an der Seite des Feldes, die den offiziellen First-Down-Ort bezeichnet, zeigt, kann der Bediener die Position der Graphik der Linie so nachstellen, dass sie exakt mit der offiziellen First-Down-Markierung übereinstimmt. In einer Ausführungsform kann das System die oben beschriebene Technologie dazu benutzen, die Schritte als Reserve auszuführen und die numerische Yardlinie für den „first down", basierend auf Schritt 614, für das Nachstellen der Yardlinie zu bestimmen.
22A beschreibt eine Ausführungsform für das Verfahren zur Bestimmung dreidimensionaler Orte unter Verwendung des Modells (Schritt 604 von 21). Die Schritte gemäß 22A finden Anwendung, wenn die Graphik eine Yardlinie darstellt, die auf ein Bild eines Footballfeldes zu platzieren ist. Die Schritte können jedoch modifiziert werden oder ohne Modifikation für das Hinzufügen anderer Graphiken zu dem Video benutzt werden. In Schritt 640 ordnet der Computer 94 einen Satz von Punkten auf der Linie an. Vorher wurde in Schritt 602 von 21 eine Position ausgewählt. Wenn die Graphik eine Yardlinie darstellt, beinhaltet Schritt 640 das Zugreifen auf die Position der Yardlinie in dem Modell, die mit der ausgewählten Position übereinstimmt. Die Position der Yardlinie stellt die x-Koordinate der Yardlinie dar. Der Hauptcomputer 94 stellt dann die Yardlinie als eine Anzahl von Punkten dar. In einer Ausführungsform wird die Yardlinie durch 151 gleichmäßig verteilte Punkte mit dem ersten Punkt an der am nächsten liegenden Seitenlinie und dem letzten Punkt an der entfernt liegenden Seitenlinie dargestellt. Also bestimmt in Schritt 640 der Hauptcomputer 94 die x- und y-Koordinaten für alle 151 Punkte. In Schritt 642 ermittelt der Hauptcomputer 94, ob die Yardlinie sich an einer vorher vorhandenen Kurve in dem Modell befindet. Wenn dies zutrifft, dann wird in Schritt 644 die Gleichung dieser Kurve zur Bestimmung der z-Koordinate für jeden der 151 Punkte benutzt. Wenn sich die Yardlinie nicht auf einer Kurve befindet, dann interpoliert in Schritt 646 der Hauptcomputer 94 zwischen den zwei am nächsten liegenden Kurven (unter Anwendung der linearen Interpolation), um dadurch die z-Koordinaten für jeden der 151 Punkte zu bestimmen. In einer Alternative kann der Hauptcomputer 94 anstatt zwischen zwei Kurven zu interpolieren, eine neue Kurve entwerfen. Die neue Kurve besitzt eine ähnliche Form entsprechend den Gleichungen wie oben erläutert. Die Koeffizienten der Gleichungen erhält man durch Interpolieren zwischen den Koeffizienten der zwei am nächsten liegenden Kurven. In anderen Ausführungsformen können mehr oder weniger als 151 Punkte verwendet werden. In einer solchen Ausführungsform werden auf jeder Begrenzungslinie 101 Punkte verwendet.
In Schritt 648 bildet der Hauptcomputer 94 zwei Begrenzungslinien, wobei jede davon 151 Punkte besitzt. Eine Yardlinie kann als ein Liniensegment ohne Breite angenommen werden. Um jedoch die Yardlinie auf einem Monitor sichtbar zu machen, wird die Yardlinie als ein Yard breit beschrieben. Andere Breiten (zum Beispiel ¼ von einem Yard) können auch benutzt werden. In einer Ausführungsform der vorliegenden Erfindung wird die Breite durch einen Nutzer des Systems, wie in 2 gezeigt, durch die Benutzung des GUI des Systems ausgewählt. Weil die Yardlinie eine Breite besitzt, modelliert das System die Graphik als den Abstand zwischen zwei Begrenzungen. Jede Begrenzung wird durch 151 Punkte dargestellt, und jeder Punkt stimmt mit einem Punkt auf der Achse der Yardlinie überein. Die x-Koordinate für jeden Punkt auf den Begrenzungen ergibt sich aus der x-Koordinate des ausgewählten Teilbereiches plus oder minus ½ Yard (oder ein anderer adäquater Wert, wenn die Linie nicht 1 Yard breit ist). Jeder Punkt der Begrenzungen besitzt gleiche z- und y-Koordinaten zu jeweils einem übereinstimmenden Punkt auf der Yardlinie.
An dieser Stelle besitzt der Hauptcomputer 94 einen Satz von 302 dreidimensionalen Punkten, wobei 151 Punkte eine erste Begrenzung und 151 eine zweite Begrenzung darstellen. Jeder Punkt auf der ersten Begrenzung besitzt jeweils einen übereinstimmenden Punkt (mit derselben y-Koordinate) auf der zweiten Begrenzung. In einer Ausführungsform stellen diese Punkte die maximale Begrenzung der Graphik dar, die hinzuzufügen ist. In alternativen Ausführungsformen können diese Punkte anstelle von maximalen Begrenzungen Eckpunkte oder andere Referenzpunkte der Graphik darstellen.
22B beschreibt ein Verfahren für eine alternative Ausführungsform von Schritt 604 der 21. Dieses Verfahren kann für das Hinzufügen von Logos geeigneter sein. In Schritt 680 bestimmt der Hauptcomputer 94 die vier Ecken einer rechteckigen Umhüllung des Logos oder einer anderen Graphik. Das heißt, wenn der Bediener in Schritt 602 einen oder mehrere Eckpunkte des Logos markierte und dem Hauptcomputer 94 die Größe des Rechtecks bekannt ist, dann kann der Computer 94 in Schritt 680 die Orte der vier Ecken des Rechtecks bestimmen. In Schritt 682 wird die rechteckige Umhüllung des Logos in eine Vielzahl von Rechtecken aufgespaltet. Jedes dieser Rechtecke besitzt vier Eckpunkte. Jeder dieser Eckpunkte stellt einen Punkt dar, für den ein dreidimensionaler Ort benötigt wird. Weil dem System die x- und y-Koordinaten der vier Eckpunkte bekannt sind, und auch bekannt ist, wie groß die Polygone sind, kann das System die x- und y-Koordinaten eines jeden Eckpunktes bestimmen. In Schritt 684 nimmt sich der Hauptcomputer 94 den nächsten Punkt vor, der von dem Satz von Eckpunkten zu berücksichtigen ist. In Schritt 686 ermittelt der Hauptcomputer 94, ob sich der Punkt auf einer zuvor vorhandenen Kurve befindet. Wenn dies zutrifft, dann wird in Schritt 688 diese Kurve zur Bestimmung der z-Koordinate für den Punkt benutzt. Befindet er sich nicht auf einer Kurve, dann interpoliert in Schritt 690 das System zum Zwecke der Bestimmung der z-Koordinate zwischen den zwei am nächsten liegenden Kurven. Nach den Schritten 688 oder 690 ermittelt das System, ob es noch weitere Punkte gibt, die zu berücksichtigen sind (Schritt 692). Trifft dies nicht zu, dann ist das Verfahren in 22B beendet. Wenn noch mehrere Punkte zu berücksichtigen sind, dann geht der Hauptcomputer 94 in einer Schleife zurück zu Schritt 684. Als Endergebnis des Verfahrens von 22B besitzt der Hauptcomputer 94 einen Satz von dreidimensionalen Orten für die Eckpunkte der Rechtecke, welche als das größere Rechteck, das die Graphik begrenzt, dargestellt wird.
In einer alternativen Ausführungsform kann ein Logo durch eine einfache Benutzung der vier Ecken des Rechteckes, das das Logo begrenzt, hinzugefügt werden. In den Schritten 684 bis 692 würden nur diese vier Ecken verwendet werden. Also würde am Ende des Verfahrens von 22B das System dreidimensionale Orte für die vier Ecken des begrenzenden Rechtecks besitzen. Diese vier Ecken würden zu zweidimensionalen Positionen transformiert werden, und die Graphik kann durch das Einfügen des Rechteckes an den transformierten zweidimensionalen Positionen erstellt werden. Ein einfaches Verfahren für die Wiedergabe der Graphik innerhalb der vier zweidimensionalen Koordinaten wird durch die Nutzung der Open GL-Funktionen, welche von einem Silicon Graphic O2-Bildschirmarbeitsplatz zur Verfügung gestellt wird, erreicht.
In einer Ausführungsform kann, wenn Logos hinzugefügt werden, es dienlich sein, das Logo für ein realistischeres Bild zu defokussieren. Alternativ kann das Logo auf bestimmte Zoomlevels komplett schart eingestellt und auf andere Zoomlevels leicht unscharf eingestellt erscheinen. In einer anderen Alternative kann das Logo auf dem Feld so platziert werden, dass es leicht transparent ist (der Wert des Alphas des Tastgerätes beträgt etwas weniger als 100% des Vordergrundes). Dieses Verfahren ermöglicht es, dass etwas von der Oberflächenstruktur des Hintergrundes in dem Video erscheint.
23 veranschaulicht eine Folge von Tätigkeiten, die durch den Index-Detektor 88 ausgeführt werden, wenn die Ermittlung vorgenommen wird, welche Kamera (wenn überhaupt) in dem Satz von Kameras 60, 62 und 64 indiziert ist (Schritt 606 von 21). Als erstes wird in Schritt 700 eine Kamera ausgewählt. Wurde einmal eine Kamera ausgewählt, wird in Schritt 702 ein Bildabgleichwert, das auf dem Sendesignal 89 und dem Video der ausgewählten Kamera basiert, bestimmt. Der Bildabgleichwert wird wie oben beschrieben bestimmt. Mit Bezug auf 13 wird wie oben beschrieben nur ein ausgewählter Satz 436 von Teilbildern 434 einer Testregion 428 zur Berechnung des Bildabgleichwertes verwendet. Dies ist während der Bedienung des Index-Detektors 88 von Vorteil, weil in einigen Fällen in der Feldern der nicht ausgewählten Testregion 428 dem Sendevideo Graphiken hinzugefügt werden. Ein Beispiel solch einer Graphik ist eine Spielzeitanzeige in der oberen rechten Ecke des Sendevideos. Diese Graphik wurde vor der Berechnung eines Bildabgleichwertes dem für die Ausstrahlung vorgesehenen Sendevideo hinzugefügt und erscheint nicht in dem ausgewählten Video der Kamera. Folglich wird ein Bildabgleichwert, der durch die Nutzung der gesamten Testregion des für die Ausstrahlung vorgesehene Sendevideos bestimmt wurde, mit hoher Wahrscheinlichkeit eine Fehlanpassung des Bildes anzeigen, auch wenn die ausgewählte Kamera das für die Ausstrahlung vorgesehene Sendevideo zur Verfügung stellen kann. Die Verwendung nur des ausgewählten Satzes 436 von Teilbildern 434 vermeidet dieses Problem.
Nachdem ein Bildabgleichwert bestimmt wurde, ermittelt in Schritt 704 der Index-Detektor 88, ob sich der Bildabgleichwert innerhalb eines vorher festgelegten Grenzwertes befindet. Der vorher festgelegte Grenzwert ist in einer Anwendungsform der vorliegenden Erfindung ein maximaler Bildabgleichwert, der durch den berechneten Bildabgleichwert nicht überschritten werden darf. In einer Ausführungsform der vorliegenden Erfindung ist der vorher festgelegte Grenzwert gleich 32 multipliziert mit der Anzahl von Pixel, die für die Bestimmung des Bildabgleichwertes verwendet wurden.
Wenn die Höhe des Bildabgleichwertes gleich oder kleiner als der vorher festgelegte Grenzwert ist, dann zeichnet in Schritt 706 der Index-Detektor 88 auf, dass die ausgewählte Kamera indiziert ist. Wurde einmal die Aufzeichnung (706) ausgeführt oder wurde ermittelt, dass sich der Bildabgleichwert oberhalb des vorher festgelegten Grenzwertes (704) befindet, ergibt sich daraus in Schritt 708 eine Ermittlung, ob irgendeine der Kameras 60, 62 und 64 noch nicht ausgewählt wurde. Wenn irgendeine der Kameras noch nicht ausgewählt wurde, dann wird in Schritt 700 eine neue Kamera ausgewählt und ein Bildabgleichwert wie oben beschrieben bestimmt und ausgewertet. Wenn alle Kameras ausgewählt wurden, dann wird in Schritt 710 ermittelt, ob es nur eine einzige Kamera gibt, die als indiziert verzeichnet wurde.
Wenn nur eine einzige Kamera als indiziert verzeichnet wurde, dann stellt in Schritt 714 der Index-Detektor 88 eine Meldung zur Verfügung, dass die indizierte Kamera das Sendevideo bereitstellt. Wenn jedoch ermittelt wurde, dass entweder mehrere oder keine der ausgewählten Kameras indiziert sind, dann stellt in Schritt 712 der Index-Detektor 88 eine Meldung zur Verfügung, dass keine indizierte Kamera vorhanden ist. Wenn in einer alternativen Ausführungsform in Schritt 706 eine erste Kamera fortlaufend als indiziert für das zur Verfügung stellen des zur Ausstrahlung vorgesehenen Sendevideos identifiziert wurde und eine zweite Kamera kurzzeitig als indiziert verzeichnet wurde, dann fährt der Index-Detektor 88 fort mit der Meldung, dass die erste Kamera indiziert ist und ignoriert die kurze Indizierung der zweiten Kamera. Nach entweder der Erkennung, dass keine Kamera indiziert ist (712) oder der Erkennung einer indizierten Kamera (714) ist der Ablauf zur Erkennung einer indizierten Kamera beendet.
Wenn mehrere Kameras als indiziert verzeichnet wurden, dann stellt der Index-Detektor 88 eine Meldung zur Verfügung, dass keine Kamera indiziert wurde, weil es unklar ist, welche Aufnahmeinformationen der Kameras zur Verbesserung des Sendevideos benutzt werden müssen. Wenn also der Index-Detektor 88 eine Meldung zur Verfügung stellt, dass keine Kamera indiziert ist, dann wird Schritt 612 von 21, Verbessern des Videos, nicht ausgeführt.
In alternativen Ausführungsformen der vorliegenden Erfindung kann die Ermittlung, welche der Kameras 60, 62 und 64 indiziert ist, durch das Verwenden des Abschlussumschaltsignals (CS1, CS2 und CS3), die von dem Index-Detektor 88 empfangen werden, ausgeführt werden. In einer Ausführungsform wird eine Kamera als indiziert nur dann verzeichnet (Schritt 706 in 22), wenn sich der Bildabgleichwert innerhalb eines vorher festgelegten Grenzwertes befindet und das Abschlussumschaltsignal der ausgewählten Kamera meldet, dass die Kamera „Auf Sendung" ist. In alternativen Ausführungsformen der vorliegenden Erfindung könnten die Abschlussumschaltsignale zur Identifizierung der indizierten Kamera verwendet werden, wenn die Folge von Tätigkeiten, wie in 23 gezeigt, unerwartet gesperrt wurde oder ergebnislos war, oder wenn die Abschlussumschaltsignale aller Kameras, die für das Ereignis benutzt wurden, mit dem Index-Detektor 88 gekoppelt waren. In weiteren Ausführungsformen der vorliegenden Erfindung ist in dem GUI des Index-Detektors ein manueller Umschalter integriert, der zur Bestimmung irgendeines der Bilder der Kameras die für die Ausstrahlung als indiziert zu identifizierende auserkorene Kamera festlegen kann. Wenn in einer Ausführungsform in Schritt 710 der Index-Detektor 88 ermittelt, dass mehr oder weniger als eine Kamera als indiziert gemeldet wurde, dann kann der Index-Detektor 88, anstelle eine Nicht-Indizierung (Schritt 712) anzugeben, die Identitäten der Kameras, die durch die Abschlussumschaltsignale gemeldet wurden, senden, oder die Kamera wird durch den Bediener manuell identifiziert.
24 veranschaulicht eine Folge von Tätigkeiten, die in einer Ausführungsform der vorliegenden Erfindung für die Verbesserung des Videos ausgeführt werden. Als erstes wird in Schritt 748 für die Nutzung zur Erstellung der Graphik ein Satz von Parametern erzielt. Die Parameter beinhalten Randanteil, nominaler Alpha des Mittelpunktes, nominaler Alpha des -Randpunktes und Alpha des Be grenzungspunktes. Diese Parameter werden detaillierter erklärt, wenn sie nachstehend eingeführt werden. Wurden die Parameter einmal erzielt, wird in Schritt 750 ein Satz von Mittelpunkten für die Graphik festgelegt. Die Mittelpunkte sind in der Graphik Pixelorte, die zwischen den Begrenzungspunkten der Graphik positioniert sind. Wie in Bezug auf die 21, 22A und 22B oben erklärt, wird in Schritt 604 (21) ein Satz von dreidimensionalen Begrenzungspunkten für die Graphik bestimmt und in Schritt 610 (21) in einen Satz von zweidimensionalen Begrenzungspunkten umgewandelt. Zur Bestimmung der Mittelpunkte wird in einer Ausführungsform zur Platzierung eines Mittelpunktes zwischen einem Paar von Begrenzungspunkten eine Interpolation durchgeführt.
25 ist eine symbolische Darstellung eines Teilbereiches eines Beispielbereiches 770, welcher eine mögliche Ausführungsform einer Graphik darstellt. Eine symbolische Mittellinie 776 wird dargestellt, welche den Satz von Mittelpunkten, die in Schritt 750 bestimmt wurden, verbindet. Es sind auch Begrenzungslinien 772 und 774 dargestellt, welche die Begrenzungspunkte symbolisch verbinden. Jeder Mittelpunkt ist zwischen zwei Begrenzungspunkten platziert. In einer Ausführungsform der vorliegenden Erfindung liegt jeder Mittelpunkt auf halbem Weg zwischen seinen zwei zugehörigen Begrenzungspunkten, obwohl in einer alternativen Ausführungsform die Mittelpunkte auf anderen Positionen als auf halbem Weg zwischen seinen zugehörigen Begrenzungspunkten angeordnet sein können.
Wurde einmal ein Satz von Mittelpunkten etabliert, werden in Schritt 752 Randpunkte bestimmt. In einer Ausführungsform sind die Randpunkte Pixelorte, die sich zwischen einem Mittelpunkt und einem Begrenzungspunkt befinden. In solch einer Ausführungsform basiert der Ort eines jeden Randpunktes auf einen gewünschten Randanteil. Der Randanteil definiert den Abstand zwischen dem Randpunkt und einen zugehörigen Mittelpunkt als einen Prozentsatz des Abstandes zwischen dem Mittelpunkt und dem Begrenzungspunkt, zwischen denen der Randpunkt liegt. In anderen Ausführungsformen der vorliegenden Erfindung kann der Ort eines jeden Randpunktes durch alternative Hilfsmittel wie Interpolation, Empfang des Ortes von einem Nutzer des Systems oder durch Zuweisung eines vorher festgelegten Wertes bestimmt werden. In weiteren Ausführungsfor men sind die Randpunkte an anderen Stellen als zwischen einem Mittelpunkt und einem Begrenzungspunkt angeordnet.
25 zeigt Randlinien 778 und 780. Jede Randlinie verbindet symbolisch seinen betreffenden Satz von Randpunkten. Die Randlinien, Begrenzungslinien und Mittellinien werden für Illustrationszwecke in 25 dargestellt. In einer Ausführungsform ist die Anzahl von Randpunkten entlang einer Randlinie gleich der Anzahl von Mittelpunkten. Jeder Randpunkt liegt zwischen einem Begrenzungspunkt und einem Mittelpunkt. Zum Beispiel liegt der Randpunkt 786 zwischen dem Begrenzungspunkt 784 und dem Mittelpunkt 792. Der Randanteil ist gleich dem Abstand zwischen dem Randpunkt 786 und dem Mittelpunkt 792 dividiert durch den Abstand zwischen dem Mittelpunkt 792 und dem Begrenzungspunkt 784. In alternativen Ausführungsformen der vorliegenden Erfindung können verschiedene Randanteile verwendet werden. Zum Beispiel kann der Randanteil der prozentuale Anteil zwischen den beiden Begrenzungen sein.
Wurden einmal die Randpunkte bestimmt, dann werden in Schritt 754 die Alphas für jeden der Randpunkte bestimmt. In einer Ausführungsform ist ein Randalpha das Produkt von einem Keyinganteilwert multipliziert mit einem nominalen Alpha des Randpunktes. 26 zeigt in einer Ausführungsform der vorliegenden Erfindung eine Folge von Tätigkeiten für das Bestimmen eines Alphas für einen Randpunkt. Zuerst wird in Schritt 800 ein entsprechender Satz von Pixeln in dem Sendevideo ausgewählt. 27 veranschaulicht 9 Pixel, die Teil eines Einzelbildes des Sendevideos sind. Pixel 820 stellt einen Pixel in dem Sendevideo dar, welches dieselbe Position für den Randpunkt, für welchen ein Alpha berechnet wurde, innehat. In Schritt 800 wird Pixel 820 zusammen mit einem Satz von Pixeln rund um Pixel 820 für die Benutzung zur Bestimmung des Keyinganteils für den selektierten Randpunkt ausgewählt. In einer Ausführungsform der vorliegenden Erfindung beinhaltet der Satz von Pixeln die Pixel 820, 822, 824, 826 und 828. In einer alternativen Ausführungsform beinhaltet der Satz von Pixeln die Pixel 820, 822, 824, 826, 828, 830, 832, 834 und 836. In noch einer anderen Ausführungsform beinhaltet der Satz von Pixeln nur das Pixel 820. Schritt 800 beinhaltet auch das Initialisieren eines PIXEL_ON-Schalters auf Null.
Wurde einmal der Satz von Pixeln ausgewählt, wird in Schritt 802 eines der Pixel des Satzes ausgewählt. In Schritt 804 wird dann ermittelt, ob das ausgewählte Pixel ein Einbeziehungspixel ist. In einer Ausführungsform wird diese Ermittlung durch das Ermitteln, ob das ausgewählte Pixel einen Satz von Pixelcharakteristiken aufweist, welcher innerhalb eines Pass-Bandes eines der Einbeziehungsfilter fällt, ausgeführt. Wenn zum Beispiel das YCbCr-Format verwendet wird, wird ermittelt, ob das ausgewählte Pixel eine Y-Charakteristik, eine Cb-Charakteristik und Cr-Charakteristik aufweist, die jeweils in das Pass-Band der Y-Charakteristik, das Pass-Band der Cb-Charakteristik und das Pass-Band der Cr-Charakteristik für irgendeines der Einbeziehungsfilter fällt. Wenn ermittelt wurde, dass das ausgewählte Pixel kein Einbeziehungspixel ist, dann wird in Schritt 810 ermittelt, ob mehr Pixel des Satzes von Sendepixeln zu berücksichtigen sind.
Wurde ermittelt, dass das ausgewählte Pixel ein Einbeziehungspixel ist, dann wird in Schritt 806 die Ermittlung ausgeführt, ob das ausgewählte Pixel ein Ausschließungspixel ist. In einer Ausführungsform wird diese Ermittlung durch das Ermitteln, ob das ausgewählte Pixel einen Satz von Pixelcharakteristiken aufweist, welche innerhalb des Pass-Bandes eines Ausschließungsfilters fallen, ausgeführt. In einer alternativen Ausführungsform werden zusätzlich andere Kriterien als ein Satz von Pixelcharakteristiken verwendet, um zu ermitteln, ob das ausgewählte Pixel ein Ausschließungspixel ist. Ein solches Beispiel ist, wie oben in Bezug auf 20 beschrieben, die Benutzung eines Ausschließungsfilters, das ausgeschlossene Bildschirm-Orte kennzeichnet.
Wenn in Schritt 806 ermittelt wurde, dass das Pixel kein Ausschließungspixel ist, dann wird in Schritt 808 ein PIXEL_ON-Wert erhöht. Wurde einmal der PIXEL_ON-Wert erhöht, dann wird in Schritt 810 die Ermittlung ausgeführt, ob mehr Pixel des selektierten Satzes von Pixeln auszuwählen sind. Wenn ermittelt wurde, dass das Pixel ein Ausschließungspixel ist, dann wird in Schritt 810 eine Ermittlung ausgeführt, ob noch mehr Pixel zu berücksichtigen sind (Schritt 810). Wenn noch mehr Pixel zu berücksichtigen sind, dann wird in Schritt 802 ein neues Pixel des Satzes ausgewählt. Anderenfalls wird in Schritt 812 ein Keyinganteil berechnet. In einer Ausführungsform der vorliegenden Erfindung wird der Keyinganteil durch die Division des PIXEL_ON-Wertes durch die Gesamtanzahl von Pixeln in dem ausgewählten Satz von Sendepixeln berechnet. Wenn zum Bei spiel der Satz von Sendepixeln die Pixel 820, 822, 824, 826 und 828 beinhaltet und die Pixel 820, 822, 824 und 828 Einbeziehungen sind (und keine Ausschließungen), dann ist der Keyinganteil 4/5. Es ist vorgesehen, dass andere Hilfsmittel zur Ermittlung des Keyinganteils verwendet werden können.
Wurde einmal der Keyinganteil berechnet, wird in Schritt 814 der Alpha-Wert für den Randpunkt (genannt der Alpha des Randpunktes) bestimmt. In einer Ausführungsform wird der Alpha des Randpunktes durch die Multiplikation des nominalen Alpha für den Randpunkt mit dem Keyinganteil für den Randpunkt bestimmt. Der oben beschriebene Ablauf wird für jeden der Randpunkte in der Graphik wiederholt.
Nach der Bestimmung der Alphas für jeden der Randpunkte werden in Schritt 756 die Alphas für jeden der Mittelpunkte bestimmt. Zur Bestimmung eines Alphas für jeden Mittelpunkt wird ein Keyinganteil für den Mittelpunkt bestimmt und mit einem nominalen Alphawert für den Mittelpunkt multipliziert. In einer Ausführungsform der vorliegenden Erfindung wird der Keyinganteil für jeden Mittelpunkt, basierend auf die Keyinganteile der Randpunkte, die den Mittelpunkt eingrenzen, bestimmt. Zum Beispiel basiert, wie in 25 gezeigt, der Keyinganteil für den Mittelpunkt 792 auf die Keyinganteile der Randpunkte 786 und 794. In einer Ausführungsform ist der Keyinganteil für jeden Mittelpunkt gleich dem Durchschnittswert der Keyinganteile der Randpunkte, die den Mittelpunkt eingrenzen. In einer alternativen Ausführungsform der vorliegenden Erfindung ist der Keyinganteil für jeden Mittelpunkt gleich dem niedrigsten der Keyinganteile für die Randpunkte, die den Mittelpunkt eingrenzen. In noch einer anderen Ausführungsform der vorliegenden Erfindung wird der Keyinganteil für jeden Mittelpunkt bezogen auf die Randpunkte, wie oben beschrieben, bestimmt. In noch einer anderen Ausführungsform wird in Schritt 748 der Keyinganteil für den Mittelpunkt zur Verfügung gestellt, oder er kann auf den Keyinganteil eines anderen Pixels oder Wertes basieren. Wurde einmal ein Keyinganteil für einen Mittelpunkt bestimmt, wird der Keyinganteil mit dem nominalen Alpha des Mittelpunktes multipliziert, um den Alpha für den Mittelpunkt zu erhalten.
Wurde einmal ein Alpha für jeden Mittelpunkt erzielt, dann wird in Schritt 758 ein Alpha für jeden der Begrenzungspunkte bestimmt. In einer Ausführungsform der vorliegenden Erfindung wird für den Alpha eines jeden der Begrenzungspunkte ein vorher bestimmter Wert eingesetzt. In einer Ausführungsform ist der vorher bestimmte Wert gleich Null. Durch das Setzen der Begrenzungspunkte auf Null kann ein Treppeneffekt an den Rändern der Graphik vermieden werden. In einer anderen Ausführungsform kann in Schritt 748 der vorher bestimmte Wert der Alphas der Begrenzungspunkte durch einen Benutzer des Systems entsprechend 2, der das GUI des Systems benutzt, als ein Parameter definiert werden. In anderen alternativen Ausführungsformen der vorliegenden Erfindung wird in Schritt 754 der Alpha für jeden Begrenzungspunkt, wie oben beschrieben, bezogen auf die Randpunkte bestimmt. Die Begrenzungspunkte können durch die Nutzung der Schritte von 26 bestimmt werden, wenn die Graphik ein Logo darstellt, in welchem ein Anti-Treppen-Effekt an den Begrenzungen der Graphik bereits durch die Benutzung einer Alpha-Maske zur Verfügung gestellt wurde.
Nach der Bestimmung der Alphas für die Begrenzungspunkte wird in einer Ausführungsform der vorliegenden Erfindung in Schritt 760 ein Flimmerfilterverfahren ausgeführt. Das Flimmerfilter wird zur Reduzierung des Flimmerns in dem Erscheinungsbild der Graphik verwendet. Das Flimmerfilter ermittelt den Durchschnitt eines neu berechneten Alphas für das Pixel unter Verwendung der vergangenen und zukünftigen Alphas für dasselbe Pixel, um einen gefilterten Alpha zu erzeugen. In einer Ausführungsform der vorliegenden Erfindung wird das Flimmerfilterverfahren entsprechend der folgenden Gleichung ausgeführt:
Dabei ist:

α_F: der gefilterte Alpha,
Σα_FP: eine Summe von gefilterten Alphas für das ausgewählte Pixel in den vorangegangenen Einzelbildern des Videos,
α: der ungefilterte Alpha des ausgewählten Pixels für das derzeitige Einzelbild des Videos,
Σα_U: eine Summe von ungefilterten Alphas für das ausgewählte Pixel für zukünftige Einzelbilder des Videos und
N: eine Anzahl von Werten, von denen der Durchschnitt ermittelt wurde.

Es ist möglich, gefilterte Alphas für Pixel, die zukünftige Alphawerte nutzen, zu erhalten, weil Verzögerungen in dem System, wie in 2 gezeigt, für die Berechnung von Alphas verschiedener Einzelbilder im Vorgriff auf deren Nutzung zur Verfügung gestellt werden. In einer Ausführungsform ist Σα_FP die Summe der gefilterten Alphas der ausgewählten Pixel für die zwei Einzelbilder des Videos, die dem Einzelbild des derzeitigen Videos vorangingen, Σα_U die Summe von gefilterten Alphas des ausgewählten Pixel für die zwei Einzelbilder des Videos, die den Einzelbildern des gegenwärtigen Videos folgen, und N ist gleich 5. In einer alternativen Ausführungsform wird die Summe von gefilterten Alphas für das ausgewählte Pixel in vorangegangenen Einzelbildern des Videos (Σα_FP) durch eine Summe von ungefilterten Alphas des ausgewählten Pixels in vorangegangenen Einzelbildern des Videos ersetzt. In einer Ausführungsform der vorliegenden Erfindung wird das Flimmerfilterverfahren für die Alphas der Mittelpunkte, der Begrenzungspunkte und der Randpunkte angewandt. In alternativen Ausführungsformen wird das Flimmerfilter nur für eine Teilmenge der Alphas der Mittelpunkte, der Begrenzungspunkte und der Randpunkte angewandt. In noch einer anderen Ausführungsform wird das Flimmerfilter für jedes Pixel, das eingeblendet wird, angewandt. In weiteren Ausführungsformen wird das Flimmerfilterverfahren nicht verwendet. In noch weiteren Ausführungsformen können die Werte von Alphas zu verschiedenen Zeiten anderswie gewichtet werden.
Wurde einmal das Flimmerfilterverfahren abgeschlossen, oder wurden in einer Ausführungsform, in welchem das Flimmerfilter nicht verwendet wurde, ungefilterte Alphas erzielt, wird in Schritt 762 die Graphik gezeichnet. Während der Zeichnung der Graphik beinhaltet ein Einzelbild die erstellte Graphik und die für jeden Graphikpixel in dem Einzelbild bestimmten Alphas. Während des Erstellens der Graphik werden jeder Pixelort und die Füllcharakteristiken bestimmt. Die Füllcharakteristiken und Alpha werden dann an der Keyer 98 für das Einblenden in das Sendevideo gesendet.
Eine Ausführungsform der vorliegenden Erfindung beinhaltet das Teilen der Graphik in Regionen, bei der jede Region durch einen Satz von Eckpunkten, von denen jeder Eckpunkt entweder ein Randpunkt, ein Mittelpunkt oder ein Begrenzungspunkt ist, definiert wird. Wenn zum Beispiel, wie in 25 gezeigt, der Bereich 770 gezeichnet wurde, ist er in Regionen, die durch entweder ein Paar von Randpunkten und ein Paar von Begrenzungspunkten oder durch ein Paar von Mittelpunkten und ein Paar von Randpunkten definiert werden, aufgeteilt. Zum Beispiel ist die Region 782 durch den Begrenzungspunkt 784, den Begrenzungspunkt 790, den Randpunkt 788 und den Randpunkt 786 definiert.
Für jede Region, für die die Füllcharakteristiken und Alphas von jedem Eckpunkt der Region verwendet werden, ist die Füllcharakteristik und der Alpha für jeden Pixel innerhalb der Region zu ermitteln. Zum Beispiel kann der Bereich 770, wie in 25 gezeigt, mit allen Pixeln, die dieselben Füllcharakteristiken und variierenden Alphas aufweisen, erstellt werden. In solch einer Ausführungsform sind die Füllcharakteristiken für die Eckpunkte (784, 786, 788, 790), die die Region 782 definieren, dieselben. Diese Füllcharakteristiken werden dann für jeden der Pixel innerhalb der Region 782 angewandt. Der Alpha für jeden der Pixel in der Region 782 wird durch die Benutzung der Interpolation, basierend auf die Alphas für jeden Eckpunkt (784, 786, 788, 790), die die Region 782 definieren, bestimmt.
In einer Ausführungsform der vorliegenden Erfindung erzeugt und liefert ein Computer den Bereich 770 durch Abarbeiten von Anweisungen eines Programms, das in einem Speichermedium gespeichert ist. In einer Ausführungsform benutzt der Computer die Open-GL-Sprache und erzeugt durch das Verwenden jeweils eines glBegin- und glEnd-Befehls in Verbindung mit einer GL_QUADS-Anweisung einen Satz von Polygonen. Die GL_QUADS-Anweisung stellt Sätze von Eckpunkten für die glBegin- und glEnd-Befehle für das Zeichnen von Vierecken zur Verfügung. Es werden auch die Alphas und Füllcharakteristiken für jeden Eckpunkt zur Verfügung gestellt. Ein Viereck wird durch die glBe gin- und glEnd-Befehle für jeden Satz von vier Eckpunkten, die zur Verfügung gestellt wurden, erzeugt.
In einer alternativen Ausführungsform der vorliegenden Erfindung können Graphiken mit Regionen, die mehr oder weniger als vier Eckpunkte und/oder unterschiedliche Füllcharakteristiken für jeden der Eckpunktpixel besitzen, zur Verfügung gestellt werden. Wenn eine andere Anzahl als vier Eckpunkte verwendet wird, dann haben die Segmente, die erstellt werden, eine andere Gestalt als ein Viereck. Wenn unterschiedliche Füllcharakteristiken für jedes Eckpunktpixel zur Verfügung gestellt würden, wird in einer Ausführungsform der vorliegenden Erfindung zur Bestimmung der Füllcharakteristiken für jeden der Pixel in der Region, die auf den Füllcharakteristiken der Eckpunktpixel der Region basieren, eine bilineare Interpolation verwendet.
Für den Bereich 770 stellt 25 nur zwei Randlinien 778 und 780 dar. In alternativen Ausführungsformen der vorliegenden Erfindung können es mehr als zwei Randlinien sein. Durch die Benutzung mehrerer Randlinien und unterschiedlicher nominaler Alphas für die verschiedenen Randlinien können für das Zeichnen der Graphik unterschiedliche Effekte erreicht werden.
In einer Ausführungsform werden für ein Logo zwei Begrenzungslinien, keine Mittellinien und neun Randlinien, die mit dem gleichen Abstand auseinander liegen und dadurch 100 gleichmäßig große Polygone bilden, die die Graphik darstellen, verwendet. In solch einer Ausführungsform werden die Alphas für jeden der Begrenzungspunkte und Randpunkte, wie oben in Schritt 754 bezogen auf die Randpunkte beschrieben, bestimmt.
In einer Ausführungsform der vorliegenden Erfindung wird der Computer 94 benutzt, alle in 24 beschriebenen Schritte auszuführen. In einer alternativen Ausführungsform der vorliegenden Erfindung werden die in 24 beschriebenen Ablaufschritte zwischen den Computern 94 und 96 aufgeteilt. In solch einer Ausführungsform werden die Schritte „Zeichnen einer Graphik" 762 und „Verwenden des Flimmerfilterverfahrens" 760 durch den Computer 96 ausgeführt, während die anderen Schritte durch den Computer 94 ausgeführt werden. Computer 94 stellt dem Computer 96 neben den Orten für jeden der Mittelpunkte und Begrenzungspunkte die Alphas für jeden der Begrenzungspunkte, Mittelpunkte und Randpunkte und den Randanteil zur Verfügung. Der Computer 96 bestimmt dann den Ort des Randpunktes, der auf den Randanteil, wie oben in 24 bezogen auf Schritt 752 beschrieben, basiert. In noch einer anderen Ausführungsform der vorliegenden Erfindung wird das Flimmerfilter 760 durch den Computer 94 verwendet, so dass Computer 96 die gefilterten Alphawerte für die Mittelpunkte, Begrenzungspunkte und Randpunkte empfängt.
In weiteren Ausführungsformen der vorliegenden Erfindung kann jedes Pixel in der Graphik zur Bestimmung seines Alphas individuell analysiert werden. In einer solchen Ausführungsform wird für jedes der Pixel in der Graphik der oben beschriebene Ablauf zur Bestimmung des Alphas für einen Randpunkt (754 in 24) verwendet.
Ein Alphasignal ist ein Beispiel von einem Einblendungskoeffizienten. Ein Einblendungskoeffizient ist ein Wert, der benutzt wird um anzugeben, wie ein Bild oder Video in ein zweites Bild oder Video eingeblendet wird. Die vorstehende Erörterung beschreibt ein Hilfsmittel zur Bestimmung von Alphas für variierende Pixel unter Verwendung der bestimmten Alphas für die Einblendung einer Graphik durch die Nutzung eines Tastgerätes oder eines Computers. Es sei erwähnt, dass andere Technologien zur Einblendung der Graphik genutzt werden können und dass diese anderen Technologien unterschiedliche Einblendungskoeffizienten als ein Alphasignal verwenden können.
Die vorangegangene detaillierte Beschreibung der Erfindung wurde zum Zwecke der Veranschaulichung und Beschreibung eingereicht. Es wurde nicht beabsichtigt, in der offenbarten gewissenhaften Form erschöpfend zu sein oder die Erfindung zu beschränken, und es sind offensichtlich eine Reihe von Modifikationen und Variationen angesichts der vorstehenden Lehre möglich. Die beschriebenen Ausführungsformen wurden zum Zwecke der besten Erklärung der Grundsätze der Erfindung und seiner praktischen Anwendung ausgewählt, um es dadurch anderen Fachleuten zu ermöglichen, die Erfindung in verschiedenen Ausführungsformen und mit verschiedenartigen Modifikationen, die als geeignet für die jeweilige Nutzung in Erwägung gezogen werden, bestmöglich zu nutzen. Dementsprechend soll die Erfindung bei vielen verschiedenen Arten von Life- Ereignissen, die verschiedenartige Sportereignisse und Nicht-Sportereignisse einschließen, verwendet werden. Es ist beabsichtigt, dass der Geltungsbereich der Erfindung durch die beigefügten Ansprüche definiert wird.
Zusammenfassung
Es wird ein dreidimensionales Modell, welches eine Umgebung darstellt, entworfen um es auf ein Video zu bannen. Eine Kamera ist mit Schwenk-, Neigungs- und/oder Zoomsensoren ausgerüstet. Ein Bediener wählt einen Ort in der Umgebung aus (602). Das dreidimensionale Modell wird zur Bestimmung der dreidimensionalen Koordinaten des durch den Bediener ausgewählten Ortes verwendet (604). Die Informationen von den Schwenk-, Neigungs- und/oder Zoomsensoren werden für die Transformation der dreidimensionalen Koordinaten in eine zweidimensionale Position in dem Video von der Kamera verwendet (608, 610). Bei Verwendung der zweidimensionalen Position auf dem Video, wird dem Video eine Graphik hinzugefügt, der Art, dass die Graphik genau an dem ausgewählten Ort in der Umgebung erscheint (612).

Claims

Verfahren zum Hinzufügen einer Grafik (8, 12, 14) zu einer Videodarstellung einer Umgebung, mit den Schritten: Auswählen eines Ortes in der durch die Grafik zu verbessernden Umgebung, wobei der Schritt des Auswählens während eines Ereignisses ausgeführt wird, welches in dem Video dargestellt ist; (a) Bestimmen von Sätzen von dreidimensionalen Koordinaten (604), die mit dem ausgewählten Ort in der Umgebung korrespondieren, in Reaktion auf den Schritt des Auswählens des Ortes unter Anwendung eines dreidimensionalen Modells von zumindest einem Teil der Umgebung; (b) Umwandeln der Sätze von dreidimensionalen Koordinaten, die mit dem Ort der Umgebung korrespondieren, in einen Satz zweidimensionaler Positionen, die den Ort der Umgebung in der Videodarstellung (610) repräsentieren; und (c) Verbessern der Videodarstellung mit der Grafik (612) auf Basis der zweidimensionalen Positionen in einem Bereich, der den Ort in der Videodarstellung der Umgebung repräsentiert, wobei dieses Verbessern während des Ereignisses durchgeführt wird; wobei das Verfahren dadurch gekennzeichnet ist, dass die Sätze von dreidimensionalen Koordinaten, die für den Ort in der Umgebung bestimmt sind, mindestens eine Koordinate enthalten, die nicht in dem dreidimensionalen Modell vor dem Schritt des Auswählens des Ortes vorherbestimmt ist.
Verfahren nach Anspruch 1, bei dem der Schritt (b) die Schritte enthält: (1) Empfangen von Kamerabildfelddaten für die Videodarstellung; und (2) Umwandeln der für den Ort in der Umgebung bestimmten Sätze von dreidimensionalen Koordinaten in die Sätze zweidimensionaler Positionen in der Videodarstellung basierend, zumindest teilweise, auf den Bildfelddaten.
Verfahren nach Anspruch 2, bei dem die Kamerabildfelddaten Schwenken, Kippen und Zoomen für eine die Videodarstellung liefernde Kamera identifizieren.
Verfahren nach einem der vorstehenden Ansprüche 1 bis 3, weiterhin umfassend den Schritt: (d) Empfangen der die Position des Ortes in der Umgebung identifizierenden Informationen, wobei Schritt (d) vor dem Ausführen des Schrittes (a) ausgeführt wird.
Verfahren nach einem der vorstehenden Ansprüche, bei dem der Ort der Demarkation eines „first down" entspricht.
Verfahren nach Anspruch 5, bei der die Grafik ein „first down"-Indikator ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Ort einem oder mehreren Eckpunkten der Grafik entspricht.
Verfahren nach Anspruch 7, bei dem die Grafik rechteckig ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Umgebung ein Footballfeld ist und der Ort in der Umgebung einer Yard-Linie auf dem Footballfeld entspricht, wobei dieser Ort weiterhin einen Abschnitt des Football-Feldes einschließt, der sich von der Yard-Linie ausgehend erstreckt.
Verfahren nach Anspruch 9, bei dem die Yard-Linie als Demarkationslinie zum Erzielen eines „first down" dient.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Grafik ein Polygon ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem Schritt (a) die Schritte einschließt: (1) Festsetzen eines Satzes von Punkten in dem dreidimensionalen Modell auf einer Linie, die mit dem Ort korrespondiert; (2) Bestimmen von vertikalen Versätzen in dem dreidimensionalen Modell für Punkte in dem Satz von Punkten, die in Schritt (a) (1) festgesetzt wurden; und (3) Festsetzen einer Begrenzung der Grafik.
Verfahren nach Anspruch 12, bei dem die Grafik ein „first-down"-Indikator ist.
Verfahren nach Anspruch 12, bei dem der Schritt (a) weiterhin die Schritte aufweist: (4) Bestimmen, ob die Linie sich auf einer zuvor existierenden Kurve in dem dreidimensionalen Modell befindet, wobei der Schritt (a) (2) die Schritte aufweist: (i) Anwenden einer Gleichung für die vorexistierende Kurve, um die vertikalen Versätze zu bestimmen, falls in Schritt (a) (4) bestimmt wurde, dass eine vorexistierende Kurve vorhanden ist und (ii) Interpolieren zwischen zwei Kurven in dem dreidimensionalen Modell, um die vertikalen Versätze zu bestimmen, falls in Schritt (a) (4) bestimmt wurde, dass es keine vorexisiterende Kurve gibt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt (a) die Schritte aufweist: (1) Bestimmen der Ecken in dem dreidimensionalen Modell für ein die Grafik einschließendes Polygon, wobei die Ecken mit dem Ort korrespondieren; (2) Aufteilen des Polygons in eine Vielzahl von Polygonen; und (3) Bestimmen der vertikalen Versätze in dem dreidimensionalen Modell für jede Ecke (jeden Scheitelpunkt, jeden Winkel) eines jeden Polygons in dem Satz von Polygonen.
Verfahren nach einem der Ansprüche 1 bis 14, bei dem der Schritt (a) die Schritte aufweist: (1) Bestimmen der Ecken in dem dreidimensionalen Modell für ein die Grafik einschließendes Polygon, wobei die Ecken dem Ort entsprechen; und (2) Bestimmen der vertikalen Versätze für die Ecken in dem dreidimensionalen Modell.
Verfahren nach Anspruch 1, bei dem die Grafik eine Werbeanzeige ist.
Verfahren nach Anspruch 1, bei dem die Grafik ein „first down"-Indikator ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt (c) den Schritt aufweist: (1) Identifizieren wenigstens eines auszuschließenden Pixels in dem Bereich.
Verfahren nach Anspruch 19, bei dem der Schritt (c) den Schritt aufweist: (2) Belassen des mindestens einen Pixels unverändert.
Verfahren nach Anspruch 20, bei dem die Grafik ein „first down"-Indikator ist.
Vorrichtung mit: einem Satz von einem oder mehreren Feldbetrachtungssensoren (66, 68, 70), die dazu ausgebildet sind, Bildfeldinformationen von einer Kamera (60, 62, 64) zu erfassen; einer oder mehreren Speichervorrichtungen; und einem oder mehreren Prozessoren (72, 74, 76), die mit der einen oder den mehreren Speichervorrichtungen und dem Satz eines oder mehrerer Bildfeldsensoren (66, 68, 70) in Verbindung stehen, wobei der eine oder die mehreren Prozessoren ein Verfahren zum Hinzufügen einer Grafik (8, 12, 14) zu einer Videodarstellung einer Umgebung gemäß einem der Ansprüche 1, 5, 6, 9, 12 oder 15 bis 20 ausführen.
Vorrichtung nach Anspruch 22, bei dem der Schritt (b) die Schritte aufweist: (1) Empfangen der Bildfeldinformation von dem Satz eines oder mehrerer Bildfeldsensoren für die von der Kamera stammende Videodarstellung; und (2) Umformen des Satzes dreidimensionaler Koordinaten des Ortes in der Umgebung in den Satz zweidimensionaler Positionen in der Videodarstellung, basierend, zumindest teilweise, auf der Bildfeldinformation.
Verfahren nach Anspruch 19, bei dem in dem Schritt (c) (1) das zumindest eine Pixel, zumindest teilweise, basierend auf einer Farbe des Pixels identifiziert wird.
Verfahren nach einem der Ansprüche 1 bis 21, bei dem Schritt (c) den Schritt aufweist: (1) Ändern der Charakteristik des mindestens einen Pixels, basierend, zumindest teilweise, auf einer Farbe bis mindestens einen Pixel.
Verfahren nach einem der Ansprüche 1 bis 21, bei dem die die Position des Ortes in der Umgebung identifizierende Information keine Koordinaten einschließt.
Verfahren nach einem der Ansprüche 1 bis 21, bei dem die die Position des Ortes in der Umgebung identifizierende Information nur eine einzige Koordinate umfasst.
Verfahren nach Anspruch 27, bei dem die einzige Koordinate eine Yardlinie identifiziert.
Verfahren nach einem der Ansprüche 1 bis 21, bei dem die die Position des Ortes in der Umgebung identifizierende Information nur zwei Koordinaten einschließt.
Ein oder mehrere, prozessorlesbare Speichervorrichtungen, die einen prozessorlesbaren Code zum Programmieren des einen oder der mehreren Prozessoren zum Ausführen des Verfahrens des Hinzufügens einer Grafik (8, 12, 14) zu einer Videodarstellung einer Umgebung gemäß einem der Ansprüche 1 bis 21 und 23 bis 29 enthält.