-
Verwandte Fälle
-
Die
vorliegende Patentanmeldung beansprucht den Vorteil und die Priorität
der vorläufigen US-amerikanischen Patentanmeldung mit der
Nummer 60/743,760, die am 24. März 2006 eingereicht wurde und
die durch diesen Verweis als in die vorliegende Patentschrift aufgenommen
gilt.
-
Hintergrund der Erfindung
-
Wren
etc. haben ein Verfahren vorgeschlagen, das auf dem Trennen der
zeitlichen Signale an jedem Bildpunkt mithilfe der digitalen Fourier-Transformation
(DFT) oder der digitalen Cosinustransformation (DCT) basiert, um
von den zugrunde liegenden Störbewegungen Periodizitätsinformationen
abzuleiten. Siehe Wren, C. R.; Porikli, F., „Waviz:
Spectral Similarity for Object Detection", IEEE International Workshop
an Performance Evaluation of Tracking & Surveillance, Januar 2005,
und Porikli, F.; Wren, C. R., „Change Detection
by Frequency Decomposition: Wave-Back", Workshop an Image Analysis
for Multimedia Interactive Services, April 2005. Wenn die
aktuellen Frequenzsignaturen sich stark von einem Modell, das die
Hintergrund-Frequenzsignaturen modelliert, unterscheiden, wird der
aktuelle Bildpunkt als Vordergrund-Bildpunkt klassifiziert. Die
vorgenannten beiden Verfahren sind eigentlich ein einstufiges Verfahren
zur Bewegungserkennung, während unser Filter dafür
ausgelegt ist, ausschließlich die Störbewegungen
zu glätten. Eine Problematik, die die genannten beiden
Verfahren aufweisen, besteht darin, dass sie eine feste Fenstergröße
für die DFT- oder die DCT-Funktion benötigen.
Wenn ein breites Fenster gewählt wird, ergibt dies zwar
eine bessere Frequenzauflösung, jedoch eine unzureichende
Zeitauflösung. Ein schmaleres Fenster dagegen ergibt eine gute
Zeitauflösung, aber eine ungenügende Frequenzauflösung.
Ein breites Fenster kann unter Umständen zu langen Schlieren
hinter den sich bewegenden Objekten führen. Diese Schlieren
werden dadurch hervorgerufen, dass Hintergrund-Bildpunkte fälschlich
als sich bewegende Bildpunkte identifiziert werden, bedingt durch
die „Kontaminierung" des Hintergrundmodells durch Bildpunkte
der sich bewegenden Objekte. Wren hat vorgeschlagen, das Problem durch
dynamisches Anpassen der Fenstergröße zu lösen.
-
Im
Gegensatz dazu ist die vorliegende Erfindung in dieser Hinsicht
anpassungsfähiger. Das ist darauf zurückzuführen,
dass sich die Filterstärke proportional zu der Stärke
der Störbewegungen verhält und dass unter der
Voraussetzung, dass reguläre sich bewegende Objekte geringere
Störbewegungs-Antworten auslösen, was in den meisten
Szenarien zutrifft, reguläre sich bewegende Objekte einer
geringeren Filterstärke unterworfen werden, was in eine
entsprechende Verringerung der Fenstergröße des
Filters umgesetzt wird. Hierdurch wird die Implementierung in Übereinstimmung
mit der vorliegenden Erfindung vereinfacht.
-
Darüber
hinaus wird aktiv im Bereich der Bewegungsauffälligkeit
geforscht, wobei die „Auffälligkeit" einer Bewegung
erkannt wird, um nicht auffällige Störbewegungen
von auffälligen regulären Bewegungen zu trennen.
Siehe R. P. Wildes & L.
Wixson, „Detecting Salient Motion Using Spatiotemporal
filters and Optical Flow", Proceedings of the DARPA Image Understanding
Workshop, 349–356, 1998. Diese Lösungsansätze
sind offensichtlich völlig verschieden von der vorliegenden
Erfindung.
-
Bewegungsauffälligkeit
basiert auf dem optischen Flussverfahren, das allgemein als ungenau und
fehleranfällig gilt. Wenn ein Fußgänger
3 Schritte vorwärts und 2 Schritte rückwärts
geht, ist diese Bewegung nur schwer als Bewegungsauffälligkeit
zu erkennen. Da die Lösung der vorliegenden Erfindung einen
erheblich längeren Zeitraum zugrunde legt (Vergleichen
mit typischen Bewegungen), um Störbewegungen zu erkennen,
ist es einfacher, einen Fußgänger zu erkennen.
Allerdings kann die auffällige Bewegung darin vorteilhaft
sein, dass Objekte in extrem verrauschten Bereichen mit Störbewegung erkannt
werden, da der Ansatz der vorliegenden Erfindung tendenziell eine
sehr starke Filterung verwendet, die die Erkennung von regulären
sich bewegenden Objekten negativ beeinflussen kann.
-
Derzeit
existiert nach Kenntnis des Verfassers keinerlei kommerzielle Anwendung
für das Bewegungsauffälligkeits-Verfahren.
-
Dementsprechend
sind neue und verbesserte Verfahren und Systeme gefordert, um in Überwachungssystemen
eine Filterung von Störbewegungen bereitzustellen.
-
Zusammenfassung der Erfindung
-
Die
vorliegende Erfindung stellt Systeme und Verfahren zum Verarbeiten
von Videosignalen in einem Überwachungssystem bereit. Das
Verfahren gemäß einem Gesichtspunkt der vorliegenden
Erfindung beinhaltet die Schritte des Bestimmens der Größe
einer Differenz zwischen zwei Bildern im Videosignal, wozu ein Schwellwert
auf das Videosignal angewandt und das Videosignal über
ein Tiefpassfilter gefiltert wird.
-
Gemäß weiteren
Gesichtspunkten der vorliegenden Erfindung beinhaltet das Verfahren
das Erstellen einer Karte der Störbewegungen und das Anzeigen
der Karte der Störbewegungen.
-
Gemäß weiteren
Gesichtspunkten der vorliegenden Erfindung werden die Verwendung
von Schwellwerten und die Filterung von einem Benutzer adaptiv gesteuert.
Das Videosignal und eine Karte der Störbewegungen werden
erzeugt und angezeigt. Der Schwellwert wird entsprechend der Anzeige
des Videosignals und der Anzeige der Karte der Störbewegungen
angepasst. Darüber hinaus kann ein Parameter im Tiefpassfilter
entsprechend der Anzeige des Videosignals und der Anzeige der Karte
der Störbewegungen angepasst werden. Diese Anpassungen
werden vorgenommen, um die Erkennung von Störsignalen zu
verbessern.
-
Der
Schritt des Bestimmens der Größe der Differenz
zwischen zwei Bildern erfolgt vorzugsweise unter Verwendung eines
Differenzialfilters.
-
Das
Tiefpassfilter ist vorzugsweise implementiert durch Si =
Si–1·(1 – α)
+ Pi·α, wobei Si das gefilterte Signal im i-ten Bild ist,
Pi der Eingang des i-ten Bildes ist und α ein
vom Benutzer definierter Parameter ist.
-
Gemäß weiteren
Gesichtspunkten der vorliegenden Erfindung beinhaltet das Verfahren
außerdem das Normalisieren des Videosignals, um eine Karte
der Störbewegungen zu erzeugen und die Karte der Störbewegungen
zu erweitern, um Löcher zu schließen. Ferner beinhaltet
das Verfahren das Filtern der Karte der Störbewegungen über
ein Tiefpassfilter. Das Verfahren beinhaltet ferner das Verarbeiten
des Videosignals, um Bewegung zu erkennen.
-
Ein
System gemäß der Erfindung beinhaltet einen Prozessor,
der Videosignale von einem Überwachungssystem empfängt,
und eine Software-Anwendung, die auf dem Prozessor läuft
und die vorstehend beschriebenen Schritte ausführt.
-
Beschreibung der Zeichnungen
-
1 zeigt
typische Arten von Störbewegung.
-
2 und 3 zeigen
ein Ablaufdiagramm eines Verfahrens gemäß der
vorliegenden Erfindung.
-
4 zeigt
einen weiteren Gesichtspunkt des Verfahrens zum Erzeugen des Filters
für Störbewegungen gemäß der
vorliegenden Erfindung.
-
5 zeigt
ein Fenster, das es einem Benutzer erlaubt, Parameter für
die Bewegungserkennung in dem Filter für Störbewegungen
entsprechend verschiedenen Gesichtspunkten der vorliegenden Erfindung
zu konfigurieren.
-
6 und 7 zeigen
typische Fenster, die ein Benutzer eines Systems gemäß der
vorliegenden Erfindung nutzen kann.
-
8 zeigt
ein Überwachungssystem gemäß einem Gesichtspunkt
der vorliegenden Erfindung.
-
9 und 10 zeigen
Verarbeitungseinheiten in einem Überwachungssystem gemäß einem
anderen Gesichtspunkt der vorliegenden Erfindung.
-
Beschreibung einer bevorzugten Ausführungsform
-
Gemäß einem
Gesichtspunkt der Erfindung werden Bewegungserkennungssysteme und
-verfahren bereitgestellt. Gemäß anderen Gesichtspunkten der
vorliegenden Erfindung werden Systeme und Verfahren bereitgestellt,
die mit Filtern für Störbewegungen im Zusammenhang
stehen.
-
Überblick über das Filter
für Störbewegungen
-
Das
Filter der vorliegenden Erfindung ist dafür ausgelegt,
Störbewegungen auszufiltern. Störbewegungen sind
definiert als chaotisches, wiederholtes Zittern, das für
den Prozess der Bewegungserkennung nicht nützlich ist,
wenn Videosignale verarbeitet werden. Gemäß einem
Gesichtspunkt der vorliegenden Erfindung merkt sich das neue Filter
für Störbewegungen den Ort und die Stärke
von Störbewegungen. Es wendet in Echtzeit Tiefpassfilter
geeigneter Stärke entsprechend der Stärke der
Störbewegung an. Reguläre Bildpunkte ohne Störbewegung
passieren das Filter unverändert, wohingegen Bildpunkte
mit Störbewegung „geglättet" werden,
um zu vermeiden, dass sie als Rauschen erkannt werden.
-
Bei
den meisten Bewegungserkennungsalgorithmen werden Wertänderungen
von Bildpunkten gegenüber dem Hintergrundmodell als Bewegung
interpretiert. Viele Arten solcher Bewegungen jedoch, beispielsweise
Lichtreflexionen auf Wasserflächen, raue Wellen, vom Wind
bewegte Fahnen, Baumzweige oder Gras, sind in dem Vorgang der Bewegungserkennung
für Sicherheitszwecke nicht relevant. Wenn diese Videosignale
in einen herkömmlichen Bewegungserkennungsalgorithmus eingespeist
werden, kann unter Umständen ein hoher Anteil an Rauschen
erzeugt werden, der die Erkennungsausgabe möglicherweise
unbrauchbar macht.
-
Aufgrund
der ungeheueren Vielfalt von Störbewegungen und der Erfordernis
der Videoverarbeitung in Echtzeit muss das Filter flexibel zu konfigurieren
und effizient auszuführen sein. Siehe hierzu beispielsweise 1,
die verschiedene Quellen von Störbewegung in Überwachungssystemen
darstellt. Beispielsweise erzeugen, wie abgebildet, Reflexionen
von Sonnenlicht, egal ob gestreut oder gebündelt, oft Störbewegung.
Ferner sind Windsäcke oder raue Wellen bekannte Quellen
für Störbewegung.
-
Gemäß einem
Gesichtspunkt der vorliegenden Erfindung wird eine repräsentative
Stärke von Störbewegung definiert und wird eine
minimale Zahl von Konfigurationsparametern verwendet, um die breite
Vielfalt der Störbewegungen abzudecken. Gemäß einem
weiteren Gesichtspunkt der vorliegenden Erfindung wird ein systematischer
zweistufiger Lösungsansatz entwickelt, der Umfang und Behebung des
Problems definiert, um Störbewegung herauszufiltern und
eine grafische Darstellung für eine einfache Einrichtung
bereitzustellen.
-
Tests
zeigen, dass das Filter der vorliegenden Erfindung schnell genug
ist, um auch in echtzeitbasierten Mehrkanal-Videoüberwachungssystemen auf
einem Personal-Computer mit einer Zentraleinheit der dritten Generation
eingesetzt zu werden. Das Filter der vorliegenden Erfindung schaltet
zahlreiche Arten von Störbewegung aus. Darüber
hinaus können reguläre sich bewegende Objekte
in sinnvoll gefilterten Bereichen weiterhin erkannt werden. Die
Erkennung kann in stark gefilterten Bereichen verlorengehen, beispielsweise
etwa im Zentrum von Reflexionen des Sonnenlichts auf Wasserflächen.
Die Erkennung von Bewegung außerhalb gefilterter Bereiche
wird jedoch in keiner Weise beeinträchtigt.
-
Überblick über
die Bewegungserkennung in Videoüberwachungssystemen
-
Ein
typisches Videoüberwachungssystem besteht aus einem Bilderfassungsmodul,
einem Bewegungserkennungsmodul, einem Verfolgungsmodul und einem
Klassifizierungsmodul. Die Bilderfassung ist ein ausreichend bekanntes
Gebiet, und die meisten Hardwarekomponenten liefern eine ausreichende
Videoeinspeisung für Bewegungserkennungszwecke.
-
Die
Unterschiede zwischen den verschiedenen Überwachungssystemen
liegen überwiegend in der unterschiedlichen Leistungsfähigkeit
der Bewegungserkennungs-, Verfolgungs- und Klassifizierungsmodule.
-
Klarerweise
ist die Bewegungserkennung die Ausgangsbasis für alle nachfolgenden
Schritte. Die Eingangsdaten bestehen aus den Roh-Videodaten, die
von einem Framegrabber oder anderen Videoquellen stammen. Die Ausgangsdaten
bestehen aus einer Karte der Störbewegungen, die zeigt,
wo sich die sich bewegenden Bildpunkte befinden.
-
Bewegung
ist definiert als Abweichungen der Bildpunktwerte von einem Referenzbild,
auch als Hintergrundbild bezeichnet. In Abhängigkeit davon, wie
differenziert das Referenzbild modelliert wird, kann eine einzelne
Gauß-Funktion (Hintergrundsubtraktion) oder können
mehrere Gauß-Funktionen (Multi-Gauß-Verfahren)
eingesetzt werden. Wenn zur Modellierung des Hintergrundes mehrere
Funktionen eingesetzt werden, trägt dies zur Vermeidung
von Störbewegungen bei, denn hierbei darf der Hintergrund
verschiedene Modi haben, die annähernd auch für
Hintergrundbildpunkte mit Störbewegung zutreffen. Versuche
haben jedoch ergeben, dass dieses Verfahren für Real-Videos
nicht geeignet ist.
-
Es
gibt Bewegungserkennungsverfahren, die nicht mit einem Referenzbild
arbeiten, sondern sich auf die Abweichungen zwischen aufeinander
folgenden Bildern stützen. Sie werden allgemein als ungeeignet
für Real-Videos angesehen, da ihnen ein „Gedächtnis"
fehlt, das für die Erkennung vorübergehend angehaltener
oder sich langsam bewegender Objekte benötigt wird.
-
Filter für Störbewegungen
-
2 und 3 zeigen
ein Ablaufdiagramm eines Filters für Störbewegungen
gemäß einem Gesichtspunkt der vorliegenden Erfindung. 4 zeigt
die Komponenten eines Filters für Störbewegungen
gemäß einem Gesichtspunkt der vorliegenden Erfindung.
In 4 beinhaltet das Filter vorzugsweise ein Differenzialfilter 30,
ein Schwellwertfilter 32 und ein Tiefpassfilter 34.
Außerdem enthält es einen Filterstärkenkonverter 36 und
ein zweites Tiefpassfilter 38.
-
Eingang und Ausgang
-
Das
Filter für Störbewegungen ist vorzugsweise an
erster Stelle in der Verarbeitungskette angeordnet. Seine Eingänge
bestehen aus Roh-Videobildern 10, und seine Ausgänge,
bei denen es sich um gefilterte Bilder handelt, werden in ein Bewegungserkennungsmodul
eingespeist. Verglichen mit den Eingangsbildern sind die Bildpunkte
in Bereichen mit Störbewegung in den Ausgangsbildern erheblich weniger
funkelnd, während die Bildpunkte außerhalb von
Bereichen mit Störbewegung identisch sind mit den entsprechenden
Bildpunkten in den Eingangsbildern.
-
Stärke von Störbewegungen
-
Je
häufiger sich der Wert eines Bildpunkts ändert
und je größer diese Änderung ist, desto
stärker ist die Störbewegung. Die in der vorliegenden
Patentanmeldung beschriebenen Prozeduren dienen der Erfassung der
Merkmale von Störbewegungen, bei denen es sich um gleichmäßige Änderungen
der Bildpunktwerte über einen langen Zeitraum handelt.
-
Differenzialfilter
-
Es
wird Bezug genommen auf 2; in Schritt 12 wird
eine zum Quadrat genommene Differenz verwendet, um die Änderungen
im Videosignal aufzunehmen. In Schritt 20 von 2 wird
eine einfache Differenz aus zwei aufeinander folgenden Bildern gebildet.
Um Signalprobleme und Verschiebung zugunsten von Störbewegung
zu vermeiden, die tendenziell drastischere Änderungen aufweisen,
wird das Quadrat der Differenz an das nächste Filter übermittelt.
Auf diese Weise wird, wie in 2 angegeben,
für jeden Bildpunkt in aufeinander folgenden Bildern folgende
Gleichung aufgestellt: (ΔI/Δt)2
= (Icur – Iprev)2.
-
Obwohl
es vorgezogen wird, ein Differenzialfilter einzusetzen, um „Änderungen"
in Videosignalen herauszufiltern, ist dies nicht unbedingt erforderlich. So
kann die vorstehend angesprochene Berechnung auch mit beliebigen
anderen Filtern oder Prozeduren erfolgen, die Änderungen
zwischen der Bildhistorie und dem aktuellen Bild erkennen können.
-
Minimum-Schwellwertverfahren
-
Um
zu vermeiden, dass Videorauschen in die Ermittlung der Stärke
der Störbewegung einfließt, wird der Ausgang des
Differenzialfilters mit einem Schwellwert verglichen, beginnend
mit einem relativ niedrigen Schwellwert, wie in Schritt 14 von 2 dargestellt.
Auf diese Weise werden alle Differenzwerte, die unterhalb eines
Schwellwertes liegen, während dieses Schrittes ausgeschlossen. Üblicherweise
sollte der Schwellwert hoch genug sein, um zu verhindern, dass kontrastreiche
Bereiche im Bild zu den Bereichen mit Störbewegung gezählt
werden. Aufgrund von Bildrauschen ist die Wahrscheinlichkeit, dass
ein kontrastreicher Bereich als Störbewegung erscheint,
höher als dies bei Bereichen mit durchschnittlichem Kontrast
der Fall ist.
-
Tiefpassfilter
-
Ein
wesentlicher Unterschied zwischen einem Störbewegungssignal
und einem regulären Bewegungssignal ist, dass Störbewegung
aus Sicht des jeweiligen Bildpunkts erheblich länger andauert.
Reguläre Bewegung verursacht auch in gewissem Maße
Antworten auf Störbewegung. Da sie aber kurzlebiger ist,
ist die Wahrscheinlichkeit geringer, dass die Stärke von
Störbewegungen auf ein Niveau ansteigt, das sich negativ
auf die Bewegungserkennung auswirkt. Daher wird nach der Anwendung
des Schwellwerts das verarbeitete Signal in Schritt 16 von 2 über
ein Tiefpass gefiltert. Dieses Tiefpassfilter ist ein zentraler
Schritt bei der Trennung von Störbewegungen von regulären
Bewegungen im Hinblick auf die Stärke von Störbewegungen.
-
Eine
einfache, aber effektive Implementierung eins Tiefpassfilters ist Si = Si–1·(1 – α)
+ Pi·αwobei Si das gefilterte Signal im i-ten Bild ist,
Pi der Eingang des i-ten Bildes ist und α als
Störbewegungs-Lernrate definiert ist. Hierin sollten die
zeitlichen Eigenschaften des zu filternden Störbewegungssignals
widergespiegelt sein. Je höher die Frequenz von Störbewegungen
ist, desto höher sollte diese Lernrate sein. Bei einem
universellen Filter für Störbewegungen ist 0,1
ein guter Ausgangswert für die Lernrate.
-
Vorzugsweise
ist die Filterung von Störbewegungen adaptiv, sodass der
Benutzer die Ergebnisse adaptiv verbessern kann. Daher kann gemäß einem anderen
Gesichtspunkt der vorliegenden Erfindung der in Schritt 14 verwendete
Schwellwert von einem Benutzer adaptiv geändert werden.
Außerdem kann auch der Wert α, der in Schritt 16 verwendet
wird, von einem Benutzer adaptiv geändert werden.
-
5 stellt
ein Fenster dar, wie es von einem Verarbeitungssystem in dem Überwachungssystem
angezeigt wird und in dem der Benutzer den Schwellwert in Schritt 14 sowie
den Wert von α in Schritt 16 angeben kann. Ein
Benutzer kann einen Schiebebalken im Abschnitt „Coverage
Area Threshold" (Schwellwert Abdeckungsbereich) des Fensters einstellen,
um den Schwellwert anzupassen, der von einem Prozessor zum Verarbeiten
der Videosignale verwendet werden soll. Außerdem kann der
Benutzer den Schiebebalken im Bereich „Minimum Filter Strength"
(minimale Filterstärke) des Fensters verschieben, um den
Wert von α einzustellen. Der Benutzer kann diese Werte
einstellen, während er eine Karte der Störbewegungen
betrachtet, und die Werte so lange anpassen, bis ein wünschenswertes Bild
erzielt wird.
-
Karte der Störbewegungen
-
In
Schritt 18 von 3 wird eine Karte der Störbewegungen
erzeugt, vorzugsweise indem die Signalstärke des Videosignals
normalisiert wird. In Schritt 20 wird die Karte der Störbewegungen
erweitert, um Löcher in der Karte der Störbewegungen
zu schließen. Die Karte der Störbewegungen kann
mithilfe eines binären Verfahrens oder eines Graustufenverfahrens
erweitert werden. Vorzugsweise wird bei der vorliegenden Erfindung
ein Graustufenverfahren eingesetzt. In Schritt 22 kommt
ein Tiefpassfilter zur Anwendung. In Schritt 24 werden
die Bilder des Videosignals angezeigt, nachdem die Störbewegung herausgefiltert
ist.
-
Bei
der Karte der Störbewegungen handelt es sich um eine grafische
Darstellung der Stärken von Störbewegungen an
den einzelnen Bildpunkten. Der Wert des Bildpunkts sollte dabei
die Stärke der Störbewegung wiedergeben.
-
Wenn
wir beispielsweise die Farbe Blau verwenden, um das Vorhandensein
von Störbewegung anzuzeigen, dann ist die Störbewegung
an einem Bildpunkt um so stärker, je intensiver das Blau
an dem betreffenden Bildpunkt ist. Für die Zuordnung der
Stärken von Störbewegungen zu Sättigungswerten
einer bestimmten Farbe kann eine lineare Skala verwendet werden,
wobei die Farbe mit dem geringsten Sättigungswert dem Schwellwert
für die Stärke von Störbewegung entspricht
und die Farbe mit dem höchsten Sättigungswert
der maximalen Stärke von Störbewegungen entspricht,
die ein vorab definierter Wert sein kann. Die Steilheit dieser linearen
Skala bestimmt die Verteilung der Farbschattierungen in den Bereichen
mit Störbewegungen.
-
Um
die Einrichtungsprozedur zu vereinfachen, kann der Maximum-Schwellwert
für die Stärke von Störbewegungen automatisch
anhand des Minimum-Schwellwertes für die Stärke
von Störbewegungen berechnet werden, indem eine vorab definierte einfache
lineare Beziehung zwischen den Extremen der Schwellwerte für
die Stärke von Störbewegungen zugrunde gelegt
wird. In der Praxis sind die Auswirkungen des Maximums erheblich
weniger offensichtlich als die Auswirkungen des Minimums.
-
Außerdem
wird empfohlen, die Karte der Störbewegungen einem Live-Videobild
zu überlagern, um visuell die Filterabdeckung und die Verteilung
der Stärken von Störbewegungen in Echtzeit darzustellen.
Bei der Einrichtung des Filters für Störbewegungen
muss der Benutzer dem System angeben, in welchem Umfang der Filter
greifen soll, indem er den Schwellwert für die Stärke
von Störbewegungen einstellt. Wenn der Schwellwert sehr
niedrig ist, kann unter Umständen das normale Rauschen
im Videosignal als Störbewegung interpretiert werden; wenn
der Schwellwert sehr hoch angesetzt ist, werden echte Störbewegungen
womöglich nicht erkannt. Derselbe Typ Bewegung kann in
dem einen Szenario als Störbewegung angesehen werden, während
er in einem anderen Szenario als normale Bewegung betrachtet wird.
Es ist daher wichtig, dass ein Benutzer eine Art visueller Rückmeldung
erhält, wenn er den Arbeitsbereich des Filters für
Störbewegungen festlegt.
-
Muster von Störbewegungen
-
In
der Natur treten alle möglichen Arten von Störbewegungen
auf. Aus Sicht eines bestimmten Bildpunkts können dies
besonders drastische Änderungen sein, die aber nicht sehr
häufig auftreten, etwa Reflexionen auf einer Wasserfläche;
oder aber relativ geringe Veränderungen, die aber permanent vorkommen,
beispielsweise Gras, das vom Wind bewegt wird. Im ersten Fall ist
das Filtern besonders schwierig aufgrund der Ähnlichkeit
mit den Signalen von normalen sich bewegenden Objekten. Daher ist eine
Erweiterungsoperation an der Karte der Störbewegungen erforderlich,
um eine stabile Antwort zu erhalten. Der kombinierte Effekt von
Tiefpassfilterung und Erweiterung auf die Stärke von Störbewegung bewirkt
einen Glättungseffekt im dreidimensionalen räumlich-zeitlichen
Raum. Der Kern der Erweiterung muss sich proportional zu der Größe
der typischen Distanzen zwischen den Spitzen in dem Bereich der Störbewegung
verhalten.
-
Filtern von Störbewegungen
-
Bei
einer gegebenen Stärke der Störbewegung ist es
möglich, entsprechende Filterstärken je nach den
verschiedenen Stärken der Störbewegungen anzuwenden.
Beispielsweise sollte bei Störbewegung, deren Stärke
dem Minimal-Schwellwert für die Stärke von Störbewegung
entspricht, die minimale Filterstärke angewandt werden,
während bei Störbewegung, deren Stärke
gleich dem oder höher als der Maximum-Schwellwert für
die Stärke von Störbewegung ist, die maximale
Filterstärke zu verwenden ist. Die minimale und die maximale
Filterstärke werden vom Benutzer festgelegt. Da das Filter
für Störbewegungen in der Regel einem Bewegungserkennungsmodul
vorgeschaltet sein wird, ist es sinnvoll, die Ergebnisse der Bewegungserkennung
zu beobachten, wenn die minimale und die maximale Filterstärke
eingestellt werden. Typische Werte für die minimale und
die maximale Filterstärke liegen im Bereich (0,1) bzw.
(1,10).
-
In
Schritt 22 speist die Erfindung jeden Bildpunkt in dem
aktuellen Roh-Videobild in ein Tiefpassfilter ein, dessen Stärke
durch die Stärke der Störbewegung an dem betreffenden
Bildpunkt bestimmt wird.
-
Das
in Schritt 22 verwendete Tiefpassfilter ist vorzugsweise ähnlich
einem für die Ermittlung der Stärke der Störbewegung
verwendeten Filter: Si =
Si–1·(1 – α)
+ Pi·αwobei α anhand
der folgenden Formel mit der Stärke der Störbewegung
verknüpft ist. α = exp(–Ssm),
wobei Ssm die Stärke der Störbewegung
an dem betreffenden Bildpunkt ist. Diese spezielle Funktion ergibt
eine annähernd lineare Skala für die Wahl der
Filterstärke im Verhältnis zur Stärke
der Störbewegung.
-
Ähnlich
der Vorgehensweise bei der minimalen und maximalen Stärke
der Störbewegung kann die maximale Stärke der
Filter für Störbewegungen automatisch anhand der
minimalen Stärke der Filter für Störbewegungen
berechnet werden. Eine vorab definierte einfache lineare Beziehung
zwischen den Extremen der Stärke der Filter für
Störbewegungen ist erfahrungsgemäß ausreichend.
In der Praxis sind die Auswirkungen des Maximums erheblich weniger offensichtlich
als die Auswirkungen des Minimums.
-
Gemäß einem
Gesichtspunkt der vorliegenden Erfindung ist das vorgeschlagene
Schema unabhängig von verschiedenen Implementierungen des Tiefpassfilters
und des Differenzialfilters. Vorzugsweise wird eine Karte der Störbewegungen
erstellt, um effektiv ein Filter gemäß einem allerdings
nicht erforderlich, die Karte der Störbewegungen in einer
bestimmten Art und Weise zu erstellen, solange die Bildpunktwerte
die Störbewegung widerspiegeln.
-
6 und 7 zeigen
drei Fenster, die das System der vorliegenden Erfindung einem Benutzer
anzeigt. In jeder Abfolge von Fenstern zeigt das linke Fenster eine
Störbewegung. Das mittlere Fenster zeigt die Bewegungserkennung
und das rechte Fenster zeigt das Videosignal.
-
In 6 repräsentiert
in dem linken Fenster der dunklere Bereich, der den weißen
Bereich umgibt, kleine Wellen und Störbewegung. In der
vorliegenden Erfindung wird dies durch die Farbe Blau dargestellt.
Nach Betrachten der Fenster stellt der Benutzer die Schiebebalken
in dem in 5 dargestellten Fenster ein,
um den Schwellwert und den Parameter für das Tiefpassfilter
anzupassen und die Erkennung von Störsignalen zu verbessern,
wie in den Fenstern der 6 und 7 gezeigt.
-
Die
vorliegende Erfindung findet Anwendung in Überwachungssystemen
und Verarbeitungssystemen für Überwachungszwecke
und ist in einer breiten Palette solcher Systeme einsetzbar. Zum
Zweck der Veranschaulichung ist ein solches System in 8 dargestellt.
Es wird nun Bezug genommen auf 8; ein Überwachungssystem 100 gemäß einem
Gesichtspunkt der vorliegenden Erfindung kann ein Sensorsystem 102,
einen Netzwerkserver 106, ein Verarbeitungssystem 104 und
ein Kommando- und Steuerungssystem 112 beinhalten. Das
Verarbeitungssystem 104 enthält ein Verarbeitungssubsystem 108 und
eine Datenbank 110. Außerdem enthält
es Anwendungssoftware, die auf dem Verarbeitungssystem 104 läuft,
um die in der vorliegenden Patentanmeldung beschriebenen Schritte
auszuführen. Die Verarbeitung erfolgt bei der vorliegenden
Erfindung vorzugsweise im Verarbeitungssubsystem 108, das
auch die weitere bekannte Verarbeitung von Videosignalen von einem Überwachungssystem
ausführt.
-
9 und 10 zeigen
eine Videoverarbeitungseinheit gemäß einem anderen
Gesichtspunkt der vorliegenden Erfindung. Videosignale werden in
eine Videoverarbeitungseinheit 200 eingespeist, die sie
einer Datenspeicherzentrale 202 zuführt. Die Datenspeicherzentrale 202 kann
verschiedene Anzeigevorrichtungen und Geräte ansteuern. Es
wird nun Bezug genommen auf 10; die
Videoverarbeitungseinheit 200 beinhaltet ein Normalisierungsmodul,
ein Stabilisierungsmodul und das Filter für Störbewegungen
der vorliegenden Erfindung. Wie in 10 dargestellt
empfängt das Filter für Störbewegungen
stabilisierte Videodaten von dem Stabilisierungsmodul. Der Ausgang
des Filters für Störbewegungen wird in das Bewegungserkennungsmodul eingespeist,
das sie dem Verfolgungsmodul und dem Klassifizierungsmodul zuführt.
Die Videoverarbeitungseinheit 200 umfasst somit einen Prozessor
und eine Anwendungssoftware, die die verschiedenen Module implementieren,
die in 10 dargestellt sind, einschließlich
das Filter für Störbewegungen, wie es in der vorliegenden
Patentanmeldung beschrieben wird.
-
Die
Verarbeitung und das Filter gemäß der vorliegenden
Erfindung können entweder in einem Überwachungsserver
oder einem Überwachungsclient
240 untergebracht
sein. Diese Systeme sind ausführlicher in dem
US-amerikanischen Patent Nr. 7,106,333 beschrieben,
das durch diesen Verweis als in die vorliegende Patentanmeldung
aufgenommen gilt.
-
Die
nachstehenden Referenzdokumente liefern Hintergrundinformationen
zu der vorliegenden Erfindung und gelten durch diesen Verweis als
in die vorliegende Patentanmeldung aufgenommen: [1] Wren,
C. R.; Porikli, F., „Waviz: Spectral Similarity for Object
Detection", IEEE International Workshop an Performance Evaluation
of Tracking & Surveillance, Januar
2005; [2] Porikli, F.; Wren, C. R., „Change
Detection by Frequency Decomposition: Wave-Back", Workshop an Image
Analysis for Multimedia Interactive Services, April 2005;
und [3] R. P. Wildes & L. Wixson, „Detecting
Salient Motion Using Spatiotemporal filters and Optical Flow", Proceedings
of the DARPA Image Understanding Workshop, 349–356, 1998.
-
Obwohl
hier grundsätzlich neue Merkmale der Erfindung in ihrer
Anwendung in bevorzugten Ausführungsformen davon gezeigt,
beschrieben und dargelegt werden, ist einzusehen, dass verschiedene Weglassungen
oder Ersetzungen sowie Änderungen hinsichtlich Form und
Einzelmerkmalen der dargestellten Vorrichtung sowie deren Betrieb
von Fachleuten auf diesem Gebiet der Technik vorgenommen werden
können, ohne von dem Geist der Erfindung abzuweichen. Die
Erfindung soll daher lediglich wie durch den Umfang der hieran anschließenden
Patentansprüche dargelegt eingeschränkt sein.
-
Zusammenfassung
-
Ein
Filter zum Herausfiltern von Störbewegungen aus einer Abfolge
von Videobildern zur Verwendung bei der Videobild-Signalbearbeitung,
um in der Abfolge von Videobildern sich bewegende Objekte zu identifizieren.
Störbewegungen sind chaotische, wiederholte, zitternde
Teile eines Bildes, die Rauschen darstellen und die Bewegungserkennung in
Videosignalen stören. Das Filter merkt sich die Position
und die Stärke von Störbewegung und wendet in
Echtzeit Tiefpassfilter geeigneter Stärke entsprechend
der Stärke der Störbewegung an. Normale Bildpunkte
ohne Störbewegung passieren das Filter unverändert,
während Bildpunkte mit Störbewegung „geglättet"
werden, damit sie nicht als Rauschen erkannt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - Wren, C. R.;
Porikli, F., „Waviz: Spectral Similarity for Object Detection",
IEEE International Workshop an Performance Evaluation of Tracking & Surveillance,
Januar 2005 [0002]
- - Porikli, F.; Wren, C. R., „Change Detection by Frequency
Decomposition: Wave-Back", Workshop an Image Analysis for Multimedia
Interactive Services, April 2005 [0002]
- - R. P. Wildes & L.
Wixson, „Detecting Salient Motion Using Spatiotemporal
filters and Optical Flow", Proceedings of the DARPA Image Understanding
Workshop, 349–356, 1998 [0004]
- - Wren, C. R.; Porikli, F., „Waviz: Spectral Similarity
for Object Detection", IEEE International Workshop an Performance
Evaluation of Tracking & Surveillance,
Januar 2005 [0059]
- - Porikli, F.; Wren, C. R., „Change Detection by Frequency
Decomposition: Wave-Back", Workshop an Image Analysis for Multimedia
Interactive Services, April 2005 [0059]
- - R. P. Wildes & L.
Wixson, „Detecting Salient Motion Using Spatiotemporal
filters and Optical Flow", Proceedings of the DARPA Image Understanding
Workshop, 349–356, 1998 [0059]