DE112007000738B4

DE112007000738B4 - Filter für Störbewegungen

Info

Publication number: DE112007000738B4
Application number: DE112007000738T
Authority: DE
Inventors: Zhe Fan
Original assignee: Siemens Industry Inc
Current assignee: Siemens Schweiz AG
Priority date: 2006-03-24
Filing date: 2007-03-22
Publication date: 2012-06-28
Anticipated expiration: 2027-03-23
Also published as: CN101411190A; CN101411190B; US8125522B2; DE112007000738T5; US20070223596A1; WO2008115184A1

Abstract

Verfahren zum Filtern eines Videosignals in einem Überwachungssystem, mit den Verfahrensschritten: Bestimmen einer Größe einer Differenz zwischen zwei Bildern des Videosignals; Anwenden eines Schwellenwertes auf die Differenz der zwei Bilder; Filtern von über dem Schwellenwert liegenden Differenzwerten mit einem Tiefpassfilter um Störbewegungen auszufiltern; Anzeigen des Videosignals; Erzeugen und Anzeigen eines Abbilds der Störbewegungen; und Anpassen eines Parameters im Tiefpassfilter entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen.

Description

Hintergrund der Erfindung
Wren etc. haben ein Verfahren vorgeschlagen, das auf dem Trennen der zeitlichen Signale an jedem Bildpunkt mithilfe der digitalen Fourier-Transformation (DFT) oder der digitalen Cosinustransformation (DCT) basiert, um von den zugrunde liegenden Störbewegungen Periodizitätsinformationen abzuleiten. Siehe Wren, C. R.; Porikli, F., „Waviz: Spectral Similarity for Object Detection”, IEEE International Workshop an Performance Evaluation of Tracking & Surveillance, Januar 2005, und Porikli, F.; Wren, C. R., „Change Detection by Frequency Decomposition: Wave-Back”, Workshop an Image Analysis for Multimedia Interactive Services, April 2005. Wenn die aktuellen Frequenzsignaturen sich stark von einem Modell, das die Hintergrund-Frequenzsignaturen modelliert, unterscheiden, wird der aktuelle Bildpunkt als Vordergrund-Bildpunkt klassifiziert. Die vorgenannten beiden Verfahren sind eigentlich ein einstufiges Verfahren zur Bewegungserkennung, während unser Filter dafür ausgelegt ist, ausschließlich die Störbewegungen zu glätten. Eine Problematik, die die genannten beiden Verfahren aufweisen, besteht darin, dass sie eine feste Fenstergröße für die DFT- oder die DCT-Funktion benötigen. Wenn ein breites Fenster gewählt wird, ergibt dies zwar eine bessere Frequenzauflösung, jedoch eine unzureichende Zeitauflösung. Ein schmaleres Fenster dagegen ergibt eine gute Zeitauflösung, aber eine ungenügende Frequenzauflösung. Ein breites Fenster kann unter Umständen zu langen Schlieren hinter den sich bewegenden Objekten führen. Diese Schlieren werden dadurch hervorgerufen, dass Hintergrund-Bildpunkte fälschlich als sich bewegende Bildpunkte identifiziert werden, bedingt durch die „Kontaminierung” des Hintergrundmodells durch Bildpunkte der sich bewegenden Objekte. Wren hat vorgeschlagen, das Problem durch dynamisches Anpassen der Fenstergröße zu lösen.
Im Gegensatz dazu ist die vorliegende Erfindung in dieser Hinsicht anpassungsfähiger. Das ist darauf zurückzuführen, dass sich die Filterstärke proportional zu der Stärke der Störbewegungen verhält und dass unter der Voraussetzung, dass reguläre sich bewegende Objekte geringere Störbewegungs-Antworten auslösen, was in den meisten Szenarien zutrifft, reguläre sich bewegende Objekte einer geringeren Filterstärke unterworfen werden, was in eine entsprechende Verringerung der Fenstergröße des Filters umgesetzt wird. Hierdurch wird die Implementierung in Übereinstimmung mit der vorliegenden Erfindung vereinfacht.
Darüber hinaus wird aktiv im Bereich der Bewegungsauffälligkeit geforscht, wobei die „Auffälligkeit” einer Bewegung erkannt wird, um nicht auffällige Störbewegungen von auffälligen regulären Bewegungen zu trennen. Siehe R. P. Wildes & L. Wixson, „Detecting Salient Motion Using Spatiotemporal filters and Optical Flow”, Proceedings of the DARPA Image Understanding Workshop, 349–356, 1998. Diese Lösungsansätze sind offensichtlich völlig verschieden von der vorliegenden Erfindung.
Bewegungsauffälligkeit basiert auf dem optischen Flussverfahren, das allgemein als ungenau und fehleranfällig gilt. Wenn ein Fußgänger 3 Schritte vorwärts und 2 Schritte rückwärts geht, ist diese Bewegung nur schwer als Bewegungsauffälligkeit zu erkennen. Da die Lösung der vorliegenden Erfindung einen erheblich längeren Zeitraum zugrunde legt (Vergleichen mit typischen Bewegungen), um Störbewegungen zu erkennen, ist es einfacher, einen Fußgänger zu erkennen. Allerdings kann die auffällige Bewegung darin vorteilhaft sein, dass Objekte in extrem verrauschten Bereichen mit Störbewegung erkannt werden, da der Ansatz der vorliegenden Erfindung tendenziell eine sehr starke Filterung verwendet, die die Erkennung von regulären sich bewegenden Objekten negativ beeinflussen kann.
Derzeit existiert nach Kenntnis des Verfassers keinerlei kommerzielle Anwendung für das Bewegungsauffälligkeits-Verfahren.
Aus US 2002/0071034 A1 ist ein Verfahren zum Filtern eines Videosignals in einem Überwachungssystem bekannt. Im Verfahren wird eine Differenz zwischen zwei Bildern des Videosignals bestimmt und ein Schwellenwert auf die Differenz angewendet. Der Schwellenwert wird dabei so festgelegt, dass ein gewisser Rauschpegel nicht überschritten wird.
Aus US 4737847 A ist ein Verfahren zur Bildverarbeitung in einem Überwachungssystem bekannt. Im Verfahren wird eine Differenz zwischen zwei Bildern generiert, die Bildelemente umfasst, welche einen gewissen Helligkeitsunterschied der zwei Bilder markieren. Die Differenz wird in die einzelnen Bildelemente aufgespalten, wobei vor und nach dem Aufspalten Störsignale ausgefiltert werden.
In US 4352126 A wird ein Bewegungsdetektor vorgeschlagen, in dem ein durch Subtraktion zweier Videobilder generiertes Differenzsignal einerseits auf ein Bandpassfilter und andrerseits auf ein Tiefpassfilter geführt wird.
Dementsprechend sind neue und verbesserte Verfahren und Systeme gefordert, um in Überwachungssystemen eine Filterung von Störbewegungen bereitzustellen.
Zusammenfassung der Erfindung
Die vorliegende Erfindung stellt Systeme und Verfahren zum Verarbeiten von Videosignalen in einem Überwachungssystem bereit. Das Verfahren gemäß einem Gesichtspunkt der vorliegenden Erfindung beinhaltet die Schritte des Bestimmens der Größe einer Differenz zwischen zwei Bildern im Videosignal, wozu ein Schwellwert auf die Differenz angewandt und Störbewegungen über ein Tiefpassfilter gefiltert werden.
Das Verfahren beinhaltet weiter das Erstellen eines Abbilds der Störbewegungen und das Anzeigen des Abbilds der Störbewegungen und des Videosignals. Darüber hinaus wird ein Parameter im Tiefpassfilter entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen angepasst.
Gemäß weiteren Gesichtspunkten der vorliegenden Erfindung wird die Verwendung von Schwellwerten von einem Benutzer adaptiv gesteuert. Der Schwellwert wird entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen angepasst. Diese Anpassungen werden vorgenommen, um die Erkennung von Störsignalen zu verbessern.
Der Schritt des Bestimmens der Größe der Differenz zwischen zwei Bildern erfolgt vorzugsweise unter Verwendung eines Differenzialfilters.
Das Tiefpassfilter ist vorzugsweise implementiert durch S_i = S_i–1·(1 – α) + P_i·α, wobei S_i das gefilterte Signal im i-ten Bild ist, P_i der Eingang des i-ten Bildes ist und α ein vom Benutzer definierter Parameter ist.
Gemäß weiteren Gesichtspunkten der vorliegenden Erfindung beinhaltet das Verfahren außerdem das Normalisieren des Videosignals, um ein Abbild der Störbewegungen zu erzeugen und das Abbild der Störbewegungen zu erweitern, um Löcher zu schließen. Ferner beinhaltet das Verfahren das Filtern des Abbilds der Störbewegungen über ein Tiefpassfilter. Das Verfahren beinhaltet ferner das Verarbeiten des Videosignals, um Bewegung zu erkennen.
Ein System gemäß der Erfindung beinhaltet einen Prozessor, der Videosignale von einem Überwachungssystem empfängt, und eine Software-Anwendung, die auf dem Prozessor läuft und die vorstehend beschriebenen Schritte ausführt.
Beschreibung der Zeichnungen
zeigt typische Arten von Störbewegung.
und zeigen ein Ablaufdiagramm eines Verfahrens gemäß der vorliegenden Erfindung.
zeigt einen weiteren Gesichtspunkt des Verfahrens zum Erzeugen des Filters für Störbewegungen gemäß der vorliegenden Erfindung.
zeigt ein Fenster, das es einem Benutzer erlaubt, Parameter für die Bewegungserkennung in dem Filter für Störbewegungen entsprechend verschiedenen Gesichtspunkten der vorliegenden Erfindung zu konfigurieren.
und zeigen typische Fenster, die ein Benutzer eines Systems gemäß der vorliegenden Erfindung nutzen kann.
zeigt ein Überwachungssystem gemäß einem Gesichtspunkt der vorliegenden Erfindung.
und zeigen Verarbeitungseinheiten in einem Überwachungssystem gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung.
Beschreibung einer bevorzugten Ausführungsform
Gemäß einem Gesichtspunkt der Erfindung werden Bewegungserkennungssysteme und -verfahren bereitgestellt. Gemäß anderen Gesichtspunkten der vorliegenden Erfindung werden Systeme und Verfahren bereitgestellt, die mit Filtern für Störbewegungen im Zusammenhang stehen.
Überblick über das Filter für Störbewegungen
Das Filter der vorliegenden Erfindung ist dafür ausgelegt, Störbewegungen auszufiltern. Störbewegungen sind definiert als chaotisches, wiederholtes Zittern, das für den Prozess der Bewegungserkennung nicht nützlich ist, wenn Videosignale verarbeitet werden. Gemäß einem Gesichtspunkt der vorliegenden Erfindung merkt sich das neue Filter für Störbewegungen den Ort und die Stärke von Störbewegungen. Es wendet in Echtzeit Tiefpassfilter geeigneter Stärke entsprechend der Stärke der Störbewegung an. Reguläre Bildpunkte ohne Störbewegung passieren das Filter unverändert, wohingegen Bildpunkte mit Störbewegung „geglättet” werden, um zu vermeiden, dass sie als Rauschen erkannt werden.
Bei den meisten Bewegungserkennungsalgorithmen werden Wertänderungen von Bildpunkten gegenüber dem Hintergrundmodell als Bewegung interpretiert. Viele Arten solcher Bewegungen jedoch, beispielsweise Lichtreflexionen auf Wasserflächen, raue Wellen, vom Wind bewegte Fahnen, Baumzweige oder Gras, sind in dem Vorgang der Bewegungserkennung für Sicherheitszwecke nicht relevant. Wenn diese Videosignale in einen herkömmlichen Bewegungserkennungsalgorithmus eingespeist werden, kann unter Umständen ein hoher Anteil an Rauschen erzeugt werden, der die Erkennungsausgabe möglicherweise unbrauchbar macht.
Aufgrund der ungeheueren Vielfalt von Störbewegungen und der Erfordernis der Videoverarbeitung in Echtzeit muss das Filter flexibel zu konfigurieren und effizient auszuführen sein. Siehe hierzu beispielsweise , die verschiedene Quellen von Störbewegung in Überwachungssystemen darstellt. Beispielsweise erzeugen, wie abgebildet, Reflexionen von Sonnenlicht, egal ob gestreut oder gebündelt, oft Störbewegung. Ferner sind Windsäcke oder raue Wellen bekannte Quellen für Störbewegung.
Gemäß einem Gesichtspunkt der vorliegenden Erfindung wird eine repräsentative Stärke von Störbewegung definiert und wird eine minimale Zahl von Konfigurationsparametern verwendet, um die breite Vielfalt der Störbewegungen abzudecken. Gemäß einem weiteren Gesichtspunkt der vorliegenden Erfindung wird ein systematischer zweistufiger Lösungsansatz entwickelt, der Umfang und Behebung des Problems definiert, um Störbewegung herauszufiltern und eine grafische Darstellung für eine einfache Einrichtung bereitzustellen.
Tests zeigen, dass das Filter der vorliegenden Erfindung schnell genug ist, um auch in echtzeitbasierten Mehrkanal-Videoüberwachungssystemen auf einem Personal-Computer mit einer Zentraleinheit der dritten Generation eingesetzt zu werden. Das Filter der vorliegenden Erfindung schaltet zahlreiche Arten von Störbewegung aus. Darüber hinaus können reguläre sich bewegende Objekte in sinnvoll gefilterten Bereichen weiterhin erkannt werden. Die Erkennung kann in stark gefilterten Bereichen verlorengehen, beispielsweise etwa im Zentrum von Reflexionen des Sonnenlichts auf Wasserflächen. Die Erkennung von Bewegung außerhalb gefilterter Bereiche wird jedoch in keiner Weise beeinträchtigt.
Überblick über die Bewegungserkennung in Videoüberwachungssystemen
Ein typisches Videoüberwachungssystem besteht aus einem Bilderfassungsmodul, einem Bewegungserkennungsmodul, einem Verfolgungsmodul und einem Klassifizierungsmodul. Die Bilderfassung ist ein ausreichend bekanntes Gebiet, und die meisten Hardwarekomponenten liefern eine ausreichende Videoeinspeisung für Bewegungserkennungszwecke.
Die Unterschiede zwischen den verschiedenen Überwachungssysternen liegen überwiegend in der unterschiedlichen Leistungsfähigkeit der Bewegungserkennungs-, Verfolgungs- und Klassifizierungsmodule.
Klarerweise ist die Bewegungserkennung die Ausgangsbasis für alle nachfolgenden Schritte. Die Eingangsdaten bestehen aus den Roh-Videodaten, die von einem Framegrabber oder anderen Videoquellen stammen. Die Ausgangsdaten bestehen aus einer Karte der Störbewegungen, die zeigt, wo sich die sich bewegenden Bildpunkte befinden.
Bewegung ist definiert als Abweichungen der Bildpunktwerte von einem Referenzbild, auch als Hintergrundbild bezeichnet. In Abhängigkeit davon, wie differenziert das Referenzbild modelliert wird, kann eine einzelne Gauß-Funktion (Hintergrundsubtraktion) oder können mehrere Gauß-Funktionen (Multi-Gauß-Verfahren) eingesetzt werden. Wenn zur Modellierung des Hintergrundes mehrere Funktionen eingesetzt werden, trägt dies zur Vermeidung von Störbewegungen bei, denn hierbei darf der Hintergrund verschiedene Modi haben, die annähernd auch für Hintergrundbildpunkte mit Störbewegung zutreffen. Versuche haben jedoch ergeben, dass dieses Verfahren für Real-Videos nicht geeignet ist.
Es gibt Bewegungserkennungsverfahren, die nicht mit einem Referenzbild arbeiten, sondern sich auf die Abweichungen zwischen aufeinander folgenden Bildern stützen. Sie werden allgemein als ungeeignet für Real-Videos angesehen, da ihnen ein „Gedächtnis” fehlt, das für die Erkennung vorübergehend angehaltener oder sich langsam bewegender Objekte benötigt wird.
Filter für Störbewegungen
und zeigen ein Ablaufdiagramm eines Filters für Störbewegungen gemäß einem Gesichtspunkt der vorliegenden Erfindung. zeigt die Komponenten eines Filters für Störbewegungen gemäß einem Gesichtspunkt der vorliegenden Erfindung. In beinhaltet das Filter vorzugsweise ein Differenzialfilter 30, ein Schwellwertfilter 32 und ein Tiefpassfilter 34. Außerdem enthält es einen Filterstärkenkonverter 36 und ein zweites Tiefpassfilter 38.
Eingang und Ausgang
Das Filter für Störbewegungen ist vorzugsweise an erster Stelle in der Verarbeitungskette angeordnet. Seine Eingänge bestehen aus Roh-Videobildern 10, und seine Ausgänge, bei denen es sich um gefilterte Bilder handelt, werden in ein Bewegungserkennungsmodul eingespeist. Verglichen mit den Eingangsbildern sind die Bildpunkte in Bereichen mit Störbewegung in den Ausgangsbildern erheblich weniger funkelnd, während die Bildpunkte außerhalb von Bereichen mit Störbewegung identisch sind mit den entsprechenden Bildpunkten in den Eingangsbildern.
Stärke von Störbewegungen
Je häufiger sich der Wert eines Bildpunkts ändert und je größer diese Änderung ist, desto starker ist die Störbewegung. Die in der vorliegenden Patentanmeldung beschriebenen Prozeduren dienen der Erfassung der Merkmale von Störbewegungen, bei denen es sich um gleichmäßige Änderungen der Bildpunktwerte über einen langen Zeitraum handelt.
Differenzialfilter
Es wird Bezug genommen auf ; in Schritt 12 wird eine zum Quadrat genommene Differenz verwendet, um die Änderungen im Videosignal aufzunehmen. In Schritt 12 von wird eine einfache Differenz aus zwei aufeinander folgenden Bildern gebildet. Um Signalprobleme und Verschiebung zugunsten von Störbewegung zu vermeiden, die tendenziell drastischere Änderungen aufweisen, wird das Quadrat der Differenz an das nächste Filter übermittelt. Auf diese Weise wird, wie in angegeben, für jeden Bildpunkt in aufeinander folgenden Bildern folgende Gleichung aufgestellt: (ΔI/Δt)2 = (Icur – Iprev)².
Obwohl es vorgezogen wird, ein Differenzialfilter einzusetzen, um „Änderungen” in Videosignalen herauszufiltern, ist dies nicht unbedingt erforderlich. So kann die vorstehend angesprochene Berechnung auch mit beliebigen anderen Filtern oder Prozeduren erfolgen, die Änderungen zwischen der Bildhistorie und dem aktuellen Bild erkennen können.
Minimum-Schwellwertverfahren
Um zu vermeiden, dass Videorauschen in die Ermittlung der Stärke der Störbewegung einfließt, wird der Ausgang des Differenzialfilters mit einem Schwellwert verglichen, beginnend mit einem relativ niedrigen Schwellwert, wie in Schritt 14 von dargestellt. Auf diese Weise werden alle Differenzwerte, die unterhalb eines Schwellwertes liegen, während dieses Schrittes ausgeschlossen. Üblicherweise sollte der Schwellwert hoch genug sein, um zu verhindern, dass kontrastreiche Bereiche im Bild zu den Bereichen mit Störbewegung gezählt werden. Aufgrund von Bildrauschen ist die Wahrscheinlichkeit, dass ein kontrastreicher Bereich als Störbewegung erscheint, höher als dies bei Bereichen mit durchschnittlichem Kontrast der Fall ist.
Tiefpassfilter
Ein wesentlicher Unterschied zwischen einem Störbewegungssignal und einem regulären Bewegungssignal ist, dass Störbewegung aus Sicht des jeweiligen Bildpunkts erheblich länger andauert. Reguläre Bewegung verursacht auch in gewissem Maße Antworten auf Störbewegung. Da sie aber kurzlebiger ist, ist die Wahrscheinlichkeit geringer, dass die Stärke von Störbewegungen auf ein Niveau ansteigt, das sich negativ auf die Bewegungserkennung auswirkt. Daher wird nach der Anwendung des Schwellwerts das verarbeitete Signal in Schritt 16 von über ein Tiefpass gefiltert. Dieses Tiefpassfilter ist ein zentraler Schritt bei der Trennung von Störbewegungen von regulären Bewegungen im Hinblick auf die Stärke von Störbewegungen.
Eine einfache, aber effektive Implementierung eines Tiefpassfilters ist S_i = S_i–1·(1 – α) + P_i·α wobei S_i das gefilterte Signal im i-ten Bild ist, P_i der Eingang des i-ten Bildes ist und α als Störbewegungs-Lernrate definiert ist. Hierin sollten die zeitlichen Eigenschaften des zu filternden Störbewegungssignals widergespiegelt sein. Je höher die Frequenz von Störbewegungen ist, desto höher sollte diese Lernrate sein. Bei einem universellen Filter für Störbewegungen ist 0,1 ein guter Ausgangswert für die Lernrate.
Vorzugsweise ist die Filterung von Störbewegungen adaptiv, sodass der Benutzer die Ergebnisse adaptiv verbessern kann. Daher kann gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung der in Schritt 14 verwendete Schwellwert von einem Benutzer adaptiv geändert werden. Außerdem kann auch der Wert α, der in Schritt 16 verwendet wird, von einem Benutzer adaptiv geändert werden.
stellt ein Fenster dar, wie es von einem Verarbeitungssystem in dem Überwachungssystem angezeigt wird und in dem der Benutzer den Schwellwert in Schritt 14 sowie den Wert von α in Schritt 16 angeben kann. Ein Benutzer kann einen Schiebebalken im Abschnitt „Coverage Area Threshold” (Schwellwert Abdeckungsbereich) des Fensters einstellen, um den Schwellwert anzupassen, der von einem Prozessor zum Verarbeiten der Videosignale verwendet werden soll. Außerdem kann der Benutzer den Schiebebalken im Bereich „Minimum Filter Strength” (minimale Filterstärke) des Fensters verschieben, um den Wert von α einzustellen. Der Benutzer kann diese Werte einstellen, während er eine Karte der Störbewegungen betrachtet, und die Werte so lange anpassen, bis ein wünschenswertes Bild erzielt wird.
Karte der Störbewegungen
In Schritt 18 von wird eine Karte der Störbewegungen erzeugt, vorzugsweise indem die Signalstärke des Videosignals normalisiert wird. In Schritt 20 wird die Karte der Störbewegungen erweitert, um Löcher in der Karte der Störbewegungen zu schließen. Die Karte der Störbewegungen kann mithilfe eines binären Verfahrens oder eines Graustufenverfahrens erweitert werden. Vorzugsweise wird bei der vorliegenden Erfindung ein Graustufenverfahren eingesetzt. In Schritt 22 kommt ein Tiefpassfilter zur Anwendung. In Schritt 24 werden die Bilder des Videosignals angezeigt, nachdem die Störbewegung herausgefiltert ist.
Bei der Karte der Störbewegungen handelt es sich um eine grafische Darstellung der Stärken von Störbewegungen an den einzelnen Bildpunkten. Der Wert des Bildpunkts sollte dabei die Stärke der Störbewegung wiedergeben.
Wenn wir beispielsweise die Farbe Blau verwenden, um das Vorhandensein von Störbewegung anzuzeigen, dann ist die Störbewegung an einem Bildpunkt um so starker, je intensiver das Blau an dem betreffenden Bildpunkt ist. Für die Zuordnung der Stärken von Störbewegungen zu Sättigungswerten einer bestimmten Farbe kann eine lineare Skala verwendet werden, wobei die Farbe mit dem geringsten Sättigungswert dem Schwellwert für die Stärke von Störbewegung entspricht und die Farbe mit dem höchsten Sättigungswert der maximalen Stärke von Störbewegungen entspricht, die ein vorab definierter Wert sein kann. Die Steilheit dieser linearen Skala bestimmt die Verteilung der Farbschattierungen in den Bereichen mit Störbewegungen.
Um die Einrichtungsprozedur zu vereinfachen, kann der Maximum-Schwellwert für die Stärke von Störbewegungen automatisch anhand des Minimum-Schwellwertes für die Stärke von Störbewegungen berechnet werden, indem eine vorab definierte einfache lineare Beziehung zwischen den Extremen der Schwellwerte für die Stärke von Störbewegungen zugrunde gelegt wird. In der Praxis sind die Auswirkungen des Maximums erheblich weniger offensichtlich als die Auswirkungen des Minimums.
Außerdem wird empfohlen, die Karte der Störbewegungen einem Live-Videobild zu überlagern, um visuell die Filterabdeckung und die Verteilung der Stärken von Störbewegungen in Echtzeit darzustellen. Bei der Einrichtung des Filters für Störbewegungen muss der Benutzer dem System angeben, in welchem Umfang der Filter greifen soll, indem er den Schwellwert für die Stärke von Störbewegungen einstellt. Wenn der Schwellwert sehr niedrig ist, kann unter Umständen das normale Rauschen im Videosignal als Störbewegung interpretiert werden; wenn der Schwellwert sehr hoch angesetzt ist, werden echte Störbewegungen womöglich nicht erkannt. Derselbe Typ Bewegung kann in dem einen Szenario als Störbewegung angesehen werden, während er in einem anderen Szenario als normale Bewegung betrachtet wird. Es ist daher wichtig, dass ein Benutzer eine Art visueller Rückmeldung erhält, wenn er den Arbeitsbereich des Filters für Störbewegungen festlegt.
Muster von Störbewegungen
In der Natur treten alle möglichen Arten von Störbewegungen auf. Aus Sicht eines bestimmten Bildpunkts können dies besonders drastische Änderungen sein, die aber nicht sehr häufig auftreten, etwa Reflexionen auf einer Wasserfläche; oder aber relativ geringe Veränderungen, die aber permanent vorkommen, beispielsweise Gras, das vom Wind bewegt wird. Im ersten Fall ist das Filtern besonders schwierig aufgrund der Ähnlichkeit mit den Signalen von normalen sich bewegenden Objekten. Daher ist eine Erweiterungsoperation an der Karte der Störbewegungen erforderlich, um eine stabile Antwort zu erhalten. Der kombinierte Effekt von Tiefpassfilterung und Erweiterung auf die Stärke von Störbewegung bewirkt einen Glättungseffekt im dreidimensionalen räumlich-zeitlichen Raum. Der Kern der Erweiterung muss sich proportional zu der Größe der typischen Distanzen zwischen den Spitzen in dem Bereich der Störbewegung verhalten.
Filtern von Störbewegungen
Bei einer gegebenen Stärke der Störbewegung ist es möglich, entsprechende Filterstärken je nach den verschiedenen Stärken der Störbewegungen anzuwenden. Beispielsweise sollte bei Störbewegung, deren Stärke dem Minimal-Schwellwert für die Stärke von Störbewegung entspricht, die minimale Filterstärke angewandt werden, während bei Störbewegung, deren Stärke gleich dem oder höher als der Maximum-Schwellwert für die Stärke von Störbewegung ist, die maximale Filterstärke zu verwenden ist. Die minimale und die maximale Filterstärke werden vom Benutzer festgelegt. Da das Filter für Störbewegungen in der Regel einem Bewegungserkennungsmodul vorgeschaltet sein wird, ist es sinnvoll, die Ergebnisse der Bewegungserkennung zu beobachten, wenn die minimale und die maximale Filterstärke eingestellt werden. Typische Werte für die minimale und die maximale Filterstärke liegen im Bereich (0,1) bzw. (1,10).
In Schritt 22 speist die Erfindung jeden Bildpunkt in dem aktuellen Roh-Videobild in ein Tiefpassfilter ein, dessen Stärke durch die Stärke der Störbewegung an dem betreffenden Bildpunkt bestimmt wird.
Das in Schritt 22 verwendete Tiefpassfilter ist vorzugsweise ähnlich einem für die Ermittlung der Stärke der Störbewegung verwendeten Filter: S_i = S_i–1·(1 – α) + P_i·α wobei α anhand der folgenden Formel mit der Stärke der Störbewegung verknüpft ist. α = exp(–S_sm), wobei S_sm die Stärke der Störbewegung an dem betreffenden Bildpunkt ist. Diese spezielle Funktion ergibt eine annähernd lineare Skala für die Wahl der Filterstärke im Verhältnis zur Stärke der Störbewegung.
Ähnlich der Vorgehensweise bei der minimalen und maximalen Stärke der Störbewegung kann die maximale Stärke der Filter für Störbewegungen automatisch anhand der minimalen Stärke der Filter für Störbewegungen berechnet werden. Eine vorab definierte einfache lineare Beziehung zwischen den Extremen der Stärke der Filter für Störbewegungen ist erfahrungsgemäß ausreichend. In der Praxis sind die Auswirkungen des Maximums erheblich weniger offensichtlich als die Auswirkungen des Minimums.
Gemäß einem Gesichtspunkt der vorliegenden Erfindung ist das vorgeschlagene Schema unabhängig von verschiedenen Implementierungen des Tiefpassfilters und des Differenzialfilters. Vorzugsweise wird eine Karte der Störbewegungen erstellt, um effektiv ein Filter gemäß einem Gesichtspunkt der vorliegenden Erfindung einzurichten. Es ist allerdings nicht erforderlich, die Karte der Störbewegungen in einer bestimmten Art und Weise zu erstellen, solange die Bildpunktwerte die Störbewegung widerspiegeln.
und zeigen drei Fenster, die das System der vorliegenden Erfindung einem Benutzer anzeigt. In jeder Abfolge von Fenstern zeigt das linke Fenster eine Störbewegung. Das mittlere Fenster zeigt die Bewegungserkennung und das rechte Fenster zeigt das Videosignal.
In repräsentiert in dem linken Fenster der dunklere Bereich, der den weißen Bereich umgibt, kleine Wellen und Störbewegung. In der vorliegenden Erfindung wird dies durch die Farbe Blau dargestellt. Nach Betrachten der Fenster stellt der Benutzer die Schiebebalken in dem in dargestellten Fenster ein, um den Schwellwert und den Parameter für das Tiefpassfilter anzupassen und die Erkennung von Störsignalen zu verbessern, wie in den Fenstern der und gezeigt.
Die vorliegende Erfindung findet Anwendung in Überwachungssystemen und Verarbeitungssystemen für Überwachungszwecke und ist in einer breiten Palette solcher Systeme einsetzbar. Zum Zweck der Veranschaulichung ist ein solches System in dargestellt. Es wird nun Bezug genommen auf ; ein Überwachungssystem 100 gemäß einem Gesichtspunkt der vorliegenden Erfindung kann ein Sensorsystem 102, einen Netzwerkserver 106, ein Verarbeitungssystem 104 und ein Kommando- und Steuerungssystem 112 beinhalten. Das Verarbeitungssystem 104 enthält ein Verarbeitungssubsystem 108 und eine Datenbank 110. Außerdem enthält es Anwendungssoftware, die auf dem Verarbeitungssystem 104 läuft, um die in der vorliegenden Patentanmeldung beschriebenen Schritte auszuführen. Die Verarbeitung erfolgt bei der vorliegenden Erfindung vorzugsweise im Verarbeitungssubsystem 108, das auch die weitere bekannte Verarbeitung von Videosignalen von einem Überwachungssystem ausführt.
und zeigen eine Videoverarbeitungseinheit gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung. Videosignale werden in eine Videoverarbeitungseinheit 200 eingespeist, die sie einer Datenspeicherzentrale 202 zuführt. Die Datenspeicherzentrale 202 kann verschiedene Anzeigevorrichtungen und Geräte ansteuern. Es wird nun Bezug genommen auf ; die Videoverarbeitungseinheit 200 beinhaltet ein Normalisierungsmodul, ein Stabilisierungsmodul und das Filter für Störbewegungen der vorliegenden Erfindung. Wie in dargestellt empfängt das Filter für Störbewegungen stabilisierte Videodaten von dem Stabilisierungsmodul. Der Ausgang des Filters für Störbewegungen wird in das Bewegungserkennungsmodul eingespeist, das sie dem Verfolgungsmodul und dem Klassifizierungsmodul zuführt. Die Videoverarbeitungseinheit 200 umfasst somit einen Prozessor und eine Anwendungssoftware, die die verschiedenen Module implementieren, die in dargestellt sind, einschließlich das Filter für Störbewegungen, wie es in der vorliegenden Patentanmeldung beschrieben wird.
Die Verarbeitung und das Filter gemäß der vorliegenden Erfindung können entweder in einem Überwachungsserver oder einem Überwachungsclient 240 untergebracht sein.
Obwohl hier grundsätzlich neue Merkmale der Erfindung in ihrer Anwendung in bevorzugten Ausführungsformen davon gezeigt, beschrieben und dargelegt werden, ist einzusehen, dass verschiedene Weglassungen oder Ersetzungen sowie Änderungen hinsichtlich Form und Einzelmerkmalen der dargestellten Vorrichtung sowie deren Betrieb von Fachleuten auf diesem Gebiet der Technik vorgenommen werden können, ohne von dem Geist der Erfindung abzuweichen. Die Erfindung soll daher lediglich wie durch den Umfang der hieran anschließenden Patentansprüche dargelegt eingeschränkt sein.

Claims

Verfahren zum Filtern eines Videosignals in einem Überwachungssystem, mit den Verfahrensschritten: Bestimmen einer Größe einer Differenz zwischen zwei Bildern des Videosignals; Anwenden eines Schwellenwertes auf die Differenz der zwei Bilder; Filtern von über dem Schwellenwert liegenden Differenzwerten mit einem Tiefpassfilter um Störbewegungen auszufiltern; Anzeigen des Videosignals; Erzeugen und Anzeigen eines Abbilds der Störbewegungen; und Anpassen eines Parameters im Tiefpassfilter entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Grösse der Differenz zwischen zwei Bildern des Videosignals quadriert und der Schwellenwert auf das Quadrat der Grösse angewandt wird.
Verfahren nach einem vorangehenden Anspruch, dadurch gekennzeichnet, dass der Schwellenwert entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen angepasst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen der Größe der Differenz zwischen zwei Bildern mithilfe eines Differenzialfilters ausgeführt wird.
Verfahren nach Anspruch 1, wobei das Tiefpassfilter durch S_i = S_i–1·(1 – α) + P_i·α realisiert ist, wobei S_i das gefilterte Signal im i-ten Bild ist, P_i der Eingang des i-ten Bildes ist und α ein vom Benutzer definierter Parameter ist.
Verfahren nach Anspruch 1, welches ferner das Normalisieren des Videosignals, um das Abbild der Störbewegungen zu erzeugen, und das Erweitern des Abbilds der Störbewegungen, um Löcher im Abbild der Störbewegung zu füllen, umfasst.
Verfahren nach Anspruch 6, welches ferner umfasst, das Abbild der Störbewegungen mit einem Tiefpassfilter zu filtern.
Verfahren nach Anspruch 7, welches ferner umfasst, das Videosignal zu verarbeiten, um Bewegung zu erkennen.
Überwachungssystem zum Verarbeiten eines Videosignals, das folgendes umfasst: einen Prozessor, der das Videosignal empfängt; und eine Software-Anwendung, die auf dem Prozessor läuft, um: eine Grösse einer Differenz zwischen zwei Bildern des Videosignals zu bestimmen; einen Schwellenwert auf die Differenz der zwei Bilder anzuwenden; zwecks Ausfilterung von Störbeweungen über dem Schwellenwert liegende Differenzwerte mit einem Tiefpassfilter zu filtern; das Videosignal anzuzeigen; ein Abbild der Störbewegungen zu erzeugen und anzuzeigen; und einen Parameter im Tiefpassfilter entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen anzupassen.
System nach Anspruch 9, wobei die Software-Anwendung ferner dazu dient: den Schwellenwert entsprechend der Anzeige des Videosignals und der Anzeige des Abbilds der Störbewegungen anzupassen.
System nach Anspruch 9, wobei das Bestimmen einer Größe der Differenz zwischen zwei Bildern mithilfe eines Differenzialfilters ausgeführt wird.
System nach Anspruch 9, wobei das Tiefpassfilter durch S_i = S_i–1·(1 – α) + P_i·α realisiert ist, wobei S_i das gefilterte Signal im i-ten Bild ist, P_i der Eingang des i-ten Bildes ist und α ein vom Benutzer definierter Parameter ist.
System nach Anspruch 9, wobei die Software-Anwendung ferner dazu dient, das Videosignal zu normalisieren, um ein Abbild der Störbewegungen zu erzeugen, und das Abbild der Störbewegungen zu erweitern, um Löcher im Abbild der Störbewegungen zu füllen.
System nach Anspruch 13, wobei die Software-Anwendung ferner dazu dient, das Abbild der Störbewegungen mit einem Tiefpassfilter zu filtern.
System nach Anspruch 14, wobei die Software-Anwendung ferner dazu dient, das Videosignal weiter zu verarbeiten, um Bewegung zu erkennen.