DE102004057026A1

DE102004057026A1 - Erfassung zeitlicher Bildveränderungen und Darstellungsverfahren und -vorrichtung

Info

Publication number: DE102004057026A1
Application number: DE200410057026
Authority: DE
Inventors: John M. Sussex Sabol; Maggie Mei-Kei Waukesha Fung; Vianney Pierre Milwaukee Battle; Gopal B. New Berlin Avinash
Original assignee: GE Medical Systems Global Technology Co LLC
Current assignee: GE Medical Systems Global Technology Co LLC
Priority date: 2003-11-26
Filing date: 2004-11-25
Publication date: 2005-06-23
Also published as: FR2862788B1; FR2862788A1; US7492931B2; US20050113961A1; JP4669268B2; JP2005177470A

Abstract

Es wird eine Technik zum Analysieren von Bilddatensätzen geschaffen, die zu verschiedenen Zeitpunkten akquiriert wurden. Computerunterstützte Algorithmen (50, 52) sind zur Identifizierung und Klassifizierung von interessierenden Merkmalen sowie zum Vergleich von solchen Merkmalen, die sich zeitabhängig entwickelt haben und wie sie durch Bilddaten dargestellt sind, implementiert. Die Algorithmen können speziell dazu geeignet sein, Bilder der zeitlichen Veränderung zu analysieren. Solche Algorithmen können auch dazu verwendet werden, eine Analyse der zeitlichen Veränderung wirksam nur dann auszulösen, wenn die speziell interessierenden Merkmale in den Bilddaten möglicherweise vorhanden sind.

Description

Hintergrund der Erfindung
Die vorliegende Erfindung betrifft allgemein das Gebiet von Bildgebungssystemen. Im Besonderen bezieht sich die Erfindung auf eine Technik zum Analysieren von Bilddaten, um interessierende Daten zu erkennen und die sich daraus ergebende Analyse mit ähnlichen Analysen zu vergleichen, die an Bilddaten vorgenommen wurden, welche zu verschiedenen Zeitpunkten computermäßig und im Rahmen eines Arbeitsablaufs gesammelt worden waren.

Für die digitale Bildgabe gibt es viele Anwendungen. Diese Anwendungen gehen von der medizinischen Diagnosebildgebung bis zur Teileerfassung und -analyse, der Gepäckdurchleuchtung usw.. Demgemäß sind auch viele verschiedene Arten von Bildgebungssystemen gegenwärtig erhältlich, von denen einige bestimmte dieser Anwendungen abdecken. Bildgebungssysteme gehen von gebräuchlichen photographischen Systemen bis zu komplexeren Magnetresonanzbildgebungs(MRI)-Systemen, Computertomographie(CT)-Systemen, Positronen-Emissions-Tomographie(PET)-Systemen, Ultraschallsystemen, Röntgensystemen, usw.. Bei jeden dieser Systeme erfasst irgendeine Art von Bilddaten-Akquisitionsschaltung, Eingangsdaten, die dazu verwendet werden, individuelle Bildelemente oder Pixel in einer Matrix zu kodieren. Nach der Rekonstruktion können die Pixel in einem zusammengesetzten Bild betrachtet werden, das für den Benutzer zu verschiedenen Zweckbestimmungen nützlich ist.

Unabhängig von dem Ursprung der Daten des Pixelbildes können viele neue Einsatzgebiete untersucht werden, die die Brauchbarkeit der Daten für verschiedene Zwecke verbessern. So werden z.B. bei der medizinischen Bildgebung wie auch auf anderen Gebieten, wie etwa der Gepäckinspektion, Bilddaten analysiert, um in den Pixeln kodierte Strukturen zu erkennen, die für Merkmale von speziellem Interesse kennzeichnend sein können. Auf dem medizinischen Gebiet gehören dazu spezielle Anatomien, Anomalien, Pathologien und dergleichen. Bei automatisierten, mit Computerhilfe ablaufenden oder computerunterstützten Prozessen können Computer bestimmte derartige Daten identifizieren, die für einen Benutzer hervorgehoben werden, um ihn bei der Diagnose oder Behandlung einer Krankheit zu unterstützen oder um verschiedene Stadien des Wohlbefindens zu analysieren. In ähnlicher Weise können in einem anderen Zusammenhang solche automatisierten Erkennungs- und Klassifikationsprozesse für menschliche Betrachter und Leser sehr hilfreich sein, indem sie auf möglicherweise besorgniserregende oder interessierende Objekte hinweisen.

In manchem Zusammenhang, insbesondere bei der medizinischen Bildgebung, werden Bilder des gleichen Subjekts oder der gleichen Anatomie zu verschiedenen Zeitpunkten erzeugt. Einige dieser Bilder können Anatomien oder Anomalien, wie Gewächse, Läsionen oder andere Zustände wiedergeben, die sich zeitabhängig verändern. Die Erfassung der Veränderung bei medizinischen Bildern eines Patienten, die zu zwei ver schiedenen Zeitpunkten akquiriert wurden, birgt eine große Möglichkeit zur Verbesserung der Diagnose und der Behandlung einer Krankheit und zur Überwachung der Antwort auf eine solche Behandlung in sich. Darüberhinaus und allgemein gesehen, kann eine solche Veränderung für die Verfolgung der Entwicklung und des Wachstums oder für die Abgabe eines Hinweises auf eine im Zeitverlauf bedeutungsvolle Veränderung sowohl in als auch außer dem medizinischen Zusammenhang von Nutzen sein. Es wurden schon bestimmte „zeitliche Subtraktions"-Anwendungen vorgeschlagen. Bei bestimmten solchen Anwendungen werden Abweichungen zwischen Bildern unter Verwendung eines einfachen pixelweisen Subtraktionsansatzes gespeicherter Bilder berechnet. Eine einfache Subtraktion ergibt aber nur Bilder mit schwachem Kontrast. Außerdem sind derartige Ansätze nicht genügend robust, wenn zwei Ausgangsbilder unter Verwendung verschiedener Techniken oder Modalitäten akquiriert werden. Schließlich beinhalten diese Ansätze keinen Hinweis auf das Zuverlässigkeitsniveau beim Absolutwert der Messung der Abweichungen.

Bei einem Bild der zeitlichen Veränderung, können sich ergebende Pixelwerte, die als Grauwerte in einem monochromatischen Bild dargestellt werden können proportional zu dem Unterschied oder den Abweichungen der Pixelwerte zwischen zwei mit zeitlichem Abstand voneinander akquirierten Eingabebildern sein. Die eingegebenen Bilder können eine Registrierung („zur Deckung bringen") erfordern und können so bearbeitet werden, dass verschiedene Faktoren, wie etwa Unterschiede in der Positionierung des Subjekts während zweier Bildakquisitionssitzungen, Unterschiede von Akquisitionsparametern, Unterschiede bei der Bit-Auflösung der Bilder und Unterschiede bei irgendeiner an den Bildern vorgenommenen Vor- oder Nachverarbeitung ausgeglichen werden. Fehler bei der Registrierung der beiden Bilder können wegen der Annahme, dass wesentlich größere Veränderungen bei den Bildern oder zwischen den Bildern zufolge einer Fehlausrichtung aufgetreten wären, zu verhältnismäßig großen Werten in dem Unähnlichkeitsbild (dissimilarity picture) führen. Wenn z.B. die sich ergebende Registrierung nicht perfekt ist, kann das sich aus zwei identischen Bildern ergebende Zeitanalysebild des Subjekts kein Null-Wertbild sein, wie es wegen der Identität der Bilder an sich zu erwarten wäre. Das heißt, bei identischen Bildern darf der Prozess zu keinerlei Kontrast in dem Unähnlichkeitsbild führen. Solche von Null abweichenden Elemente des Unähnlichkeitsbilds stellen Artefakte dar, die irrtümlich als zeitliche Veränderung bei dem Subjekt verstanden werden können. Solche Artefakte und das Fehlen von anatomischen Standardmerkmalen machen die radiographische Interpretation von subtrahierten zeitlichen Bildern für einen Radiologen oder einen anderen Benutzer mühsam, insbesondere, wenn ein solcher Benutzer mit dem äußeren Erscheinungsbild derartiger Bilder nicht vertraut ist. Ein Unähnlichkeitsbild summiert in der Regel lediglich Unterschiede zwischen zwei miteinander verglichenen Bilder. Im Gegensatz zu gebräuchlichen Bilder, die Ansichten eines Subjekts in einer intuitiven Weise wiedergeben, veranschaulichen solche Ähnlichkeitsbilder in der Regel lediglich Veränderungen des Subjekts als dunkle oder helle Gebiete, Linien oder dergleichen. Die Bilder können natürlich übereinander gelegt oder in anderer Weise den ursprünglichen Bilder zugeordnet werden, wenngleich die Entwicklung auf diesem Gebiet noch nicht auf einem Niveau angelangt ist, das in dieser Hinsicht zufriedenstellend wäre.

Das Aufkommen und die Verbreitung der digitalen Bildgebung hat einen raschen elektronischen Zugriff auf eine Vielfalt von Informationen, insbesondere auf Patienteninformation im medizinischen Gebiet ermöglicht und die Möglichkeit einer schnellen, besseren Bildverarbeitung und -analyse eröffnet. So ermöglich z.B. die Integration digitaler Akqui sition, gekuppelt mit einer Datenablage in einem Krankenhaus oder in einem anderen Netzwerk, eine rasche Berechnung und Darstellung von Bildern zeitlicher Veränderung. Außerdem haben diese Technologien den praktischen Einsatz von computerunterstützten Detektions- oder Diagnose (CAD)-Techniken und -radiologie ermöglicht. Diese Techniken dienen allgemein dazu, verschiedene interessierende, reproduzierte oder in den Bilddaten detektierbare Merkmale zu identifizieren und zu klassifizieren. Solche „maschinelle Betrachtungs"-Werkzeuge wurden entwickelt, um die Aufmerksamkeit, die Detailkenntnis und die Effizienz der Radiologen bei der Interpretation von Bildern zu erhöhen.

Wenig oder nichts wurde aber bis jetzt auf dem Gebiet getan, um die Brauchbarkeit von zeitlichen Veränderungsbildern, d.h. von Bildern, die miteinander verglichen und analysiert werden, um die Entwicklung von Merkmalen oder andere Veränderungen in den Bildern zu erkennen, zu verbessern. Es besteht gegenwärtig ein Bedürfnis nach einer weiteren Verbesserung der vorhandenen Techniken und der Schaffung von neuen Techniken, um komplexe Analysen von Bildern vorzunehmen, die zu verschiedenen Zeitpunkten aufgenommen wurden, um damit eine brauchbare Angabe über etwaige an einem Bildsubjekt stattgefundene Veränderungen zu erlangen.

Kurze Beschreibung der Erfindung

Die vorliegende Erfindung schafft eine zur Erfüllung derartiger Bedürfnisse entwickelte neue Technik zur Analyse von Bildern, die zu verschiedenen Zeitpunkten aufgenommen worden waren. Diese Techniken können für Bilder von irgendeiner geeigneten Modalität oder einem geeigneten Bildgebungssystem, einschließlich komplexer Bildgebungssysteme, benutzt werden wie sie bei medizinischen Untersuchungen, Teileuntersuchungen und Paketuntersuchungen eingesetzt werden, aber auch bei gebräuchlichen photographischen Systemen. Die vorliegende Technik erlaubt einen Zugriff auf Bilddaten eines Subjekts, die zu verschiedenen Zeitpunkten erzeugt worden waren, wobei die Zeitpunkte durch eine zweckentsprechende Zeitspanne von Bruchteilen einer Sekunde bis Monate oder sogar Jahre voneinander getrennt sein können. Die Technik erleichtert auch wesentlich den Arbeitsfluss und die Effizienz bei der Durchführung des Prozesses des Vergleiches und der Analyse. Insbesondere können CAD-Techniken sowohl für das ursprüngliche Sichten (screening) von Bilddaten zur Analyse als auch zu einer ggfs. zweckmäßigen Auslösung einer solchen Sichtung verwendet werden.

Kurze Beschreibung der Zeichnung
1 ist eine schematische Veranschaulichung eines beispielhaften Bildgebungssystem, das zur Erzeugung von Bilddaten zu verschiedenen Zeitpunkten zur Analyse gemäß den vorliegenden Techniken verwendet wird;
2 ist eine schematische Veranschaulichung eines Bildverarbeitungssystems zur Implementierung der zeitlichen Analyseverfahren der vorliegenden Techniken;
3 ist ein Flussdiagramm zur Veranschaulichung exemplarischer Schritte und Komponenten bei der Implementierung der zeitlichen Analyseverarbeitung der vorliegenden Technik;
4 ist ein Flussdiagramm, ähnlich jenem nach 3, das ein alternatives Verfahren zur zeitlichen Analyse von Bildern veranschaulicht;
5 ist ein weiteres Flussdiagramm, das ein anderes alternatives Verfahren zur zeitlichen Analyse von Bildern veranschaulicht;
6 ist ein weiteres Flussdiagramm, das exemplarische Schritte bei der Verarbeitung von Bildern veranschaulicht, die zu verschiedenen Zeitpunkten unter Verwendung einer Abstimmeinrichtung (reconciler) akquiriert worden waren;
7 ist ein weiteres Flussdiagramm, das ein anderes alternatives Verfahren zur Analyse von Zeitbildern, unter Verwendung einer Abstimmeinrichtung (reconciler), veranschaulicht;
8 ist ein Flussdiagramm, das exemplarische Schritte bei einer typischen CAD-Routine zur Ausführung einer Analyse von Bilddaten oder von Bildern zeitlicher Veränderung gemäß der vorliegenden Technik veranschaulicht und
9 ist ein Flussdiagramm, das ein alternatives Verfahren zur Analyse von Bildern veranschaulicht, die zu verschiedenen Zeitpunkten in gegenseitiger Abhängigkeit gemäß Aspekten der vorliegenden Technik erzeugt worden waren.
Detaillierte Beschreibung der Erfindung
Bezugnehmend nun auf die Zeichnung und hierbei zunächst auf 1 ist dort ein Bildgebungssystem 10 allgemein veranschaulicht, das eine Bildgebungseinrichtung 12 zur Erzeugung von Bilddaten eines Subjekts 14 beinhaltet. Wenngleich eine menschliche Gestalt als Subjekt 14 ganz allgemein angedeutet ist, so ist doch zu bemerken, dass jedes geeignete Subjekt abgebildet werden kann. In dem vorliegenden Zusammenhang kann das Subjekt, bspw. ein Mensch oder Tier, belebt oder unbelebt wie etwa gefertigte Teile, natürlich vorkommende Subjekte und dergleichen sein. Das bildgebende System 10 kann irgendeine geeignete Bauart eines Systems sein, das digitalisierte Bilddaten auf der Grundlage irgendeiner Bildgebungsphysik erzeugt. Im Zusammenhang mit der medizinischen Bildgebung können, wie auch sonst, derartige Bildgebungssysteme MRI-Systeme, PET-Systeme, CT-Systeme, Tomosynthese-Systeme, Röntgensysteme, Ultraschallsysteme unter vielen anderen bildgebenden Modalitäten umfassen. Zu den Systemen können auch gebräuchliche photographische Bildgebungssysteme zählen, die digitalisierte Bilddaten auf der Grundlage einer empfangenen Strahlung irgendeiner geeigneten Bandbreite oder Frequenz erzeugen.
Bei der schematischen Ansicht der 1 beinhaltet das Bildgebungssystem irgendein Bildgebungsgerät 12, das an eine Bildgebungsgerätsteuerschaltung 16 und eine Bilddatenakquisitionsschaltung 18 angekoppelt ist. Abhängig von der Modalität und der Physik des Systems emittiert das Bildgebungsgerät typischerweise irgendeine Art Strahlung, wie dies bei Röntgen-, CT-, Tomosynthese- und anderen Systemen der Fall ist. Andere aktive Bildgebungssysteme, wie MRI-Systeme, beeinflussen Subjekte durch Anregung, etwa durch Erzeugung von Hochfrequenzpulsen in Gegenwart gesteuerter Magnetfelder. In all diesen Fällen wird aber das Bildgebungsgerät im Betrieb von der Bildgebungsgerätsteuerschaltung 16 gesteuert. Diese Steuerschaltung kann irgendeine geeignete Form annehmen und beinhaltet typischerweise Schaltungen zur Aktivierung des Bildgebungsgeräts, zum Empfang von Strahlung oder anderen Signalen zur Erzeugung irgendwelcher Anregungssignale oder -strahlungen, die für die Bildgebung erforderlich sind, usw.. Die Bildakquisitionsschaltung 18 empfängt dann von dem Bildgebungsgerät 12 aufgenom mene Daten und führt an diesen eine anfängliche Verarbeitung durch. Diese anfängliche Verarbeitung kann die Umsetzung analoger Signale in Digitalsignale, Filterung der Analog- oder Digitalsignale, Skalierung oder Einstellungen eines Dynamikbereichs oder dergleichen beinhalten.
Die Bildgebungsgerätsteuerschaltung 16 und die Bilddatenakquisitionsschaltung 18 sind in der Regel durch irgendeine Art Systemsteuerschaltung 20 gesteuert. Wiederum abhängig von der Art des Bildgebungssystems und der dabei vorliegenden Physik kann die Systemsteuerschaltung Bildgebungssequenzen durch Austausch zweckentsprechender Signale mit der Bildgebungsgerätsteuerschaltung 16 initiieren. Die Systemsteuerschaltung 20 kann auch die rohen oder vorverarbeitete Bilddaten von der Bilddatenakquisitionsschaltung 18 empfangen. Die Systemsteuerschaltung 20 kann insbesondere bei komplexeren Systemen an eine Bedienerarbeitsstation 22 angekoppelt sein, an der ein Bediener Untersuchungsbildgebungssequenzen auswählt, konfiguriert und in Gang setzt. Die entweder rohen, teilweise oder vollständig verarbeiteten Bilddaten werden typischerweise in irgendeiner Art Speichermedium gespeichert, wie dies mit dem Bezugszeichen 24 angedeutet ist. In dem vorliegenden Zusammenhang kann dieses Speichermedium Teil der Systemsteuerschaltung 20, der Bedienerarbeitsstation 22 oder irgendeiner anderen Komponente des Gesamtsystems sein. Im Zusammenhang mit medizinischer Diagnose z.B., kann das Speichermedium lokale und Fernspeicher, sowohl magnetische als auch optische aufweisen und über komplexe Bildarchiv- und Kommunikationssysteme (PACS) verfügen, die dazu ausgelegt sind, Bilddaten bedarfsgemäß zu speichern und auszugeben.
Bei der Darstellung nach 1 ist die Bedienerarbeitsstation 22 an eine Bilddatenverarbeitungsschaltung 26 angekoppelt. Diese Verarbeitungsschaltung kann tatsächlich wiederum im ganzen System verteilt sein, sie kann Hardware, Firmware und Software beinhalten die für die Verarbeitung der Bilddaten ausgelegt ist, um rekonstruierte Bilder für die Betrachtung zu erzeugen. Gemäß den im Weiteren beschriebenen gegenwärtigen Techniken führt die Bildverarbeitungsschaltung 26 an den Bilddaten eine oder mehrere computerunterstützte Diagnose (CAD)-Routinen durch, um die Daten bezüglich anderer Bilddaten zu analysieren, die zu einem unterschiedlichen Zeitpunkt gesammelt wurden. Die Bilddatenverarbeitungsschaltung 26 kann lokal bei dem Bildgebungssystem, wie allgemein in 1 angedeutet oder vollständig entfernt von dem System angeordnet sein und lediglich auf die Daten, etwa von dem Speichermedium 24, zur Nachverarbeitung zugreifen. Schließlich veranschaulicht 1 verschiedene Fernsteuerungs-/Verarbeitungs-/Betrachtungsstationen 28, die über geeignete Netzwerklinks 30 an das Bildgebungssystem angekoppelt sein können. Solche Stationen können, wie im Folgenden beschriebenen, zu einer weiteren Betrachtung, Analyse und Verarbeitung der Bilddaten benutzt werden.
Das Bildgebungssystem 10 und auch irgendwelche anderen Bildgebungssysteme der gleichen oder verschiedener Modalität wird dazu benutzt, Bilder eines Subjekts zu verschiedenen Zeitpunkten zu erzeugen. Gemäß der vorliegenden Technik wird auf diese Bilder zugegriffen, sie werden analysiert und miteinander verglichen, um zu bestimmen, ob bestimmte spezielle Merkmale möglicherweise auf dem Bild und deshalb in dem Subjekt vorhanden sind. Außerdem gestattet eine Analyse der zeitlichen Veränderung gemäß der vorliegenden Technik die Identifizierung von Trends bei der Entwicklung spezieller interessierender Merkmale. Im Zusammenhang mit der medizinischen Diagnose kann eine solche Analyse zeitlicher Veränderungen, z.B. dazu verwendet werden, das Aussehen, das Wachsen oder das Kleinerwerden bestimmter anatomischer Merk male, Krankheitszustände, natürlich vorkommender oder fremder Körper und Objekte usw. festzustellen.
2 veranschaulicht schematisch ein Analysesystem für die zeitliche Veränderung, das allgemein mit dem Bezugszeichen 32 bezeichnet ist. Das System beinhaltet ein Akquisitionssystem 10, das irgendeiner geeigneten Bauart oder Modalität sein kann, wie es im Vorstehenden, unter Bezugnahme auf 1, beschrieben worden ist. Das System beinhaltet außerdem eine oder mehrere Ablageeinrichtungen 34, die zum Empfang und zur Speicherung von Bilddaten eingerichtet sind. Die Ablagen können irgendeine geeignete Art Speicher, typischerweise Magnetmedien, optische Medien und dergleichen aufweisen. Darüberhinaus können die Ablagen in der Praxis aus einer einzigen oder aus mehreren miteinander in Verbindung stehenden Speichervorrichtungen, einschließlich Vorrichtungen, die über ein Netzwerk miteinander verbunden sind, aufweisen. Das Akquisitionssystem 10 erzeugt Bilder oder Bildsequenzen zu verschiedenen Zeitpunkten, wie etwa einem Bildersatz 36 wie es in 2 veranschaulicht ist. Die Ablage dient dazu, diese Bilddaten, ebenso wie zu früheren Zeitpunkten erzeugte Bilddatensätze, zu speichern, wie dies mit dem Bezugszeichen 38 in 2 angedeutet ist. Wie im Nachstehenden noch im größeren Detail erörtert, kann auf diese verschiedenen, zeitlich voneinander getrennten Bildersätze zugegriffen und können diese analysiert werden, um Unterschiede oder Veränderungen zwischen denselben zu analysieren.
Das System 32 beinhaltet außerdem eine Bilddatenverarbeitungsschaltung 40. Die Bilddatenverarbeitungsschaltung 40 beinhaltet in der Regel verschiedene Hardware, Firmware und Software, die dazu eingerichtet ist, die hier beschriebenen Funktionen auszuüben. Die Verarbeitungsschaltung kann um einen Mehrzweckcomputer oder einem anwendungsspezifischen Computer herum ausgelegt sein. Außerdem kann die Bilddatenverarbeitungsschaltung in der Praxis Teil des Akquisitionssystems 10 oder völlig getrennt von dem Akquisitionssystem sein. Die Bilddatenverarbeitungsschaltung kann ihre Operationen in fast Echtzeit, wie die Bilder von dem Akquisitionssystem 10 akquiriert werden, durchführen oder sie kann Operationen lediglich im Rahmen einer Nachverarbeitung ausführen, indem sie auf Bildersätze 36 und 38 von der Ablage 34 zugreift.
Die Schaltung 40 zieht einen oder mehrere computerunterstützte Detektions(CAD)- oder computerunterstützte Diagnose Algorithmen zu, wie dies allgemein mit dem Bezugszeichen 42 in 2 angedeutet ist. Wie für den Fachmann verständlich und im Nachstehenden im größeren Detail beschrieben, analysiert der CAD-Algorithmus 42 Bilddaten, um Strukturen, Kantenbereiche und andere bedeutungsvolle Beziehungen zwischen den gepixelten Bilddaten zu erkennen und möglicherweise interessierende Merkmale in den Bilddaten zu segmentieren und klassifizieren. Wie in 2 angedeutet, kann in bestimmten Fällen der CAD-Algorithmus einer wesentlich allgemeineren Art sein, was hier mit „CAX" bezeichnet ist. Solche Algorithmen können auch andere oder zusätzliche Operationen zu der Detektion und Diagnose von interessierenden Merkmalen ausführen. Beispielsweise können derartige Algorithmen dazu dienen, die Akquisition auszulösen, bestimmte Verarbeitungsvorgänge zu initiieren, eine zeitliche Planung zu initiieren oder durchzuführen, Aktionen zu empfehlen, Datenfolgen (strings) zu verarbeiten, usw.. So wie er hier verwendet wird, ist der Ausdruck „CAD" so zu verstehen, dass er alle solche zusätzlichen Operationen mit umschließt.
Das System 32 beinhaltet typischerweise eine Bedienerarbeitsstation 22, die die gleiche Bedienerarbeitsstation sein kann, die oben im Zusammenhang mit dem Bildgebungssystem 10 beschrieben wurde oder aber sie kann auch eine davon verschiedene Bedienerstation sein. Die Arbeitsstation selbst kann die Bilddatenverarbeitungsschaltung 40 inkorporieren oder sie kann auch von dem Akquisitionssystem 10 ganz entfernt sein. Typischerweise ist irgendeine Art Ausgabesystem vorhanden, etwa zum Erzeugen von Hardcopy-Ausgangsbildern, Berichten und dergleichen. Sowohl die Bedienerarbeitsstation 22 als auch das Ausgabesystem 24 beinhalten auch Monitore zum Betrachten rekonstruierter Bilder und zeitlicher Veränderungsbilder wie dies im Nachstehenden erläutert werden wird, die in Form von Bildern mit hoher Auflösung und hohem Kontrast dargestellt werden, was es den Benutzer und Betrachtern erlaubt, die rekonstruierten Bilder zu analysieren, zu lesen, mit Anmerkungen zu versehen oder irgendwie anders zu benutzen. System 32 implementiert eine oder mehrere Arten der Verarbeitung zur Analyse zeitlicher Veränderungen zwischen Bildern, die zu verschiedenen Zeitpunkten aufgenommen wurden. Die 3, 4, 5, 6 und 7 veranschaulichen exemplarische Module und Verfahren, die für das System 32 infrage kommen. Allgemein gesehen, können in den Systemen und im Arbeitsfluss bestimmte Schlüsselmodule vorhanden sein. 3 z.B. veranschaulicht eine beispielhafte Analyse-Routine 46 für zeitliche Veränderungen wie sie den vorliegenden Techniken entspricht. Wie in 3 dargestellt beginnt die Routine mit der Bildakquisition, wie dies durch einen Block 48 angedeutet ist. Die akquirierten Bilddaten werden Bildern ähnlicher Subjekte, typischerweise des gleichen Subjekts und der gleichen Ansicht zugeordnet, die zu früheren Zeitpunkten aufgenommen worden waren und auf die aus der Ablage 34 zugegriffen wurde. Das System lässt sodann einen oder mehrere CAD-Algorithmen zur Anwendung kommen, wie sie mit den Bezugszeichen 50, 52 bezeichnet sind, um zu erzeugen und darzustellen oder zu berichten, wie dies mit einem Block 54 angedeutet ist. Die zu verschiedenen Zeit punkten akquirierten Bilder werden durch eine Reihe von Modulen verarbeitet, die, wie im Nachstehenden erörtert, mit den CAD-Algorithmen 50, 52 zusammenwirken. Allgemein gehören zu diesen Modulen ein Vorverarbeitungsmodul 56, ein Segmentierungsmodul 58, ein Registrierungsmodul 60 und ein Vergleichsmodul 62.
Die Bildakquisition bei dem Block 48 der 3 ermöglicht eine Analyse der zeitlichen Veränderung. In der Regel ist ein Bildgebungssystem in der vorstehend beschriebenen Weise ausgerüstet, und die Bilddaten sind zugriffsfähig in einer Ablage 34 gespeichert. Wenngleich hier auf zwei spezielle, zu unterschiedlichen Zeitpunkten aufgenommene Bilder, die von dem System miteinander verglichen werden, Bezug genommen ist, so ist doch zu bemerken, dass die Technik auf jede Zahl von Bildern und jede Zahl verschiedener Zeitpunkte, zu denen die Bilder akquiriert wurden, erweitert werden kann. Die von dem System analysierten Bilddaten können die ursprünglichen, unverarbeiteten Bilddaten von dem Akquisitionssystem sein oder es können teilweise oder vollständig verarbeitete Versionen der ursprünglichen Bilddaten sein. Außerdem können die Bilddaten von der gleichen oder von einer unterschiedlichen Modalität bzw. Bildgebungssystem herrühren. In ähnlicher Weise können die Bilddaten digitalisierte Daten, die durch Scannen und Digitalisierung eines gebräuchlichen Mediums, wie von Hardcopy-Bildern erzeugt wurden, beinhalten.
Das Vorverarbeitungsmodul 56 kann, abhängig von der Art der Bilddaten, zu verschiedenen Funktionen dienen. Zum Beispiel kann das Modul 56 zwei Bilder „normalisieren", um Unterschiede bei der Akquisitionstechnik oder Unterschiede in den Vor- und Nachverarbeitungsverfahren zu berücksichtigen. So können z.B. bei Röntgenbildern, wenn das erste Bild, die halbe Belichtung des zweiten Bildes aufweist, Grauwerte in dem ersten Bild mit einem Faktor 2 multipliziert werden, bevor irgendeine weiterer Vergleich mit dem zweiten Bild erfolgt. Die Abstimmung der Bilder dient dazu, die Unterschiede in der Gesamtbildintensität zu verringern, die von der Bilddarstellung oder von technischen Faktoren, wie unterschiedlicher Dosierung, herrühren. Das Vorverarbeitungsmodul 56 kann auch Operationen wie Skalieren, Größen- und Ausrichtungseinstellungen, Einstellungen des Dynamikbereichs, usw., vornehmen. Das Segmentierungsmodul 58 identifiziert und definiert die Begrenzungen von interessierenden Merkmalen in den Bilddaten zu beiden Zeitpunkten. Viele Arten Segmentierung stehen gegenwärtig zur Verfügung, wobei diese Verfahren typischerweise Gradienten, Intensitäten oder andere charakteristischen Merkmale der Pixeldaten ansprechen, um bedeutungsvolle Zuordnungen der Daten zu extrahieren, etwa um Kanten, Flächenbereiche und dergleichen zu identifizieren, die erkennbare Merkmale in dem endgültigen Bild wiedergeben können. Das Modul 58 bildet deshalb einen automatisierten oder handbetätigten Mechanismus zur Isolierung von interessierenden Gebieten in den Bilddaten. In vielen Fällen von praktischem Interesse kann das ganze Bild das interessierende Gebiet sein, wobei spezielle Merkmale oder Datenteilsätze identifiziert werden, weil sie möglicherweise Objekte besonderen Interesses wiedergeben.
Das Registrierungsmodul 60 liefert eine Registrierung (registration) ähnlicher Gebiete oder interessierender Objekte auf den zu verschiedenen Zeitpunkten aufgenommenen Bildern. Da die für die Analyse einer zeitlichen Veränderung interessierenden Gebiete klein sind, können Regsistrierungstransformationen eines starren Körpers, einschließlich Translation, Rotation, Vergrößerung und Zuschneiden ausreichen, um zwei zu verschiedenen Zeitpunkten aufgenommene Bilder zu registrieren. Wenn die interessierenden Gebiete aber groß sind und fast das ganze Bild umfassen, können auch warped elastic transformations zur Anwendung kommen.
Wie dem Fachmann geläufig, besteht eine Art zur Implementierung der warped Registrierung in der Verwendung eines Mehrskalen-, Mehrgebiets, pyramidenförmigen Ansatzes. Bei solchen Ansätzen kann bei jedem Maßstab eine Veränderungen hervorhebende unterschiedliche Kostenfunktion optimiert werden. Solche Kostenfunktionen können, ohne darauf beschränkt zu sein, aus Korrelationsverfahren, wie mathematische Korrelation und Vorzeichenwechselmessung oder statistische Verfahren, wie Entropiemessungen und gegenseitiger Information bestehen. Bilder werden mit einem gegebenen Maßstab resampled und dann in mehrere Gebiete aufgeteilt. Für verschiedene Gebiete werden getrennte Verschiebungsvektoren berechnet. Die Verschiebungsvektoren werden interpoliert, um eine glatte Verschiebungstransformation zu erzeugen, die dazu verwendet wird, eines der Bilder zu warpen (verzerren). Während der Interpolationen werden Gewichtsfunktionen auf Schiebevektoren angewendet und diese Gewichtungsfunktionen können aus charakteristischen Bildmerkmalen bestimmt werden, etwa aus anatomischen Merkmalen oder den besonderen Merkmalen der Kostenfunktions-Map. Die Bilder werden resampled und der warped Registrierungsvorgang wird auf dem nächst höheren Maßstab wiederholt, bis der vorbestimmte Endmaßstab oder ein Punkt erreicht ist, an dem die Kostenfunktionsmap einen gewissen vorbestimmten Schwellwert erreicht hat. Unter anderen Umständen kann eine Kombination einer starren Registrierung und elastischer Transformationen verwendet werden.
Anschließend an die Registrierung durch das Registrierungsmodul 58 sind die zu verschiedenen Zeitpunkten aufgenommenen Bilder miteinander vergleichbar. Die Vorverarbeitungs-, Segmentierungs- und Registrierungsmodule dienen auch dazu, die Bilder insoweit miteinander vergleich bar zu machen, als sie scheinbare aber inkonsequente Unterschiede zwischen den Bildern reduzieren, die dazu führen könnten, mehr wesentliche zeitliche Veränderungen anzuzeigen als tatsächlich in dem Subjekt aufgetreten sind. Das Vergleichsmodul 62 analysiert deshalb Unähnlichkeiten (dissimilarities) zwischen den Bildern. Eine Unähnlichkeitsmessung zwischen den registrierten Bildern kann auf irgendeine von verschiedenen Arten erfolgen. Es können z.B. einfache Substraktionen benutzt werden, wobei Unterschiede auf einer pixelweisen (Pixel-für-Pixel) Grundlage analysiert werden und ein Absolutwert eines Unterschieds aufgezeichnet wird. Verbesserte Methoden beinhalten aber ein Divisionsverfahren, bei dem der Unterschied zwischen den Bildern auf pixelweiser Basis durch die Gleichung wiedergegeben werden kann: Id = (I1·I2)/(I1·I2 + Φ)worin I₁ und I₂ Bilddaten, die zu einem ersten und zu einem zweiten Zeitpunkt aufgenommen wurden, wiedergeben und Φ einen Richtungsfaktor darstellt. Der Wert I₁ gibt auf pixelweiser Basis den Wert, des Unterschieds, des Vergleichs oder des Bildes der zeitlichen Veränderung an.
Anschließend an den Vergleich der Bilder liefert das Display- und Berichtsmodul 54 Display- und Quantifizierungsmöglichkeiten für den Benutzer, um die Ergebnisse des zeitlichen Vergleichs sichtbar zu machen oder zu quantifizieren. Ergebnisse der zeitlichen Vergleiche können gleichzeitig auf einer Displayvorrichtung, etwa einem Monitor, getrennt von jedem der zeitlichen Bilder dargestellt werden. Alternativ können entweder eines oder beide der zeitlichen Bilder über einen logischen Operator, der auf einem spezifischen Kriterium beruht übereinander und über das Bild der zeitlichen Veränderung gelegt werden. Zum quantitativen Vergleich können farbige Nachschlagtabellen für die übereinander gelegten Bilder verwendet werden, um so Unterschiede oder im Zeitablauf aufgetretene Veränderungen besonders hervorzuheben. Die sich ergebende Kombination kann in einer monochromatischen oder mehrfarbigen, übereinander liegenden Darstellung präsentiert werden.
Bei der in 3 veranschaulichten Analyseroutine für die zeitliche Veränderung erlaubt der Arbeitsfluss über CAD-Algorithmen die Analyse des zeitlichen Veränderungsbildes und eines oder beider zu verschiedenen Zeitpunkten aufgenommener Bilder. Das zeitliche Veränderungsbild wird dem Benutzer unter der möglichen Zugabe der gegenwärtigen oder vorhergehenden Bilder präsentiert, wie dies im Vorstehenden erörtert wurde. Die vorliegende Technik kombiniert darüber hinaus die Zeitvergleichsverarbeitung mit Werkzeugen für computerunterstützte Analyse sowohl der ursprünglichen Bilder als auch des zeitlichen Veränderungsbildes. Dieser Aspekt der vorliegenden Technik erleichtert wesentlich die Automatisierung, die Verbesserung und die Vereinfachung des Detektionsprozesses, insbesondere des zeitlichen Veränderungsbildes. Eine detaillierte Darstellung einer typischen CAD-Technik, die für die Blöcke 50, 52 in 3 verwendet wird, ist im Nachstehenden gegeben. In der Routine nach 3 jedoch werden Merkmale auf der Grundlage des Ursprungsbildes von dem CAD-Algorithmus 50 segmentiert, klassifiziert und präsentiert. Der CAD-Algorithmus 52, der von dem CAD-Algorithmus insbesondere in seinem Segmentations- und Klassifikationsschema verschieden sein kann, wird auf die zeitlichen Vergleichsdaten, d.h. das zeitliche Veränderungsbild angewandt. Wiederum können eine oder beide dieser Analysen von dem Display und Berichtsmodul 54 präsentiert werden. Es steht zu erwarten, dass verbesserte CAD-Algorithmen oder allgemeiner CAX-Algorithmen für die weitere Analyse der Daten des Bildes der zeitlichen Veränderungen entwickelt werden. Das bedeutet, dass Vergrößerungen und Verkleinerun gen oder die Veranschaulichung oder die Nichtveranschaulichung von interessierenden Merkmalen an speziellen Orten erkannt und zur Präsentation für den Benutzer bei der Diagnose, der Behandlung und dergleichen im medizinischen Zusammenhang oder in anderem Zusammenhang zur Analyse der Qualität oder von inneren Strukturen von interessierenden Objekten klassifiziert werden können.
4 veranschaulicht eine alternative Screening-Routine für zeitliche Veränderungen, die die Berechnungseffizienz des oben beschriebenen Gesamtverfahrens wesentlich erleichtert und verbessert. Insbesondere ist bei vielen Vorgängen der Durchsatz einer effizienten Bildbetrachtung kritisch, wie etwa in medizinischen Zusammenhängen, im Zusammenhang mit der Pakethandhabung, bei der Qualitätskontrolle und dergleichen. Zusätzliche Bilder einem menschlichen Betrachter zur Verfügung zu stellen, etwa die oben beschriebenen Bilder der zeitlichen Veränderung, kann dazu führen, dass die Produktivität, insbesondere in den Fällen herabgesetzt wird, in denen keine zeitliche Veränderungen oder lediglich unbedeutende zeitliche Veränderungen aufgetreten sind. Die Routine nach 4 wendet sich solchen Fragen des Arbeitsablaufs zu. Die Lösung nach 4 beinhaltet das Initiieren eines zeitlichen Vergleichs lediglich für solche Bilder, auf denen möglicherweise interessierende Erkenntnisse festgestellt wurden. Das bedeutet, dass die allgemein mit dem Bezugszeichen 64 bezeichnete Routine der 4 die Ausführung einer speziellen CAD-Routine 66 vor der Durchführung der zeitlichen Analyse beinhaltet. Gegenwärtig ist beabsichtigt, dass die CAD-Routine 66 von der CAD-Routine 50 und/oder der CAD-Routine 52, wie sie oben erörtert wurden, verschieden sein kann und dazu dient, den Vorgang der Analyse der zeitlichen Veränderung zu initiieren. Das heißt der erste CAD-Algorithmus 66, der zum Analysieren der gegenwärtigen Bildern verwendet wird, kann eine höhere Empfindlichkeit und geringere Spezialisierung aufweisen, als die Algorithmen, die normalerweise auf solche Bilddaten angewandt werden. Wenn sich herausstellt, dass die Daten möglicherweise Merkmale speziellen Interesses, wie etwa spezielle Anatomien, Krankheitszustände, Läsionen, usw., im medizinischen Kontext oder Einschlüsse, interessierende Objekte, Fehler und dergleichen in anderem Kontext wiedergeben, werden die im Vorstehenden beschriebenen zeitlichen Vergleichsschritte initiiert. Wenn aber solche Merkmale von dem CAD-Algorithmus 66 nicht identifiziert werden, kann das Display- und Berichtsmodul 54 die sich aus der Analyse oder den ursprünglichen Bildern ergebende Information direkt präsentieren. Werden aber solche Merkmale erkannt, wird auf historische Bilder aus der Ablage 34 zugegriffen, und die Vorverarbeitungs-, Segmentierungs-, Registrierungs- und Vergleichsschritte, gefolgt von dem CAD-Algorithmus 52, werden wie vorher ausgeführt. Die Berechnung des zeitlichen Veränderungsbildes und dessen Analyse werden deshalb vermieden, ausgenommen in Fällen, bei denen möglicherweise interessierende Merkmale von dem CAD-Algorithmus 66 identifiziert worden waren. Die höhere Empfindlichkeit und die geringere Spezialisierung des Algorithmus 66 ergeben, wenn angewandt, die Gefahr einer Zunahme falscher positiver Erkenntnisse, die aber durch die Anwendung des zeitlichen Vergleichsprozesses und die mögliche Anwendung des zweiten CAD-Algorithmus gebannt werden kann. Zu beachten ist, dass die Erkenntnisse beider CAD-Algorithmen 66, 52 in ein unten beschriebenes Abgleichsmodul eingegeben werden können, um die präsentierten und berichteten Daten zusammenzufassen und zu vereinfachen.
Die vorliegende Technik liefert auch eine quantitative Analyse zeitlicher Veränderungen zwischen den Bildern. 5 veranschaulicht eine Routine 68 zur quantitativen Analyse zeitlicher Veränderungen, die die Messung und Quantifizie rung spezieller Veränderungen zwischen den Bildern ermöglicht. In dem Arbeitsfluss der 5 werden akquirierte Bilder direkt von dem Display- und Berichtsmodul 54 dargestellt und einem CAD-Algorithmus 66 zur anfänglichen Identifizierung möglicher interessierender Merkmale unterworfen. Wenn solche Merkmale identifiziert werden, wird auf frühere Bilder aus der Ablage 34 zugegriffen und diese werden den oben erläuterten Vorbehandlungs-, Segmentierungs-, Registrierungs- und Vergleichmodulen unterworfen. Auf der Grundlage des Vergleichs nimmt ein quantitatives Analyse-Modul 70 Messungen von charakteristischen Merkmalen des Zeitveränderungsbildes vor. Auch diese Information kann in dem Display- und Berichtsmodul 54 präsentiert werden. Das quantitative Analyse-Modul 70 erlaubt eine tatsächliche Messung spezieller Veränderungen, etwa durch Abzählen oder Sammeln einer Anzahl von Pixel oder Voxel, bei denen signifikante Unterschiede zwischen den Bildern vorliegen. Zu bemerken ist, dass wenngleich in der ganzen vorliegenden Diskussion auf den Vergleich von Pixeln zweier oder mehrerer Bilder Bezug genommen ist, alle die vorliegenden Techniken auch auf dreidimensionale Bilder und Bilddatensätze angewandt werden können, etwa um Veränderungen in drei Dimensionen festzustellen, so dass der Prozess auf Situationen angewandt werden kann, bei denen die spezielle Registrierung und Präsentation eines Objektes in einer Bilderserie wegen einer aktuellen Bewegung oder Positionierung des Subjekts in dem Bildgebungssystem sich im Laufe der Zeit verändert hat. Durch Verwendung des quantitative Analyse-Modul 70 können so Merkmale, wie etwa verdächtige Läsionen, automatisch in einem gegenwärtigen Bild, einem vorhergehenden Bild oder mehrerer vorhergehenden Bildern detektiert werden, und es kann das gleiche Gebiet mit einem zeitlichen Vergleich und einer Analyse auf zeitliche Veränderungen identifiziert werden. Damit können das Wachstum oder die Kontraktion eines Knotens, das Erscheinungsbild eines Pneumothorax z.B., quan titativ gemessen werden. Wiederum kann die quantitative Information zusammen mit dem Bild oder den Bildern der zeitlichen Veränderung, den CAD-Bildern, den ursprünglichen Bildern und dergleichen berichtet werden. Zu bemerken ist auch, dass das quantitative Analyse-Modul im Zusammenhang mit irgendeinem der beschriebenen Datenflüsse beim zeitlichen Vergleich verwendet werden kann.
Wie oben erwähnt, kann die vorliegende Technik mit einer Abgleichsroutine verwendet werden, bei der ein Maschinen- oder menschlicher Leser Diskrepanzen zwischen Analysen feststellt. Solche Diskrepanzen können typischerweise Übereinstimmungen und Differenzen etwa bei der Erkennung oder Klassifizierung von interessierenden Merkmalen in zeitlich voneinander verschiedenen Bildern beinhalten. 6 veranschaulicht eine Routine 72 zum Abgleichen zeitlicher Veränderungen, die einen solchen Abgleich implementiert. In der Routine 72 wird auf gegenwärtige und frühere Bilder zugegriffen und ein CAD-Algorithmus 74 auf beide angewandt. Der CAD-Algorithmus 74 segmentiert und klassifiziert interessierende Merkmale und Bilddaten, und diese Ergebnisse werden einem Abgleichsmodul 76 zugeführt. Das Abgleichsmodul 76 erkennt, ob zwischen den Ergebnissen der CAD-Analyse bedeutungsvolle Unterschiede bestehen. Wie bei einem Entscheidungsblock 78 angedeutet, können wenn die Ergebnisse der Analyse der zu verschiedenen Zeitpunkte aufgenommenen Bilder konsistent sind, die Bilddaten, die rekonstruierten Bilder oder die Ergebnisse der Analyse von dem Display und Berichtsmodul 54 dargestellt werden. Wenn auf der anderen Seite zwischen den Analysen Unterschiede oder Diskrepanzen vorhanden sind, wird ein Zeitvergleichsmodul 80 wirksam gemacht und die Vorverarbeitung, Segmentierung, Registrierung werden, wie oben beschrieben, durchgeführt. Das Zeitvergleichsmodul 80 kann außerdem spezielle CAD Algorithmen, wie etwa die zur Bearbeitung von zeitlichen Veränderungs bildern ausgelegten Algorithmen, wie auch quantitative Analyse-Algorithmen zur Quantifizierung von über der Zeit auftretenden Veränderungen und dergleichen ausführen. Die Ergebnisse dieser Analyse werden dann von dem Display- und Bericht Modul 54 präsentiert.
7 veranschaulicht eine alternative Routine 82 zum Abgleich der zeitlichen Veränderungen. In der Routine 82 wird auf gegenwärtige und vorherige Bilddaten zugegriffen und diese werden über CAD Algorithmen 74, wie sie oben unter Bezugnahme auf 6 beschrieben wurden, analysiert. Ein Anfangsdisplay und – Berichtsmodul 84 präsentiert aber beide Bilder (oder mehrere Bilder von mehreren Zeitpunkten) einem menschlichen Beobachter. Der menschliche Beobachter kann dann die Bilder analysieren, um Merkmale von möglichem Interesse zur weiteren Analyse zu identifizieren. Die Eingabe des menschlichen Beobachters und die Ergebnisse der Analyse beider Bildersätze durch den CAD Algorithmus 74 werden einer Abgleichseinrichtung 86 (reconciler) unterworfen. Ebenso wie bei der oben beschriebenen Abgleichseinrichtung 76 identifiziert die Abgleichseinrichtung 86 Diskrepanzen, das heißt, Übereinstimmungen und Unterschiede zwischen der von dem CAD Algorithmus und der von dem menschlichen Beobachter vorgenommenen Segmentierung und/oder Klassifizierung. Wenn keine solchen Diskrepanzen vorhanden sind, was ein Entscheidungsblock 88 feststellt, erzeugt ein Display- und Berichtsmodul 92 eine Ausgangsgröße zur weiteren Benutzung und Speicherung. Wenn auf der anderen Seite solche Diskrepanzen zwischen irgendwelchen Eingaben in die Abgleichseinrichtung 86 festgestellt werden, wird das Zeitvergleichsmodul 90 initiert und es werden eine Vorverarbeitung, Segmentierung, Registrierung, ein Vergleich, gefolgt von einer CAD-Analyse und, falls gewünscht, eine quantitative Analyse in Gang gebracht.
In den oben beschriebenen Prozessen und Arbeitsabläufen sind verschiedene Arten von CAD-Algorithmen implementiert. Wie für den Fachmann verständlich, kann die CAD-Verarbeitung abhängig von der Art der Analyse, des Bildtyps und der Art des interessierenden Merkmals verschiedene Formen annehmen. 8 veranschaulicht beispielhaft eine exemplarische CAD-Routine 94 die an solche Anwendungen angepasst werden kann. Beispielsweise kann im medizinischen Zusammenhang ein Arzt eine, eine spezielle Krankheit betreffende Information, unter Verwendung der hier beschriebenen zeitlichen Daten gewinnen. Ein CAD-Algorithmus mit der Fähigkeit zur zeitlichen Analyse wird deshalb zur Analyse von Veränderungen vorgeschlagen. Als weiteres Beispiel können in CT-Systemen auf Bildern sichtbare, interessierende Merkmale durch eine temporäre Mammographiemassenanalyse bestimmt werden. Eine solche Massenidentifikation kann lediglich zur Detektion ausgeführt werden, etwa um das Vorhandensein oder Nichtvorhandensein verdächtiger, möglicher Läsionen zu identifizieren oder kann die Gestalt einer Diagnose annehmen, das heißt, die Klassifizierung der festgestellten Läsionen als entweder gutartig oder bösartig.
Bei der Implementierung der in 8 dargestellten CAD-Routine 94 kann auf Eingabedaten 96 entweder direkt von einer Quelle, etwa einem CT-Datenakquisitionssystem oder von verschiedenen Diagnosebilder-Datensätzen, wie sie etwa in einer oben erläuterten Datenablage 34 gespeichert sind, zugegriffen werden. Ein Segmentierungsmodul 98 definiert dann interessierende Gebiete, um zu berechnen, ob bestimmte Merkmale in den Bilddaten erkennbar sind. Das interessierende Gebiet kann auf verschiedene Arten definiert werden. So kann zum Beispiel der ganze Datensatz als ein interessierendes Gebiet definiert werden. Alternativ kann ein Teil der Daten etwa ein Kandidatenmassegebiet in einem speziellen Gebiet betrachtet werden. Die Segmentierung des interessie renden Gebietes kann entweder von Hand oder automatisch geschehen. Eine Segmentierung von Hand beinhaltet die Darstellung der Daten und die Umgrenzung eines Gebiets durch einen Benutzer mittels einer Eingabevorrichtung, etwa einer Maus oder einem anderen geeigneten Interface. Ein automatisierter Segmentierungsalgorithmus kann frühere Kenntnisse, wie etwa die Gestalt, Größe oder andere charakteristische Bildmerkmale typischer ähnlicher Merkmale dazu ausnützen, automatisch den interessierenden Bereich zu umgrenzen. Eine halbautomatisierte Methode kann Handsegmentierung und automatisierte Segmentatierung in Kombination benutzen.
Ein Merkmalsextraktionsmodul 100, dass ein optionales Modul in der Routine sein kann, beinhaltet die Ausführung von Berechnungen an den von der jeweiligen Quelle kommenden Daten. So können z.B. die bildbasierten Daten in dem interessierenden Gebiet analysiert werden, um statistische Angaben bezüglich der Gestalt, Größe, Dichte, Krümmung und so fort, zu bekommen. Bei akquisitionsbasierten Daten und patientenbasierten Daten, wie sie im medizinischen Zusammenhang verwendet werden, können die Daten selbst als die extrahierten Daten dienen.
Nachdem die Merkmale segmentiert sind und, falls gewünscht, eine Merkmalsextraktion vorgenommen worden ist, hilft ein Klassifizierungsmodul 102 die interessierenden Gebiete gemäß irgendeiner zweckentsprechenden Art von Klassifikation zu klassifizieren. Zum Beispiel im medizinischen Zusammenhang können Massen nach ihrer Art gemäß der Wahrscheinlichkeit klassifiziert werden, dass sie gutartig oder bösartig sind oder dergleichen. Solche Klassifizierer beinhalten einen weiten Bereich von Algorithmen, wie etwa Bayesianische Klassifizierer, neurale Netzwerke, regelbasierte Methoden, Fuzzy-Logic-Methoden und so weiter. Zu bemerken ist, dass die CAD-Routine einmal durch Inkorporieren von Merkmalen aller Daten ausgeführt werden kann und dass sie auch parallel ausgeführt werden kann. Die parallele Anwendung von CAD Algorithmen kann die Wirksamkeit der CAD Operationen verbessern. So können z.B. individuelle Operationen an den Datensätzen durch die Ergebnisse individueller Module des CAD Algorithmus oder dadurch beeinflusst werden, dass die Ergebnisse von CAD Operationen durch logische Operatoren wie AND, OR, NOT Operationen oder Kombinationen von denselben kombiniert werden. Zusätzlich können verschiedene CAD-Algorithmen und Operationen implementiert sein, um mehrere Merkmale, Gegenstände, Krankheitszustände und so weiter, seriell oder parallel zu detektieren, wie in dies unter Bezugnahme auf 9 im Folgenden noch im Einzelnen erläutert werden wird. Anschließend an die Klassifizierung bei dem Modul 102 wird üblicherweise irgendeine Art Visualisierung bevorzugt angewandt, wie dies mit dem Block 104 in 8 angedeutet ist. Die Visualisierung kann wiederum über einen gebräuchlichen oder einen anwendungsspezifischen Monitor, über Hardcopy, Ausdrucke, Film oder in anderer geeigneter Weise geschehen.
Zu bemerken ist, dass die CAD-Routine spezielle, sich auf die Bilder beziehende Information oder allgemeine Information benutzen kann, die sich auf Kenntnisse bezüglich spezieller interessierender Merkmale bezieht, die in den Bildern für den Merkmalsextraktions- und den Klassifizierungsschritt, wie auch für die Segmentierung, erwartet werden. Wie in 8 veranschaulicht, sind Akquisitionsparameter 106 in der Regel für die Art und Weise relevant, mit der interessierende Merkmale präsentiert und von den Bildern identifiziert werden können. Zu solchen Akquisitionsparametern können typischerweise die Bauarten des die Bildprotokolle erzeugenden Systems und die Einstellungen gehören, die zur Erzeugung der Bilddaten benutzt werden und dergleichen. Darüber hinaus sind verschiedene Arten früherer Kenntnisse bei dem CAD-Prozess von Vorteil, wie dies mit dem Block 108 angedeutet ist. Solche früheren Kenntnisse können typischerweise statistische Analysen ähnlicher Merkmale oder Objekte umfassen, die in den Bildern zur Analyse identifiziert werden können. Viele Arten charakteristischer Merkmale können durch die Analyse von Bilddaten identifiziert werden, und die frühere Kenntnis ähnlicher Charakteristika, die sich bei bestätigten Merkmalen der gleichen Art zeigen, ist für die Merkmalsextraktions- und Klassifizierungsmodule äußerst zweckmäßig, wenngleich diese Information auch bei der Segmentierung benutzt werden kann. Schließlich können in dem Prozess auch andere Faktoren berücksichtigt werden, insbesondere zur Klassifizierung, wie dies durch einen Block 110 in 8 angedeutet ist. Derartige Faktoren können demographische Faktoren, Risikofaktoren und dergleichen umfassen, die bei der endgültigen Klassifizierung irgendwelcher erkannter Merkmale in den Bilddaten helfen können.
Bei einem bevorzugten Prozess ist eine Art Training des CAD-Algorithmus vorgesehen, wie etwa durch das Einführen früherer Kenntnisse bekannter und bestätigter interessierender Merkmale. Trainingsphasen dieser Art können die Berechnung verschiedener Kandidatenmerkmale auf der Grundlage bekannter Muster, wie etwa gutartiger und bösartiger Masse im medizinischen Zusammenhang beinhalten. Ein Merkmalsauswahl-Algorithmus wird sodann dazu verwendet, die Kandidatenmerkmale zu sortieren und lediglich die Merkmale auszuwählen, die zur Bestätigung oder zum Verwerfen einer bestimmten Segmentierung, zur Merkmalsextraktion und zur Klassifizierung von Kandidaten zweckdienlich sind. Andere zweckdienliche Merkmale oder Eigenschaften werden vorzugsweise zurückgehalten, um die Redundanz zu verringern und die Recheneffizienz zu erhöhen. Solche Entscheidungen werden typischerweise auf der Grundlage der Klassifizierung von Ergebnissen mit verschiedenen Kombinationen von Merkmals kandidaten getroffen. Der verwendete Merkmalsauswahl-Algorithmus wird auch dazu benutzt, die Umfänglichkeit vom praktischen Standpunkt aus zu verringern, um damit die Recheneffizienz weiter zu verbessern. Es wird damit ein Merkmalssatz abgeleitet, der optimal zwischen interessierenden Merkmalen, wie etwa gutartigen und bösartigen Massen im medizinischen Zusammenhang, diskriminiert. Dieser optimale Merkmalssatz wird in der CAD-Routine in interessierenden Gebieten extrahiert. Die Auswahl optimale Merkmale kann unter Verwendung vieler Techniken durchgeführt werden, wie etwa mit bekannten Abstandsmesstechniken einschließlich Versionsmessungen, Bhattacharya Abstandsmessungen, Mahalanobis Abstandmessungen usw..
Die bei der vorliegenden Technik verwendeten CAD-Algorithmen können sich voneinander unterscheiden und es können in der Tat zahlreiche verschiedene CAD-Algorithmen benutzt werden. Zum Beispiel können, wie oben beschrieben, Algorithmen zur Parallel-Analyse von Bilddaten verwendet werden oder sie können seriell verwendet werden, wie etwa um eine zeitliche Analyse nur dann auszulösen, wenn spezielle interessierende Merkmale in den Bilddaten vorhanden oder betrachtbar sein können. Parallele CAD-Algorithmen können auch auf die gleichen oder verschiedene Merkmale angewendet werden oder auf verschiedenen Empfindlichkeits- und Spezialisierungsniveaus, wobei, wie oben erläutert, ggfs. Abgleicheinrichtungen (Reconciler) Verwendung finden können. Darüberhinaus wird, wie oben erwähnt, erwartet, dass CAD-Algorithmen zur zeitlichen Analyse immer weiter und insbesondere zur Bearbeitung von Zeitveränderungsbildern entwickelt werden. Dazu können Algorithmen zur quantitativen Analyse von Veränderungen über die Zeit gehören.
Wie ebenfalls oben erwähnt, können gewisse CAD-Algorithmen parallel ausgeführt oder implementiert werden, wie dies allgemein in 9 veranschaulicht ist. Die CAD-Routine zur interaktiven zeitlichen Analyse, die in 9 allgemein mit dem Bezugszeichen 112 angedeutet ist, erlaubt die Analyse von zeitlichen Veränderungen zwischen den Bildern über einen interaktiven oder verschachtelten Betrieb von CAD-Modulen der oben beschriebenen Art. Beispielsweise wird auf Bilddatensätze 96 von verschiedenen Zeitpunkten zugegriffen und eine Segmentierung wird bei jedem durch ein Segmentierungsmodul 98 von zwei parallelen CAD-Algorithmen ausgeführt. Im Allgemeinen können die CAD-Algorithmen gleicher Art sein. Sie können aber auch etwa hinsichtlich der Empfindlichkeit oder der Spezialisierung voneinander unterschiedlich sein oder sie können dazu zweckdienlich sein, verschiedene interessierende Merkmale zu identifizieren. Bei dem Schritt 114 werden die segmentierten Bilder oder segmentierten Bildteile durch ein speziell dazu eingerichtetes Registrierungsmodul registriert. Die Funktion des Registrierungsmoduls 114 kann grundsätzlich ähnlich jener des oben besprochenen Regsitrierungsmoduls 60 sein. Sie kann aber auch speziell an besondere Arten von Bildern oder an eine Segmentierung angepasst sein, wenn die von dem jeweiligen CAD-Algorithmus der Routine ausgeführte Segmentierung unterschiedlich ist. Die Ergebnisse der Registrierung werden einem Vergleichsmodul 116 zugeleitet, das bestimmt, ob die Ergebnisse der Segmentierung konvergent oder divergent sind. Die Ausgangsgröße der Registrierung kann auch den Merkmalsextraktionsmoduln 100 zugeleitet werden. Von diesem Punkt an können Daten zwischen den Modulen jedes CAD-Algorithmus ausgetauscht oder in einer komplementären Weise zur Verbesserung der Merkmalsextraktion, der Klassifizierung und der schlussendlichen Visualisierung verwendet werden. Bestimmte Ergebnisse der CAD-Algorithmen werden damit vor der Merkmalsidentifizierung miteinander vermengt. Der sich ergebende Prozess erlaubt es, zeitliche Unterschiede zwischen den Bildern zu identifizieren, wobei Merkmalsübereinstimmun gen und Unterschiede berücksichtigt werden, um zu einer synergetischen Analyse der zeitlichen Daten zu gelangen, die von den verschiedenen Datensätzen wiedergegeben sind.
Wenngleich die Erfindung vieler Abwandlungen und alternativer Formen fähig ist, wurden hier beispielhaft in der Zeichnung spezielle Ausführungsformen in der Zeichnung dargestellt, die im Einzelnen hier beschrieben sind. Es versteht sich aber, dass die Erfindung nicht auf die speziellen geoffenbarten Formen beschränkt ist. Die Erfindung umfasst vielmehr alle Abwandlungen, Äquivalente und Alternativen, die in dem Schutzbereich der nachfolgenden Patentansprüche fallen.

10: Bildgebungssystem
12: Bildgebungsgerät
14: Subjekt
16: Bildgebungsgerät-Steuerschaltung
18: Bilddatenakquisitionsschaltung
20: Systemsteuerschaltung
22: Bedienerarbeitsstation
24: Speichermedia
26: Bilddatenverarbeitungsschaltung
28: Fernsteuerungs-/Verarbeitungs-/Betrachtungsstationen
30: Netzwerklinks
32: Analysesystem der zeitlichen Veränderung
34: Ablage
36: Bildersatz
38: früherer Bildersatz
40: Bildratenverarbeitungsschaltung
42: CAD-Modul (e)
44: Ausgabesystem
46: Analyse-Routine der zeitlichen Veränderung
48: Akquisitionsmodul
50: CAD 1 Modul
52: CAD 2 Modul
54: Display- und Berichtsmodul
56: Vorverarbeitungsmodul
58: Segmentierungsmodul
60: Registrierungsmodul
62: Vergleichsmodul
64: Screening-Routine für die zeitliche Veränderung
66: CAD-Algorithmus-Modul
68: Routine zur quantitativen Analyse der zeitlichen Ver
: änderung
70: quantitative Analyse-Modul
72: Routine zum Abgleichen der zeitlichen Veränderungen
74: CAD-Modul
76: Abgleicheinrichtung
78: Modul zum Ingangsetzen des zeitlichen Vergleichs
80: Modul zum zeitlichen Vergleich
82: Abgleich der zeitlichen Veränderung
84: Anfangsdisplay-/Bericht-Modul
86: Abgleichseinrichtung
88: Modul zum Ingangsetzen des zeitlichen Vergleichs
90: Zeitliches Vergleichsmodul
92: End-Display-/Berichts-Modul
94: CAD-Routine
96: Eingabedaten
98: Segmentierungsmodul
100: Merkmalsextraktionsmodul
102: Klassifizierungsmodul
104: Visualisierungsmodul
106: Akquisitionsparameter
108: frühere Kenntnisse
110: verschiedene Faktoren
112: CAD-Routine zur interaktiven zeitlichen Analyse
114: Registrierung
116: Vergleich

Claims

Verfahren zum Analysieren von Bilddaten, das beinhaltet: – Erzeugen eines Bildes (56,58,60,62) der zeitlichen Veränderung basierend auf einem ersten und einem zweiten Bild (36,38) von jeweils verschiedenen Zeitpunkten durch Segmentieren (58) des ersten und zweiten Bilder und Registrieren (60) wenigstens eines Teiles der segmentierten Bilder; und – Analysieren des Bildes der zeitlichen Veränderung über wenigstens einen CAD-Algorithmus (50,52).
Verfahren nach Anspruch 1, bei dem das Analysieren des Bildes der zeitlichen Veränderungen über den CAD-Algorithmus das Diagnostizieren eines physikalischen Zustands eines Patienten beinhaltet.
Verfahren nach Anspruch 1, bei dem der CAD-Algorithmus (36,38) wenigstens ein interessierendes Merkmal in dem Bild der zeitlichen Veränderung identifiziert.
Verfahren nach Anspruch 1, das das Ausführen einer quantitativen Analyse (70) an dem Bild der zeitlichen Veränderung beinhaltet.
Verfahren nach Anspruch 4, bei dem die quantitative Analyse (70) das Bestimmen einer Veränderung der Größe eines interessierenden Merkmals zwischen dem ersten und dem zweiten Bild auf der Basis des Bildes der zeitlichen Veränderung beinhaltet.
Verfahren nach Anspruch 1, das das Präsentieren eines Berichtes (54) an einen Benutzer zusammen mit wenigstens einem von dem ersten Bild (36), dem zweiten Bild (38) und dem Bild der zeitlichen Veränderung beinhaltet.
Verfahren nach Anspruch 1, bei dem das erste und das zweite Bild (36,38) mit verschiedenen Bildgebungsmodalitäten erzeugt werden.
Verfahren nach Anspruch 1, das das Analysieren wenigstens des ersten Bildes über einen zweiten CAD-Algorithmus (52) beinhaltet.
System zur Analysierung von Bilddaten, das aufweist: – Mittel, um ein Bild der zeitlichen Veränderung basierend auf ersten und zweiten Bilddaten von verschiedenen Zeitpunkten durch Segmentieren des ersten und des zweiten Bildes und Registrieren wenigstens eines Teiles der segmentierten Bilder zu erzeugen; und – Mittel zum Analysieren des Bildes der zeitlichen Veränderung über wenigstens einen CAD-Algorithmus.
System zum Analysieren von Bilddaten das aufweist: – Mittel zum Analysieren eines ersten Bildes von einem ersten Zeitpunkt über einen CAD-Algorithmus und Analysieren eines zweiten Bildes von einem zweiten Zeitpunkt über einen CAD-Algorithmus. – Mittel zum Vergleichen der Ergebnisse der Analyse des ersten und des zweiten Bildes; und – Mittel zum interaktiven Analysieren des ersten und zweiten Bildes auf der Grundlage des Vergleiches.