DE69818161T2

DE69818161T2 - Automatisierte Gruppierung von sinnvollen Sätzen

Info

Publication number: DE69818161T2
Application number: DE69818161T
Authority: DE
Inventors: Allen Louis Berkeley Heights Gorin; Jeremy Huntley Warren Wright
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1997-07-11
Filing date: 1998-07-03
Publication date: 2004-04-08
Anticipated expiration: 2018-07-04
Also published as: ES2210623T3; EP0890942A3; DE69818161D1; EP0890942A2; JPH11143491A; EP0890942B1; CA2235364C; CA2235364A1; JP4053141B2; US5860063A

Description

HINTERGRUND DER ERFINDUNG
1. Erfindungsgebiet
Diese Erfindung betrifft die Sprachverarbeitung und insbesodere ein System und ein Verfahren zur automatischen Gruppie- rung von sinnvollen Sätzen in Bezug auf die Leistung von einer oder mehreren Aufgaben.
2. Beschreibung des Standes der Technik
In Nachrichtennetzwerken gibt es viele Fälle, wo es wünschenswert ist, für die automatische Implementierung von besonderen Aufgaben zu sorgen, die von einem Benutzer eines solchen Netzwerkes erwünscht sind -- d. h. die Implementierung einer solchen Aufgabe ohne menschlichen Eingriff. Im Stand der Technik wird eine solche automatische Aufgabenimplementierung allgemein mithilfe einer Mehrzahl an Menüauswahlen durchgeführt, die durch bestimmte Signale von einem Benutzer – allgemein numerische Signale, die von einer Tastatur erzeugt werden, die mit einem Telefonapparat des Benutzers verknüpft ist – und in einigen Fällen durch den Benutzer, der solche Zahlen als Schlüsselworte ausspricht, ausgewählt werden müssen. In einigen Fällen beinhalten einem Menü zugrundeliegende automatische Aufgabenimplementierungsanordnungen mehrstufige Menüs. Solche mehrstufigen Menüaufbauten sind im allgemein nicht sehr beliebt für Benutzer und beim Erzielen der gewünschten Aufgabe beträchtlich ineffizient. Der Prozentsatz der erfolgreichen Leitwegführungen in einem mehrstufigen Menüaufbau kann relativ niedrig sein. Anders dargelegt, könnten unter solchen Umständen viele der Anrufe, die auf einen solche mehrstufige Menüstruktur zugreifen, entweder beendet werden, ohne dass der Anrufer das gewünschte Ziel erreicht hat, oder sie könnten andernfalls einem Operator zugeführt werden (oder eine anders besetzte vorgegebene Stelle).
Den Grenzen aus dem Stand der Technik begegnete man in der Patentschrift US-A-5 794 193, "Automated Phrase Generation", und in der Patentschrift US-A-5 675 707 "Automated Call Routing System", die beide am 15. September 1995 eingereicht wurden. Diese Schriften stellen eine Methode für die automatische Aufgabenauswahl bereit, worin die ausgewählte Aufgabe in der natürlichere Sprache eines eine solche Auswahl treffenden Benutzers identifiziert wird. Ein fundamentaler Aspekt dieses Verfahrens ist die Bestimmung einer Reihe von sinnvollen Sätzen. Diese sinnvollen Sätze werden von einem grammatikalischen Rückschluss-Algorithmus bestimmt, der an einem vorbestimmten Corpus an Sprachausdrücken arbeitet, wobei jeder dieser Ausdrücke mit einem speziellen Aufgabenziel verknüpft wird, und worin jeder Ausdruck mit seinem dazugehörigen Aufgabenziel markiert wird.
Die in der oben geschilderten Anwendung verwendete Bestimmung der sinnvollen Sätze findet man im Konzept der Kombination eines Maßes der Geläufigkeit an Worten und/oder einer Struktur innerhalb der Sprache -- d. h. wie häufig Gruppierungen von Dingen zusammen erfolgen -- mit einem Maß der Bedeutung in Bezug auf eine bestimmte Aufgabe für eine solche Gruppierung. Dieses Maß an Geläufigkeit innerhalb der Sprache kann als wechselseitige Information in n-grams erscheinen, die von einer Datenbank aus Schulungs-Sprachausdrücken hergeleitet wird, und das Maß der Nützlichkeit in Bezug auf eine Aufgabe erscheint als ein Maß an Ausgeprägtheit.
Die wechselseitige Information ("MI" = Mutual Information), die die Wahrscheinlichkeit des Mit-Auftretens für zwei oder mehrere Worte misst, involviert nur die Sprache selbst . Bei Vorgabe von z. B. Krieg und Frieden in Original-Russisch könnte man die wechselseitige Information für alle möglichen Wortpaare in diesem Text berechnen, ohne überhaupt ein Wort der Sprache zu verstehen, in der sie geschrieben ist. Im Gegensatz dazu involviert das Rechen der Ausgeprägtheit sowohl die Sprache als auch ihre extra-linguistischen Verknüpfungen für eine Umgebung der Vorrichtung. Mittels der Verwendung einer solchen Kombination aus der MI- und einem Ausgeprägtheitsfaktor werden sinnvolle Sätze ausgewählt, die sowohl eine positive MI (die eine relativ enge Verknüpfung zwischen den Worten anzeigt, die den Satz umfassen) als auch einen hohen Ausgeprägtheitswert aufweisen.
Jedoch basieren diese Verfahren auf die Wahrscheinlichkeit, dass in einem besonderen Eingabausdruck unabhängige Reihen an ausgeprägten Worten auftreten. Beispielsweise würden die ausgeprägten Sätze "habe ein Ferngespräch gemacht", "ein Ferngespräch" und "Ferngespräch", aufgrund ihrer individuellen wechselseitigen Information und Ausgeprägtheitswerte durch diesen grammatikalischen Rückschluss-Algorithmus als unabhängige sinnvolle Sätze bestimmt, obwohl sie von den Benutzern zum Erreichen desselben Ziels gesprochen werden. Solchermaßen werden viele einzelne Sätze, die virtuell identisch sind und dieselbe Bedeutung haben, erzeugt, bleiben getrennt und stellen unabhängige Wahrscheinlichkeiten des Auftretens im grammatikalischen Rückschluss-Algorithmus dar. Indem diese "ähnlichen" ausgeprägten Sätze nicht gruppiert werden, könnten die obigen Verfahren schlechtere Wahrscheinlichkeits-Schätzwerte bereitstellen und solchermaßen letztlich für die falsche Leitwegführung der Anfragen von den Benutzern sorgen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Verfahren und ein System für die automatische Aufgabenklassifizierung, wie in den Ansprüchen 1–16 beansprucht, wird bereitgestellt, worin eine ausgewählte Aufgabe von der natürlichen Sprache des die Wahl treffenden Benutzers identifiziert wird. Das Verfahren und das System schließen die Wahl der sinnvollen Sätze mittels der Verwendung eines Tests für die Bedeutung ein. Die ausgewählten sinnvollen Sätze werden dann mittels Verwendung einer Kombination von Folgen und von semantischen Verzerrungen gruppiert. Die Gruppierungen von sinnvollen Sätzen werden an einen Spracherkenner eingegeben, der bestimmt, ob irgendwelche Gruppierungen von sinnvollen Sätzen in der Eingabesprache vorliegen. Daraufhin werden Aufgaben-artige Entscheidungen auf der Grundlage der Gruppierungen von erkannten sinnvollen Sätzen getroffen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht Beispiele für die falsche und verpasste Erfassung durch einen Klassifizierer für ein auto matisches Anruf-Leitwegführung-System auf der Grundlage der Verwendung von "sinnvollen Sätzen";
2 veranschaulicht Beispiele der richtigen Erfassung durch einen Klassifizierer für ein automatisches Anruf-Leitwegführung-System auf der Grundlage der Verwendung von "sinn- vollem Sätzen";
3 veranschaulicht ein Beispiel für den Vorteil, der vom "sinnvollen Satz"-Klassifizierungsparameter des Systems der Erfindung bereitgestellt wird;
4 zeigt in Blockdiagrammform eine beispielhafte Struktur des Systems der Erfindung;
5 schildert das Verfahren der Erfindung in Flussdiagrammform;
6 veranschaulicht eine Gruppierung für einen sinnvollen Satz (Meaningful Phrase Cluster);
7 veranschaulicht eine Gruppierung für einen sinnvollen Satz (Meaningful Phrase Cluster) mittels Verwendung einer annähernden Übereinstimmung; und
8 ist ein Graph der ROC-Kurven, der die Leistung des Systems darstellt.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Die folgende Erörterung wird teilweise im Sinne von Algorithmen und symbolischen Darstellungen der Betriebe auf Datenbits innerhalb eines Computersystems dargelegt. Wie verständlich sein wird, sind diese algorithmischen Beschreibungen und Darstellungen ein Mittel, das für gewöhnlich von Fachleuten auf Computerverarbeitungsgebieten verwendet wird, um die Substanz ihrer Arbeit an andere Fachleute zu befördern.
Wie hierin (und allgemein) verwendet, kann ein Algorithmus als eine in sich geschlossene Schrittabfolge angesehen werden, die zu einem gewünschten Ergebnis führt. Diese Schritte beinhalten im allgemeinen Manipulierungen von physikalischen Größen. Für gewöhnlich – obwohl nicht notwendigerweise – nehmen diese Größen die Form von elektrischen oder magnetischen Signalen an, die in der Lage sind, gespeichert, überführt, kombiniert, verglichen oder auf eine andere Art und Weise manipuliert zu werden. Zur Bequemlichkeit der Beschreibung und um des Verhaltens mit einem allgemeinen Verwendung willen werden diese Signale von Zeit zu Zeit im Sinne von Bits, Werten, Elementen, Symbolen, Zeichen, Begriffen, Zahlen oder dergleichen beschrieben werden. Jedoch sollte hervorgehoben werden, dass diese und ähnliche Begriffe mit den richtigen physikalischen Größen verknüpft werden müssen -- wobei diese Begriffe bloß vorteilhafte, an diesen Größen angelegte Etiketts sind.
Es ist wichtig, sowohl die Unterscheidung des Verfahrens der Betriebe und des Betreibens eines Computers als auch das Verfahren der Berechnung selbst zu berücksichtigen. Die vorliegende Erfindung betrifft Verfahren zum Betreiben eines Computers beim Verarbeiten von elektrischen oder anderen (z. B. mechanischen, chemikalischen) physikalischen Signalen, damit andere gewünschte physikalische Signale erzeugt werden.
Um der Erläuterung willen, wird die darstellende Ausführungsform der vorliegenden Erfindung als einzelne Funktionsblöcke umfassend (einschließlich von Funktionsblöcken, die als "Prozessoren" gekennzeichnet sind) dargelegt. Die Funktionen, die diese Blöcke darstellen, können mittels Verwendung von entweder einer geteilten oder zweckgebundenen Hardware einschließlich einer Hardware, die in der Lage ist, eine Software auszuführen (aber nicht darauf beschränkt) bereitgestellt werden. Zum Beispiel können die Funktionen der in der 4 gezeigten Prozessoren von einem einzelnen geteilten Prozessor bereitgestellt werden. (Die Verwendung des Begriffs "Prozessor" sollte nicht so gedeutet werden, als betreffe er ausschließlich eine Hardware, die in der Lage ist, eine Software auszuführen.) Darstellende Ausführungsformen können eine Mikroprozessor- und/oder Digital-Signal-Prozessor-(DSP)-Hardware wie beispielsweise die AT&T DSPI6 oder DSP32C, einen Festspeicher (ROM) zum Speichern der die unten erörterten Betriebe durchführenden Software und einen Direktzugriffspeicher (RAM) zum Speichern von Ergebnissen umfassen. Hardware-Ausführungsformen mit sehr hohem Integrationsgrad (VLSI) sowie eine kundenspezifische VLSI-Schaltung in Kombination mit einem Allzweck-DSP-Stromkreis können ebenfalls bereitgestellt werden.
Ein fundamentales Ziel der Erfindung ist ein Aufgaben-Auswahl-Verfahren, das die Kommunikation zwischen einem menschlichen Benutzer und der Vorrichtung beinhaltet und das die Last des Verstehens eines bestimmten Vokabulars vom Benutzer auf die Vorrichtung verschiebt. Solchermaßen wird die Erfindung in einer allgemeinen Ausführungsform als ein Aufgaben-Auswahl-Verfahren dargestellt, das die folgenden Merkmale hat: Als erstes wird einem Benutzer, der auf ein System zugreift, ein Gruß so ähnlich wie "Wie kann ich Ihnen helfen?" vorgelegt.
Nachdem der Benutzer mit einer natürlichen Spracherklärung über sein Ziel (wie beispielsweise die Implementierung einer gewünschten Aufgabe) antwortet, kann die Anfrage des Benutzers in eine einer Anzahl an vorbestimmten Aufgabenzielen klassifiziert werden, wobei das Aufgabenziel danach implementiert wird.
In der hiernach beschriebenen bevorzugten Ausführungsform der Erfindung wird die Implementierung des Systems und des Verfahrens der Erfindung gelegentlich von beispielhaften Applikationen in Form der von einem Benutzer angeforderten Aufgaben dargestellt, die von einem Telefonsystem oder Netzwerk durchgeführt werden sollen. In solchen beispielhaften Applikationen können Aufgabenziele für einen Benutzer Anruf-Abrechnungsoptionen (z. B. R-Gespräch, Dritte), eine Wählinformation, Abrechnungsfragen, Kreditanfragen (wie für eine falsche oder falsch gewählte Nummer), eine Ortskennzahl, usw. einschließen.
I. DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
In traditionellen Kommunikationsumgebungen wird häufig ein Benutzer benötigt, um unabhängige Nummern und/oder Wählmuster zu kennen, um auf verschiedene Dienste zugreifen zu können, die an einem gegebenen Kommunikations-Bestimmungsort erhältlich sind, sowie möglichst ein Menü-betriebenes System navigieren zu müssen, das dann den Benutzer zum gewünschten Ziel führt. Mit dem System und dem Verfahren der Erfindung ist der Benutzer in der Lage, auf eine zentrale Nummer zuzugreifen, und das Ziel des Benutzers wird vom Kommunikations-Empfänger auf der Grundlage seines Inhalts implementiert.
Ein Beispiel für eine solche Inhalt-basierende Leitwegführung wäre, wenn ein Anrufer auf eine "Wie kann ich Ihnen helfen"-Aufforderung mit Ich will ein R-Gespräch führen antwortet. Die richtige Aktion liegt darin, den Anrufer mit einem automatischen Hilfssystem zu verbinden, das R-Gespräche verarbeitet. Ein weiteres Beispiel wäre eine Anruferantwort wie Ich habe ein Problem damit, meine Rechnung zu verstehen, wobei in diesem Fall der Anrufer mit dem Geschäftsbüro der Telefongesellschaft verbunden werden sollte. Es ist somit nötig, dass das System gesprochene Sprache bis zu dem Ausmaß versteht, dass der Anruf richtig weitergeleitet wird.
A. Grundlegende Vorgehensweise
Der Grundaufbau eines solchen Systems wurde von einem der Erfinder in Gorin, A. "On automated language acquisition", J. Acoust. Soc. Am., 97 3441–3461, (Juni, 1995) (hiernach wird darauf als Gorin 95 Bezug genommen), beschrieben. Eine Reihe der Betrachtungen aus dieser grundlegenden Vorgehensweise liefern Material für das System und das Verfahren der Erfindung. Bestimmte Betrachtungen aus diesen Betrachtungen werden hiernach kurz überprüft. Als Einleitung für diese Überprüfung sollte angemerkt werden, dass die in Gorin 95 beschriebene Vorgehensweise – der Klassifizierungsparameter für die Bestimmung einer Verknüpfung zwischen dem eingegebenen Text oder der Sprache und einem einer Reihe von vorbestimmten Aufgabenzielen – als ausgeprägte Worte implementiert wird, die von einem Corpus der Sprachausdrücke hergeleitet werden, der markierte, dazugehörige Aufgabenziele hat. In der Anpassung dieses hierin beschriebenen Verfahrens wird der Klassifizierungsparameter als Gruppierungen von sinnvollen Sätzen implementiert, die von einem Corpus aus Sprachausdrücken hergeleitet werden, die markierte, dazugehörige Leitwegführung-Ziele haben.
Der Mittelpunkt für die Vorgehensweise bildet hier eine Datenbank einer großen Anzahl an Ausdrücken, wobei jeder mit einem Ziel einer vorbestimmten Reihe von Leitwegführung-Zielen verwandt ist. Diese Datenbank bildet eine Eingabe für einen Klassifizierungsparameter-Algorithmus. Vorzugsweise werden sol che Ausdrücke von tatsächlichen Benutzerantworten auf eine Aufforderung wie "Wie kann ich Ihnen helfen?" (oder ähnlichen Worten für denselben Effekt) extrahiert. Jeder Ausdruck wird dann umgeschrieben und mit einem Ziel einer vorbestimmten Reihe von Leitwegführung-Zielen markiert. Darstellende Ausdrücke der von den Erfindern verwendeten Datenbank lauten wie folgt:
Ja, ich will ein R-Gespräch führen
Ich wurde gerade von dieser Nummer getrennt
Ich habe versucht, den Hörer einzuhängen
Ich versuche, Mexiko zu erreichen
Rechne dies meinem Haustelefon an
In einem betreffenden Artikel, in dem einer der Erfinder (Gorin, A. L., Hanek, H., Rose, R. und Miller, L.,) Mit-Verfasser ist, "Spoken Language Acquisition for Automated Call Routing", in Proceedings of the International Conference on Spoken Language Processing (ICSLP 94), Yokohama (Sept. 18–22, 1994) (hiernach Gorin 94A), wird angemerkt, dass die Verteilung der Leitwegführung-Ziele in einer solchen Datenbank im wesentlichen schief verteilt sein kann. Die Begleiterscheinungen dieser Schief-Verteilung kann bei der Bestimmung der besonderen Reihe der Leitwegführung-Ziele, die auf einer automatischen Grundlage vom System der Erfindung unterstützt werden, berücksichtigt werden.
Ein Ausgeprägtheitsprinzip, wie das System der Erfindung betreffend, wurde in einem anderen Artikel bestimmt, das von einem der Erfinder mit-verfasst wurde (Gorin, A. L., Levinson, S. E. und Sankar, A. "An Experiment in Spoken Language Acquisition," IEEE Trans. on Speech and Audio, Vol. 2, Nr. 1, Teil II, S. 224–240 (Jan. 1994)) (hiernach Gorin 94). Spezifisch wird die Ausgeprägtheit eines Wortes als Informationsinhalt von diesem Wort für die erwogene Aufgabe bestimmt . Sie kann als ein Maß dafür interpretiert werden, wie sinnvoll dieses Wort für die Aufgabe ist. Die Ausgeprägtheit kann vom traditionellen Shannon-Informationsinhalt unterschieden werden und damit verglichen werden, der die Unbestimmtheit misst, mit der ein Wort erfolgen wird. Wie bekannt, kann ein solcher traditioneller Informationsinhalt aus den Beispielen der Sprache geschätzt werden, während eine Schätzung der Ausgeprägtheit sowohl die Sprache als auch ihre extra-linguistischen Verknüpfungen benötigt.
Wie zuvor angemerkt, verwendet Gorin 95 als Klassifizierungsparameter Worte aus Testsprachausdrücken, die eine ausgeprägte Verknüpfung mit besonderen Ziel-Leitwegführungenen haben. Die U.S.-Patentschriften US-A-5 675 707 und US-A-5 794 193 stellen einen bedeutenden Ausgangspunkt. für diese Methode mittels Verwendung der sinnvollen Sätze als Klassifizierungsparameter dar. Bevor das Verfahren zur Bestimmung dieser sinnvollem Sätze beschrieben wird, ist es nützlich, zwei Tyspen von Fehlern, die man in einem solchen automatischen Leitwegführung-System erfahren kann, und ein dazugehöriges "Erfolgs" -Konzept zu bestimmen:
Die falsche Erfassung eines Leitwegführung-Ziels kann erfolgen, wenn ein ausgeprägter (sinnvoller) Satz, der ein Leitwegführung-Ziel betrifft, in einer Eingabesprache des Anrufers erfasst wird, sofern die eigentliche Anfrage des Anrufers an ein anderes Leitwegführung-Ziel geleitet wird. Die Wahrscheinlichkeit einer solchen auftretenden falschen Erfassung wird hiernach als die Bestimmung P_FD bezeichnet.
Die verpasste Erfassung eines Leitwegführung-Ziels erfolgt, wenn sich die Eingabesprache der Anrufer auf das Leitwegführung-Ziel richtet und keiner der sinnvollen Sätze, die mit diesem Leitwegführung-Ziel verknüpft sind, in der Eingabesprache erfasst wird. Die Wahrscheinlichkeit einer solchen erfolgenden verpassten Erfassung wird hiernach als die Bestimmung P_MD bezeichnet.
Die Abdeckung für ein Leitwegführung-Ziel betrifft die Anzahl der vom System gemachten erfolgreichen Übersetzungen einer Anfrage nach einem Leitwegführung-Ziel an dieses Leitwegführung-Ziel in Bezug auf die Gesamtzahl der eingegebenen Anfragen nach diesem Leitwegführung-Ziel. Man würde als darstellendes Beispiel sagen, dass ein Leitwegführung-Ziel, für das von 100 eingegebenen Anfragen nach diesem Leitwegführung-Ziel 60 erfolgreiche Übersetzungen erfolgten, eine 60%ige Abdeckung erfährt. Es wird vermerkt, dass die Abdeckung = 1 – P_MD.
Von den zwei oben bestimmten Fehlerarten ist eine bedeutend "teurer" als die andere. Die Folge eines falschen Erfassungsfehlers ist das Führen eines Benutzers an ein anderes Aufgabenziel als das vom Benutzer verlangte. Ein solches Ergebnis ist zumindest sehr störend. für den Benutzer. Es besteht auch die Möglichkeit, dass ein solcher Fehler zu direkten Kosten für den System-Provider führen kann -- ein verärgerter Kunde bzw. potentieller Kunde wird hier als indirekter Kostenfaktor klassifiziert -- und zwar durch irgendeinen Nicht-Systemfehler, der daher herrührt, dass der Anrufer mit einem falschen Leit-wegführung-Ziel verbunden ist. Die Folge eines verpassten Erfassungsfehlers ist andererseits einfach das Führen des Benutzers an eine vorgegebene Operatorstelle, und die einzigen Kosten sind die Kosten einer verpassten Gelegenheit zum Abwickeln dieser besonderen Aufgabe auf automatischer Grundlage. Obwohl ideal die Wahrscheinlichkeit sowohl für eine verpasste Erfassung als auch für eine falsche Erfassung annähernd Null sein sollte, ist es aus der Perspektive des Benutzers weit wichtiger, dass dieses Ziel für falsche Erfassungsfehler erzielt wird. Wie unten ersichtlich sein wird, gibt es Umstände, worin Kompromisse gemacht werden müssen, um entweder die eine oder die andere Fehlerwahrscheinlichkeit zu minimieren, und dieses Prinzip wird unter diesen Umständen angelegt.
B. Anpassung der grundlegenden Vorgehensweise
1 sorgt für mehrere darstellende Beispiele der falschen Erfassung und der verpassten Erfassung aus der Datenbank der von den Erfindern verwendeten Sprachausdrücke. Obwohl angenommen wird, dass sich der Grund für einen Fehler in jedem dieser Beispiele weitestgehend von selbst erklärt, wird der Fehler im ersten Beispiel in jeder Reihe kurz beschrieben. Im ersten Beispiel unter der falschen Erfassung ist der sinnvolle Satz ICH BRAUCHE KREDIT EOS (Ende des Satzes), und solchermaßen würde dieser Satz als eine Anfrage nach einem Kredit klassifiziert werden. Aus dem Lesen des gesamten Ausdrucks ist es jedoch ersichtlich, dass der Anrufer eigentlich an einer anderen Telefongesellschaft überführt werden wollte (die Telefongesellschaft, die diese Anfrage empfängt, ist AT&T). Im ersten Beispiel unter der verpassten Erfassung gibt es im Ausdruck keine identifizierten sinnvollen Sätze (und daher keine Grundlage für die Klassifizierung des Ziels des Anrufers), obwohl es für die den Ausdruck lesenden Personen ersichtlich ist, dass der Anrufer nach einem Rechnungskredit sucht. Als Vergleichsdarstellung zeigt die 2 mehrere Beispiele für die richtige Erfassung eines Rechnungskredit-Ziels aus sinnvollen Sätzen in der Eingabesprache.
Es gibt zwei wesentliche Vorteile der Methode der Erfindung bei der Verwendung sinnvoller Sätze als Klassifizierungsparameter gegenüber der Verwendung von ausgeprägten Worten im in Gorin 95 beschriebenen grundlegenden Vorgehensweise. Zunächst können in Zusammenhang mit der Verwendung der Worte als Klassifizierungsparameter die Wortauswahlen zum Erfassen eines gegebenen Leitwegführung-Ziels stark eingeschränkt werden, um eine minimale Wahrscheinlichkeit für eine falsche Erfassung zu erzielen -- d. h. die alleinige Verwendung von Worten, die eine nahezu 100%ige Wahrscheinlichkeit der Vorhersage des beabsichtigten Leitwegführung-Ziels haben -- und daher ist es wahrscheinlich, dass die Abdeckung für ein solches Leitwegführung-Ziel sehr niedrig ist, was zu einer hohen Wahrscheinlichkeit des Auftretens von verpassten Erfassungsfehlern führt. Mit sinnvollen Sätzen als Klassifizierungsparameter sind andererseits sowohl die geringe Wahrscheinlichkeit der falschen Erfassung als auch der verpassten Erfassung erzielbar.
3 stellt ein darstellendes Beispiel dieses Vorteils bereit. Diese Figur zeigt die Klassifizierungsrate und die Abdeckung für ein beispielhaftes Leitwegführung-Ziel -Rechnungskredit-, wenn der für das Klassifizierungsparamter verwendete Satz in Länge und/oder Komplexität wächst. Die Klassifizierungsrate wird als Wahrscheinlichkeit des angeforderten Leitwegführung-Ziels (KREDIT) bestimmt, wenn das Auftreten des ausgewählten Satzes in der Eingabesprache vorgegeben ist (d. h. P(KREDIT | Satz). Auf eine ähnliche Art und Weise wird der Abdeckungsbegriff als die Wahrscheinlichkeit bestimmt, dass der ausgewählte Satz der in der Eingabesprache erscheint, wenn vorgegeben ist, dass das bestimmte Leitwegführung-Ziel (KREDIT) angefordert wurde. In der Satz-Spalte deuten Klammern, die eine Reihe von Begriffen umgeben, die durch "|" getrennt werden, auf einen. dieser Begriffe, der in der angezeigten Stelle mit anderen Begriffen in dieser Zeile erscheinen. Die Terminologie "F (falsch)" deutet auf ein Grammatikfragment, das das Wort "falsch" umgibt, wobei der Satz in der vierten Zeile dieser Spalte ein solches Grammatikfragment darstellt, das ein ausgeprägtes Wort umgibt. Die Bestimmung "vorherig" deutet auf einen Übertrag von allem aus der vorherigen Zeile. Und schließlich deutet die Abkürzung "EOS" auf das "Ende des Satzes".
In Spracherkennungssystemen gilt, dass je größer das Sprachfragment ist, das einem solchen Spracherkenner vorgelegt wird, desto höher die Wahrscheinlichkeit einer richtigen Erkennung von diesem Sprachfragment ist. Solchermaßen kann man erwarten, dass ein Spracherkenner, der programmiert ist, um ein Wort einer Reihe von ausgeprägten Worten auszumachen, in seiner Aufgabe bedeutend häufiger scheitert als es eine Vorrichtung tut, die programmiert ist, um sinnvolle Sätze, die zwei oder mehrere Wörter umfassen, auszumachen.
C. Beschreibung der Methode der Erfindung
Die Methode der Erfindung wird graphisch im Flussdiagramm der 5 dargestellt. Den Schritten des Flussdiagramms folgend werden im Schritt 110 sinnvolle Sätze aus Transkriptionen von erkannten Ausdrücken erzeugt, indem geschätzte spätere Verteilungen über Aufgabentypen und einen Test für die Bedeutung verwendet werden, wie er unten dargelegt wird. Die sinnvollen Sätze, die erzeugt wurden, werden dann im Schritt 120 gruppiert und zu Gruppierungen von sinnvollen Sätzen gebildet, indem auf der Grundlage der Folgen- und der semantischen Verzerrung ein Abstandsmaß zwischen den Sätzen verwendet wird. Im Schritt 130 wird dann mittels Verwendung von genauen oder beinahen Übereinstimmungsverfahren nach Gruppierungen von sinnvollen Sätzen gesucht und in der Eingabesprache erfasst. Aufgaben-artige Entscheidungen werden im Schritt 140 auf der Grundlage von Gruppierungen von erfassten sinnvollen Sätzen gemacht.
D. Auswahl und Gruppierung von sinnvollen Sätzen
1. Auswahl der sinnvollen Sätze
In einem Spracherkennungssystem ist es wünschenswert, Sätze zu suchen, die für die Aufgabe sinnvoll sind. Ein Maß der Ausgeprägtheit kann verwendet werden, um für einen bestimmten Satz die Verzerrung zwischen den vorherigen und späteren Ver- teilungen über die Anruftypen zu schätzen. Jedoch berücksichtigt dies nicht die Häufigkeit, mit der ein Fragment auftritt. Eine glückliche Verbindung von Ereignissen kann z. B. einem Satz mit einer niedrigen Häufigkeit bloß durch Glück eine hohe scheinbare Ausgeprägtheit verleihen.
Hierin wird dieser Nachteil vermieden, indem für jeden Satz die Nullhypothese geprüft wird, die einfach durch die vorherigen. Wahrscheinlichkeiten geleitet wird (und daher zufällig erfolgt). Angenommen, ein Satz f hat eine Gesamtzahl von n Auftritten der Anruf-artigen Etiketts in der Schulung, und lasse (r₁, r₂, ...) den Satz aller möglichen Partitionen von n Auftritten in K = 15 Klassen bezeichnen. Lass die eigentlich beobachtete Verteilung der Zählwerte für f r_f sein und die vorherige Verteilung {Pk}_k=l,...,k. Unter der Nullhypothese wird die Wahrscheinlichkeit einer Verteilung r_i = n_il,...N_i _K durch die Polynom-Verteilung
Ein Satz f der Häufigkeit n wird am Bedeutungsgrad α akzeptiert,
Jeder Satz, für den die beobachtete Verteilung als relativ wahrscheinliche Zufallsprobe zur Vorherigen gesehen werden kann, wird daher abgelehnt. Dies stellte einen genauen Bedeutungstest dar und ist daher selbst für Sätze mit sehr kleinen Auftritts-Zahlen gültig. Das Auferlegen eines Bedeutungsgrads von 5% reduziert die Gesamtzahl der im Stand der Technik erzeugten Sätze um etwa 30%.
2. Gruppierung von sinnvollen Sätzen
Der zweite Schritt ist es, die Sätze zu gruppieren, indem ein Anhäufungs-Gruppierungsverfahren verwendet wird. Für dieses verwenden wir ein Levenshtein-Folgen-Abstandsmaß ds(f₁, f₂) zwi schen den Sätzen f₁, f₂, in dem die Einfügungs-, Löschungs- und Substitutionsstrafen durch die Wortausgeprägtheit gewichtet werden. Jedoch können Sätze, die als Folgen ähnlich sind, unterschiedliche Semantiken haben; z. B. weisen die Sätze "brauche einen Kredit" und "eine Kreditkarte" jeweils auf eine Abrechnungskredit-Anfrage und eine Kreditkarten-Zahlung hin. Es wäre für diese Sätze nicht wünschenswert, dieselbe Gruppierung einzugeben. Wiederum müssen die Veränderlichkeiten, die kleinen Proben zugeschrieben werden können, erwogen werden, um dieses Problem einzuschätzen. Daher wird ein Maß der semantischen Verzerrung verwendet, worin
P(c_k ∊ C_t|⨍ ∊ F_t) ist die ausgewertete spätere Verteilung von Anruftypen C_k für Sätze f, und C_t, F_t sind die Reihen von Etiketts und der beobachteten Sätze für einen Ausdruck t. Der Nenner ist ein Schätzwert der Abweichung des Unterschieds zwischen den geschätzten späteren Werten (für jeden Anruftyp) unter der Hypothese H. Diese Hypothese sagt aus, dass die zwei Sätze dieselbe wahre (aber unbekannte) spätere Verteilung haben. wenn H wahr ist, dann ist der erwartete Wert für d_M(f₁, f₂) ungeachtet der Satzauftrittzahl gleich 1, 0; ein großer Wert für dieses Maß ist Beweis für die Divergenz zwischen den späteren Verteilungen. Das für die Gruppierung verwendete Gesamt-Maß ist eine Kombination aus der Folge und den semantischen Verzerrungen.
Jede der entstandenen Satz-Gruppierungen wird in eine finite Zustand-Vorrichtung (FSM) konvertiert, die eine Gruppierung von sinnvollen Sätzen darstellt. Ein Beispiel wird in der 6 gezeigt. In diesem Beispiel wird "mache ein R-Gespräch" mit den anderen sinnvollen Sätzen "melde ein R-Gespräch an", "mache R-Gespräch" und "mache ein R-Telefongespräch" gruppiert.
Die spätere Verteilung von den Anruftypen wird dann für jede FSM erhalten. Beobachtungen in Form genauer oder annähernder Übereinstimmungen mit einem weg durch die FSM werden dann für die Testausdrücke gefunden. Die annähernden Übereinstimmungen werden mittels Verwendung eines dynamischen Programmierungs algorithmus gefunden, in dem die Wortausgeprägtheit verwendet wird, um die Fehler zu gewichten. Ein Beispiel für eine annähernde Übereinstimmung wird in der 7 gezeigt, worin das Wort "ein" durch "diese" ersetzt wird, wobei beide Worte eine geringe Ausgeprägtheit haben.
3. Verwertung mehrerer Sätze
Um den Beweis aus mehreren Beobachtungen zu kombinieren, gibt es mehrere im Stand der Technik bekannte Verfahren. Die Anruftypen können z. B. der Wichtigkeit nach eingereiht werden, indem man sich ein "Tasche-aus-Sätzen"-Modell (Bag-Of-Phrases-Modell) zu eigen macht
Gruppierungen von sinnvollen Sätzen werden häufig als korreliert befunden, und Experimente, die höherwertige statistische Modelle beinhalten, werden entwickelt.
4. Klassifizierungsexperimente
Die anfänglichen Ergebnisse werden mittels Verwendung einer Reihe von sinnvollen Sätzen bis zu vier Worten Länge erhalten. Eine Testreihe von 1000 Ausdrücken wurde von einem Spracherkenner mit großen Wortschatz verarbeitet. Übereinstimmungen von Sätzen für die Ausgabe wurden gefunden und auf eine Art und weise syntaktisch analysiert, die längere Sätze begünstigt, da diese dazu neigen, ausgeprägter zu sein. Der Typ des Anrufs wurde von einem Peak-an-Fragmenten-Klassifizierer bestimmt. Eines der Anruf-artigen Etiketts ist "anders", und das gewünschte Ziel für diesen besonderen Anruf ist es, abgelehnt zu werden. Durch das Ändern des Akzeptanz-Schwellwerts und das Aufzeichnen der richtigen Klassifizierungsrate gegen diefalschen Ablehnungsrate erhalten wir ROC-Kurven, die von den gestrichelten Linien in der 8 gezeigt werden.
Die durchgezogenen Linien in der 8 zeigen die mittels der oben beschriebenen Verfahren erzielten Ergebnisse. Eine bedeutende Verbesserung in der Leistung wird für dieselbe Ausgabe des Spracherkennungssystems gesehen. Dies ist besonders im Bereich eines nützlichen Betriebspunktes mit 87%iger richtiger Klassifizierungsrate an der Rangzahl 2 für eine 40%ige Falsch-Ablehnungsrate bemerkenswert.
E. Beispielhafte Struktur für die Erfindung
4 zeigt in Blockdiagrammform den wesentlichen Aufbau der Erfindung. Wie aus der 4 ersichtlich, umfasst dieser Aufbau zwei verwandte Untersysteme: ein Untersystem 1 zur Erzeugung von sinnvollen Sätzen und ein Untersystem 2 zur Klassifizierungs der Eingabesprache. Wie bereits beschrieben, arbeitet das Untersystem 1 zur Erzeugung von sinnvollen Sätzen auf einer Datenbank mit einer großen Anzahl an Ausdrücken, die jeweils mit einer vorbestimmten Reihe an Leitwegführung-Zielen verwandt sind, worin jeder dieser Ausdrücke mit seinem dazugehörigen Leitwegführung-Ziel markiert ist. Der Betrieb dieses Untersystems wird im wesentlichen durch den Selektor 10 für sinnvolle Sätze durchgeführt, der als eine Ausgabe eine Reihe an sinnvollen Sätzen auswählt, die ein probabilistisches Verhältnis mit einem oder mehreren einer Reihe an vorbestimmten Leitwegführung-Zielen haben, mit denen die Eingabesprachausdrücke verknüpft werden. Die ausgewählten sinnvollen Sätze werden dann an eine Gruppierungsvorrichtung 15 für sinnvolle Sätze eingegeben, die diese sinnvollen Sätze gruppiert, die semantisch verwandt sind. Der Betrieb des Selektors 10 für sinnvolle Sätze und der Gruppierungsvorrichtung 15 für sinnvolle Sätze wird allgemein in Übereinstimmung mit dem zuvor beschriebenen Algorithmus zur Auswahl und Gruppierung von sinnvollen Sätzen bestimmt.
Der Betrieb des Untersystems 2 zur Klassifizierungs der Eingabesprache beginnt mit der Eingabe einer Aufgabenzielanfrage eines Benutzers in der natürlichen Sprache des Benutzers an den Eingabespracherkenner 20. Der Eingabespracherkenner 20 kann irgendeinen bekannten Aufbau haben und führt die Funktion des Erkennens oder Ausmachens des Vorliegens von einem oder mehreren sinnvollen Sätzen in der Eingabesprache durch. Ein Detektor 25 für die Gruppierung von sinnvollen Sätzen erfasst dann die unter den erkannten sinnvollen Sätzen vorhandenen Gruppierungen von sinnvollen Sätzen. Wie in der Figur zu sehen, werden die vom Unteresystem 1 zur Erzeugung von sinnvollen Sätzen entwickelten Gruppierungen von sinnvollen Sätzen als Eingabe an den Detektor 25 für die Gruppierung von sinnvollen Sätzen bereitgestellt.
Die Ausgabe des Detektors 25 von sinnvollen Sätzen, der die Gruppierungen von erfassten sinnvollen Sätzen umfassen wird, die in der Leitwegführung-Ziel-Anfrage des Anrufers erscheinen, wird dem Klassifizierungsprozessor 3b bereitgestellt. Der Klassifizierungsprozessor 30 kann auf der Grundlage des probabilistischen Verhältnisses zwischen den Gruppierungen von erkannten sinnvollen Sätzen und den ausgewählten Aufgabenzielen eine Vertrauensfunktion anlegen und eine Entscheidung darüber fällen, ob er ein besonderes Aufgabenziel implementiert oder eine Bestimmung macht, dass keine Entscheidung wahrscheinlich ist, wobei in diesem Fall der Benutzer an einer Operatorstelle weitergegeben wird.
Wie solchermaßen ersichtlich, werden die vom Untersystem 1 zur Erzeugung von sinnvollen Sätzen 1 entwickelten Gruppierungen von sinnvollen Sätzen vom Detektor 25 für die Gruppierung von sinnvollen Sätzen verwendet, um die Gruppierungen von sinnvollen Sätzen zu bestimmen, zu deren Erkennung der Detektor programmiert ist, und vom Klassifizierungsprozessor 30 verwendet, der die Aufgabenziele bestimmt, die mit der Eingabe von sinnvollen Sätzen vom Detektor 25 für die Gruppierung von sinnvollen Sätzen verwandt sind, und um, falls bestätigt, den Vertrauensgrad für ein Verhältnis von diesen eingegebenen Gruppierungen von sinnvollen Sätzen mit einem besonderen Aufgabenziel zu errichten.
SCHLUSSFOLGERUNG
Ein Verfahren für die automatische Ausgabenauswahl wurde offenbart, das die Funktion zum Suchen nach Klassifizierungsparametern in einer natürlichen Sprache durchführt. Diese Klassifizierungsparameter werden in Form von kompakten Gruppierungen von sinnvollen Sätzen dargelegt, die aus einer Reihe von ausgewählten sinnvollen Sätzen erzeugt werden. Durch die automatische Auswahl und Gruppierung von sinnvollen Sätzen erhöht sich die Genauigkeit der automatischen Leitwegführung-Systeme.
Obwohl die vorliegende Ausführungsform der Erfindung detailliert beschrieben wurde, sollte es klar sein, dass darin verschiedene Änderungen, Veränderungen und Ersetzungen vorgenommen werden können, ohne sich vom Schutzumfang der Erfindung, wie von den anliegenden Ansprüchen definiert. zu lösen.
Wenn technische Merkmale in den Ansprüchen mit Bezugszeichen versehen sind, so sind diese Bezugszeichen lediglich zum besseren Verständnis der Ansprüche vorhanden. Dementsprechend stellen solche Bezugszeichen keine Einschränkungen des Schutzumfangs solcher Elemente dar, die nur exemplarisch durch solche Bezugszeichen gekennzeichnet sind.

Claims

Ein Verfahren zur automatischen Aufgabenklassifizierung, das an einem Aufgabenziel eines Benutzers arbeitet, wobei das Aufgabenziel in der natürlichen Sprache des Benutzers ausgedrückt wird, wobei das Verfahren umfasst: die Auswahl von sinnvollen Sätzen aus einer Mehrzahl von umgeschriebenen Sprachausdrücken, die ein probabilistisches Verhältnis mit einem oder mehreren einer Reihe von vorbestimmten Aufgabenzielen haben; das Gruppieren von einigen ausgewählten der sinnvollen Sätze, die in ähnlichen semantischen Zusammenhängen auftreten, in Gruppierungen von sinnvollen Sätzen, worin die sinnvollen Sätze mittels Verwendung eines Verzerrungsmaßes zwischen den sinnvollen Sätzen gruppiert werden; das Erfassen von Gruppierungen von sinnvollen Sätzen, die in den Eingabesprachausdrücken des Benutzers vorliegen; und das Treffen von Aufgaben-artigen Klassifizierungs-Entscheidungen auf der Grundlage der Gruppierungen von erfassten sinnvollen Sätzen in den Eingabesprachausdrücken auf der Grundlage eines probabilistischen Verhältnisses zwischen Gruppierungen von erkannten sinnvollen Sätzen und ausgewählten Aufgabenzielen.
Das automatische Aufgabenklassifizierungsverfahren nach Anspruch 1, worin die sinnvollen Sätze mittels Verwendung eines Tests für die Bedeutung ausgewählt werden.
Das automatische Aufgabenklassifizierungsverfahren nach Anspruch 1, worin das Verzerrungsmaß auf einer Folgen-Verzerrung basiert; oder worin das Verzerrungsmaß auf einer semantischen Verzerrung basiert; oder worin das Verzerrungsmaß eine Kombination aus der Folgen- und der semantischen Verzerrung ist.
Das automatische Aufgabenklassifizierungsverfahren nach den Ansprüchen 1 oder 2, worin die Gruppierungen von sinnvollen Sätzen in der Eingabesprache erfasst werden, indem die Eingabesprache genau an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird; oder worin die Gruppierungen in der Eingabesprache erfasst werden, indem die Eingabesprache genau oder ungefähr an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird.
Das automatische Aufgabenklassifizierungsverfahren nach einem oder mehreren der Ansprüche 1–4, worin die Aufgabenartigen Klassifizierungsentscheidungen mittels Verwendung eines statistischen Modells eingeordnet werden.
Das automatische Aufgabenklassifizierungsverfahren nach einem. oder mehreren der Ansprüche 1–5, das weiterhin ein neurales Netz zur Erzeugung der Aufgaben-artigen Klassifizierungsentscheidungen umfasst.
Ein Verfahren zur automatischen Aufgabenklassifizierung, das an einem Anruf-Leitwegführung-Ziel eines Benutzers arbeitet, wobei das Anruf-Leitwegführung-Ziel in der natürlichen Sprache des Benutzers ausgedrückt wird, wobei das Verfahren folgendes umfasst: die Auswahl von sinnvollen Sätzen aus einer Mehrzahl an umgeschriebenen Sprachausdrücken, die ein probabilistisches Verhältnis mit einem oder mehreren einer Reihe von vorbestimmten Aufgabenzielen haben; das Gruppieren von einigen ausgewählten der sinnvollen Sätze, die in ähnlichen semantischen Zusammenhängen auftreten, in Gruppierungen von sinnvollen Sätzen, worin die sinnvollen Sätze mittels Verwendung eines Verzerrungsmaßes zwischen den sinnvollen Sätzen gruppiert werden; das Erfassen von Gruppierungen von sinnvollen Sätzen, die in den Eingabesprachausdrücken des Benutzers vorliegen; und das Treffen von Aufgaben-artigen Klassifizierungs-Entschei dungen auf der Grundlage der Gruppierungen von erfassten sinnvollen Sätzen in den Eingabesprachausdrücken auf der Grundlage eines probabilistischen Verhältnisses zwischen Gruppierungen von erkannten sinnvollen Sätzen und ausgewählten Aufgabenzielen,
Das automatische Aufgabenklassifizierungsverfahren nach Anspruch 7, worin die sinnvollen Sätze mittels Verwendung eines Tests für die Bedeutung ausgewählt werden.
Das automatische Aufgabenklassifizierungsverfahren nach Anspruch 7, worin das Verzerrungsmaß auf einer Folgen-Verzerrung basiert; oder worin das Verzerrungsmaß auf einer semantischen Verzerrung basiert oder worin das Verzerrungsmaß eine Kombination aus der Folgen- und der semantischen Verzerrung ist.
Das automatische Aufgabenklassifizierungsverfahren nach den Ansprüchen 7 oder 8, worin die Gruppierungen von sinnvollen Sätzen in der Eingabesprache erfasst werden, indem die Eingabesprache genau an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird; oder worin die Gruppierungen in der Eingabesprache erfasst werden, indem die Eingabesprache genau oder ungefähr an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird.
Das automatische Aufgabenklassifizierungsverfahren nach einem oder mehreren der Ansprüche 7–10, worin die Anruf-artigen Klassifizierungsentscheidungen mittels Verwendung eines statistischen Modells eingeordnet werden; oder worin die Anruf-artigen Klassifizierungsentscheidungen mittels Verwendung eines neuralen Netzes getroffen werden.
Ein automatisches Aufgabenklassifizierungssystem, das an Aufgabenzielen eines Benutzers arbeitet, wobei die Aufgabenziele in der natürlichen Sprache des Benutzers ausgedrückt werden; wobei es folgendes umfasst: einen Selektor (10) für sinnvolle Sätze, der eine Mehrzahl an sinnvollen Sätzen aus einer Reihe von Sprachausdrücken auswählt, die ein probabilistisches Verhältnis mit. einem oder mehreren einer Reihe von vorbestimmten Aufgabenzielen haben, wobei jeder der sinnvollen Sätze auf der Grundlage von einem einer vorbestimmten Reihe von Aufgabenziele ausgewählt wird; eine Vorrichtung (15) zur Gruppierung von sinnvollen Sätzen, um ausgewählte sinnvolle Sätze, die in ähnlichen semantischen Zusammenhängen auftreten, in Gruppierungen von sinnvollen Sätzen zu gruppieren, worin die Vorrichtung zur Gruppierung von sinnvollen Sätzen sinnvolle Sätze mittels Verwendung eines Verzerrungsmaßes zwischen den sinnvollen Sätzen gruppiert; eine Vorrichtung (25) zur Erkennung der Eingabe zum Erfassen von irgendeinem der gruppierten sinnvollen Sätze in der Eingabesprache des Benutzers, wobei die Vorrichtung zur Erkennung der Eingabe als eine Eingabe die von der Vorrichtung zur Gruppierung von sinnvollen Sätzen gruppierten sinnvollen Sätze hat; und eine Klassifizierungsvorrichtung (30), die auf eine Eingabe der Gruppierungen von erfassten sinnvollen Sätzen reagiert, um auf der Grundlage der Gruppierungen von erfassten sinnvollen Sätzen in Bezug auf einem der Reihe von vorbestimmten Aufgabenzielen eine Klassifizierungsentscheidung zu treffen, und zwar auf der Grundlage eines probabilistischen Verhältnisses zwischen Gruppierungen von erkannten sinnvollen Sätzen und ausgewählten Aufgabenzielen.
Das automatische Aufgabenklassifizierungssystem nach Anspruch 12, worin der Selektor für sinnvolle Sätze sinnvolle Sätze mittels Verwendung eines Tests für die Bedeutung auswählt.
Das automatische Klassifizierungssystem nach Anspruch 12, worin das Verzerrungsmaß auf einer Folgen-Verzerrung basiert; oder worin das Verzerrungsmaß auf einer semantischen Verzerrung basiert; oder worin das Verzerrungsmaß eine Kombination aus der Folgen- und der semantischen Verzerrung ist.
Das automatische Aufgabenklassifizierungssystem nach den Ansprüchen 12 oder 13, worin die Vorrichtung zur Erkennung der Eingabe die Gruppierungen von sinnvollen Sätzen in der Eingabesprache erfasst, indem die Eingabesprache genau an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird; oder worin die Vorrichtung zur Erkennung der Eingabe die Gruppierungen von sinnvollen Sätzen in der Eingabesprache erfasst, indem die Eingabesprache genau oder ungefähr an irgendeine der Gruppierungen von sinnvollen Sätzen in Übereinstimmung gebracht wird.
Das automatische Klassifizierungssystem nach Anspruch 15, worin die Klassifizierungsvorrichtung die Entscheidungen mittels Verwendung eines statistischen Modells einordnet; oder worin die Klassifizierungsvorrichtung Entscheidungen mittels Verwendung eines neuralen Netzes fällt.