DE69233600T2

DE69233600T2 - Gerät zur Manipulation eines auf einem Bildschirm angezeigten Objektes

Info

Publication number: DE69233600T2
Application number: DE69233600T
Authority: DE
Inventors: c/o Fujitsu Limited Yu Kawasaki-shi Minakuchi; c/o Fujitsu Limited Satoshi Kawasaki-shi Okuyama; c/o Fujitsu Limited Hajime Kawasaki-shi Kamata; Akiko Suginami-ku Fukue
Original assignee: Fujitsu Ltd
Current assignee: Apple Inc
Priority date: 1991-10-07
Filing date: 1992-10-07
Publication date: 2006-08-10
Anticipated expiration: 2012-10-08
Also published as: EP0536715A3; EP0938037B1; EP0938039B1; EP0938037A2; JP2827612B2; DE69231270T2; DE69233133T2; EP0938040A2; KR950012490B1; DE69233284D1; EP1645946A2; EP1645946B1; DE69233284T2; DE69233211T2; EP0938038A2; EP0938037A3; DE69233133D1; KR930008594A; DE69233211D1; EP0536715A2

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Verwendung mit einer Anzeigeeinrichtung, um ein Objekt zu manipulieren, das an einer Anzeigeeinrichtung angezeigt wird.
Da sich der Einsatz von Computersystemen zur Datenverarbeitung in den letzten Jahren weit verbreitet hat, müssen immer mehr Benutzer Daten in Datenprozessoren wie etwa an graphischen Arbeitsplätzen und Personalcomputern eingeben und mit ihnen in Dialog treten. Ein breiter Bereich von Anwendungsprogrammen steht für moderne Datenprozessoren zur Verfügung, und unter Verwendung von solchen Anwendungsprogrammen in der Kombination kann selbst eine komplizierte Anwendung verarbeitet werden. Jedoch ist das Problem vorhanden, daß Personen, die geringe Computerkenntnisse haben, Schwierigkeiten im Umgang mit solchen Datenprozessoren haben, besonders dann, wenn ein Objekt zu manipulieren ist, das an einer Anzeigeeinrichtung angezeigt wird.
Deshalb ist großer Bedarf an einer Vorrichtung zum Manipulieren eines Objektes vorhanden, das an einer Anzeigeeinrichtung angezeigt wird, die selbst für eine Person, die keine speziellen Computerkenntnisse hat, leicht zu verwenden ist.
1 zeigt ein Computersystem mit einer herkömmlichen Benutzerschnittstelle.
Ein Computersystem mit einer herkömmlichen Benutzerschnittstelle umfaßt hauptsächlich eine zentrale Verarbeitungseinheit [central processing unit] (CPU) 4, einen Hauptspeicher 5, eine Tastatur/Maus 2, einen Rahmenspeicher 60 und eine Festplattenschnittstelle 71, die über eine System busschnittstelle miteinander verbunden sind, und auch eine Festplatte 7 und eine Anzeigeeinheit 3, die über die Festplattenschnittstelle bzw. den Rahmenspeicher 6 mit der Systembusschnittstelle verbunden sind. Der Hauptspeicher 5 speichert ein Systemsteuerprogramm und Anwendungsprogramme, die die Graphikverarbeitung durchführen, und sieht einen Arbeitsbereich zur Verwendung durch die Programme vor. Die CPU 4 führt Anzeigeoperationen unter der Steuerung der Programme aus. Die Festplatte 7 speichert eine Datendatei für Graphiken, die an der Anzeigeeinheit 3 anzuzeigen sind. Der Rahmenspeicher 6 speichert einen Rahmen von Bild- (oder Objekt-)Daten, die an der Anzeigeeinheit 3 anzuzeigen sind.
Um in dem obigen System ein Objekt zu manipulieren, das an einer Anzeigeeinheit 3 angezeigt wird, muß ein Bediener einen Befehl zum Manipulieren des Objektes unter Verwendung einer Tastatur/Maus 2 eingeben oder ein Ikon (eine symbolische Darstellung einer Computerfunktion) unter Verwendung der Tastatur/Maus 2 selektieren, das an einer Anzeigeeinheit 3 angezeigt wird, um eine gewünschte Funktion anzuweisen. Es ist jedoch mühsam und lästig, eine Tastatur/Maus und Ikons zu verwenden, und eine Person mit geringeren Computerkenntnissen neigt dazu, schon das Berühren einer Tastatur/Maus nicht ausstehen zu können.
Deshalb ist es großes Problem, daß solche Datenprozessoren für diejenigen, die geringere Computerkenntnisse haben, sehr schwer zu bedienen sind.
Es ist deshalb wünschenswert, eine Vorrichtung vorzusehen, durch die ein Objekt, das an einer Anzeigeeinheit angezeigt wird, leicht manipuliert werden kann.
Es ist ferner wünschenswert, eine Benutzerschnittstelle vorzusehen, mit der ein Benutzer ein Objekt, das an einer Anzeigeeinheit angezeigt wird, leicht manipulieren kann.
Im IBM Technical Disclosure Bulletin, Bd. 33, Nr. 1B, Juni 1990, Seiten 277–278, ist eine Vorrichtung gemäß der Präambel des beiliegenden Anspruches 1 offenbart. Nach diesem Stand der Technik werden Ikons, die dreidimensionalen Schaltflächen ähneln, auf dem Feld (Bildschirm) angezeigt. Diese Ikons können "manipuliert" werden, indem sie ein- oder ausgeschaltet werden, wobei die Ikonanzeige ihr Aussehen verändert, um den Betrag des Niederdrückens der Schaltfläche zu reflektieren. Es ist nur ein Typ von Objekt (Ikon) vorhanden, und sie können an feststehenden Positionen auf dem Bildschirm angezeigt werden.
JP 62 150477A von Canon Inc. offenbart ein Berührungsfeld, das über eine Anzeigevorrichtung montiert ist, so daß ein Graphik-Cursor durch Fingerberührung auf einem vorgeschriebenen Bereich des Feldes bewegt werden kann (Graphikbewegungsbefehlsbereich). Ein Koordinatenversetzungsdetektionsmittel detektiert die Richtung, die Distanz und die Geschwindigkeit einer Koordinatenversetzung des Fingers. Das heißt, daß die Manipulation auf der Basis einer Positionsveränderung des Graphikbewegungsbefehlsbereichs bestimmt wird.
EP-A-0 314 395 von Crosfield Electronics Ltd. offenbart ein Verfahren zum interaktiven Manipulieren (Bewegen und Deformieren) eines Bildes auf einem Bildschirm durch das Selektieren von einigen Punkten (z. B. von zwei Punkten auf dem Bild und einem Punkt auf dem Bildschirm) und Bewegen eines Cursors auf dem Bildschirm. Das heißt, die Manipulation wird auf der Basis der durch den Nutzer selektierten feststehenden Punkte und einer Veränderung der durch den Nutzer spezifizierten Cursor-Position bestimmt.
EP-A-0 279 652 von Sensor Frame Inc. offenbart ein Berührungsfeld, das auf einen Bildschirm montiert ist, wobei Lichtstrahlen und Sensoren verwendet werden, die angeordnet sind, um die Okklusion der Lichtstrahlen durch Finger zu detektieren. Objekte auf dem Bildschirm werden durch das Interpretieren der Bewegungen der Finger manipuliert. Zum Beispiel können virtuelle Drehknöpfe, die auf dem Bildschirm angezeigt werden, unter Verwendung zweier Finger rotiert werden; andere Objekte können rotiert und umgesetzt werden.
Gemäß einem ersten Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Verwendung mit einer Anzeigeeinrichtung vorgesehen, um ein Objekt zu manipulieren, das an der Anzeigeeinrichtung angezeigt wird, welche Vorrichtung umfaßt: ein Berührungsfeld, das eine Anzeigeoberfläche der Anzeigeeinrichtung darstellt und gegenüber Charakteristiken eines Berührungskontaktes auf dem Berührungsfeld empfindlich ist, welche Charakteristiken wenigstens Druck- und Koordinatenpositionen des Berührungskontaktes enthalten, zum Ausgeben von entsprechenden Berührungsfeldinformationen, die die Charakteristiken des Berührungskontaktes auf dem Berührungsfeld darstellen; und ein Objektmanipulationsmittel zum Manipulieren und Anzeigen des Objektes an der Anzeigeeinrichtung als Reaktion auf die Berührungsfeldinformationen, welches Objektmanipulationsmittel umfaßt: ein Dateispeichermittel zum Speichern wenigstens einer Datendatei, die Ob jektdaten zum Anzeigen des Objektes speichert; ein Anzeigeinformationsspeichermittel zum Speichern von Objektinformationen, die einen Objekttyp enthalten, der die Form oder die physischen Eigenschaften des Objektes spezifiziert, und von Anzeigepositionsinformationen, die die Position des Objektes an der Anzeigeeinrichtung spezifizieren; und ein Anzeigesteuermittel, das auf die Berührungsfeldinformationen und auf die Objektinformationen, die in dem Anzeigeinformationsspeichermittel enthalten sind, reagiert, zum Erkennen des Manipulationstyps des Objektes gemäß den Berührungsfeldinformationen, den Anzeigepositionsinformationen und dem Objekttyp und zum Ausführen der Manipulation des Objektes an der Anzeigeeinrichtung gemäß dem erkannten Manipulationstyp; wobei der Manipulationstyp eine Deformierungs-/Wiederherstellungsmanipulation des Objektes enthält, bei der das Anzeigesteuermittel auf die Druckcharakteristiken des Berührungskontaktes reagiert, um das Objekt an der Anzeigeeinrichtung zu deformieren und wiederherzustellen, wobei der Deformierungsbetrag des Objektes auf der Basis der Druckcharakteristiken des Berührungskontaktes berechnet wird.
Somit kann die vorliegende Erfindung ein berührungsempfindliches Feld (z. B. einen Berührungsbildschirm) enthalten, ein Mittel, das eine Vielzahl von Datendateien speichert, ein Anzeigeinformationsspeichermittel und ein Anzeigesteuermittel, die mit einer Anzeigeeinrichtung eines Controllers zum Steuern der obigen Vorrichtung verwendet werden können.
Als Beispiel wird Bezug auf die beiliegenden Zeichnungen genommen, in denen besonders 7 für die vorliegende Erfindung relevant ist. Zu den Zeichnungen:
1 zeigt ein Computersystem mit einer herkömmlichen Benutzerschnittstelle;
2 ist ein Konfigurationsdiagramm eines graphischen Arbeitsplatzes, der mit einem Berührungsbildschirm ausgestattet ist, worauf die vorliegende Erfindung angewendet werden kann;
3 ist ein schematisches Diagramm, das das Prinzip der vorliegenden Erfindung zeigt;
4(a) zeigt eine Anzeigeinformationstabelle;
4(b) zeigt Berührungsbildschirminformationen;
5 ist ein Flußdiagramm, das eine Aufnahmemanipulation erläutert;
6 ist ein Diagramm, das eine Aufnahmemanipulation erläutert;
7 ist ein Diagramm, das eine Scrollmanipulation erläutert;
8 ist ein Diagramm, das eine Schiebemanipulation erläutert;
9 ist ein Diagramm, das eine Flippermanipulation erläutert;
10 ist ein Diagramm, das eine Rollmanipulation erläutert; und
11 ist ein Diagramm, das eine Deformierungs-/Wiederherstellungsmanipulation erläutert.
In den oben erwähnten Zeichnungen werden durchgängig identische Bezugszeichen verwendet, um dieselben oder ähnliche Bestandteile zu bezeichnen.
2 ist ein Konfigurationsdiagramm eines graphischen Arbeitsplatzes, der mit einem Berührungsbildschirm ausgestattet ist, zum Implementieren der vorliegenden Erfindung.
Zusätzlich zu dem herkömmlichen System, das in 1 gezeigt ist, enthält das System einen Eingabe/Ausgabe-(abgekürzt: E/A)-Port 8, einen Berührungsbildschirmcontroller 15 und eine Berührungsbildschirmeinheit 1 mit einem Berührungsbildschirm 11. Der Berührungsbildschirmcontroller 15, der mit dem Eingabe/Ausgabe-Port 8 durch eine RS-232C-Schnittstelle verbunden ist, steuert die Berührungsbildschirmeinheit 1. Die Berührungsbildschirmeinheit 1, die an einer Position oder an Positionen (X-Y-Koordinaten), wo sie berührt wird, empfindlich ist, und vorzugsweise auch gegenüber einem Druck, der auf sie angewendet wird, dient als Benutzerschnittstelle, die es einem Benutzer gestattet, Signale an die CPU zu senden, indem ein Bereich auf ihr mit dem Körper wie etwa einem Finger oder mit einem Stift berührt wird.
3 ist ein schematisches Diagramm, das das Prinzip der vorliegenden Erfindung zeigt.
Zum einfachen Verstehen des Prinzips sind der Eingabe/Ausgabe-Port 8, der Berührungsbildschirmcontroller 15 und die Berührungsbildschirmeinheit 1, die in 2 gezeigt sind, durch die Berührungsbildschirmeinheit 1 dargestellt; und der Rahmenspeicher 6 und die Anzeigeeinheit 3 sind durch die Anzeigeeinheit 3 dargestellt.
Ein Systemcontroller 50, ein Berührungsdiskriminator 51, ein Anzeigecontroller 52 und eine Anzeigeinformationstabelle 1T, die in dem Hauptspeicher 5 gespeichert sind, steuern Anzeigeoperationen, die für die vorliegende Erfindung charakteristisch sind.
4(a) zeigt eine Anzeigeinformationstabelle. 4(b) zeigt Berührungsbildschirminformationen.
Eine Anzeigeinformationstabelle 1T, die in dem Hauptspeicher 5 vorgesehen ist und Objekten entspricht, enthält einen Objekttyp, Anzeigepositionsinformationen, Dateiinformationen, einen Normalanzeigedateinamen und einen Spezialzustandsdateinamen. Der Objekttyp definiert den Typ einschließlich von Form, Eigenschaften, Umständen, etc., des Objektes. Die Anzeigepositionsinformationen definieren die Größe des Objektes (Breite, Höhe) und die Position (obere linke Koordinaten X, Y) und den Winkel, mit dem das Objekt an der Anzeigeeinheit 1 angezeigt wird. Die Dateiinformationen, die in der Anzeigedatendatei gespeichert sind, die für ein Objekt verwendet wird, das so groß ist, daß ein Scrollen erforderlich ist, um das gesamte Objekt anzusehen, definieren die Größe (Breite W, Höhe H) des gesamten Objektes bezüglich der Anzeigeschirmgröße und auch die Position (obere linke Koordinaten X, Y) des Objektabschnittes, der an der Anzeigeeinrichtung gerade angezeigt wird, bezüglich der gesamten Objektdaten. Der Normalanzeigedateiname spezifiziert eine Normalanzeigedatei, in der Objektdaten zum Anzeigen eines Normalzustandes des Objektes gespeichert sind. Der Spezialzustandsdateiname spezifiziert eine Spezialzustandsdatei, in der Objektdaten zum Anzeigen eines Spezialzustan des (z. B. Umwandlungsanzeige der Anzeigefarbe, die zum Anzeigen eines Zwischenprozesses beim Manipulieren des Objektes verwendet wird) des Objektes gespeichert sind.
Berührungsbildschirminformationen 2I, die von der Berührungsbildschirmeinheit 1 gesendet werden, enthalten eine Berührungsposition (X-Y-Koordinaten), wo der Berührungsbildschirm 11 berührt wurde und ein Druck auf ihn angewendet wurde.
Es folgen nun Ausführungsformen der Erfindung.
(1) Der Berührungsdiskriminator 51 unterscheidet auf der Basis der Berührungsbildschirminformationen 2I von der Berührungsbildschirmeinheit 1 den Typ einer Berührung, die ein Finger eines Bedieners auf den Berührungsbildschirm 11 ausübt, das heißt, einen Berührungstyp, der einen "Start der kontinuierlichen Berührung" und ein "Ende der kontinuierlichen Berührung" enthält, die später erläutert werden. Der Berührungsdiskriminator 51 sendet das Resultat der Unterscheidung als Berührungsmeldung 3R, die einen Berührungstyp und Berührungskoordinaten enthält, an den Systemcontroller 50.
Auf der Basis der Berührungsmeldung 3R von dem Berührungsdiskriminator 51 und der Anzeigeinformationstabelle 1T bestimmt der Systemcontroller 50 den Typ einer Manipulation, die durch einen Bediener ausgeführt wird, und aktualisiert die Anzeigeinformationstabelle 1T gemäß der Bestimmung. Dann sendet der Systemcontroller 50 an den Anzeigecontroller 52 eine Anzeigeaktualisierungsanforderung 4Q zusammen mit "Anzeigeaktualisierungsdaten", die den aktualisierten Inhalt der Anzeigeinformationstabelle 1T enthalten (mit Anzeige positionsinformationen, Dateiinformationen, dem Normalanzeigedateinamen und dem Spezialzustandsdateinamen).
Bei Empfang der Anzeigeaktualisierungsanforderung 4Q von dem Systemcontroller 50 liest der Anzeigecontroller 52 Anzeigedateidaten (die Objektdaten enthalten), die durch den Dateinamen spezifiziert werden, von der Festplatte 7 und speichert die Daten in dem Hauptspeicher 5. Der Anzeigecontroller 52 aktualisiert dann die Objektdaten gemäß den Anzeigeaktualisierungsdaten von dem Systemcontroller 50 und lädt die so aktualisierten Objektdaten in den Rahmenspeicher 6, um das Objekt so anzuzeigen, wie es durch den Bediener an der Berührungsbildschirmeinheit 1 manipuliert wurde.
Somit wird durch die vorliegende Erfindung die Ausführung einer Manipulation an dem angezeigten Objekt auf der Basis der Berührungsbildschirminformationen 2I, die aus einer Berührung des Berührungsbildschirms 11 durch den Bediener resultieren, und der Anzeigeinformationstabelle 1T, die Form, physische Eigenschaften, Anzeigeposition, etc., des Objektes definiert, bestimmt. Dann wird das Objekt gemäß der bestimmten Manipulation so angezeigt, wie es der Bediener wünscht.
(2) Aufnahmemanipulation (siehe 5 und 6)
Eine Aufnahmemanipulation wird auf solch eine Weise ausgeführt, daß ein Objekt an einer Position auf der Anzeigeoberfläche der Anzeigeeinheit 3 aufgenommen wird und an einer anderen Position angeordnet wird.
5 ist ein Flußdiagramm, das eine Aufnahmemanipulation erläutert. 6 ist ein Diagramm, das eine Aufnahmemanipulation erläutert.
Eine Aufnahmemanipulation wird in 5 gemäß den folgenden Schritten (S1–S8) ausgeführt:
(S1) Der Systemcontroller 50 empfängt eine Berührungsmeldung 3R von dem Berührungsdiskriminator 51.
(S2) Der Systemcontroller 50 prüft die Berührungsmeldung 3R, um festzustellen, ob die Objekt-Finger-Beziehung eine Aufnahmemanipulation ist, wie sie in 6(a) gezeigt ist, auf der Basis der Berührungsmeldung 3R und des Inhaltes der Anzeigeinformationstabelle 1T, die in 6(c) gezeigt ist. Wenn die Beziehung keine Aufnahmemanipulation ist, überprüft der Systemcontroller 50 die Berührungsmeldung 3R auf eine andere Manipulation.
(S3) Wenn eine Beziehung eine Aufnahmemanipulation ist, sendet der Systemcontroller 50 eine Anzeigeaktualisierungsanforderung 4Q, die "Anzeigeaktualisierungsdaten" enthält und das Anzeigen der Spezialzustandsdatei (Umwandlungsanzeige) an der Position anweist, die durch die Anzeigeinformationstabelle 1T spezifiziert ist.
(S4) Der Systemcontroller 50 empfängt eine Berührungsmeldung 3R.
(S5) Der Systemcontroller 50 bestimmt, ob die Berührungsmeldung 3R ein "Ende der kontinuierlichen Berührung" enthält, das auftritt, wenn die Finger-Objekt-Beziehung so wie in 6(b) ist. Wenn ein "Ende der kontinuierlichen Berührung" gemeldet wird, geht die Operation zu Schritt (S8) über.
(S6) Anderenfalls aktualisiert der Systemcontroller 50 die Anzeigepositionsinformationen "Koordinaten (X, Y)" der Anzeigeinformationstabelle 1T, so daß das Objekt zwischen den zwei Fingern positioniert wird.
(S7) Der Systemcontroller 50 sendet eine Anzeigeaktualisierungsanforderung 4Q an den Anzeigecontroller 52, die das Anzeigen der Spezialzustandsdatei gemäß der aktualisierten Anzeigeinformationstabelle 1T anweist, und kehrt zu Schritt (S4) zurück.
(S8) Wenn durch eine Berührungsmeldung 3R ein "Ende der kontinuierlichen Berührung" gemeldet wird, sendet der Systemcontroller 50 eine Anzeigeaktualisierungsanforderung 4Q an den Anzeigecontroller 52, die das Anzeigen der Normalanzeigedatei an der Position anweist, die in der Anzeigeinformationstabelle 1T spezifiziert ist.
Die folgenden Manipulationen werden auf dieselbe Weise ausgeführt, wie es in dem obigen Flußdiagramm der Aufnahmemanipulation beschrieben ist.
(3) Scrollmanipulation (siehe 7)
Eine Scrollmanipulation wird auf solch eine Weise ausgeführt, daß ein Objekt, das sich außerhalb der Anzeigeoberfläche der Anzeigeeinheit erstreckt, in die Anzeigeoberfläche hinein und aus ihr heraus bewegt wird.
7 ist ein Diagramm, das eine Scrollmanipulation zeigt.
Beim Bestimmen dessen, daß sich der Finger bewegt, während der Berührungsbildschirm 11 berührt wird, auf der Basis der Berührungsbildschirminformationen 2I von der Berührungsbildschirmeinheit 1 sendet der Diskriminator 51 an den Systemcontroller 50 eine Berührungsmeldung 3R, die den "Start der kontinuierlichen Berührung" für den Berührungstyp und auch "Koordinaten (800, 800)" für die Berührungsposition enthält. Wenn andere Berührungsbildschirminformationen 2I eintreffen, sendet der Diskriminator 51 eine Berührungsmeldung 3R, die die "laufende kontinuierliche Berührung" und Koordinaten (780, 800) enthält. Wenn die Berührungsbildschirminformationen 2I nicht länger als zum Beispiel 100 Millisekunden gesendet werden, sendet der Diskriminator 51 eine Berührungsmeldung 3R, die das "Ende der kontinuierlichen Berührung" und Koordinaten (700, 800) enthält, an den Systemcontroller 50.
Wenn ein "Start der kontinuierlichen Berührung" gemeldet wird und der "Objekttyp" in der Anzeigeinformationstabelle 1T als "außerhalb des Bildschirms" definiert ist, erkennt der Systemcontroller 50 das Objekt als ein großes Objekt, das sich über den Anzeigeschirm hinaus erstreckt. Dann bestimmt der Systemcontroller 50 die Geschwindigkeit, mit der sich der Finger zum Beispiel von rechts nach links bewegt hat, auf der Basis einer Veränderung der X-Koordinate in der Berührungsmeldung 3R.
In Abhängigkeit davon, ob sich der Finger mit einer Geschwindigkeit von zum Beispiel über (Hochgeschwindigkeit) oder unter (Normalgeschwindigkeit) 20 Punkten (Pixels) z. B. seit der letzten Überprüfung bewegt hat, wird der Anzeigeschirm zuerst jeweilig in einem Intervall von 100 oder 500 Millisekunden gescrollt. Dann wird das Intervall, in dem die Anzeigeaktualisierungsanforderung 4Q zu dem Anzeigecontroller 52 gesendet wird, um einen Faktor von 1,5 bei jeder Berührungsmeldung 3R erhöht, und wenn das Intervall 2 Sekunden erreicht, wird das Scrollen gestoppt.
Der Bildschirm wird praktisch so gesteuert, daß das Scrollen mit einer obengenannten Geschwindigkeit beginnt, nachdem sich ein Finger über eine Distanz von 4 Punkten oder mehr bewegt hat. Das heißt, beim Erkennen, daß sich der Finger über jene Distanz bewegt hat, aktualisiert der Systemcontroller 50 die Dateiinformationen "Anzeigeposition X" der Anzeigeinformationstabelle 1T, so daß das Objekt zum Beispiel 10 Punkte weiter links angezeigt wird. Dann sendet er an den Anzeigecontroller 52 eine Anzeigeaktualisierungsanforderung, die Anzeigepositionsinformationen, Dateiinformationen und den Normalanzeigedateinamen aus der aktualisierten Anzeigeinformationstabelle 1T enthält.
Der Anzeigecontroller 52 liest von der Festplatte eine Anzeigedatei, die durch den Normalanzeigedateinamen spezifiziert ist, und lädt sie in den Hauptspeicher 5. Der Anzeigecontroller 52 überträgt dann nur den Teil der Anzeigedatei, der durch die Dateiinformationen "Anzeigeposition X" der Anzeigeinformationstabelle 1T spezifiziert wird, aus dem Hauptspeicher 5 zu der entsprechenden Stelle des Rahmenspeichers 6.
Auf dieselbe Weise sendet der Systemcontroller 50 immer dann, wenn er eine Berührungsmeldung 3R empfängt, eine Anzeigeaktualisierungsanforderung 4Q an den Anzeigecontroller 52.
Wenn eine andere "kontinuierliche Berührung" gemeldet wird, bevor das zur Zeit laufende Scrollen stoppt, kann ab diesem Punkt und mit der ersten oben beschriebenen Geschwindigkeit ein neues Scrollen starten.
(4) Scroll-Stopp-Manipulation (siehe 7)
7 ist ein Diagramm, das eine Scrollmanipulation zeigt.
Wenn eine Berührungsposition, die durch eine Berührungsmeldung 3R gegeben ist, dieselbe wie die Position des zur Zeit laufenden Scrollens ist oder etwa 5 Punkte von ihr getrennt ist, verdoppelt der Systemcontroller 50 die Frequenz, mit der Anzeigeaktualisierungsanforderungen 4Q zu dem Anzeigecontroller 52 gesendet werden, um dem Scrollen ein Ende zu bereiten.
(5) Schiebemanipulation (siehe 8)
Eine Schiebemanipulation wird auf solch eine Weise ausgeführt, daß ein Objekt auf der Anzeigeoberfläche der Anzeigeeinheit 3 verschoben wird.
8 ist ein Diagramm, das eine Schiebemanipulation zeigt.
Der Systemcontroller 50 bestimmt den Typ einer Manipulation auf der Basis der Berührungsmeldung 3R und des Inhaltes der Anzeigeinformationstabelle 1T, die in 8(c) gezeigt ist. Wenn die Manipulation eine Schiebemanipulation ist, wie in 8(a) gezeigt, sendet der Systemcontroller 50 an den Anzeigecontroller 52 eine Anzeigeaktualisierungsanforderung 4Q, die Anzeigepositionsinformationen, Dateiinformationen und den Normalanzeigedateinamen enthält, so daß das Objekt dicht an der Fingerposition angezeigt wird, die durch die Berührungsmeldung 3R gemeldet wurde. Die obige Anzeigeoperation wird wiederholt, bis durch eine Berührungsmeldung 3R ein "Ende der kontinuierlichen Berührung" gemeldet wird.
(6) Schiebe- und Rotationsmanipulation (siehe 8)
Eine Schiebe- und Rotationsmanipulation wird auf solch eine Weise ausgeführt, daß ein Objekt an einer Position außerhalb seiner Mitte (oder seines Schwerezentrums) geschoben wird und sich rotierend auf der Anzeigeoberfläche der Anzeigeeinheit 3 bewegt.
8 ist ein Diagramm, das eine Schiebemanipulation zeigt.
Der Systemcontroller 50 bestimmt den Typ einer Manipulation auf der Basis der Berührungsmeldung 3R und des Inhaltes der Anzeigeinformationstabelle 1T, die in 8(c) gezeigt ist. Wenn die Manipulation eine Schiebe- und Rotationsmanipulation ist, wie in 8(b) gezeigt, sendet der Systemcontroller 50 an den Anzeigecontroller 52 Anzeigeaktualisierungsanforderungen 4Q, wobei der Rotationswinkel um 2 Grad zunimmt, d. h., während der Winkel in der Anzeigeinformationstabelle 1T, die in 8(c) gezeigt ist, vergrößert wird.
Der Anzeigecontroller 52 liest die Anzeigedatei von der Festplatte und lädt die Daten in den Hauptspeicher 5, rotiert das Objekt um den Winkel und mit den linken oberen Koordinaten (X, Y) als Rotationszentrum, wie es durch die Anzeigeaktualisierungsanforderung 4Q spezifiziert ist, und überträgt die Daten bei dem rotierten Objekt von dem Hauptspeicher 5 zu dem Rahmenspeicher 6.
(7) Flippermanipulation (siehe 9)
Eine Flippermanipulation wird auf solch eine weise ausgeführt, daß ein Finger ein Objekt flippert oder das Objekt von einer entfernten Position aus mit hoher Geschwindigkeit auf der Anzeigeoberfläche der Anzeigeeinheit 3 berührt.
9 ist ein Diagramm, das eine Flippermanipulation zeigt.
Wenn eine Berührungsmeldung 3R von dem Berührungsdiskriminator 51 eingegeben wird, unterscheidet der Systemcontroller 50 den Typ einer Manipulation auf der Basis der Berührungsmeldung 3R und des Inhaltes der Anzeigeinformationstabelle 1T, die in 9(c) gezeigt ist. Wenn die Manipulation eine Flippermanipulation ist, wie in 9(a) gezeigt, erhält der Systemcontroller 50 eine Fingergeschwindigkeit auf der Basis der Berührungsmeldung 3R und auch eine Objektgeschwindigkeit (d. h., das Intervall, in dem Anzeigeaktualisierungsanforderungen 4Q zu dem Anzeigecontroller 52 gesendet werden) genauso, wie es bei Punkt (3) beschrieben wurde. Der Systemcontroller 50 sendet Anzeigeaktualisierungsanforderungen 4Q zu dem Anzeigecontroller 52, während die linken oberen Koordinaten (X, Y) der Anzeigepositionsinformationen der Anzeigeinformationstabelle 1T aktualisiert werden, so daß sich das Objekt in der Richtung bewegt, in der sich der Finger bewegt. Der Systemcontroller 50 stoppt das Bewegen des Objektes, wenn das obengenannte Intervall 2 Sekunden erreicht.
(8) Flippermanipulation unter Schwerkraft (siehe 9)
Eine Flippermanipulation unter Schwerkraft wird auf solch eine Weise ausgeführt, daß ein Objekt, das einer Schwerkraft unterliegt, durch einen Finger auf der Anzeigeoberfläche der Anzeigeeinheit 3 geflippert wird.
9 ist ein Diagramm, das eine Flippermanipulation zeigt.
Wenn die Fingermanipulation so wie bei dem obigen Punkt (8) ein Flippern ist und die Anzeigeinformationstabelle 1T den Objekttyp als "Schwerkraft" definiert, mit der Bedeutung, daß das Objekt der Schwerkraft unterliegt, bewegt sich das Objekt zum Beispiel unter den kombinierten Einflüssen von Trägheit und simulierter Schwerkraft, d. h., es "fällt", wie in 9(b) gezeigt. Deshalb sendet der Systemcontroller 50 Anzeigeaktualisierungsanforderungen 4Q an den Anzeigecontroller 52, während die linken oberen Koordinaten (X, Y) der Anzeigepositionsinformationen aktualisiert werden, indem ein Wert zu der Y-Koordinate der Anzeigeinformationstabelle 1T hinzugefügt wird. Der Wert wird durch 2 hoch N dargestellt (N: Anzahl der gesendeten Anzeigeaktualisierungsanforderungen 4Q). Auch in diesem Fall stoppt der Systemcontroller 50 die Bewegung des Objektes, wenn das obengenannte Intervall 2 Sekunden erreicht. Die resultierende Bahn kann eine Parabel sein.
(9) Rollmanipulation (siehe 10)
Eine Rollmanipulation wird auf solch eine Weise ausgeführt, daß ein rollfähiges Objekt mit einem Finger auf der Anzeigeoberfläche der Anzeigeeinheit 3 gerollt wird.
10 ist ein Diagramm, das eine Rollmanipulation zeigt.
Wenn eine Berührungsmeldung 3R von dem Berührungsdiskriminator 51 eingegeben wird und die Anzeigeinformationstabelle 1T den Objekttyp als "rollfähig" definiert, mit der Bedeutung, daß das Objekt so konstruiert ist, daß es wie eine Kugel oder ein Zylinder rollt, wenn es geflippert wird, wie in 10(a) gezeigt, sendet der Systemcontroller 50 Anzeigeaktualisierungsanforderungen 4Q an den Anzeigecontroller 52, während die linken oberen Koordinaten (X, Y) der Anzeigepositionsinformationen der Anzeigeinformationstabelle 1T aktualisiert werden, so daß sich das Objekt über eine Distanz von 10 Prozent hinter der Distanz und in die Richtung bewegt, über die und in die sich der Finger bewegt.
(10) Deformierungs-/Wiederherstellungsmanipulation (siehe 11)
Eine Deformierungs-/Wiederherstellungsmanipulation wird auf solch eine Weise ausgeführt, daß ein Finger auf ein "elastisches" Objekt auf der Anzeigeoberfläche der Anzeigeeinheit 3 gepreßt wird, um dadurch das angezeigte Objekt zu deformieren.
11 ist ein Diagramm, das eine Deformierungs-/Wiederherstellungsmanipulation zeigt.
Wenn eine Berührungsmeldung 3R von dem Berührungsdiskriminator 51 eingegeben wird und die Anzeigeinformationstabelle 1T den Objekttyp als "elastisch" definiert, mit der Bedeutung, daß das Objekt gemäß einem Druck, der mit einem Finger darauf ausgeübt wird, deformiert und wiederhergestellt werden kann, wie in 11(a) gezeigt, berechnet der Systemcontroller 50 einen Deformierungsbetrag des Objektes auf der Basis des Drucks, der durch die Berührungsmeldung 3R gemeldet wird. Er speichert in der Anzeigeinformationstabelle 1T einen Spezialzustandsdateinamen, der eine der Spezialzustandsdateien (zum Anzeigen eines deformierten Zustandes des Objektes in Umwandlungsanzeige) spezifiziert, die dem berechneten Deformierungsbetrag entspricht. Dann sendet der Systemcontroller 50 eine Anzeigeaktualisierungsanforderung 4Q an den Anzeigecontroller 52, die das Anzeigen der Spezialzustandsdatei an der gegenwärtigen Anzeigeposition anweist. Wenn die obige Operation nach Bedarf wiederholt wird und durch eine Berührungsmeldung 3R ein "Ende der kontinuierlichen Bewegung" gemeldet wird, sendet der Systemcontroller 50 eine Anzeigeaktualisierungsanforderung 4Q (mit einem spezifizierten Normalanzeigedateinamen) an den Anzeigecontroller 52, die das Anzeigen einer Normalanzeigedatei (normale Anzeige) an der gegenwärtigen Anzeigeposition anweist. Auf der Festplatte 7 ist eine Vielzahl von Spezialzustandsdateien vorgesehen, die dem Deformierungsbetrag des Objektes entsprechen, der aus einem Druck resultiert, der auf den Berührungsbildschirm 11 angewendet wird.
Wie aus der obigen Beschreibung hervorgeht, wird bei der vorliegenden Erfindung ein Anzeigeschirm als virtueller Raum angesehen. In der Anzeigeinformationstabelle 1T werden Bedingungen und physische Eigenschaften eines Objektes (z. B. das Gewicht, die Härte, der Reibungswiderstand, das Schwerezentrum) definiert. Es werden auch Berührungsbildschirminformationen 2I empfangen, die eine Position angeben, die mit einem Finger berührt wurde, und der Druck wird von einer Berührungsbildschirmeinheit 1 eingegeben. Auf der Basis der Berührungsbildschirminformationen 2I und der Anzeigeinformationstabelle 1T wird bei der vorliegenden Erfindung die Ausführung einer Manipulation an dem angezeigten Objekt bestimmt, wie z. B. des Scrollens, des (Auf)Nehmens, des Schiebens, des Rollens, des Deformierens des Objektes auf der Anzeigeoberfläche der Anzeigeeinheit 3. Somit gestattet es die vorliegende Erfindung einem Benutzer, ein Objekt, das an einer Anzeigeeinrichtung angezeigt wird, ganz leicht zu manipulieren, selbst wenn der Benutzer geringe Computerkenntnisse hat.

Claims

Vorrichtung zur Verwendung mit einer Anzeigeeinrichtung (3), um ein Objekt zu manipulieren, das an der Anzeigeeinrichtung angezeigt wird, welche Vorrichtung umfaßt: ein Berührungsfeld (11), das eine Anzeigeoberfläche der Anzeigeeinrichtung (3) darstellt und gegenüber Charakteristiken eines Berührungskontaktes auf dem Berührungsfeld empfindlich ist, welche Charakteristiken wenigstens Druck- und Koordinatenpositionen des Berührungskontaktes enthalten, zum Ausgeben von entsprechenden Berührungsfeldinformationen (2I), die die Charakteristiken des Berührungskontaktes auf dem Berührungsfeld (11) darstellen; und ein Objektmanipulationsmittel (7, 50, 51, 52, 1T) zum Manipulieren und Anzeigen des Objektes an der Anzeigeeinrichtung als Reaktion auf die Berührungsfeldinformationen (2I), welches Objektmanipulationsmittel umfaßt: ein Dateispeichermittel (7) zum Speichern wenigstens einer Datendatei, die Objektdaten zum Anzeigen des Objektes speichert; ein Anzeigeinformationsspeichermittel (1T) zum Speichern von Objektinformationen, die einen Objekttyp enthalten, der die Form oder die physischen Eigenschaften des Objektes spezifiziert, und von Anzeigepositionsinformationen, die die Position des Objektes an der Anzeigeeinrichtung (3) spezifizieren; und ein Anzeigesteuermittel (52), das auf die Berührungsfeldinformationen (2I) und auf die Objektinformationen, die in dem Anzeigeinformationsspeichermittel enthalten sind, reagiert, zum Erkennen des Manipulationstyps des Objektes gemäß den Berührungsfeldinformationen (2I), den Anzeigepositionsinformationen und dem Objekttyp und zum Ausführen der Manipulation des Objektes an der Anzeigeeinrichtung (3) gemäß dem erkannten Manipulationstyp; wobei der Manipulationstyp eine Deformierungs-/Wiederherstellungsmanipulation des Objektes enthält, bei der das Anzeigesteuermittel (52) auf die Druckcharakteristiken des Berührungskontaktes reagiert, um das Objekt an der Anzeigeeinrichtung zu deformieren und wiederherzustellen, wobei der Deformierungsbetrag des Objektes auf der Basis der Druckcharakteristiken des Berührungskontaktes berechnet wird.
Vorrichtung nach Anspruch 1, wobei der Manipulationstyp ferner eine Bewegungsmanipulation des Objektes enthält, bei der das Anzeigesteuermittel (52) auf die Positionsveränderungen des Berührungskontaktes reagiert, um das Objekt an der Anzeigeeinrichtung (3) von einer Position zu einer anderen zu bewegen.
Vorrichtung nach Anspruch 1, bei der das Dateispeichermittel (7) ferner eine Vielzahl von Spezialzustandsdateien zum Anzeigen des Objektes in einem deformierten Zustand speichert, wobei jede Spezialzustandsdatei einem jeweiligen Deformierungsbetrag entspricht und auf der Basis der Druckcharakteristiken des Berührungskontaktes spezifiziert ist.
Vorrichtung nach Anspruch 1, 2 oder 3, bei der das Berührungsfeld (11) an die Anzeigeeinrichtung (3) montiert ist.
Controller zum Steuern einer Anzeigeeinrichtung (3), um ein Objekt zu manipulieren, das an der Anzeigeeinrichtung angezeigt wird, auf der Basis von Informationen von einem Berührungsfeld (11), das eine Anzeigeoberfläche der Anzeigeeinrichtung (3) darstellt und gegenüber Charakteristiken eines Berührungskontaktes auf dem Berührungsfeld empfindlich ist, die wenigstens Druck- und Koordinatenpositionen des Berührungskontaktes enthalten; welcher Controller umfaßt: ein Ausgabemittel (51) zum Ausgeben von entsprechenden Berührungsfeldinformationen (2I), die die Charakteristiken des Berührungskontaktes auf dem Berührungsfeld (11) darstellen; und ein Objektmanipulationsmittel (50, 52, 1T) zum Manipulieren und Anzeigen des Objektes an der Anzeigeeinrichtung als Reaktion auf die Berührungsfeldinformationen (2I), welches Objektmanipulationsmittel umfaßt: ein Anzeigeinformationsspeichermittel (1T) zum Speichern von Objektinformationen, die einen Objekttyp enthalten, der die Form oder die physischen Eigenschaften des Objektes spezifiziert, und von Anzeigepositionsinformationen, die die Position des Objektes an der Anzeigeeinrichtung (3) spezifizieren; und ein Anzeigesteuermittel (52), das auf die Berührungsfeldinformationen (2I) und auf die Objektinformationen, die in dem Anzeigeinformationsspeichermittel enthalten sind, reagiert, zum Erkennen des Manipulationstyps des Objektes gemäß den Berührungsfeldinformationen (2I), den Anzeigepositionsinformationen und dem Objekttyp und zum Ausführen der Manipulation des Objektes an der Anzeigeeinrichtung (3) gemäß dem erkannten Manipulationstyp; wobei der Manipulationstyp eine Deformierungs-/Wiederherstellungsmanipulation des Objektes enthält, bei der das Anzeigesteuermittel (52) auf die Druckcharakteristiken des Berührungskontaktes reagiert, um das Objekt an der Anzeigeeinrichtung zu deformieren und wiederherzustellen, wobei der Deformierungsbetrag des Objektes auf der Basis der Druckcharakteristiken des Berührungskontaktes berechnet wird.