DE69736045T2

DE69736045T2 - Verfahren zum Übertragen und Darstellen von Datenseiten in einem Datennetzwerk

Info

Publication number: DE69736045T2
Application number: DE69736045T
Authority: DE
Inventors: Gaurav Houston Banga; Hosagrahar Visvesvaraya Berkeley Heights Jagadish; Michael Gillette Rabinovich; Frederick Somerset Douglis; Kiem-Phong Berkeley Heights Vo
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1996-10-11
Filing date: 1997-10-01
Publication date: 2007-01-11
Anticipated expiration: 2017-10-02
Also published as: US6910073B2; JP4220000B2; EP0836145A3; EP0836145A2; EP0836145B1; DE69736045D1; US6240447B1; CA2217370A1; CA2217370C; US5931904A; JPH10214239A; US20010020248A1

Description

HINTERGRUND DER ERFINDUNG
Diese Erfindung betrifft ein Verfahren zum Übertragen und Anzeigen von Datenseiten an einer Station, die über eine langsame Verbindung mit einem Netzwerk verbunden ist. Insbesondere betrifft diese Erfindung ein Verfahren zum Reduzieren der Verzögerung zwischen der Zeit, zu der eine Datenseite angefordert wird, und der Zeit, zu der die Seite angezeigt wird.
In Datennetzen wie dem Internet sind Daten auf Servern gespeichert, die durch schnelle Verbindungen vernetzt sind. Derartige Netzwerke unterstützen Protokolle wie das Hypertext Transfer Protocol („HTTP"), das im populären World-Wide-Web-Bereich des Internets verwendet wird, in dem Daten zu Benutzern in einem Format, das als eine „Seite" bekannt ist, übertragen werden. Unter dem HTTP-Protokoll kann die Benutzerschnittstellen-Software (bekannt als ein „Browser") mit der Anzeige einer Seite erst beginnen, wenn ein bedeutender Anteil der Seite empfangen wurde, und kann die Seite eindeutig erst dann vollständig anzeigen, wenn die gesamte Seite empfangen wurde. Die resultierenden Verzögerungen werden als „Latenzzeit" bezeichnet.
Leider sind viele Internetnutzer über relativ langsame Verbindungen unter Verwendung eines Modems und einer Standard-Telefonleitung mit dem Internet verbunden. Selbst die schnellsten kommerziell erhältlichen Telefonmodems sind begrenzt auf Geschwindigkeiten von 28,8 Kilobit pro Sekunde („kbps") oder in einigen Fällen 33,6 kbps. Dies begrenzt die Geschwindigkeit, mit der eine World-Wide-Web-Seite zu einem Benutzer übertragen und vom Browser des Benutzers angezeigt werden kann. Außerdem wird die scheinbare Geschwindigkeit des World Wide Web auch durch starken Benutzerverkehr, insbesondere durch starken Zugriff von anderen Benutzern auf denselben Server, verlangsamt. Als ein Ergebnis beschwerden sich viele Benutzer über die niedrige Geschwindigkeit des Internets im Allgemeinen und des World Wide Webs im Besonderen. In der Tat ist ein Großteil der Latenzzeit, die von Benutzern wahrgenommen wird, das Ergebnis ihrer relativ langsamen Verbindung mit dem und des starken Verkehrs auf dem, was von Natur aus ein sehr schnelles Netzwerk sein sollte.
Gegenwärtig erhältliche Browser-Software macht einige Versuche, Verzögerungen beim Empfang von World-Wide-Web-Seiten zu beseitigen. Beispielsweise speichern die meisten Browser empfangene Seiten in einem Datenträger-Zwischenspeicher. Wenn ein Benutzer eine Seite innerhalb einer kurzen Zeit, nachdem er sie vorher angefordert hat, unfordert, gewinnt der Browser die Seite aus dem Zwischenspeicher zurück. Unter dem HTTP-Protokoll können bestimmte World-Wide-Web-Seiten jedoch nicht zwischengespeichert werden wie beispielsweise diejenigen, die dynamisch erzeugt werden. Daher sind gegenwärtige Zwischenspeicherungs-Techniken von begrenztem Nutzen bei der Lösung des Latenzzeit-Problems.
Es wäre wünschenswert in der Lage zu sein, die wahrgenommenen Verzögerungen zu reduzieren, die bei der Übertragung von Datenseiten von einem relativ schnellen Netzwerk zu einem Benutzer, der über eine relativ langsame Verbindung mit dem Netzwerk verbunden ist, vorkommen.
Es wäre außerdem wünschenswert in der Lage zu sein, die Zwischenspeicherungs-Fähigkeiten von Browsern besser zu nutzen.
T Ball et al. offenbaren in „An Internet Difference Engine and Its Applications" in „Proceedings of COMPCON '96, Nr. Conf. 41, S. 71-76 (1996), veröffentlicht von IEEE, ein Web-Verfolgungs-Tool, das Änderungen zwischen zwei Versionen einer Webseite feststellt und eine weitere Seite erzeugt, die diese Differenzen zusammenfasst. Die Seite, die die Differenzen zwischen den zwei Versionen zusammenfasst, kann einem Benutzer angezeigt werden, um Informationen über die Änderungen, die an der Webseite vorgenommen wurden, bereitzustellen.
Dieses Druckschrift befasst sich jedoch nicht mit dem Problem, dem Benutzer eine aktuelle Version einer Webseite effizient über eine langsame Datenverbindung zu präsentieren.
Es ist eine Aufgabe dieser Erfindung, die wahrgenommenen Verzögerungen zu reduzieren, die bei der Übertragung von Datenseiten von einem relativ schnellen Netzwerk zu einem Benutzer, der über eine relativ langsame Verbindung mit dem Netzwerk verbunden ist, vorkommen.
Es ist außerdem eine Aufgabe dieser Erfindung, die Zwischenspeicherungs-Fähigkeiten von Browsern besser zu nutzen.
In Übereinstimmung mit dieser Erfindung wird ein Verfahren zum Übertragen und Anzeigen von Datenseiten in einem Datennetz eines Typs, in dem Daten in einem Seitenformat abgerufen werden können, bereitgestellt. Das Netzwerk hat mindestens einen Server, in dem die Datenseiten gespeichert sind, ein Gateway, das mit den Servern verbunden ist, und eine Benutzerstation, das über eine Datenverbindung, die eine endliche Geschwindigkeit hat, mit dem Gateway verbunden ist. Die Benutzerstation fordert eine der Datenseiten von einem der Server an. Das Verfahren umfasst das Senden einer Anforderung von der Benutzerstation zu dem Gateway zum Abrufen der Datenseite von einem der Server. Als Reaktion auf diese Anforderung wird eine frühere Version der Datenseite abgerufen. Wenn festgestellt wird, dass die frühere Version nicht aktuell ist, wird eine Abfrage der Datenseite von dem einen der Server zu dem Gateway zur Übertragung zu der Benutzerstation initiiert. Nach Empfang einer Antwort auf die Anforderung an dem Gateway wird eine Differenz zwischen der angeforderten Datenseite und der früheren Version der Seite festgestellt, und diese Differenz wird zu der Benutzerstation übertragen. An der Benutzerstation wird die Datenseite berechnet als eine Funktion der früheren Version und der Differenz. Die berechnete Seite wird dann an der Benutzerstation angezeigt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die obige und andere Aufgaben und Vorteile der Erfindung sind erkennbar nach Berücksichtigung der folgenden ausführlichen Beschreibung in Verbindung mit den begleitenden Zeichnungen, in denen dieselben Bezugszeichen sich durchgängig auf dieselben Teile beziehen und von denen:
1 ein schematisches Blockdiagramm eines Systems zeigt, mit dem das Verfahren der vorliegenden Erfindung verwendet werden kann;
2 ein Ablaufdiagramm eines Teils des Verfahrens der vorliegenden Erfindung zeigt, der von dem in 1 dargestellten lokalen Proxy ausgeführt wird;
3 ein Ablaufdiagramm zeigt, das Einzelheiten eines der in 2 gezeigten Schritte darstellt;
4 ein Ablaufdiagramm eines Teils des Verfahrens der vorliegenden Erfindung zeigt, der von dem in 1 dargestellten entfernten Proxy ausgeführt wird;
5 ein Ablaufdiagramm zeigt, das Einzelheiten eines der in 4 gezeigten Schritte darstellt; und
6 ein Ablaufdiagramm zeigt, das Einzelheiten einer alternativen Ausführungsform eines der in 4 gezeigten Schritte darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Obwohl sie im Allgemeinen auf Netzwerk-Datenübertragungen anwendbar ist, ist die vorliegende Erfindung besonders nützlich und bietet sich an für leichte Erläuterung in Verbindung mit dem Internet und insbesondere mit dem World Wide Web. Die World-Wide-Web-Architektur setzt am Netzwerk-Gateway-Ende der Verbindung eines Benutzers eine Anwendung ein, die als ein Proxy bekannt ist. World-Wide-Web-Browser-Software ist vorgesehen zur Kommunikation mit einem Proxy, der wiederum die Anforderungen des Browsers an die Netzwerkserver weiterleitet und die angeforderten Daten in der Form von einer oder mehrere Seiten zurückleitet. In Übereinstimmung mit der vorliegenden Erfindung wird ein zweiter Proxy, im Folgenden als ein „lokaler Proxy" bezeichnet, vorzugsweise in dem Computer des Benutzers durch Software eingerichtet. Wenn die Browser-Software des Benutzers versucht, mit einem Proxy Verbindung aufzunehmen, wird sie mit dem lokalen Proxy verbunden. So weit die Browser-Software betroffen ist, ist sie mit einem Proxy verbunden, wie sie es erwartet und erfordert. Der lokale Proxy wiederum kommuniziert mit dem Proxy am Netzwerk-Ende der Verbindung (im Folgenden der „entfernte Proxy").
Das Vorhandensein des lokalen Proxys gestattet die Verwendung von verschiedenen Techniken, die die scheinbare Geschwindigkeit der Verbindung mit dem Netzwerk erhöhen. Man kann den lokalen Proxy zum Einsatz derartiger Techniken entwerfen, ohne die Browser-Software des Benutzers zu verändern. Schließlich können eine oder mehrere derartiger Techniken in Browser-Software eingebaut werden, wodurch der lokale Proxy effektiv in den Browser eingebaut wird. Die vorliegende Erfindung kann jedoch durch Bereitstellung von separater Software für lokale Browser mit existierenden Browsern verwendet werden.
Eine bevorzugte Technik, die in Verbindung mit dem lokalen Proxy zur Erhöhung der scheinbaren Verbindungsgeschwindigkeit verwendet werden kann, beruht auf der Tatsache, dass gegenwärtig Verarbeitungsgeschwindigkeit und -fähigkeit an der Benutzerstation leichter verfügbar und billiger ist als eine schnellere Verbindung. Damit beruht die Erfindung auf das Abrufen einer zwischengespeicherten Version einer angeforderten Seite und der anschließenden Übertragung nur der Differenzen zwischen der zwischengespeicherten Version und der aktuellen Version von dem entfernten Proxy zu dem lokalen Proxy. Die Benutzerstation rekonstruiert unter Verwendung ihrer relativ schnellen und billigen Verarbeitungsressourcen die aktuelle Seite aus der zwischengespeicherten Version und den empfangenen Differenzdaten.
Eine bevorzugte Technik zur Berechnung der Differenzdaten ist die im gleichzeitig anhängigen EP-A-0717353 beschriebene Technik. Andere Techniken, die Fachleuten bekannt sind oder von ihnen entwickelt werden, können jedoch verwendet werden.
Damit der entfernte Proxy imstande ist, die Differenzdaten an den lokalen Proxy zu senden, muss er die Differenzdaten berechnen, indem er die aktuelle Seite, sobald sie am entfernten Proxy empfangen wird, mit der Version der Seite vergleicht, die bereits am lokalen Proxy verfügbar ist. Dies erfordert, dass der entfernte Proxy weiß, welche Version der Seite bereits am lokalen Proxy vorhanden ist. Dies kann in mehreren Weisen erreicht werden.
Zuerst muss der entfernte Proxy mindestens eine Version der Seite zwischenspeichern (wenn die vom Benutzer angeforderte Seite niemals von irgendeinem Benutzer, der mit dem entfernten Proxy verbunden ist, angefordert wurde, gäbe es keine Alternative dazu, auf den Empfang der vollen aktuellen Seite am entfernten Proxy zu warten und die gesamte Seite zu übertragen, außer dass es möglich sein kann, mit der Übertragung der gesamten aktuellen Seite zu beginnen, bevor sie vollständig an dem entfernten Proxy empfangen ist).
In einer Ausführungsform zwischenspeichert der lokale Proxy auch die Seite (vorausgesetzt, dass er sie vorher angefordert hat) und identifiziert, als Teil seiner Anforderung der Datenseite, welche Version er bereits zwischengespeichert hat. Der entfernte Proxy würde prüfen, ob er diese bestimmte Version zwischengespeichert hat, und, falls ja, würde diese Version zur Berechnung der Differenzen nach Empfang der aktuellen Seite verwenden. Wenn der entfernte Proxy diese Version nicht zwischengespeichert hatte, würde er die aktuellste Version, die er hat, an den lokalen Proxy übertragen, während er auf die Ankunft der aktuellen Daten wartet.
In einer Variante dieser Ausführungsform würde der entfernte Proxy mehrere verschiedene Versionen einer Seite zwischenspeichern, um die Wahrscheinlichkeit zu erhöhen, dass er die Version hat, die vom lokalen Proxy zwischengespeichert wird. In einer anderen Variante würde der lokale Proxy auch mehr als eine Version einer Seite zwischenspeichern. Beispielsweise könnte der lokale Proxy so programmiert werden, dass er die neueste Version jeder abgefragten Seite sowie jede Seite, die für Zwischenspeicherung markiert ist, zwischenspeichert. In dieser Ausführungsform würde der entfernte Proxy vorzugsweise bestimmte Seiten für Zwischenspeicherung durch lokale Proxys markieren – z. B. kann die Mittagsversion einer populären Nachrichtenseite immer zwischengespeichert werden und kann erhalten werden, selbst wenn eine spätere Version abgefragt wird (die spätere Version würde auch zwischengespeichert werden). Vermehrte Zwischenspeicherung durch einen der Proxys würde die zu übertragende Datenmenge reduzieren, während der entfernte Proxy auf die aktuelle Seite wartet, erfordert jedoch mehr Speicherkapazität in einem oder beiden Proxys. Mehr Speicher kann einfacher sein an einem entfernten Proxy, der häufig mit einem Contentprovider oder Netzdienstprovider assoziiert ist, kann aber teuer sein in dem lokalen Proxy, der gewöhnlich in einem Heim- oder Büro-Personal-Computer ist.
Wenn der entfernte Proxy die aktuelle Seite von dem Contentprovider anfordert, kann er fordern, dass die Seite nur übertragen wird, wenn sie sich seit der Zeit der letzten Version, über die er verfügt, oder der Version, von der er weiß, dass der lokale Proxy sie hat oder haben sollte, verändert hat. Das HTTP-Protokoll stellt Befehle für derartige Anforderungen bereit. Wenn der entfernte Proxy eine Meldung zurückerhält, dass keine Veränderung erfolgt ist, kann er dann eine Meldung an den lokalen Proxy senden, dass die Seite, über die der lokale Proxy bereits verfügt, aktuell ist (entweder weil er die Seite vorher zwischengespeichert hatte oder weil der entfernte Proxy die Seite übertragen hat, während er auf eine Antwort vom Server des Contentproviders wartete), und der lokale Proxy kann dann die Seite, die er bereits hat, zur Anzeige an den Browser liefern.
Wenn andererseits der entfernte Proxy eine neue Version der Seite empfängt, muss er dann entscheiden, ob er die neue Version der Seite übertragen oder die Differenzdaten berechnen und übertragen soll. Dies ist von mehreren Faktoren abhängig.
Wenn der lokale Proxy die vorherige Version der Seite bereits hat (entweder weil er sie zwischengespeichert hat oder weil der entfernte Proxy sie senden konnte, während er auf die aktuelle Version wartete), ist der wichtigste Faktor bei der Entscheidung, ob die gesamte aktuelle Version zu übertragen ist oder ob die Differenz zu berechnen und zu übertragen ist, die relative Größe der neuen Version und der Differenzdaten. Daher würde der entfernte Proxy die Differenzdaten berechnen und dann die Größe der Differenzdaten mit der Größe der neuen Version vergleichen. Wenn die neue Version nicht größer ist als die Differenzdaten, würde der entfernte Proxy die neue Version mit einer Meldung, die dem lokalen Proxy mitteilt, dass es die neue Version ist und dass Rekonstruktion auf der Grundlage der alten Version nicht erforderlich ist, übertragen. Der lokale Proxy würde die neue Version dann an den Browser zur Anzeige weiterleiten.
Wenn die neue Version größer ist als die Differenzdaten, muss der entfernte Proxy eine Entscheidung basierend darauf wie viel größer die neue Version ist, treffen. Da eine gewisse Zeit für die Rekonstrukion durch den lokalen Proxy erforderlich ist, kann es, wenn die neue Version die gleiche Größe aufweist wie die Differenzdaten oder nur geringfügig größer ist, immer noch schneller sein (unter dem Aspekt, wann der Benutzer die angeforderte Seite sehen kann), die neue Version und nicht die Differenzdaten zu übertragen. Die Bestimmung, wie viel größer die neue Version sein kann, bis es keinen Sinn mehr macht, sie zu übertragen, kann von einer Reihe von Faktoren abhängen, die unter Umständen in Echtzeit zu messen sind, was in einer dynamischen Berechnung der Schwellenwertgröße zum Übertragen von Differenzdaten und nicht der neuen Daten resultiert. Wenn die Berechnung jedoch von Variablen abhängt, die nicht auf einfache Weise von dem entfernten Proxy bestimmt werden können, wie die Prozessorgeschwindigkeit an der Benutzerstation, besteht eine Alternative darin, dass der entfernte Proxy einfach annimmt, dass die neue Version bis zu etwa 120 % der Differenzdaten betragen und noch in ihrer Gesamtheit übertragen werden kann.
Wenn die angeforderte Seite bei dem entfernten Proxy eintrifft, während der entfernte Proxy noch eine ältere „überholte" Version der Seite an den lokalen Proxy überträgt, muss der entfernte Proxy eine Entscheidung treffen, ob er fortfahren soll oder nicht oder ob er abbricht und einfach die neue Version der Seite in ihrer Gesamtheit überträgt. Dies ist wieder abhängig von einem Vergleich, wie lange es dauern wird, die neue Version zu übertragen, und wie lange es dauern wird, die Übertragung der alten Version abzuschließen und die Differenzdaten zu berechnen und zu übertragen. Die Zeit, die zum Übertragen der neuen Version erforderlich ist, kann bekannt sein, wenn deren Größe bekannt ist, oder kann unter Einsatz von geeigneten statistischen Annahmen geschätzt werden. Ebenso ist die Zeit bekannt, die erforderlich ist, um die Übertragung der überholten Daten abzuschließen. Nicht bekannt ist die Größe der Differenzdaten. Wenn die Größe der neuen Version kleiner ist als die der restlichen überholten Daten, wird die neue Version übertragen. Anderenfalls erfolgt eine Annahme, dass die Differenzdaten eine durchschnittliche Größe aufweisen, die in der bevorzugten Ausführungsform 40 % der Größe der überholten Seite beträgt. Wenn daher weniger als 40 % der überholten Daten übertragen wurden (d. h. mehr als 60 % verbleiben noch), kann die Übertragung der überholten Daten abgebrochen werden, um stattdessen einfach die neue Version zu übertragen. Wenn umgekehrt mehr als 40 % der überholten Daten übertragen wurden (d. h. weniger als 60 % verbleiben noch), kann es sinnvoll sein, die Übertragung der restlichen überholten Daten plus der Differenzdaten fortzusetzen, weil die beiden letztgenannten Posten zusammen kleiner wären als die neue Version.
Wenn die Übertragung der überholten Daten fortgesetzt wird und die Differenzdaten berechnet werden, kann natürlich festgestellt werden, dass für diese bestimmte Anforderung die Differenzdaten größer sind als 40 %, so dass in diesem Fall die Entscheidung kontraproduktiv gewesen wäre. Oder wenn entschieden wurde, die neue Version zu übertragen, kann sich herausgestellt haben, dass die Differenzdaten kleiner waren als erwartet. Im Durchschnitt kann jedoch erwartet werden, dass es beim Fehlen anderer Daten produktiv ist, 40 % der Seitengröße als einen Standardwert für die Größe der Differenzdaten zu verwenden. Es kann beispielsweise auch möglich sein, die Größen von Differenzdaten im Verlauf der Zeit zu verfolgen, entweder global oder für individuelle Seiten (z. B. nach URL) oder Server, und diese Informationen zu verwenden, um die Standardgröße der Differenzdaten von Zeit zu Zeit anzupassen. Alternativ kann es möglich sein, die Größe der Differenzdaten inkremental („während des Vorgangs") zu schätzen oder zu berechnen, wie nachstehend diskutiert.
In einigen Fällen kann man feststellen, während die überholten Daten noch übertragen werden, oder danach, dass die Differenzdaten so groß sind – selbst Differenzdaten, die größer sind als die Seitengröße, sind theoretisch möglich –, dass es nicht sinnvoll wäre fortzufahren. An diesem Punkt könnte die Entscheidung, überholte Daten plus Differenzdaten zu übertragen, rückgängig gemacht werden, die Übertragung der überholten Daten, wenn sie noch erfolgt, könnte abgebrochen werden und die neue Seite könnte in ihrer Gesamtheit übertragen werden. Selbst wenn die Übertragung der überholten Daten abgeschlossen wurde, wäre es immer noch sinnvoll, die neue Seite in ihrer Gesamtheit zu übertragen, vorausgesetzt, dass die Differenzdaten größer sind als die neue Seite.
Die bevorzugte Ausführungsform der Differenzdaten-Berechnungstechnik, die in der oben erwähnten gleichzeitig anhängigen Patentanmeldung beschrieben wird, gibt als „Nebenwirkung" eine komprimiere Version der ursprünglichen Seitendaten aus. Dies ergibt eine komprimierte Version jeder Seite, die anstelle der nicht komprimierten Version im Zwischenspeicher gespeichert werden kann, wodurch die Zahl der Seiten erhöht wird, die für eine gegebene Zwischenspeichergröße zwischengespeichert werden können. Zudem erzeugt diese Technik Differenzdaten, die sich höchstens auf nicht mehr als einige wenige Bytes mehr als die neue Version der Datenseite belaufen. Daher muss, wenn diese bevorzugte Technik verwendet wird, es nicht erforderlich sein, die Übertragung der Differenzdaten abzubrechen, weil es kein Nachteil wäre, es nicht zu tun. Die folgende Diskussion ist jedoch allgemein für jede beliebige Differenz-Berechnungstechnik, die verwendet wird, einschließlich einer, die nicht so effizient ist wie die bevorzugte Technik.
Für die bisherige Diskussion wurde angenommen, dass der Benutzer eine Datenseite angefordert hat, deren Adresse dieselbe ist wie die einer Seite, die bereits zwischengespeichert wurde – im Kontext des World Wide Web eine Seite mit demselben Uniform Resource Locator („URL"). Die vorliegende Erfindung kann jedoch auch in Fällen nützlich sein, in denen Seiten ähnlich sind, obwohl ihre Adressen nicht identisch sind. Dies können Seiten sein mit dem identischen statischen Inhalt, obwohl bestimmte Variablenfelder sich unterscheiden können. Beispielsweise können in einer World-Wide-Web-Site, die mehrere Seiten enthält, die verschiedenen Seiten ein ähnliches Layout mit gemeinsamen Merkmalen haben. Ebenso werden Seiten, die die Ergebnisse einer Abfrage an eine bestimmte Suchmaschine enthalten, im Allgemeinen im Wesentlichen das gleiche grafische Layout aufweisen; nur die Textdaten unterscheiden sich von einem Abfrageergebnis zu einem anderen. Wenn daher eine Abfrage an eine bestimmte Suchmaschine von dem Benutzer initiiert wird, kann das System im Voraus aus seinem Zwischenspeicher, entweder bei dem lokalen Proxy oder dem entfernten Proxy, eine allgemeine Seite für diese Suchmaschine oder das letzte zwischengespeicherte Abfrageergebnis von dieser Suchmaschine abrufen; die benötigten Differenzdaten können von einer davon berechnet werden.
Das Lokalisieren eines derartigen zwischengespeicherten Abfrageergebnisses wäre im Fall des World Wide Web nicht schwierig. URLs für Suchergebnisse von einer bestimmten Suchmaschine weisen gewöhnlich einen gemeinsamen „Stamm" auf – d. h. der Anfangsteil des URL ist der gleiche, während nachfolgende Teile die jeweilige Suche spezifizieren. Vor den Suchkriterien im URL steht häufig die Zeichenfolge „cgi-bin", die gewöhnlich dem Stamm folgt. Das System könnte so entworfen werden, dass es nach dem Erkennen dieser Zeichen in einem URL eine zwischengespeicherte Version einer beliebigen Seite sucht, deren URL den gleichen Stamm hat wie der aktuelle URL. Andere Techniken, die allgemeiner in zwischengespeicherten Seiten nach ähnlichen Seiten suchen, sind diejenigen, die empfangene Daten mit jeder zwischengespeicherten Seite, die von demselben Host stammt und eine ähnliche Größe aufweist, vergleichen. In einem derartigen Fall kann es erforderlich sein, dass der entfernte Proxy besser darüber auf dem Laufenden ist, welche Seiten zu welchen lokalen Proxys übertragen wurden. Ein obligatorischer Vergleich jeder zwischengespeicherten Seite könnte auch durchgeführt werden, kann aber, außer wenn frühzeitig eine weitgehende Übereinstimmung zufällig gefunden würde, länger dauern, als einfach die neue Seite zu übertragen.
In der bisherigen Diskussion wurde weiter angenommen, dass die Differenzdaten erst berechnet werden, wenn der entfernte Proxy die gesamte neue Version der Seite empfangen hat. Die vorliegende Erfindung umfasst jedoch die Möglichkeit, die Differenzdaten „während des Vorgangs" zu berechnen – d. h. auf einer fortlaufenden Basis während des Empfangs der neuen Version.
Beispielsweise kann eine willkürliche Datengröße ausgewählt werden, und bei Empfang jeder „Einheit" von Daten dieser Größe an dem entfernten Proxy erfolgt ein Vergleich mit der zwischengespeicherten Version, um die Differenzdaten zu extrahieren. Die Größe der „Einheit" wird so ausgewählt, dass sie groß genug ist, so dass das System nicht eine Ewigkeit Differenzdaten aus winzigen Proben ausrechnet, aber klein genug, um Daten zu generieren, die häufig genug übertragen werden können, um einen Unterschied in der Leistung des Systems zu bewirken.
Wenn die Differenz zwischen den beiden Versionen der Seite derart ist, dass eine Einfügung von Text vorgenommen wurde, können gut bekannte Vergleichstechniken diese erkennen, und das System könnte die Einfügung zusammen mit einem „Einfügungs"-Befehl übertragen, ohne dass es eine Differenz für jede Einheit übertragen muss. In ähnlicher Weise kann, wenn die Differenz zwischen Versionen derart ist, dass eine Löschung vorgenommen wurde, das System dies in einer ähnlichen Weise handhaben (z. B. unter Verwendung eines „Löschen"-Befehls), anstatt eine Differenz für jede Einheit zu berechnen.
Ebenso ist ein derartiges System vorzugsweise fähig zu entscheiden, wann die Differenzdaten zu übertragen sind. Wenn die Differenzdaten für eine bestimmte Einheit klein sind, ist es eventuell nicht sinnvoll, diese Daten unmittelbar nach ihrer Generierung zu übertragen, sondern vielmehr zu warten, bis weitere Differenzdaten generiert sind. Die Menge der Differenzdaten, die zu akkumulieren sind, bevor sie an den lokalen Proxy übertragen werden, kann in einer bevorzugten Ausführungsform wie folgt quantifiziert werden:
D sei die Gesamtzahl der nicht übertragenen Bytes von Differenzdaten, einschließlich von Differenzdaten, die generiert wurden, aber nicht übertragen wurden. D_rot sei die Gesamtzahl von Bytes von Differenzdaten, die generiert wurden, unabhängig davon, ob sie übertragen wurden oder nicht. C sei die Zahl von Bytes der neuen Version, die bereits verarbeitet wurden. S sei die Größe der Originalseite. T_small sei ein minimaler Schwellenwert und T_large sei ein maximaler Schwellenwert.
Nach dieser Ausführungsform werden die akkumulierten Differenzdaten übertragen, wenn T_small<D und D_tot<F(S,C,T_large) ist, wobei F eine Funktion der Größe der Originalseite, der Größe der bislang verarbeiteten Daten und des Schwellenwerts T_large ist. F generiert einen Abbruch, wenn es nicht länger vorteilhaft ist, die Differenzdaten zu übertragen. Der Abbruch kann bei 80 % der Größe der Originaldatei (0,85) auf der Basis der empfangenen kumulierten Bytes erfolgen. Alternativ könnte S ignoriert werden und die Differenzdaten würden übertragen werden, solange D_tot<0,8C ist. Kompliziertere Funktionen können auch verwendet werden.
Wenn D<T_small ist, würden keine Differenzdaten übertragen werden. Stattdessen würden akkumulierte Differenzdaten gehalten werden, bis weitere Differenzdaten berechnet worden wären. Beispielsweise könnte T_small ein halb der maximalen Paketgröße betragen, eine Größe, unterhalb derer es unwirtschaftlich wäre, die Daten zu übertragen.
Wenn andererseits D_tot≥F(S,C,T_large) ist, sind die bereits berechneten Differenzdaten so groß, dass die Berechnung der Differenzdaten abgebrochen wird. Stattdessen wird die neue Seite in ihrer Gesamtheit übertragen. In Übereinstimmung mit der „während-des-Vorgangs"-Natur dieser Ausführungsform wartet das System vorzugsweise nicht auf die Ankunft der ganzen Seite, bevor es sie an den lokalen Proxy überträgt, sondern überträgt stattdessen so viel, wie es bereits empfangen hat, und fährt fort, die Daten der neuen Seite zu übertragen, wie sie eintreffen. Es ist zu beachten, dass, wenn die oben angeführte bevorzugte Differenz-Berechnungstechnik verwendet wird, es fast niemals nachteilig ist, die Übertragung der Differenzdaten fortzusetzen.
Außerdem kann es nützlich sein, die Gesamtmenge der Differenzdaten, die noch zu übertragen sind, einschließlich von noch nicht berechneten Differenzdaten, im Vergleich zur angenommene Größe der neuen Version zu prüfen. Die noch zu übertragene Datenmenge kann geschätzt werden als die Menge von bereits berechneten, aber noch nicht übertragenen Differenzdaten plus die Menge aller noch zu berechnenden Differenzdaten. Der letztgenannte Wert kann geschätzt werden als eine Funktion der Differenz zwischen der Gesamtgröße der früheren Version der Datenseite und der Größe des bereits verarbeiteten Teils der neuen Version.
Wenn, wie oben diskutiert, die Differenzdaten während des Vorgangs berechnet werden, kann der Vergleich der Menge der überholten Daten im Durchgang, die noch zu übertragen sind, plus der Menge der Differenzdaten mit der Menge der Daten, die an der Übertragung der neuen Seite in ihrer Gesamtheit beteiligt sind, auch während des Vorgangs berechnet oder zumindest geschätzt werden. In dieser Weise kann die Entscheidung, ob die Übertragung der überholten Daten fortgesetzt werden soll oder nicht, auf der Grundlage besserer Informationen getroffen werden. Dies kann wie folgt durchgeführt werden:
A sei die Größe der originalen (überholten) Version der Seite. B sei die Größe der neuen Version der Seite (wenn B nicht bekannt ist, kann es als eine Schätzung gleich A gesetzt werden). P_A sei die Größe des Teils der originalen Version der Seite, der bereits an den lokalen Proxy übertragen wurde (gleich zu A, wenn die originale Version der Seite ganz übertragen wurde). Ebenso sei P_B die Größe des Teils der neuen Version der Seite, der bereits an dem entfernten Proxy empfangen wurde. Diese Variablen haben alle bekannte Werte. Zu beachten ist, dass, wenn die oben beschriebene bevorzugte Differenz-Berechnungstechnik verwendet wird, diese Variablen Quantitäten von komprimierten Daten repräsentieren können (wie oben angeführt, komprimiert die bevorzugte Ausführungsform einer Routine zum Bestimmen von Differenzdaten die Daten auch). Wenn explizit auf komprimierte Daten Bezug genommen wird, kann die Schreibweise C_x verwendet werden, um die komprimierte Version der Quantität, die durch x repräsentiert wird, zu repräsentieren.
Δ_B,A sei die Größe der Daten, die die Differenz zwischen den originalen und neuen Versionen der Seite repräsentieren. C_B sei die Größe der komprimierten Version der neuen Seite. Diese beiden Variablen sind bekannt, sobald die neue Version ganz empfangen worden ist. ΔP_B,A sei die Größe der Daten, die die Differenz zwischen der originalen Version der Seite und dem Teil der neuen Version, der bereits empfangen wurde, repräsentieren. Diese Variable ist bekannt, sobald die teilweisen Daten für die neue Version empfangen worden sind.
Wenn P_A = A ist, dann wurden die überholten Daten in ihrer Gesamtheit übertragen, und die Differenzdaten können übertragen werden, während sie berechnet werden. Wenn P_A<A ist, dann werden die überholten Daten noch übertragen, und eine Entscheidung muss getroffen werden, ob diese Übertragung abgebrochen werden soll oder nicht und einfach die neue Version der Seite übertragen werden soll. Wie oben diskutiert, hängt dies, wenn die Differenzdaten erst berechnet werden, wenn die vollständige neue Version empfangen worden ist, davon ab, ob es möglich ist, die Gesamtgröße der Differenzdaten zu schätzen. Hier, wo die Differenzdaten während des Vorgangs berechnet werden, kann die Schätzung jedoch genauer sein.
Ausdrücklich werden die überholten Daten vorzugsweise aber noch übertragen, wenn die Menge der restlichen überholten Daten plus die geschätzte Größe der Differenzdaten kleiner ist als die geschätzte Gesamtgröße der neuen Version (oder der komprimierten neuen Version, wenn Komprimierung verfügbar ist, wie in der bevorzugten Ausführungsform): CA = PCA + ΔB,B < CB
Wenn man annimmt, dass die Gesamtgröße der Differenzdaten proportional ist zu der Größe der Differenzdaten für einen Teil der Seite (häufig, aber nicht immer wahr), dann kann, sobald eine teilweise Differenz berechnet wurde, die Gesamtgröße der Differenzdaten geschätzt werden: ΔB,A ≈ B*(ΔPB,A)/PB
Wenn beispielsweise die Größe der Differenzdaten für die erste Hälfte der neuen Version der Seite ein Viertel der Größe der Originalseite beträgt, könnte man schätzen, dass die Gesamtgröße der Differenzdaten für die neue Version der Seite das Zweifache davon oder ein halb der Größe der der Originalseite beträgt.
Wenn Komprimierung verwendet wird, muss auch die komprimierte Dateigröße geschätzt werden. Wenn die originale Version in komprimierter Form an den lokalen Proxy übertragen worden wäre, ist ihre Größe C_A bekannt. Die Größe C_B der komprimierten neuen Version kann geschätzt werden als: CB ≈ B*(CA/A)
Alternativ kann die Komprimierungsrate der ganzen Seite geschätzt werden aus der Größe der komprimierten Version eines Teils der Seite, sobald sie verfügbar ist: CB ≈ CPB*(B/PB)
Wenn diese Schätzungen gegeben sind, ist es zu jeder Zeit möglich zu bestimmen, ob die restlichen überholten Daten übertragen oder abgebrochen werden sollen. Wenn mehr von der neuen Version der Seite empfangen wird, verbessern sich die Schätzungen.
1 zeigt ein schematisches Blockdiagramm eines Systems 10, mit dem das Verfahren der vorliegenden Erfindung verwendet werden kann. Die Benutzerstation 11 ist gewöhnlich ein Personal-Computer, auf dem Browser-Software 12 ausgeführt wird. Auf der Benutzerstation 11 wird außerdem Software für den lokalen Proxy 13 ausgeführt, die im Allgemeinen von dem Netzdienstprovider des Benutzers gestellt werden würde, wenn das eigene System des Netzdienstproviders fähig wäre, das Verfahren der Erfindung zu verwenden. Die Benutzerstation 11 ist verbunden mit dem Netzdienstprovider-Übergabepunkt 15 über eine „langsame" Verbindung 14 (vorzugsweise eine Modemverbindung, wie oben beschrieben). Der Netzdienstprovider-Übergabepunkt 15 ist vorzugsweise mit dem Netzwerk 16 (z. B. das Internet) über eine vorzugsweise sehr schnelle Verbindung 17 wie eine T1-Verbindung verbunden. Der Netzdienstprovider-Übergabepunkt 15 umfasst vorzugsweise einen Gateway-Server 150, der den entfernten Proxy 151 aufweist (vorzugsweise in Software existierend), der mit lokalen Proxys 13 von verschiedenen Benutzerstationen 11 (nur eine dargestellt) kommuniziert. Es ist zu beachten, dass, genauso wie die Funktion des lokalen Proxys 13 im Browser selbst inkorporiert werden kann, wie oben diskutiert, das gleiche für die Funktion des entfernten Proxys zutrifft, der in den Gateway-Server 150 inkorporiert werden kann. Das HTTP-Protokoll gestattet einem Browser (oder lokalen Proxy) zu identifizieren, über welche zwischengespeicherte Version (wenn überhaupt) einer angeforderten Seite er verfügt; ein Server mit eingebautem entfernten Proxy könnte selbst Differenzdaten generieren und übertragen, wenn er aufgrund der beteiligten relativen Datengrößen (siehe unten), die er kennen würde, weil er die neue Version hat, ermittelt, dass diese geeignet sind.
Das Netzwerk 16 umfasst andere Netzdienstprovider-Übergabepunkte sowie Contentprovider-Übergabepunkte, die über Contentserver verfügen, von denen Benutzer Informationen durch die Netzdienstprovider suchen.
Der Browser 12 des Benutzers ist zur Kommunikation mit einem Proxy vorgesehen. In bekannten Systemen ist der Proxy, mit dem der Browser 12 kommuniziert, der entfernte Proxy 151. In der vorliegenden Erfindung, in der die Benutzerstation 11 einen lokalen Proxy 13 hat und der Netzdienstprovider mit dem Verfahren der Erfindung kompatibel ist, kommuniziert der Browser 12 jedoch mit dem lokalen Proxy 13, der wiederum mit dem entfernten Proxy 151 kommuniziert. Der lokale Proxy 13 ist vorgesehen, alle Meldungen, die der Browser 12 normalerweise von einem Proxy erwarten würde, an den Browser 12 zu übertragen. Der lokale Proxy 13 ist daher für den Browser 12 transparent. Wenn der entfernte Proxy 151 jedoch mit dem Verfahren der Erfindung kompatibel ist, was fast unvermeidbar der Fall sein würde, wenn der lokale Proxy 13 existiert, weil der lokale Proxy 13 vorzugsweise durch Software von dem Netzdienstprovider erstellt wird, der diese Software vermutlich nur dann bereitstellen wird, wenn sein eigener entfernter Proxy 151 kompatibel ist, können der lokale Proxy 13 und der entfernte Proxy 151 auf Weisen kommunizieren, die vorgesehen sind, die scheinbare Geschwindigkeit der Verbindung 14 zu erhöhen. Während die Erhöhung der scheinbaren Geschwindigkeit auf verschiedene Weise erreicht werden kann, würde sie vorzugsweise mit dem oben beschriebenen Verfahren verwirklicht werden, die in den nachstehenden 2-5 dargestellt ist.
Die Funktionsweise einer bevorzugten Ausführungsform von Verfahren 20, das von dem lokalen Proxy 13 ausgeführt wird, ist in den 2 und 3 dargestellt.
In Schritt 21 empfängt der lokale Proxy 13 eine Anforderung von Browser 12 zum Abrufen einer Seite, die durch einen bestimmten URL identifiziert ist. In Prüfung 22 prüft das System, ob die angeforderte Seite lokal zwischengespeichert ist oder nicht. Falls ja, prüft das System in Prüfung 23, ob die zwischengespeicherte Version noch gültig ist oder nicht. Diese Prüfung kann ausgeführt werden durch Bezugnahme auf ein Ablaufdatum, das mit den zwischengespeicherten Daten gespeichert ist. Alternativ hat der Browser unter Umständen Befehle übertragen, dass eine zwischengespeichere Version nicht verwendet werden soll und dass die angeforderte Seite von ihrem Contentprovider erneut geladen werden soll. Wenn in Prüfung 23 festgestellt wird, dass die zwischengespeicherte Version gültig ist, leitet der lokale Proxy 13 die zwischengespeicherte Version zurück an Browser 12 in Schritt 24, und das Verfahren endet in 25.
Wenn in Prüfung 23 festgestellt wird, dass die zwischengespeichere Version der angeforderten Seite nicht mehr gültig ist, wird die angeforderte Seite in Schritt 28 von dem entfernten Proxy 151 angefordert. Als Teil der Anforderung wird der entfernte Proxy 151 von dem lokalen Proxy 13 informiert, dass der lokale Proxy 13 fähig ist, mit Differenzdaten umzugehen, und welche Version im lokalen Proxy 13 zwischengespeichert ist. Das System fährt dann mit Schritt 27 fort, in dem es auf den Empfang der Daten als Reaktion auf die Anforderung wartet und diese Daten verarbeitet.
Wenn in Prüfung 22 festgestellt wird, dass die angeforderte Seite nicht zwischengespeichert wurde, wird in Schritt 26 die angeforderte Seite von dem entfernten Proxy 151 angefordert. Als Teil der Anforderung wird der entfernte Proxy 151 von dem lokalen Proxy 13 informiert, dass der lokale Proxy 13 fähig ist, mit Differenzdaten umzugehen, und das System fährt dann mit Schritt 27 fort, in dem es auf den Empfang der Daten als Reaktion auf die Anforderung wartet und diese Daten verarbeitet.
Die Verarbeitung einer Antwort in Schritt 27 wird in erweiterter Form in 3 dargestellt. HTTP-Antworten werden unter einem Protokoll übertragen, das als MIME (ein Akronym für Multipart Internet Mail Extensions) bekannt ist. Unter dem MIME-Protokoll können Meldungen einteilige Meldungen oder mehrteilige Meldungen sein. Wenn die Antwort in diesem Kontext eine einteilige Meldung ist, dann ist sie eine neue Version der angeforderten Seite, während sie, wenn sie eine mehrteilige Meldung ist, entweder die neue Version der angeforderten Seite sein kann oder Differenzdaten oder eine überholte Version der Seite sein kann. Informationen, die den Inhalt der mehrteiligen Meldung identifizieren, befinden sich im ersten Teil der mehrteiligen Meldung. Daher beginnt Prozess 27 in Prüfung 30, wo das System prüft, ob die Antwort eine mehrteilige MIME-Meldung ist oder nicht. Wenn nicht, dann muss sie eine neue Seite sein, und in Schritt 31 wird die neue Seite von dem lokalen Proxy 13 zwischengespeichert und zu Browser 12 zur Anzeige zurückgeleitet.
Wenn in Prüfung 30 festgestellt wird, dass die Antwort eine mehrteilige MIME-Meldung ist, prüft das System in Prüfung 32, ob der erste Teil der Meldung die übertragenen Daten als eine überholte Version der angeforderten Seite identifiziert oder nicht. Wenn ja, setzt das System die Überwachung in Prüfung 33 fort, um zu erkennen, ob die Übertragung der überholten Daten abgebrochen wird (in dem Fall, dass der entfernte Proxy entscheidet, dass die neue Seite stattdessen in ihrer Gesamtheit zu übertragen ist). Wenn ja, ist der Rest der Übertragung die neue Version der angeforderten Seite, die in Schritt 31 von dem lokalen Proxy 13 zwischengespeichert und zur Anzeige an den Browser 12 zurückgeleitet wird. Wenn in Prüfung 33 die Übertragung der überholten Daten nicht abgebrochen wird, werden die überholten Daten in Schritt 34 zwischengespeichert, und das System wartet in Schritt 35 auf die Differenzdaten, die in einer ähnlichen Weise verarbeitet werden.
Wenn die Daten in Prüfung 32 nicht als überholt identifiziert werden, dann können sie Differenzdaten sein, und diese Möglichkeit wird in Prüfung 36 geprüft. Wenn die Daten Differenzdaten sind, werden die Differenzdaten in Schritt 37 zu der zwischengespeicherten Version der angeforderten Seite hinzugefügt, um die neue Version der Seite zu erzeugen, die in Schritt 31 von dem lokalen Proxy 13 zwischengespeichert und zur Anzeige an den Browser 12 zurückgeleitet wird. Wenn die Daten in Prüfung 36 nicht als Differenzdaten identifiziert werden, dann müssen sie die neue Seite in ihrer Gesamtheit sein (trotz der mehrteiligen Natur der Antwort), die in Schritt 31 von dem lokalen Proxy 13 zwischengespeichert und zur Anzeige an den Browser 12 zurückgeleitet wird.
Die Funktionsweise einer bevorzugten Ausführungsform von Prozess 40, der von dem entfernten Proxy 151 ausgeführt wird, wird in 4 und 5 dargestellt.
Prozess 40 beginnt in Schritt 41, in dem der entfernte Proxy 151 eine Anforderung von einer Benutzerstation 11 für eine bestimmte Seite, die durch einen spezifizierten URL identifiziert wird, empfängt. Es ist zu beachteten, dass es möglich ist, dass eine bestimmte Benutzerstation 11 die Funktion des lokalen Proxys nicht aktiviert hat, so dass Prozess 40 diese Möglichkeit vorzugsweise in Betracht ziehen kann und Anforderungen von traditionellen Browsern zulässt.
In Prüfung 42 prüft der entfernte Proxy, ob er die angeforderte Seite in seinem Zwischenspeicher hat oder nicht. Wenn ja, prüft der entfernte Proxy in Prüfung 43, ob die zwischengespeicherte Version gültig ist oder nicht (z. B. durch Bezugnahme auf ihre Ablaufzeit/ihr Ablaufdatum). Wenn die zwischengespeicherte Version in Prüfung 43 gültig ist, prüft der entfernte Proxy in Prüfung 44, ob beide Proxys (d. h. sowohl der lokale als auch der entfernte Proxy 13, 151) die gleiche zwischengespeicherte Version haben. Wenn ja, informiert der entfernte Proxy in Schritt 45 den lokalen Proxy, dass die Seite sich nicht geändert hat, und Prozess 40 endet in 46. Wenn in Prüfung 44 festgestellt wird, dass die beiden Proxys nicht die gleiche Version haben (dies könnte die Situation umfassen, dass kein lokaler Proxy vorhanden ist), überträgt der entfernte Proxy in Schritt 47 die neue Seite an den lokalen Proxy, und Prozess 40 endet in 46.
Wenn der entfernte Proxy in Prüfung 42 feststellt, dass er keine zwischengespeicherte Version der angeforderten Seite hat, fordert der entfernte Proxy in Schritt 48 die Seite von dem Contentprovider über das Netzwerk 16 an, und in Schritt 49 wartet er auf diesen Content und verarbeitet ihn.
Wenn der entfernte Proxy in Prüfung 43 feststellt, dass die zwischengespeicherte Version abgelaufen ist oder ansonsten nicht gültig ist, fährt der entfernte Proxy (1) mit Schritt 48 fort, in dem er die Seite von dem Contentprovider über das Netzwerk 16 anfordert und dann mit Schritt 49 fortfährt, in dem er auf diesen Content wartet und ihn verarbeitet und gleichzeitig in Prüfung 400 (2) feststellt, ob beide Proxys (vorausgesetzt, dass ein lokaler Proxy vorhanden ist) über das gleiche zwischengespeicherte Exemplar verfügen. Wenn ja, fährt der entfernte Proxy nur fort, in Schritt 49 auf den angeforderten Content zu warten und diesen zu verarbeiten. Wenn der entfernte Proxy in Prüfung 400 feststellt, dass beide Proxys nicht über die gleiche zwischengespeicherte Version verfügen (dies könnte die Situation umfassen, dass kein lokaler Proxy vorhanden ist), stellt der entfernte Proxy in Prüfung 401 fest, ob die Benutzerstation imstande ist oder nicht zur Verarbeitung von Differenzdaten und überholten Daten, um die neue Seite aufzubauen (wie in Verbindung mit den Schritten 26 und 28 von Prozess 20 dargestellt wurde, informiert der lokale Proxy selbst den entfernten Proxy, ob er Differenzdaten verarbeiten kann, und der entfernte Proxy nimmt seine Bestimmung in Prüfung 401 darauf basierend vor, ob er eine derartige Meldung von dem lokalen Proxy erhält oder nicht). Wenn ja, überträgt der entfernte Proxy in Schritt 402, nachdem bereits festgestellt wurde, dass die beiden Proxys verschiedene Versionen der Seite zwischengespeichert haben, die Version, die er zwischengespeichert hat, an den lokalen Proxy (so dass die beiden Proxys den gleichen Anfangspunkt für den Aufbau der Seite unter Verwendung von Differenzdaten haben), und wartet dann in Schritt 49 auf die angeforderte Seite und verarbeitet diese. Wenn in Prüfung 401 festgestellt wird, dass die Benutzerstation nicht imstande ist, Differenzdaten und überholte Daten zu verarbeiten, um die neue Seite aufzubauen (z. B. verfügt sie nicht über einen lokalen Proxy), dann fährt der entfernte Proxy einfach mit Schritt 49 fort, um die neue Seite zu erwarten, die er in ihrer Gesamtheit zu der fraglichen Benutzerstation zu senden hat.
Wie in erweiterter Form in 5 dargestellt, beginnt Prozess 49 in Schritt 50, in dem der angeforderte Content über das Netzwerk 16 von dem Contentprovider empfangen wurde. In Prüfung 51 prüft der entfernte Proxy, um festzustellen, ob die Benutzerstation 11 imstande ist oder nicht, Differenzdaten zu verarbeiten. Wenn nicht, zwischenspeichert der entfernte Proxy in Schritt 52 die aktuelle Version der neuen Seite und überträgt sie außerdem zu der Benutzerstation. Wenn der entfernte Proxy in Prüfung 51 feststellt, dass die Benutzerstation Differenzdaten verarbeiten kann (d. h. sie verfügt über einen lokalen Proxy in Übereinstimmung mit der Erfindung), stellt der entfernte Proxy in Prüfung 53 fest, ob beide Proxys die gleiche zwischengespeicherte Version haben oder nicht (auf der Grundlage von Daten, die von dem lokalen Proxy übertragen wurden). Wenn ja, fährt der entfernte Proxy mit der unten diskutierten Prüfung 58 fort. Wenn der entfernte Proxy in Prüfung 53 feststellt, dass die beiden Proxys nicht die gleichen zwischengespeicherten Daten haben, fährt der entfernte Proxy mit Prüfung 54 fort, in der er feststellt, ob überholte Daten (d. h. eine ältere Version, die im entfernten Proxy zwischenspeichert war, deren Übertragung an den lokalen Proxy begonnen wurde, bevor die neue Version in Schritt 50 eintraf) sich noch in der Übertragung zu dem lokalen Proxy befinden. Wenn nicht (d. h. die Übertragung der überholten Daten wurde bereits abgeschlossen), fährt der entfernte Proxy mit der unten diskutierten Prüfung 58 fort. Wenn in Prüfung 54 festgestellt wird, dass überholte Daten sich noch in der Übertragung befinden, stellt der entfernte Proxy in Prüfung 55 fest, ob die Menge der restlichen überholten Daten oberhalb eines Schwellenwerts liegen oder nicht (z. B. 60 % der Größe der überholten Version, wie oben diskutiert). Wenn ja, wird die Übertragung der überholten Daten in Schritt 56 abgebrochen, und der entfernte Proxy fährt mit Schritt 52 fort, in dem der entfernte Proxy die aktuelle Version der neuen Seite zwischenspeichert und sie außerdem zu der Benutzerstation überträgt. Wenn der entfernte Proxy in Prüfung 55 feststellt, dass die Menge der restlichen überholten Daten unter dem Schwellenwert liegt (d. h. die meisten der überholten Daten wurden übertragen), beendet der entfernte Proxy in Schritt 57 die Übertragung der überholten Daten und fährt mit Prüfung 58 fort.
In Prüfung 58 stellt der entfernte Proxy unabhängig von der Route, die der entfernte Proxy nahm, um dorthin zu gelangen, fest, ob sich die neu empfangenen Daten von den zwischengespeicherten Daten unterscheiden oder nicht. Dies könnte durch einen Vergleich der konkreten Dateien oder durch Vergleichen von Datums-/Zeitstempeln festgestellt werden. Alternativ können die neu empfangenen Daten einfach eine Meldung von dem Contentprovider sein, dass die Version, die zwischengespeichert wurde, noch aktuell ist. Wenn mittels eines dieser Verfahren festgestellt wird, dass die neuen Daten sich nicht von den zwischengespeicherten Daten unterscheiden, informiert der entfernte Proxy in Schritt 59 den lokalen Proxy, dass die zwischengespeicherte Version aktuell ist (entweder hatte der lokale Proxy diese Version bereits zwischengespeichert oder er hat sie in der Übertragung der überholten Daten empfangen). (Es ist zu beachten, dass, wenn das Verfahren zur Feststellung, dass die neuen Daten die gleichen sind wie die zwischengespeicherten Daten, Abhängigkeit von einer Meldung „Keine Änderung" von dem Contentprovider ist, die Übertragung der aktuellen Version im obigen Schritt 52 die Übertragung der zwischengespeicherten Version umfasst und in Schritt 52 eigentlich keine zusätzliche Zwischenspeicherung durch den entfernten Proxy erforderlich ist.)
Wenn in Prüfung 58 festgestellt wird, dass die neuen Daten sich von den zwischengespeicherten Daten unterscheiden, werden in Schritt 59 die tatsächlichen Differenzen durch einen direkten Vergleich ermittelt. Der entfernte Proxy fährt dann mit Prüfung 500 fort, um festzustellen, ob die Größe der Differenzdaten unter einem Schwellenwert liegt oder nicht. Wie oben diskutiert, ist ein Vergleich, ob die Differenzdaten kleiner sind als die neue Seite selbst, während auch andere Faktoren berücksichtigt werden, wie oben diskutiert. Wenn die Größe der Differenzdaten in Prüfung 500 unter dem Schwellenwert liegt, fährt der entfernte Proxy mit Schritt 501 fort und überträgt die Differenzdaten an den lokalen Proxy, der sie zur Rekonstruktion der neuen Seite verwendet (Schritt 37). Wenn die Größe der Differenzdaten in Prüfung 500 nicht unter dem Schwellenwert liegt, entscheidet der entfernte Proxy, dass Übertragen der Differenzdaten nicht produktiv wäre, und fährt mit Schritt 502 fort, in dem er einfach die neue Seite an den lokalen Proxy überträgt.
6 zeigt einen Teil einer modifizierten Version von Prozess 49, in dem Differenzdaten „während des Vorgangs" berechnet und übertragen werden, wie oben beschrieben. Der in 6 dargestellte partielle Prozess ersetzt die Schritte/Prüfungen 59, 500, 501 und 502 von 5.
In Schritt 659 werden Differenzdaten für einen aktuell empfangenen Teil der neuen Seitendaten bestimmt. Anschließend wird in Prüfung 60 festgestellt, ob partielle Differenzen vorhanden sind oder nicht, die gehalten werden (beim ersten Mal wird die Antwort immer nein sein). Wenn nicht, wird in Prüfung 61 festgestellt, ob die Größe der aktuellen partiellen Differenz einen minimalen Schwellenwert für Übertragung überschreitet, wie oben diskutiert. Wenn nicht, wird in Prüfung 62 festgestellt, ob die Seite vollständig ist oder nicht. Wenn nicht, wird in Schritt 63 die partielle Differenz gehalten und mit etwaigen vorher gehaltenen partiellen Differenzen akkumuliert, und in Schritt 64 wird mit dem nächsten Teil fortgefahren, und der Prozess kehrt zu Schritt 659 zurück.
Wenn die Größe der aktuellen partiellen Differenz in Prüfung 61 den minimalen Schwellenwert für Übertragung überschritten hatte oder die Seite in Prüfung 62 vollständig gewesen wäre (was bedeutet, dass die aktuelle partielle Differenz übertragen werden muss, auch wenn sie ansonsten zu klein ist), würde der Prozess mit der unten diskutierten Prüfung 67 fortfahren.
Wenn in Prüfung 60 partielle Differenzen gehalten worden wären, würde das Verfahren mit Prüfung 65 fortfahren, um festzustellen, ob die Größen der gehaltenen und aktuellen partiellen Differenzen den minimalen Schwellenwert für Übertragung überschreiten oder nicht. Wenn nicht, wird in Prüfung 66 festgestellt, ob die Seite vollständig ist oder nicht. Wenn nicht, wird die partielle Differenz in Schritt 63 gehalten und mit etwaigen vorher gehaltenen partiellen Differenzen akkumuliert, und in Schritt 64 wird mit dem nächsten Teil fortgefahren, und der Prozess kehrt zu Schritt 659 zurück.
Wenn die Größen der gehaltenen und der aktuellen partiellen Differenzen in Prüfung 65 den minimalen Schwellenwert für Übertragung überschreiten oder die Seite in Prüfung 66 vollständig ist (was bedeutet, dass die aktuelle partielle Differenz übertragen werden muss, auch wenn sie ansonsten zu klein ist), würde der Prozess mit der Prüfung 67 fortfahren.
In Prüfung 67 wird festgestellt, ob die kumulative Größe der bereits übertragenen partiellen Differenzen und derjenigen, die gerade übertragen werden sollen, den oben diskutierten maximalen Schwellenwert überschreitet oder nicht. Wenn ja, wird in Schritt 68 der Prozess der partiellen Differenz abgebrochen und werden die Daten der neuen Seite an den lokalen Proxy übertragen. Diese Übertragung selbst kann erfolgen, nachdem der entfernten Proxy die vollständige neue Seite empfangen hat, oder in Teilen, so wie die Teile an dem entfernten Proxy empfangen werden. Es wird anerkannt, dass Abbrechen des Prozesses der partiellen Differenz bei Erreichen des maximalen Schwellenwerts kontraproduktiv sein kann, weil die zusätzliche Menge der Differenzdaten, die noch zu berechnen sind, klein sein kann, aber es gibt keine Möglichkeit, das zu wissen. Andere Techniken können entwickelt werden, um sich damit zu befassen.
Wenn in Prüfung 67 die kumulative Größe der bereits übertragenen partiellen Differenzen und derjenigen, die gerade übertragen werden sollen, den maximalen Schwellenwert nicht überschreitet, werden die aktuelle partielle Differenz und etwaige gehaltene partiellen Differenzen in Schritt 69 an den lokalen Proxy übertragen. In Prüfung 600 wird festgestellt, ob die Seite vollständig ist oder nicht, in welchem Fall der Prozess in 601 endet. Anderenfalls fährt der Prozess mit Schritt 64 fort, in dem der nächste Teil verarbeitet wird.
Es sollte beachtet werden, dass zwischengespeicherte Seiten in Übereinstimmung mit der vorliegenden Erfindung selbst nach ihren vorgegebenen Ablaufdaten behalten werden und „nicht zwischenspeicherbare" Seiten zwischengespeichert werden. Dies beruht darauf, dass in einem System, das darauf angewiesen ist, frühere Daten im Voraus zu übertragen und im Anschluss Differenzen zu übertragen, selbst eine abgelaufene Version noch besser sein kann als keine Version. Solange die Differenzen zwischen der früheren Version (abgelaufen oder nicht) und der aktuellen Version berechnet werden können, sind Ablaufdaten und „Zwischenspeicherbarkeit" belanglos. Dies ist akzeptabel, weil zwischengespeicherte Seiten nur verwendet werden, um Differenzdaten basierend auf Abrufen der aktuellen Seite zu erzeugen.
Damit ist ersichtlich, dass diese Erfindung die wahrnehmbaren Verzögerungen reduziert, die vorkommen bei der Übertragung von Datenseiten von einem relativ schnellen Netzwerk zu einem Benutzer, der über eine relativ langsame Verbindung mit dem Netzwerk verbunden ist, teilweise durch besseren Ausnutzung der Zwischenspeicherungsfähigkeiten des Browsers. Ein Fachmann wird erkennen, dass die vorliegende Erfindung praktisch umgesetzt werden kann durch andere als die beschriebenen Ausführungsformen, die zum Zweck der Erläuterung und nicht der Beschränkung vorgebracht werden, und die vorliegende Erfindung ist nur durch die Patentansprüche, die folgen, beschränkt.

Claims

Verfahren zum Übertragen und Anzeigen von Datenseiten in einem Datennetzwerk, wobei das Netzwerk von einem Typ ist, auf dem Daten als Seiten abgefragt werden können, wobei das Netzwerk (16) mindestens einen Server, in dem die Datenseiten gespeichert werden, ein Gateway (15, 150), das mit dem mindestens einen Server verbunden ist, und eine Benutzerstation (11) hat, die über eine Datenverbindung (14) mit einer endlichen Geschwindigkeit mit dem Gateway verbunden ist, wobei die Benutzerstation (11) eine der Seiten von dem mindestens einen Server anfordert, und das Verfahren die folgenden Schritte umfasst: Senden einer Anforderung von der Benutzerstation (11) zu dem Gateway (15, 150) zum Abfragen der Datenseite von einem des mindestens eines Servers; Abrufen einer Basisversion der Datenseite; Initiieren, als Antwort auf eine Bestimmung, dass die Basisversion nicht aktuell ist, einer Abfrage der Datenseite von einem des mindestens einen Servers zu dem Gateway (15, 150) zur Übertragung zur Benutzerstation; Bestimmen, nach Empfang einer Antwort auf die Anforderung an dem Gateway (15, 150), einer Differenz zwischen der angeforderten Datenseite und der Basisversion der Seite; und Übertragen der Differenz zu der Benutzerstation (11); das Verfahren dadurch gekennzeichnet ist, dass es weiter die folgenden Schritte umfasst: Berechnen der Datenseite an der Benutzerstation als eine Funktion der Basisversion und der Differenz; und Anzeigen der berechneten Seite an der Benutzerstation (11); und weiter umfassend, das Bestimmen eines Maßes an Effizienz des Differenz-Bestimmungs- und Berechnungs-Schrittes und des Differenz-Übertragungs-Schrittes; und wenn das Maß an Effizienz angibt, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) effizient ist: Abbrechen der Abrufungs- und Übertragungs-Schritte und des Schritts der Anzeige der berechneten Seite, Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11), und Anzeigen der angeforderten Datenseite an der Benutzerstation (11).
Verfahren von Anspruch 1, wobei der Gateway (150) der Server ist.
Verfahren von Anspruch 1, wobei die Basisversion der Datenseite eine frühere Version der Datenseite ist.
Verfahren von Anspruch 1, wobei die Basisversion der Datenseite gemeinsame Elemente mit der Datenseite teilt.
Verfahren von Anspruch 1, wobei der Abrufungs-Schritt folgendes umfasst: Abrufen der Basisversion der Seite aus dem Speicher des Gateways (15, 150); und Überfragen der Basisversion der Seite von dem Gateway (15, 150) zu der Benutzerstation (11).
Verfahren von Anspruch 1, wobei der Abrufungs-Schritt folgendes umfasst: Abrufen einer ersten Version der Seite an der Benutzerstation (11); Abrufen einer zweiten Version der Seite an dem Gateway (15, 150); Vergleichen der ersten Version mit der zweiten Version; und Übertragen der zweiten Version von dem Gateway (15, 150) zu der Benutzerstation (1l), wenn die zweite Version sich von der ersten Version unterscheidet.
Verfahren von Anspruch 1, wobei der Schritt zum Bestimmen eines Maßes an Effizienz folgendes umfasst: Beurteilen, nach der Bestimmung der Differenz, einer zusammengesetzten Übertragungsgröße, die eine Funktion der Größe der Differenz und der Übertragungsgröße einer beliebigen verbleibenden Menge der noch zu übertragenden Basisversion darstellt; Vergleichen der zusammengesetzten Übertragungsgröße mit der Übertragungsgröße der angeforderten Datenseite; und wenn die Übertragungsgröße der angeforderten Datenseite die zusammengesetzte Übertragungsgröße überschreitet, Bestimmen, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) ineffizient ist, andernfalls Bestimmen, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) effizient ist.
Verfahren von Anspruch 7, wobei jede der zusammengesetzten Übertragungsgröße und der Übertragungsgröße der angeforderten Datenseite auf der Grundlage der Komprimierung vor der Übertragung bestimmt wird.
Verfahren von Anspruch 1, wobei der Schritt zum Bestimmen eines Maßes an Effizienz folgendes umfasst: Bestimmen, wenn die angeforderte Seite an dem Gateway (15, 150) empfangen wird, welcher Anteil der Basisversion zu der Benutzerstation (11) übertragen wurde; und Bestimmen, wenn der Anteil der Basisversion, der gesendet wurde, oberhalb eines Schwellenwert-Anteils liegt, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) ineffizient ist, andernfalls Bestimmen, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) effizient ist.
Verfahren von Anspruch 9, wobei der Schwellenwert-Anteil dynamisch bestimmt wird.
Verfahren von Anspruch 10, wobei der Schwellenwert-Anteil auf der Grundlage der der endlichen Geschwindigkeit bestimmt wird.
Verfahren von Anspruch 1, wobei der Schritt zum Bestimmen eines Maßes an Effizienz folgendes umfasst: Bestimmen, wenn die angeforderte Seite an dem Gateway (15, 150) empfangen wird, welcher Anteil der Basisversion zu der Benutzerstation (11) übertragen wurde; und Bestimmen, wenn der Anteil der Basisversion, der gesendet wurde, oberhalb eines Schwellenwert-Anteils liegt, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) ineffizient ist, andernfalls: Beurteilen, nach der Bestimmung der Differenz, einer zusammengesetzten Übertragungsgröße, die eine Funktion der Größe der Differenz und der Größe einer beliebigen verbleibenden Menge der noch zu übertragenden Basisversion darstellt; Vergleichen der zusammengesetzten Übertragungsgröße mit der Übertragungsgröße der angeforderten Datenseite; und wenn die Übertragungsgröße der angeforderten Datenseite die zusammengesetzte Übertragungsgröße überschreitet, Bestimmen, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) ineffizient ist, andernfalls Bestimmen, dass das Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11) effizient ist.
Verfahren von Anspruch 12, wobei jede der zusammengesetzten Übertragungsgröße und der Übertragungsgröße der angeforderten Datenseite auf der Grundlage der Komprimierung vor der Übertragung bestimmt wird.
Verfahren von Anspruch 12, wobei der Schwellenwert-Anteil dynamisch bestimmt wird.
Verfahren von Anspruch 14, wobei der Schwellenwert-Anteil auf der Grundlage der endlichen Geschwindigkeit bestimmt wird.
Verfahren von Anspruch 1, weiter umfassend: Vergleichen der Größe der Differenz mit einem Schwellenwert; und wenn die Größe der Differenz den Schwellenwert überschreitet: Abbrechen der Abrufungs- und Übertragungs-Schritte und des Schritts der Anzeige der berechneten Seite, Senden der angeforderten Datenseite in ihrer Gesamtheit von dem Gateway (15, 150) zu der Benutzerstation (11), und Anzeigen der angeforderten Datenseite an der Benutzerstation (11).
Verfahren von Anspruch 16, wobei der Schwellenwert dynamisch bestimmt wird.
Verfahren von Anspruch 17, wobei der Schwellenwert auf der Grundlage der endlichen Geschwindigkeit bestimmt wird.
Verfahren von Anspruch 1, wobei der Bestimmungs-Schritt folgendes umfasst: Warten auf Beendigung der Abfrage der Datenseite von dem einen des mindestens einen Servers; und Vergleichen der vollständigen abgefragten Datenseite mit der Basisversion der Seite.
Verfahren von Anspruch 1, wobei der Bestimmungs-Schritt umfasst: Warten auf Beendigung der Abfrage eines vorbestimmten Teils der Datenseite von dem einen von dem mindestens einen Server; Vergleichen des abgefragten vorbestimmten Teils der Datenseite mit der Basisversion der Datenseite zur Erstellung einer partiellen Differenz zwischen der Datenseite und der Basisversion der Datenseite; und Wiederholen der Warten- und Vergleichs-Schritte für zusätzliche vorbestimmte Teile der Datenseite.
Verfahren von Anspruch 20, weiter umfassend, nach Erstellung der partiellen Differenz: Vergleichen der Übertragungsgröße der partiellen Differenz mit einem Minimums-Schwellenwert; Übertragen der partiellen Differenz an die Benutzerstation, wenn die Übertragungsgröße der partiellen Differenz den Minimums-Schwellenwert überschreitet; und wenn die Übertragungsgröße der partiellen Differenz kleiner ist als der Minimums-Schwellenwert: Halten der partiellen Differenz, Vergleichen von mindestens einem zusätzlichen abgefragten vorbestimmten Teil der Datenseite mit einer Basisversion der Datenseite zur Erstellung von mindestens einer zusätzlichen partiellen Differenz zwischen der Datenseite und der Basisversion der Datenseite, Hinzufügen der Übertragungsgröße von der mindestens einen zusätzlichen partiellen Differenz zu der Übertragungsgröße der gehaltenen partiellen Differenz, bis eine Summe der Übertragungsgrößen den Minimums-Schwellenwert überschreitet, und Übertragen der gehaltenen partiellen Differenz und der mindestens einen zusätzlichen partiellen Differenz zu der Benutzerstation.
Verfahren von Anspruch 21, wobei jede der Übertragungsgröße der partiellen Differenz und der Übertragungsgröße der mindestens einen zusätzlichen partiellen Differenz auf der Grundlage der Komprimierung vor der Übertragung bestimmt wird.
Verfahren von Anspruch 20, weiter umfassend: Bestimmen einer Übertragungsgröße von jeder partiellen Differenz; nach Übertragung von jeder partiellen Differenz zu der Benutzerstation (11) Hinzufügen der Übertragungsgröße der partiellen Differenz zu einer kumulativen Übertragungsgröße von partiellen Differenzen, die zu der Benutzerstation (11) übertragen wurden; Vergleichen der kumulativen Übertragungsgröße mit einem Maximums-Schwellenwert; und wenn die kumulative Übertragungsgröße den Maximums-Schwellenwert überschreitet, Abbrechen des Bestimmungs-Schritts und Weiterleiten der Datenseite zu der Benutzerstation (11).
Verfahren von Anspruch 23, wobei jede der Übertragungsgröße der partiellen Differenz und der Übertragungsgröße der mindestens einen zusätzlichen partiellen Differenz auf der Grundlage der Komprimierung vor der Übertragung bestimmt wird.
Verfahren von Anspruch 1, wobei der Beurteilungs-Schritt das Schätzen, aus der Größe der partiellen Differenz, einer Gesamtgröße für Daten umfasst, die einen Unterschied zwischen der Datenseite und der Basisversion der Datenseite darstellen.
Verfahren von Anspruch 1, wobei jede der zusammengesetzten Übertragungsgröße und der Übertragungsgröße der angeforderten Datenseite auf der Grundlage der Komprimierung vor der Übertragung bestimmt wird.