Arbeiten ohne Umwege – Direkter Datenzugriff auf komprimierte Daten

Datenkompression – ein gängiges Verfahren – und ein zeitaufwändiges, wenn man mit den Daten arbeitet: komprimieren, entpacken, suchen, bearbeiten, wieder komprimieren – und beim nächsten Mal das ganze wieder von vorn. Überall genutzt, immer wieder Rechenaufwand. Nicht nur bei der effizienten Datenspeicherung, sondern besonders auch im mobilen Umfeld. Hier wird Datenkompression eingesetzt, um den Datenverkehr gering zu halten und die Speicherkapazitäten zu schonen. Unaufhörlich werden komprimierte Daten verwendet – direkt arbeiten kann man mit ihnen nicht.

Eine Standard-Datenkompression wie zum Beispiel ZIP erreicht eine Kompression auf circa 30 - 60%. Dabei erfordert die Verarbeitung komprimierter Daten immer den Dekompression-Editieren-Kompressionszyklus: zeitaufwendiges Entpacken vor der Modifikation und zeitaufwendiges Verpacken danach. Auch mobile Geräte senden und empfangen ständig immer größere Datenmengen. Ein Entpacken ist durch den begrenzten Arbeitsspeicher hier jedoch nur begrenzt möglich.

Prof. Dr. Böttcher, Fachgruppe „Electronic Commerce und Datenbanken“ vom Institut für Informatik der Universität Paderborn, hat nun mit Indexed Reversible Transformation (IRT) ein Verfahren entwickelt, das nicht nur eine Verarbeitung von komprimierten Daten ermöglicht, sondern auch eine Volltextsuche speicher- und recheneffizient durchführen kann. Insbesondere können damit komprimierte Daten ohne vollständige Dekompression geändert werden.  Das Verfahren kann nicht nur auf reinen Textdateien angewendet werden, sondern kombiniert mit dem ebenfalls in der Fachgruppe entwickelten XML-Kompressionsverfahren XML Schema Definitions-Subtraktion (XSDS) auch auf die viel verwendeten XML-Daten.

Die Verfahren IRT und XSDS bieten sich an, um Geräten mit sonst stark beschränkten Ressourcen, zum Beispiel Smartphones, zu einem größeren Funktionsumfang auch bei geringen Datentransferraten zu verhelfen. IRT und XSDS bieten die Möglichkeit, den Datenverkehr und die Arbeitsbelastung für den Prozessor zu reduzieren – und damit auch Zeit und Energie: Die schnellere Verarbeitung von komprimierten Daten spart Zeit und Speicherplatz. Gleichzeitig erhöht sich die Leistung der laufenden Anwendung sowie der mobilen Geräte insgesamt.

Generell können verschiedenste Anwendungen, beispielsweise Web-Browser, Social Media, Office-Tools oder finanzielle Transaktionen, über SEPA (Single Euro Payments Area) verbessert werden. Es ist problemlos möglich, die IRT- und XSDS-Technologie in bestehende Lösungen wie Applikationen für Smartphones und Computer zu integrieren. Dadurch wird das Datenvolumen in der Regel um 90% auf ca. 10% der Gesamtgröße reduziert – ist also kleiner als bei einer Kompression mit gzip oder bzip2 und erlaubt zudem ein Durchsuchen und sogar ein Ändern der Daten ohne vollständige Dekompression.

Nicht nur im mobilen Bereich verspricht sich Prof. Dr. Böttcher mögliche Einsatzgebiete: Microsoft Word und Excel speichern ihre Daten in aktuellen Versionen ebenfalls als XML-Dokumente. Werden die Verfahren IRT und XSDS hier angewendet, sinkt nicht nur der Speicherbedarf, auch eine schnelle Volltextsuche kann so auf herkömmlichen Rechnern durchgeführt werden. Eine attraktive Möglichkeit – besonders bei den Mengen an Dateien, die sich im Laufe der Zeit ansammeln.

Aktuell wird das IRT-Verfahren weltweit zum Patent angemeldet. Darüber hinaus bietet der Projektpartner PROvendis GmbH (Patentverwertungsgesellschaft der Hochschulen des Landes NRW) interessierten Unternehmen Lizenzen an.
 

Autorin: Jana Neuhaus
 

Kontakt:

Prof. Dr. Stefan Böttcher
Electronic Commerce und Datenbanken
05251 60-6662
stb@uni-paderborn.de 

Foto: Komprimierte Daten ganz groß – direkt sichtbar und sofort zu bearbeiten
Foto: Komprimierte Daten ganz groß – direkt sichtbar und sofort zu bearbeiten