Deduplizierung

Deduplizierung bezeichnet ein Verfahren, bei dem identische Datenblöcke nur einmal gespeichert und alle weiteren Vorkommen lediglich als Referenz darauf abgelegt werden. Das reduziert Speicherbedarf, Kosten und Übertragungsvolumen, ohne den Inhalt der Daten zu verändern.

Technisch werden Daten in Blöcke zerlegt und über Hashwerte verglichen; erkannte Duplikate werden durch Verweise ersetzt. Das geschieht entweder direkt beim Schreiben (inline) oder nachgelagert (post-process). Wie stark der Effekt ausfällt, hängt von den Datenmustern ab: Backups mit vielen ähnlichen Sicherungsständen und virtuelle Umgebungen mit nahezu identischen Systemabbildern erreichen hohe Deduplizierungsraten, bereits komprimierte oder verschlüsselte Daten dagegen kaum.

In der Praxis ist Deduplizierung ein zentraler Wirtschaftlichkeitshebel – von All-Flash-Systemen, deren effektive Kapazität sie vervielfacht, bis zu Backup-Infrastrukturen, deren Aufbewahrungszeiträume sie bezahlbar macht. Damit gehört das Verfahren zu den Grundwerkzeugen eines effizienten Data Management.