Deduplicatie

Deduplicatie is een methode waarbij identieke datablokken slechts één keer worden opgeslagen en alle verdere voorkomens enkel als verwijzing daarnaar worden vastgelegd. Dat vermindert opslagbehoefte, kosten en overdrachtsvolumes zonder de inhoud van de data te veranderen.

Technisch wordt data opgesplitst in blokken en vergeleken via hashwaarden; gedetecteerde duplicaten worden vervangen door verwijzingen. Dat gebeurt direct bij het schrijven (inline) of achteraf (post-process). Hoe sterk het effect is, hangt af van de datapatronen: back-ups met veel vergelijkbare back-upstanden en virtuele omgevingen met vrijwel identieke systeemimages halen hoge deduplicatieratio's, al gecomprimeerde of versleutelde data nauwelijks.

In de praktijk is deduplicatie een centrale hefboom voor kostenefficiëntie – van all-flash-systemen, waarvan ze de effectieve capaciteit vermenigvuldigt, tot back-upinfrastructuren, waarvan ze de bewaartermijnen betaalbaar maakt. De methode behoort zo tot de basisinstrumenten van efficiënt Data Management.