Deduplica o

Deduplicação

Por que implementar deduplicação de dados?
O problema da duplicação de dados pode ser analisado por dois aspectos principais. O primeiro deles e o que causa impactos financeiros mais óbvios é o aspecto do custo de armazenamento. Se considerarmos que grande parte dos dados de uma empresa é igual, ou, ao menos, muito semelhante, podemos inferir que as empresas gastam com armazenamento de dados muito mais do que de fato precisariam. O custo de armazenamento ganha relevância ainda maior quando analisado sob a ótica de infraestruturas de Big Data, pois, conceitualmente, espera-se encontrar nesses ambientes um volume gigantesco e crescente de dados.
O segundo principal aspecto do problema da existência de dados em duplicidade é o da perda ou diminuição desnecessária de desempenho do processamento de dados. Quanto maior for o volume de dados que tiver que ser analisado, maior será o tempo que essa análise demorará. Se um grande volume de dados duplicados for processado/analisando, certamente será consumido muito mais tempo de processamento do que o devido.
Uma solução usual para essa problemática é a deduplicação de dados. A deduplicação consiste em deixar de gravar dados idênticos àqueles já existentes no ambiente de armazenamento. Ao invés de regravar os dados já existentes, cria-se um ponteiro para a informação original. Isso mitiga a duplicação excessiva de dados.
O que é deduplicação?
Deduplicação de dados foi inserido no Windows Server 2012 com o princípio de otimizar e economizar espaço em disco. Não é uma técnica nova, (começou a ser estudada para sistemas de armazenamento comerciais em meados de 2004) mas que agora pode também ser aplicada diretamente pelo Sistema Operacional, sem necessitar de software específico.
Existem, basicamente, três formas de deduplicação: em nível de arquivo, em nível de blocos e em nível de byte.
A forma de deduplicação em nível de arquivo é baseada em verificação de seus códigos hashes, ou seja, arquivos idênticos terão