1. Produtos
  2.   Compressão
  3.   GO
  4.   pgzip
 
  

Biblioteca Go para compactação e descompactação paralela

API Golang para gerar programaticamente e ler arquivos GZIP padrão. Compacte arquivos grandes dividindo-os em blocos e execute a compactação/descompactação em paralelo. 

pgzip é uma biblioteca de código aberto que fornece funcionalidade completa para compactação e descompactação paralela usando a linguagem Go. A biblioteca é muito útil para compactar uma grande quantidade de dados, pois é dividida em blocos e realiza compactação/descompactação em paralelo. A biblioteca pgzip é incrivelmente popular entre a comunidade de desenvolvedores e permite que os aplicativos Go leiam arquivos compactados diretamente com apenas alguns comandos.

A biblioteca é muito estável e permite que os desenvolvedores gerem programaticamente, bem como leiam arquivos GZIP padrão. Para obter o melhor da biblioteca, é recomendável usar compactar ou descompactar uma grande quantidade de dados (mais de 2 MB por vez). A biblioteca inclui suporte para vários recursos importantes, como compactar arquivos, descompactar arquivos, abrir e ler arquivos GZIP e muito mais.

Previous Next

Introdução ao pgzip

A maneira recomendada de instalar o pgzip é do GitHub, use o seguinte comando para uma instalação suave.

Instale o pgzip via comando

go get github.com/klauspost/pgzip/...

Compactar arquivos grandes via API Go

A biblioteca pgzip de código aberto incluiu funcionalidade para compactar grandes quantidades de arquivos de dados usando algumas linhas de código Go. A API suporta a divisão do arquivo grande em partes pequenas (por padrão, o tamanho do bloco é 1 MB) e pode ser processado até o número de threads da CPU. Você pode controlar facilmente o tamanho dos blocos, bem como personalizá-los de acordo com suas necessidades e quantos deseja que sejam processados em paralelo. Para obter melhores ganhos de desempenho, é aconselhável que os usuários comprimam pelo menos mais de 1 megabyte de dados por vez.

Descompactando arquivos via Go API

A biblioteca gratuita pgzip permite que os desenvolvedores de software descompactem seus arquivos dentro de seus próprios aplicativos Go. Assim como a compactação, a descompactação também pode ser realizada personalizando o tamanho do bloco. Você pode facilmente obter seu próprio leitor e especificar sua própria leitura com antecedência. Para o seu leitor, você precisa definir o tamanho do bloco e o número máximo de blocos que serão decodificados antecipadamente.

Melhoria de desempenho

O desempenho do pgzip pode ser melhorado em comparação com o gzip quando você tem grandes quantidades de dados. Como o pgzip processa blocos em paralelo, obviamente tem uma vantagem de velocidade sobre os outros compressores. O uso para material de alta taxa de transferência e alta compactação, como logs, JSON e dados CSV também pode ser útil. Uma grande vantagem do pgzip durante a descompactação é que ele permite que você faça outro trabalho enquanto a descompactação está ocorrendo.

 Português