Vai alla libreria per compressione e decompressione parallele
API Golang per generare a livello di codice e leggere file GZIP standard. Comprimi file di grandi dimensioni suddividendoli in blocchi ed esegui compressione/decompressione in parallelo.
pgzip è una libreria open source che fornisce funzionalità complete per la compressione e la decompressione parallele utilizzando il linguaggio Go. La libreria è molto utile per comprimere una grande quantità di dati poiché è divisa in blocchi ed esegue la compressione/decompressione in parallelo. La libreria pgzip è incredibilmente popolare tra la comunità degli sviluppatori e consente alle app Go di leggere direttamente i file compressi con solo un paio di comandi.
La libreria è molto stabile e consente agli sviluppatori di generare e leggere a livello di codice file GZIP standard. Per ottenere il meglio dalla libreria si consiglia di utilizzare comprimere o decomprimere una grande quantità di dati (più di 2 MB alla volta). La libreria include il supporto per diverse importanti funzionalità come comprimere file, decomprimere file, aprire e leggere file GZIP e molto altro.
Guida introduttiva a pgzip
Il modo consigliato per installare pgzip è da GitHub, utilizzare il comando seguente per un'installazione senza problemi.
Installa pgzip tramite comando
go get github.com/klauspost/pgzip/...Comprimi file di grandi dimensioni tramite l'API Go
La libreria open source pgzip ha incluso funzionalità per la compressione di grandi quantità di file di dati utilizzando un paio di righe di codice Go. L'API supporta la suddivisione del file di grandi dimensioni in piccole parti (per impostazione predefinita la dimensione del blocco è 1 MB) e può essere elaborata fino al numero di thread della CPU. Puoi facilmente controllare la dimensione dei blocchi e personalizzarla in base alle tue esigenze ea quanti vuoi che vengano lavorati in parallelo. Per migliorare le prestazioni, si consiglia agli utenti di comprimere almeno più di 1 megabyte di dati alla volta.
Decompressione di file tramite Go API
La libreria pgzip gratuita consente agli sviluppatori di software di decomprimere i propri file all'interno delle proprie applicazioni Go. Come per la compressione, anche la decompressione può essere eseguita personalizzando la dimensione del blocco. Puoi facilmente ottenere il tuo lettore e specificare la tua lettura in anticipo. Per il tuo lettore, devi definire la dimensione del blocco e il numero massimo di blocchi che verranno decodificati in anticipo.
Miglioramento delle prestazioni
Le prestazioni di pgzip possono essere migliorate rispetto a gzip quando si dispone di grandi quantità di dati. Poiché pgzip elabora i blocchi in parallelo, ha ovviamente un vantaggio di velocità rispetto agli altri compressori. Può essere utile anche l'uso per materiale ad alta velocità di trasmissione e compressione elevata, come log, JSON e dati CSV. Un grande vantaggio di pgzip durante la decompressione è che ti permette di fare altro lavoro mentre è in corso la decompressione.
