Gå til bibliotek for parallell komprimering og dekompresjon
Golang API for programmatisk generering og lesing standard GZIP-filer. Komprimer store filer ved å dele dem opp i blokker og utfør komprimering/dekomprimering parallelt.
pgzip er et åpen kildekode-bibliotek som gir komplett funksjonalitet for parallell komprimering og dekompresjon ved bruk av Go-språket. Biblioteket er svært nyttig for å komprimere en stor mengde data da det er delt inn i blokker og utført komprimering/dekompresjon parallelt. pgzip-biblioteket er utrolig populært blant utviklerfellesskapet og lar Go-apper lese komprimerte filer direkte med bare et par kommandoer.
Biblioteket er veldig stabilt og lar utviklere programmert generere samt lese standard GZIP-filer. For å få det beste ut av biblioteket anbefales det å bruke komprimere eller dekomprimere en stor mengde data (mer enn 2MB om gangen). Biblioteket har inkludert støtte for flere viktige funksjoner som komprimere filer, dekomprimere filer, åpne og lese GZIP-filer og mye mer.
Komme i gang med pgzip
Den anbefalte måten å installere pgzip på er fra GitHub, vennligst bruk følgende kommando for jevn installasjon.
Installer pgzip via kommando
go get github.com/klauspost/pgzip/...Komprimer store filer via Go API
Open source pgzip-biblioteket har inkludert funksjonalitet for å komprimere store mengder datafiler ved å bruke et par linjer med Go-kode. API-en støtter oppdeling av den store filen i små deler (som standard er blokkstørrelsen 1 MB) og kan behandles opp til antall CPU-tråder. Du kan enkelt kontrollere størrelsen på blokkene samt tilpasse den etter dine behov og hvor mange du ønsker skal behandles parallelt. For bedre ytelsesgevinster anbefales det at brukere i det minste komprimerer mer enn 1 megabyte med data om gangen.
Dekomprimering av filer via Go API
Det gratis pgzip-biblioteket gjør det mulig for programvareutviklere å dekomprimere filene sine i sine egne Go-applikasjoner. På samme måte som komprimering kan dekompresjonen også utføres ved å tilpasse blokkstørrelsen. Du kan enkelt få din egen leser og spesifisere din egen lesing fremover. For leseren din må du definere blokkstørrelsen og maksimalt antall blokker som skal dekodes fremover.
Ytelsesforbedring
Ytelsen til pgzip kan forbedres sammenlignet med gzip når du har store mengder data. Ettersom pgzip behandler blokker parallelt, har det åpenbart en hastighetsfordel i forhold til de andre kompressorene. Bruk for høy gjennomstrømning, høy komprimering av materiale, som logger, JSON og CSV-data kan også være nyttig. En stor fordel med pgzip mens dekompresjon er at den lar deg gjøre annet arbeid mens dekompresjonen pågår.
