Gå till bibliotek för parallell komprimering och dekompression
Golang API för programmatiskt generering och läsning av standard GZIP-filer. Komprimera stora filer genom att dela upp dem i block och utför komprimering/dekomprimering parallellt.
pgzip är ett bibliotek med öppen källkod som ger komplett funktionalitet för parallell komprimering och dekomprimering med hjälp av Go-språket. Biblioteket är mycket användbart för att komprimera en stor mängd data då det är uppdelat i block och utförs komprimering/dekomprimering parallellt. pgzip-biblioteket är otroligt populärt bland utvecklargemenskapen och låter Go-appar läsa komprimerade filer direkt med bara ett par kommandon.
Biblioteket är mycket stabilt och tillåter utvecklare att programmatiskt generera och läsa standard GZIP-filer. För att få ut det bästa av biblioteket rekommenderas det att använda komprimera eller dekomprimera en stor mängd data (mer än 2MB åt gången). Biblioteket har inkluderat stöd för flera viktiga funktioner som att komprimera filer, dekomprimera filer, öppna och läsa GZIP-filer och mycket mer.
Komma igång med pgzip
Det rekommenderade sättet att installera pgzip är från GitHub, använd följande kommando för smidig installation.
Installera pgzip via kommando
go get github.com/klauspost/pgzip/...Komprimera stora filer via Go API
Pgzip-biblioteket med öppen källkod har inkluderat funktionalitet för att komprimera stora mängder datafiler med ett par rader Go-kod. API:et stöder uppdelningen av den stora filen i små delar (som standard är blockstorleken 1 MB) och kan bearbetas upp till antalet CPU-trådar. Du kan enkelt styra storleken på blocken samt anpassa den efter dina behov och hur många du vill ska bearbetas parallellt. För bättre prestanda, rekommenderas det att användare åtminstone komprimerar mer än 1 megabyte data åt gången.
Dekomprimerar filer via Go API
Det kostnadsfria pgzip-biblioteket gör det möjligt för mjukvaruutvecklare att dekomprimera sina filer i sina egna Go-applikationer. På samma sätt som komprimering kan dekompressionen också utföras genom att anpassa blockstorleken. Du kan enkelt skaffa din egen läsare och specificera din egen läsning framåt. För din läsare måste du definiera blockstorleken och det maximala antalet block som kommer att avkodas framåt.
Prestandaförbättring
Prestandan för pgzip kan förbättras jämfört med gzip när du har stora mängder data. Eftersom pgzip bearbetar block parallellt har det uppenbarligen en hastighetsfördel jämfört med andra kompressorer. Användning för material med hög genomströmning och hög komprimering, som loggar, JSON och CSV-data kan också vara användbart. En stor fördel med pgzip medan dekompressionen är att det låter dig utföra annat arbete medan dekompressionen pågår.
