Ga naar bibliotheek voor parallelle compressie en decompressie
Golang API voor het programmatisch genereren en lezen van standaard GZIP-bestanden. Comprimeer grote bestanden door ze in blokken te splitsen en compressie/decompressie parallel uit te voeren.
pgzip is een open source-bibliotheek die volledige functionaliteit biedt voor parallelle compressie en decompressie met behulp van de Go-taal. De bibliotheek is erg handig voor het comprimeren van een grote hoeveelheid gegevens, aangezien deze is verdeeld in blokken en parallel wordt gecomprimeerd/decompressie uitgevoerd. De pgzip-bibliotheek is ongelooflijk populair onder de ontwikkelaarsgemeenschap en stelt Go-apps in staat om gecomprimeerde bestanden direct te lezen met slechts een paar opdrachten.
De bibliotheek is zeer stabiel en stelt ontwikkelaars in staat om zowel programmatisch standaard GZIP-bestanden te genereren als te lezen. Om het beste uit de bibliotheek te halen, wordt aanbevolen om een grote hoeveelheid gegevens te comprimeren of te decomprimeren (meer dan 2 MB per keer). De bibliotheek biedt ondersteuning voor verschillende belangrijke functies, zoals het comprimeren van bestanden, het decomprimeren van bestanden, het openen en lezen van GZIP-bestanden en nog veel meer.
Aan de slag met pgzip
De aanbevolen manier om pgzip te installeren is vanaf GitHub, gebruik de volgende opdracht voor een vlotte installatie.
Installeer pgzip via commando
go get github.com/klauspost/pgzip/...Comprimeer grote bestanden via Go API
De open source pgzip-bibliotheek heeft functionaliteit voor het comprimeren van grote hoeveelheden gegevensbestanden met behulp van een paar regels Go-code. De API ondersteunt het opsplitsen van het grote bestand in kleine delen (standaard is de blokgrootte 1 MB) en kan worden verwerkt tot het aantal CPU-threads. U kunt eenvoudig de grootte van de blokken regelen en deze aanpassen aan uw behoeften en hoeveel u parallel wilt verwerken. Voor betere prestatieverbeteringen wordt geadviseerd dat gebruikers ten minste meer dan 1 megabyte aan gegevens per keer comprimeren.
Bestanden decomprimeren via Go API
Met de gratis pgzip-bibliotheek kunnen softwareontwikkelaars hun bestanden decomprimeren in hun eigen Go-applicaties. Net als bij compressie kan de decompressie ook worden uitgevoerd door de blokgrootte aan te passen. U kunt eenvoudig uw eigen reader krijgen en uw eigen read-ahead specificeren. Voor uw lezer moet u de blokgrootte definiëren en het maximale aantal blokken dat vooruit gedecodeerd gaat worden.
Prestatieverbetering
De prestaties van pgzip kunnen worden verbeterd in vergelijking met gzip wanneer u grote hoeveelheden gegevens hebt. Omdat pgzip blokken parallel verwerkt, heeft het duidelijk een snelheidsvoordeel ten opzichte van de andere compressoren. Gebruik voor hoge doorvoer, materiaal met hoge compressie, zoals logboeken, JSON- en CSV-gegevens kan ook nuttig zijn. Een groot voordeel van pgzip tijdens decompressie is dat u ander werk kunt doen terwijl de decompressie plaatsvindt.
