Accédez à la bibliothèque pour la compression et la décompression parallèles
API Golang pour générer par programmation et lire des fichiers GZIP standard. Compressez les fichiers volumineux en les divisant en blocs et effectuez une compression/décompression en parallèle.
pgzip est une bibliothèque open source qui fournit des fonctionnalités complètes pour la compression et la décompression parallèles à l'aide du langage Go. La bibliothèque est très utile pour compresser une grande quantité de données car elle est divisée en blocs et effectue une compression/décompression en parallèle. La bibliothèque pgzip est incroyablement populaire parmi la communauté des développeurs et permet aux applications Go de lire directement les fichiers compressés avec seulement quelques commandes.
La bibliothèque est très stable et permet aux développeurs de générer par programme ainsi que de lire des fichiers GZIP standard. Pour tirer le meilleur parti de la bibliothèque, il est recommandé d'utiliser la compression ou la décompression d'une grande quantité de données (plus de 2 Mo à la fois). La bibliothèque a inclus la prise en charge de plusieurs fonctionnalités importantes telles que la compression de fichiers, la décompression de fichiers, l'ouverture et la lecture de fichiers GZIP, et bien plus encore.
Premiers pas avec pgzip
La méthode recommandée pour installer pgzip est à partir de GitHub, veuillez utiliser la commande suivante pour une installation fluide.
Installer pgzip via la commande
go get github.com/klauspost/pgzip/...Compresser des fichiers volumineux via l'API Go
La bibliothèque open source pgzip a inclus une fonctionnalité permettant de compresser de grandes quantités de fichiers de données à l'aide de quelques lignes de code Go. L'API prend en charge la division du fichier volumineux en petites parties (par défaut, la taille du bloc est de 1 Mo) et peut être traitée jusqu'au nombre de threads CPU. Vous pouvez facilement contrôler la taille des blocs ainsi que la personnaliser en fonction de vos besoins et du nombre que vous souhaitez traiter en parallèle. Pour de meilleurs gains de performances, il est conseillé aux utilisateurs de compresser au moins plus de 1 mégaoctet de données à la fois.
Décompresser des fichiers via l'API Go
La bibliothèque gratuite pgzip permet aux développeurs de logiciels de décompresser leurs fichiers dans leurs propres applications Go. Comme pour la compression, la décompression peut également être effectuée en personnalisant la taille du bloc. Vous pouvez facilement obtenir votre propre lecteur et spécifier votre propre lecture à l'avance. Pour votre lecteur, vous devez définir la taille des blocs et le nombre maximum de blocs qui vont être décodés à l'avance.
Amélioration des performances
Les performances de pgzip peuvent être améliorées par rapport à gzip lorsque vous avez de grandes quantités de données. Comme pgzip traite les blocs en parallèle, il a évidemment un avantage de vitesse sur les autres compresseurs. L'utilisation pour le matériel à haut débit et à haute compression, comme les journaux, les données JSON et CSV, peut également être utile. Un grand avantage de pgzip lors de la décompression est qu'il vous permet d'effectuer d'autres travaux pendant la décompression.
