Go Library за паралелно компресиране и декомпресиране
API на Golang за програмно генериране, както и за четене на стандартни GZIP файлове. Компресирайте големи файлове, като ги разделите на блокове и извършете компресия/декомпресия паралелно.
pgzip е библиотека с отворен код, която предоставя пълна функционалност за паралелно компресиране и декомпресиране с помощта на езика Go. Библиотеката е много полезна за компресиране на голямо количество данни, тъй като е разделена на блокове и паралелно извършва компресия/декомпресия. Библиотеката pgzip е невероятно популярна сред общността на разработчиците и позволява на приложенията Go директно да четат компресирани файлове само с няколко команди.
Библиотеката е много стабилна и позволява на разработчиците да генерират програмно, както и да четат стандартни GZIP файлове. За да извлечете най-доброто от библиотеката, се препоръчва да използвате компресиране или декомпресиране на голямо количество данни (повече от 2 MB наведнъж). Библиотеката включва поддръжка за няколко важни функции като компресиране на файлове, декомпресиране на файлове, отваряне и четене на GZIP файлове и много други.
Първи стъпки с pgzip
Препоръчителният начин за инсталиране на pgzip е от GitHub, моля, използвайте следната команда за гладка инсталация.
Инсталирайте pgzip чрез команда
go get github.com/klauspost/pgzip/...Компресирайте големи файлове чрез Go API
Библиотеката pgzip с отворен код включва функционалност за компресиране на големи количества файлове с данни с помощта на няколко реда Go код. API поддържа разделянето на големия файл на малки части (по подразбиране размерът на блока е 1MB) и може да се обработва до броя на нишките на процесора. Можете лесно да контролирате размера на блоковете, както и да го персонализирате според вашите нужди и колко искате да бъдат обработени паралелно. За по-добри печалби в производителността се препоръчва потребителите поне да компресират повече от 1 мегабайт данни наведнъж.
Декомпресиране на файлове чрез Go API
Безплатната библиотека pgzip позволява на разработчиците на софтуер да декомпресират своите файлове в собствените си Go приложения. Също като компресията, декомпресията може да се извърши и чрез персонализиране на размера на блока. Можете лесно да получите свой собствен четец и да посочите свой собствен четец предварително. За вашия четец трябва да определите размера на блока и максималния брой блокове, които ще бъдат декодирани предварително.
Подобряване на представянето
Производителността на pgzip може да бъде подобрена в сравнение с gzip, когато имате големи количества данни. Тъй като pgzip обработва блокове паралелно, той очевидно има предимство в скоростта пред другите компресори. Използването за висока пропускателна способност, материал с висока компресия, като регистрационни файлове, JSON и CSV данни също може да бъде полезно. Едно голямо предимство на pgzip при декомпресия е, че ви позволява да вършите друга работа, докато се извършва декомпресията.
