Accesați Bibliotecă pentru compresie și decompresie paralelă
API Golang pentru generarea în mod programatic și pentru citirea fișierelor GZIP standard. Comprimați fișierele mari împărțindu-le în blocuri și efectuați comprimarea/decompresia în paralel.
pgzip este o bibliotecă open source care oferă funcționalitate completă pentru compresie și decompresie paralelă folosind limbajul Go. Biblioteca este foarte utilă pentru comprimarea unei cantități mari de date, deoarece este împărțită în blocuri și efectuează compresia/decompresia în paralel. Biblioteca pgzip este incredibil de populară în rândul comunității de dezvoltatori și permite aplicațiilor Go să citească direct fișiere comprimate cu doar câteva comenzi.
Biblioteca este foarte stabilă și permite dezvoltatorilor să genereze și să citească în mod programatic fișiere GZIP standard. Pentru a obține cele mai bune rezultate din bibliotecă, este recomandat să utilizați comprimarea sau decomprimarea unei cantități mari de date (mai mult de 2 MB la un moment dat). Biblioteca a inclus suport pentru mai multe caracteristici importante, cum ar fi comprimarea fișierelor, decomprimarea fișierelor, deschiderea și citirea fișierelor GZIP și multe altele.
Noțiuni introductive cu pgzip
Modul recomandat de a instala pgzip este din GitHub, vă rugăm să utilizați următoarea comandă pentru o instalare fără probleme.
Instalați pgzip prin comandă
go get github.com/klauspost/pgzip/...Comprimați fișiere mari prin Go API
Biblioteca open source pgzip a inclus funcționalitate pentru comprimarea unor cantități mari de fișiere de date folosind câteva rânduri de cod Go. API-ul acceptă împărțirea fișierului mare în părți mici (în mod implicit dimensiunea blocului este de 1 MB) și poate fi procesat până la numărul de fire de execuție CPU. Puteți controla cu ușurință dimensiunea blocurilor, precum și le puteți personaliza în funcție de nevoile dvs. și de câte doriți să fie procesate în paralel. Pentru o performanță mai bună, se recomandă ca utilizatorii să comprima cel puțin mai mult de 1 megaoctet de date la un moment dat.
Decomprimarea fișierelor prin Go API
Biblioteca pgzip gratuită permite dezvoltatorilor de software să-și decomprima fișierele în propriile aplicații Go. La fel ca și compresia, decompresia poate fi efectuată și prin personalizarea dimensiunii blocului. Puteți obține cu ușurință propriul cititor și vă puteți specifica propria citire înainte. Pentru cititorul dvs., trebuie să definiți dimensiunea blocului și numărul maxim de blocuri care vor fi decodate înainte.
Îmbunătățirea performanței
Performanța pgzip poate fi îmbunătățită în comparație cu gzip atunci când aveți cantități mari de date. Deoarece pgzip procesează blocuri în paralel, are evident un avantaj de viteză față de celelalte compresoare. De asemenea, poate fi utilă utilizarea pentru materiale cu un randament ridicat, compresie ridicată, cum ar fi jurnalele, datele JSON și CSV. Un mare avantaj al pgzip în timpul decompresiei este că vă permite să faceți alte lucrări în timp ce are loc decompresia.
