Pārejiet uz bibliotēku, lai izmantotu paralēlo saspiešanu un dekompresiju
Golang API standarta GZIP failu programmatiskai ģenerēšanai, kā arī lasīšanai. Saspiediet lielus failus, sadalot tos blokos, un paralēli veiciet saspiešanu/dekompresiju.
pgzip ir atvērtā pirmkoda bibliotēka, kas nodrošina pilnīgu paralēlas saspiešanas un dekompresijas funkcionalitāti, izmantojot Go valodu. Bibliotēka ir ļoti noderīga liela datu apjoma saspiešanai, jo tā ir sadalīta blokos un paralēli tiek veikta saspiešana/dekompresija. Pgzip bibliotēka ir neticami populāra izstrādātāju kopienas vidū un ļauj Go lietotnēm tieši nolasīt saspiestus failus, veicot tikai dažas komandas.
Bibliotēka ir ļoti stabila un ļauj izstrādātājiem programmatiski ģenerēt, kā arī lasīt standarta GZIP failus. Lai pēc iespējas labāk izmantotu bibliotēku, ieteicams izmantot lielu datu apjomu (vairāk nekā 2 MB vienā reizē). Bibliotēkā ir iekļauts atbalsts vairākām svarīgām funkcijām, piemēram, failu saspiešana, failu atspiešana, GZIP failu atvēršana un lasīšana un daudz kas cits.
Darba sākšana ar pgzip
Ieteicamais pgzip instalēšanas veids ir no GitHub. Lai nodrošinātu vienmērīgu instalēšanu, lūdzu, izmantojiet šo komandu.
Instalējiet pgzip, izmantojot komandu
go get github.com/klauspost/pgzip/...Saspiediet lielus failus, izmantojot Go API
Atvērtā koda pgzip bibliotēkā ir iekļauta funkcionalitāte liela datu failu apjoma saspiešanai, izmantojot pāris Go koda rindiņas. API atbalsta liela faila sadalīšanu mazās daļās (pēc noklusējuma bloka lielums ir 1 MB), un to var apstrādāt līdz CPU pavedienu skaitam. Jūs varat viegli kontrolēt bloku izmērus, kā arī pielāgot to atbilstoši savām vajadzībām un tam, cik daudzus vēlaties apstrādāt paralēli. Lai uzlabotu veiktspēju, lietotājiem ir ieteicams vienlaikus saspiest vairāk nekā 1 megabaitu datu.
Failu atspiešana, izmantojot Go API
Bezmaksas pgzip bibliotēka ļauj programmatūras izstrādātājiem atspiest savus failus savās Go lietojumprogrammās. Tāpat kā saspiešanu, dekompresiju var veikt arī, pielāgojot bloka izmēru. Jūs varat viegli iegūt savu lasītāju un norādīt savu lasītāju uz priekšu. Jūsu lasītājam ir jādefinē bloka lielums un maksimālais bloku skaits, kas tiks atšifrēti.
Veiktspējas uzlabošana
Ja jums ir liels datu apjoms, pgzip veiktspēju var uzlabot salīdzinājumā ar gzip. Tā kā pgzip blokus apstrādā paralēli, tam acīmredzami ir ātruma priekšrocības salīdzinājumā ar citiem kompresoriem. Var būt noderīgi arī izmantot augstas caurlaidspējas, augstas kompresijas materiāliem, piemēram, žurnāliem, JSON un CSV datiem. Viena liela pgzip priekšrocība dekompresijas laikā ir tā, ka tā ļauj veikt citus darbus, kamēr notiek dekompresija.
