Přejít do knihovny pro paralelní kompresi a dekompresi
Golang API pro programové generování a čtení standardních souborů GZIP. Komprimujte velké soubory tak, že je rozdělíte do bloků a provádějte kompresi/dekompresi paralelně.
pgzip je knihovna s otevřeným zdrojovým kódem, která poskytuje kompletní funkčnost pro paralelní kompresi a dekompresi pomocí jazyka Go. Knihovna je velmi užitečná pro kompresi velkého množství dat, protože je rozdělena do bloků a provádí kompresi/dekompresi paralelně. Knihovna pgzip je mezi vývojářskou komunitou neuvěřitelně populární a umožňuje aplikacím Go přímo číst komprimované soubory pomocí pouhých několika příkazů.
Knihovna je velmi stabilní a umožňuje vývojářům programově generovat i číst standardní soubory GZIP. Chcete-li z knihovny vytěžit maximum, doporučuje se použít komprimovat nebo dekomprimovat velké množství dat (více než 2 MB najednou). Knihovna obsahuje podporu pro několik důležitých funkcí, jako je komprimace souborů, dekomprimace souborů, otevírání a čtení souborů GZIP a mnoho dalšího.
Začínáme s pgzip
Doporučený způsob instalace pgzip je z GitHubu, pro hladkou instalaci použijte prosím následující příkaz.
Nainstalujte pgzip pomocí příkazu
go get github.com/klauspost/pgzip/...Komprimujte velké soubory přes Go API
Open source knihovna pgzip obsahuje funkce pro kompresi velkého množství datových souborů pomocí několika řádků kódu Go. API podporuje rozdělení velkého souboru na malé části (ve výchozím nastavení je velikost bloku 1 MB) a může být zpracováno až do počtu vláken CPU. Můžete snadno ovládat velikost bloků a také si je přizpůsobit podle svých potřeb a podle toho, kolik chcete zpracovávat paralelně. Pro zvýšení výkonu se doporučuje, aby uživatelé komprimovali alespoň 1 megabajt dat najednou.
Dekomprese souborů přes Go API
Bezplatná knihovna pgzip umožňuje vývojářům softwaru dekomprimovat jejich soubory v rámci jejich vlastních aplikací Go. Stejně jako kompresi lze i dekompresi provést přizpůsobením velikosti bloku. Můžete si snadno pořídit vlastní čtečku a určit si vlastní čtení dopředu. Pro vaši čtečku musíte předem definovat velikost bloku a maximální počet bloků, které budou dekódovány.
Zlepšení výkonu
Výkon pgzip lze zlepšit ve srovnání s gzip, když máte velké množství dat. Protože pgzip zpracovává bloky paralelně, má samozřejmě rychlostní výhodu oproti ostatním kompresorům. Užitečné může být také použití pro vysokou propustnost a materiál s vysokou kompresí, jako jsou protokoly, data JSON a CSV. Jednou z velkých výhod pgzip při dekompresi je to, že vám během dekomprese umožňuje dělat jinou práci.
