Ir a la biblioteca para compresión y descompresión en paralelo
API de Golang para generar mediante programación y leer archivos GZIP estándar. Comprima archivos grandes dividiéndolos en bloques y realice la compresión/descompresión en paralelo.
pgzip es una biblioteca de código abierto que proporciona una funcionalidad completa para la compresión y descompresión en paralelo utilizando el lenguaje Go. La biblioteca es muy útil para comprimir una gran cantidad de datos, ya que se divide en bloques y realiza la compresión/descompresión en paralelo. La biblioteca pgzip es increíblemente popular entre la comunidad de desarrolladores y permite que las aplicaciones Go lean directamente archivos comprimidos con solo un par de comandos.
La biblioteca es muy estable y permite a los desarrolladores generar mediante programación y leer archivos GZIP estándar. Para obtener lo mejor de la biblioteca, se recomienda comprimir o descomprimir una gran cantidad de datos (más de 2 MB a la vez). La biblioteca ha incluido soporte para varias funciones importantes, como comprimir archivos, descomprimir archivos, abrir y leer archivos GZIP y mucho más.
Primeros pasos con pgzip
La forma recomendada de instalar pgzip es desde GitHub, utilice el siguiente comando para una instalación sin problemas.
Instalar pgzip a través del comando
go get github.com/klauspost/pgzip/...Comprimir archivos grandes a través de Go API
La biblioteca pgzip de código abierto ha incluido la funcionalidad para comprimir grandes cantidades de archivos de datos utilizando un par de líneas de código Go. La API admite la división del archivo grande en partes pequeñas (de forma predeterminada, el tamaño del bloque es de 1 MB) y se puede procesar hasta la cantidad de subprocesos de la CPU. Puede controlar fácilmente el tamaño de los bloques y personalizarlos según sus necesidades y cuántos desea que se procesen en paralelo. Para obtener mejores ganancias de rendimiento, se recomienda que los usuarios compriman al menos más de 1 megabyte de datos a la vez.
Descompresión de archivos a través de Go API
La biblioteca gratuita pgzip permite a los desarrolladores de software descomprimir sus archivos dentro de sus propias aplicaciones Go. Al igual que la compresión, la descompresión también se puede realizar personalizando el tamaño del bloque. Puede obtener fácilmente su propio lector y especificar su propia lectura por adelantado. Para su lector, debe definir el tamaño del bloque y la cantidad máxima de bloques que se decodificarán por adelantado.
Mejora del rendimiento
El rendimiento de pgzip se puede mejorar en comparación con gzip cuando tiene grandes cantidades de datos. Como pgzip procesa bloques en paralelo, obviamente tiene una ventaja de velocidad sobre los otros compresores. El uso para material de alto rendimiento y alta compresión, como registros, JSON y datos CSV, también puede ser útil. Una gran ventaja de pgzip durante la descompresión es que le permite hacer otro trabajo mientras se lleva a cabo la descompresión.
