Đi thư viện để nén và giải nén song song
API Golang để tạo lập trình cũng như đọc các tệp GZIP tiêu chuẩn. Nén các tập tin lớn bằng cách chia nhỏ nó thành các khối và thực hiện nén / giải nén song song.
pgzip là một thư viện mã nguồn mở cung cấp đầy đủ chức năng để nén và giải nén song song bằng ngôn ngữ Go. Thư viện rất hữu ích để nén một lượng lớn dữ liệu vì nó được chia thành các khối và thực hiện nén / giải nén song song. Thư viện pgzip cực kỳ phổ biến trong cộng đồng nhà phát triển và cho phép các ứng dụng Go đọc trực tiếp các tệp nén chỉ bằng một vài lệnh.
Thư viện này rất ổn định và cho phép các nhà phát triển tạo lập trình cũng như đọc các tệp GZIP tiêu chuẩn. Để tận dụng tối đa thư viện, bạn nên sử dụng tính năng nén hoặc giải nén một lượng lớn dữ liệu (hơn 2MB mỗi lần). Thư viện đã hỗ trợ một số tính năng quan trọng như nén tệp, giải nén tệp, mở và đọc tệp GZIP, v.v.
Bắt đầu với pgzip
Cách được đề xuất để cài đặt pgzip là từ GitHub, vui lòng sử dụng lệnh sau để cài đặt suôn sẻ.
Cài đặt pgzip qua lệnh
go get github.com/klauspost/pgzip/...Nén tệp lớn thông qua API Go
Thư viện pgzip mã nguồn mở đã bao gồm chức năng nén một lượng lớn tệp dữ liệu bằng cách sử dụng một vài dòng mã Go. API hỗ trợ chia tệp lớn thành các phần nhỏ (theo mặc định kích thước khối là 1MB) và có thể được xử lý theo số luồng CPU. Bạn có thể dễ dàng kiểm soát kích thước của các khối cũng như tùy chỉnh nó theo nhu cầu của bạn và số lượng bạn muốn được xử lý song song. Để tăng hiệu suất tốt hơn, người dùng nên nén ít nhất hơn 1 megabyte dữ liệu cùng một lúc.
Giải nén tệp qua API Go
Thư viện pgzip miễn phí cho phép các nhà phát triển phần mềm giải nén các tệp của họ bên trong các ứng dụng Go của riêng họ. Tương tự như nén, giải nén cũng có thể được thực hiện bằng cách tùy chỉnh kích thước khối. Bạn có thể dễ dàng có được trình đọc của riêng mình và chỉ định phần đọc trước của riêng bạn. Đối với trình đọc của bạn, bạn cần xác định kích thước khối và số lượng khối tối đa sẽ được giải mã phía trước.
Cải thiện hiệu suất
Hiệu suất của pgzip có thể được cải thiện so với gzip khi bạn có một lượng lớn dữ liệu. Khi pgzip xử lý các khối song song, nó rõ ràng có lợi thế về tốc độ so với các máy nén khác. Sử dụng cho thông lượng cao, vật liệu nén cao, như nhật ký, dữ liệu JSON và CSV cũng có thể hữu ích. Một ưu điểm lớn của pgzip trong khi giải nén là nó cho phép bạn thực hiện công việc khác trong khi quá trình giải nén đang diễn ra.
