עבור לספרייה עבור דחיסה מקבילה ופירוק
Golang API ליצירה פרוגרמטית וגם לקריאת קובצי GZIP סטנדרטיים. דחוס קבצים גדולים על ידי פיצולם לבלוקים ובצע דחיסה/ביטול דחיסה במקביל.
pgzip היא ספריית קוד פתוח המספקת פונקציונליות מלאה עבור דחיסה ופירוק במקביל באמצעות שפת Go. הספרייה שימושית מאוד לדחיסת כמות גדולה של נתונים שכן היא מחולקת לבלוקים ומבוצעת דחיסה/פירוק במקביל. ספריית pgzip פופולרית להפליא בקרב קהילת המפתחים ומאפשרת לאפליקציות Go לקרוא ישירות קבצים דחוסים עם כמה פקודות בלבד.
הספרייה יציבה מאוד ומאפשרת למפתחים ליצור באופן תוכניתי וגם לקרוא קבצי GZIP סטנדרטיים. כדי להפיק את המיטב מהספרייה, מומלץ להשתמש בדחיסה או שחרור של כמות גדולה של נתונים (יותר מ-2MB בכל פעם). הספרייה כללה תמיכה במספר תכונות חשובות כמו דחיסת קבצים, ביטול דחיסה של קבצים, פתיחה וקריאה של קבצי GZIP ועוד ועוד.
תחילת העבודה עם pgzip
הדרך המומלצת להתקין את pgzip היא מ-GitHub, אנא השתמש בפקודה הבאה להתקנה חלקה.
התקן את pgzip באמצעות פקודה
go get github.com/klauspost/pgzip/...דחוס קבצים גדולים באמצעות Go API
ספריית הקוד הפתוח pgzip כללה פונקציונליות לדחיסת כמויות גדולות של קבצי נתונים באמצעות כמה שורות של קוד Go. ה-API תומך בפיצול הקובץ הגדול לחלקים קטנים (כברירת מחדל, גודל הבלוק הוא 1MB) וניתן לעבד אותו עד למספר שרשורי המעבד. אתה יכול לשלוט בקלות על גודל הבלוקים וכן להתאים אותו לפי הצרכים שלך וכמה תרצה שיעבדו במקביל. לשיפור ביצועים טובים יותר, מומלץ שמשתמשים לפחות דוחסים יותר מ-1 מגה-בייט של נתונים בכל פעם.
ביטול דחיסה של קבצים באמצעות Go API
ספריית pgzip החינמית מאפשרת למפתחי תוכנה לפרוק את הקבצים שלהם בתוך יישומי Go שלהם. בדומה לדחיסה, ניתן לבצע את הדחיסה גם על ידי התאמה אישית של גודל הבלוק. אתה יכול בקלות להשיג קורא משלך ולציין את הקריאה שלך קדימה. עבור הקורא שלך, עליך להגדיר את גודל הבלוק ואת המספר המרבי של בלוקים שעומדים להיות מפוענחים קדימה.
שיפור ביצועים
ניתן לשפר את הביצועים של pgzip בהשוואה ל-gzip כאשר יש לך כמויות גדולות של נתונים. מכיוון ש-pgzip מעבד בלוקים במקביל, ברור שיש לו יתרון מהירות על פני המדחסים האחרים. שימוש עבור תפוקה גבוהה, חומר דחיסה גבוה, כמו יומנים, JSON ונתוני CSV יכול גם להיות שימושי. יתרון גדול אחד של pgzip בזמן דקומפרסיה הוא שהוא מאפשר לך לעשות עבודה אחרת בזמן שהדחיסת מתרחשת.
