সমান্তরাল কম্প্রেশন এবং ডিকম্প্রেশনের জন্য লাইব্রেরিতে যান
গোলাং এপিআই প্রোগ্রামগতভাবে তৈরি করার পাশাপাশি স্ট্যান্ডার্ড GZIP ফাইল পড়ার জন্য। বড় ফাইলগুলিকে ব্লকে বিভক্ত করে কম্প্রেস করুন এবং সমান্তরালভাবে কম্প্রেশন/ডিকম্প্রেশন করুন।
pgzip হল একটি ওপেন সোর্স লাইব্রেরি যা গো ভাষা ব্যবহার করে সমান্তরাল কম্প্রেশন এবং ডিকম্প্রেশনের জন্য সম্পূর্ণ কার্যকারিতা প্রদান করে। লাইব্রেরিটি প্রচুর পরিমাণে ডেটা সংকুচিত করার জন্য খুবই উপযোগী কারণ এটিকে ব্লকে বিভক্ত করা হয় এবং সমান্তরালে কম্প্রেশন/ডিকম্প্রেশন করা হয়। pgzip লাইব্রেরি ডেভেলপার সম্প্রদায়ের মধ্যে অবিশ্বাস্যভাবে জনপ্রিয় এবং Go অ্যাপগুলিকে কয়েকটি কমান্ডের সাহায্যে সরাসরি সংকুচিত ফাইলগুলি পড়তে দেয়।
লাইব্রেরিটি খুবই স্থিতিশীল এবং ডেভেলপারদের প্রোগ্রাম্যাটিকভাবে তৈরি করার পাশাপাশি স্ট্যান্ডার্ড GZIP ফাইল পড়তে দেয়। লাইব্রেরি থেকে সর্বোত্তম সুবিধা পেতে প্রচুর পরিমাণে ডেটা কম্প্রেস বা ডিকম্প্রেস ব্যবহার করার পরামর্শ দেওয়া হয় (একবারে 2MB এর বেশি)। লাইব্রেরিতে বেশ কিছু গুরুত্বপূর্ণ বৈশিষ্ট্যের জন্য সমর্থন অন্তর্ভুক্ত করা হয়েছে যেমন ফাইল কম্প্রেস করা, ফাইল ডিকম্প্রেস করা, GZIP ফাইল খোলা এবং পড়া এবং আরও অনেক কিছু।
pgzip দিয়ে শুরু করা
pgzip ইনস্টল করার প্রস্তাবিত উপায় হল GitHub থেকে, অনুগ্রহ করে মসৃণ ইনস্টলেশনের জন্য নিম্নলিখিত কমান্ডটি ব্যবহার করুন।
কমান্ডের মাধ্যমে pgzip ইনস্টল করুন
go get github.com/klauspost/pgzip/...Go API এর মাধ্যমে বড় ফাইল কম্প্রেস করুন
ওপেন সোর্স pgzip লাইব্রেরিতে Go কোডের কয়েকটি লাইন ব্যবহার করে প্রচুর পরিমাণে ডেটা ফাইল সংকুচিত করার কার্যকারিতা অন্তর্ভুক্ত করা হয়েছে। এপিআই বড় ফাইলটিকে ছোট অংশে বিভক্ত করতে সমর্থন করে (ডিফল্টরূপে ব্লকের আকার 1MB) এবং CPU থ্রেডের সংখ্যা পর্যন্ত প্রক্রিয়া করা যেতে পারে। আপনি সহজেই ব্লকের আকার নিয়ন্ত্রণ করতে পারেন এবং আপনার প্রয়োজন অনুসারে এটি কাস্টমাইজ করতে পারেন এবং সমান্তরালভাবে আপনি কতগুলি প্রক্রিয়া করতে চান। ভালো পারফরম্যান্স লাভের জন্য, এটি পরামর্শ দেওয়া হয় যে ব্যবহারকারীরা অন্তত একবারে 1 মেগাবাইটের বেশি ডেটা সংকুচিত করবেন।
Go API এর মাধ্যমে ফাইল ডিকম্প্রেস করা
বিনামূল্যে pgzip লাইব্রেরি সফ্টওয়্যার বিকাশকারীদের তাদের নিজস্ব Go অ্যাপ্লিকেশনের মধ্যে তাদের ফাইলগুলিকে ডিকম্প্রেস করতে সক্ষম করে। কম্প্রেশনের মতোই, ব্লকের আকার কাস্টমাইজ করে ডিকম্প্রেশনও করা যেতে পারে। আপনি সহজেই আপনার নিজের পাঠক পেতে পারেন এবং আপনার নিজের পঠনটি নির্দিষ্ট করতে পারেন। আপনার পাঠকের জন্য, আপনাকে ব্লকের আকার এবং সামনের ডিকোড করা ব্লকের সর্বাধিক সংখ্যা নির্ধারণ করতে হবে।
কর্মক্ষমতা বৃদ্ধি
যখন আপনার কাছে প্রচুর পরিমাণে ডেটা থাকে তখন gzip-এর তুলনায় pgzip-এর কর্মক্ষমতা উন্নত করা যেতে পারে। যেহেতু pgzip সমান্তরালভাবে ব্লকগুলিকে প্রক্রিয়া করে, এটি স্পষ্টতই অন্যান্য কম্প্রেসারগুলির তুলনায় গতির সুবিধা রয়েছে। লগ, JSON, এবং CSV ডেটার মতো উচ্চ থ্রুপুট, উচ্চ কম্প্রেশন উপাদানের জন্য ব্যবহার করাও কার্যকর হতে পারে। ডিকম্প্রেশনের সময় pgzip-এর একটি বড় সুবিধা হল ডিকম্প্রেশন চলাকালীন এটি আপনাকে অন্যান্য কাজ করতে দেয়।
