2025-11-18T08:58:13.020607

Bit Allocation Transfer for Perceptual Quality Enhancement of VVC Intra Coding

Yang, BajiÄ

Mainstream image and video coding standards -- including state-of-the-art codecs like H.266/VVC, AVS3, and AV1 -- adopt a block-based hybrid coding framework. While this framework facilitates straightforward optimization for Peak Signal-to-Noise Ratio (PSNR), it struggles to effectively optimize perceptually-aligned metrics such as Multi-Scale Structural Similarity (MS-SSIM). To address this challenge, this paper proposes a low-complexity method to enhance perceptual quality in VVC intra coding by transferring bit allocation knowledge from end-to-end image compression. We introduce a lightweight model trained with perceptual losses to generate a quantization step map. This map implicitly captures block-level perceptual importance, enabling efficient derivation of a QP map for VVC. Experiments on Kodak and CLIC datasets demonstrate significant advantages, both in execution time and perceptual metric performance, with more than 11% BD-rate reduction in terms of MS-SSIM. Our scheme provides an efficient, practical pathway for perceptual enhancement of traditional codecs.

academic

VVC ইন্ট্রা কোডিংয়ের উপলব্ধি গুণমান উন্নতির জন্য বিট বরাদ্দ স্থানান্তর

মৌলিক তথ্য

পেপার আইডি: 2510.10970
শিরোনাম: VVC ইন্ট্রা কোডিংয়ের উপলব্ধি গুণমান উন্নতির জন্য বিট বরাদ্দ স্থানান্তর
লেখক: Runyu Yang, Ivan V. Bajić (Simon Fraser University)
শ্রেণীবিভাগ: eess.IV (চিত্র ও ভিডিও প্রক্রিয়াকরণ)
প্রকাশনার সময়/সম্মেলন: Picture Coding Symposium 2025, Aachen, Germany
পেপার লিঙ্ক: https://arxiv.org/abs/2510.10970

সারসংক্ষেপ

প্রধান চিত্র এবং ভিডিও এনকোডিং মান (H.266/VVC, AVS3 এবং AV1 সহ সর্বশেষ কোডেক) ব্লক-ভিত্তিক হাইব্রিড এনকোডিং কাঠামো ব্যবহার করে। যদিও এই কাঠামো শিখর সংকেত-থেকে-শব্দ অনুপাত (PSNR) এর জন্য সরাসরি অপ্টিমাইজেশন সুবিধাজনক করে, তবে উপলব্ধি-সংযুক্ত মেট্রিক্স (যেমন মাল্টি-স্কেল স্ট্রাকচারাল সিমিলারিটি MS-SSIM) অপ্টিমাইজেশনে অসুবিধা রয়েছে। এই চ্যালেঞ্জ মোকাবেলার জন্য, এই পেপারটি একটি নিম্ন-জটিলতা পদ্ধতি প্রস্তাব করে যা শেষ থেকে শেষ চিত্র সংকোচন থেকে বিট বরাদ্দ জ্ঞান স্থানান্তর করে VVC ফ্রেম-অভ্যন্তরীণ কোডিংয়ের উপলব্ধি গুণমান বৃদ্ধি করে। নিবন্ধটি উপলব্ধি ক্ষতি দিয়ে প্রশিক্ষিত একটি হালকা মডেল চালু করে যা পরিমাণীকরণ ধাপ মানচিত্র তৈরি করে, যা নিহিতভাবে ব্লক-স্তরের উপলব্ধি গুরুত্ব ক্যাপচার করে, VVC এর QP মানচিত্র কার্যকরভাবে অনুমান করতে সক্ষম করে। Kodak এবং CLIC ডেটাসেটে পরীক্ষা-নিরীক্ষা দেখায় যে এই স্কিমটি সম্পাদন সময় এবং উপলব্ধি মেট্রিক্স কর্মক্ষমতা উভয় ক্ষেত্রেই উল্লেখযোগ্য সুবিধা রয়েছে, MS-SSIM এর BD-rate 11% এর বেশি হ্রাস সহ।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

ঐতিহ্যবাহী ব্লক-ভিত্তিক ভিডিও এনকোডিং মান (যেমন VVC) হার-বিকৃতি অপ্টিমাইজেশনে প্রধানত MSE/PSNR এর জন্য অপ্টিমাইজ করে, কিন্তু এই মেট্রিক্সগুলি মানব দৃষ্টিভঙ্গি উপলব্ধি গুণমানের সাথে দুর্বল সম্পর্ক রাখে। উপলব্ধি-সংযুক্ত মেট্রিক্স (যেমন SSIM, MS-SSIM, LPIPS) যোগযোগ্যতা এবং ব্লক স্বাধীনতার অভাবের কারণে ঐতিহ্যবাহী ব্লক-স্তরের RDO কাঠামোতে কার্যকরভাবে প্রয়োগ করা কঠিন।

সমস্যার গুরুত্ব

উপলব্ধি গুণমান এবং ঐতিহ্যবাহী মেট্রিক্সের পার্থক্য: MSE/PSNR এবং মানব দৃষ্টিভঙ্গি উপলব্ধির মধ্যে উল্লেখযোগ্য ব্যবধান রয়েছে, এই মেট্রিক্সগুলি অপ্টিমাইজ করা ভাল বিষয়গত গুণমান নিশ্চিত করে না
ব্যবহারিক প্রয়োগের চাহিদা: আধুনিক ভিডিও অ্যাপ্লিকেশনগুলি উপলব্ধি গুণমানের জন্য ক্রমবর্ধমান উচ্চ প্রয়োজনীয়তা রাখে, আরও ভাল উপলব্ধি অপ্টিমাইজেশন পদ্ধতির প্রয়োজন
গণনামূলক জটিলতার চ্যালেঞ্জ: ঐতিহ্যবাহী এনকোডারে জটিল উপলব্ধি মেট্রিক্স গণনা সরাসরি অপ্টিমাইজ করা অত্যন্ত ব্যয়বহুল

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

শেষ থেকে শেষ সংকোচন: যদিও উপলব্ধি মেট্রিক্স নমনীয়ভাবে অপ্টিমাইজ করতে পারে, তবে ঐতিহ্যবাহী মানগুলির সাথে অসামঞ্জস্যপূর্ণ
ঐতিহ্যবাহী উপলব্ধি অপ্টিমাইজেশন পদ্ধতি: যেমন PerceptQPA এর মতো পদ্ধতিগুলির সীমিত প্রভাব রয়েছে
জ্ঞান পাতন পদ্ধতি: যেমন Distillation পদ্ধতি এনকোডার নেটওয়ার্ক দুবার চালানোর প্রয়োজন, গণনামূলক জটিলতা অত্যন্ত বেশি

মূল অবদান

নিম্ন-জটিলতার বিট বরাদ্দ স্থানান্তর স্কিম প্রস্তাব করা: হালকা পরিমাণীকরণ ধাপ উৎপাদন মডেলের মাধ্যমে, শেষ থেকে শেষ চিত্র সংকোচন থেকে উপলব্ধি বিট বরাদ্দ জ্ঞান VVC এনকোডারে স্থানান্তর করা
পরিমাণীকরণ ধাপ এবং বিট অনুপাতের মধ্যে রৈখিক সম্পর্ক প্রতিষ্ঠা করা: বিট অনুপাত এবং পরিমাণীকরণ ধাপের পারস্পরিক সম্পর্ক রৈখিক, QP ম্যাপিং উৎপাদন প্রক্রিয়া সরল করা
গণনামূলক জটিলতা উল্লেখযোগ্যভাবে হ্রাস করা: বিদ্যমান পাতন পদ্ধতির তুলনায়, QP মানচিত্র উৎপাদন সময় দশমাংশের নিচে হ্রাস পেয়েছে
একাধিক ডেটাসেটে উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করা: MS-SSIM এর BD-rate 11% এর বেশি হ্রাস, একই সাথে আরও ভাল PSNR কর্মক্ষমতা বজায় রাখা

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

প্রদত্ত ইনপুট চিত্র দেওয়া, VVC এনকোডারের জন্য প্রযোজ্য QP মানচিত্র তৈরি করুন, যাতে একই বিট হার সীমাবদ্ধতার অধীনে, এনকোডিং ফলাফল উপলব্ধি মেট্রিক্সে (SSIM, MS-SSIM ইত্যাদি) আরও ভাল কর্মক্ষমতা অর্জন করে।

মডেল আর্কিটেকচার

সামগ্রিক কাঠামো

পদ্ধতিতে দুটি প্রধান পর্যায় রয়েছে:

প্রশিক্ষণ পর্যায়: উপলব্ধি ক্ষতি দিয়ে পরিমাণীকরণ ধাপ উৎপাদন মডেল প্রশিক্ষণ
অনুমান পর্যায়: পরিমাণীকরণ ধাপ মানচিত্র তৈরি করুন এবং VVC এর QP মানচিত্রে রূপান্তর করুন

পরিমাণীকরণ ধাপ উৎপাদন মডেল

আর্কিটেকচার ডিজাইন: স্ট্যাকড অবশিষ্ট ব্লক এবং স্ট্রাইড 2 কনভোলিউশনাল স্তর ব্যবহার করা
আউটপুট রেজোলিউশন: লুপ্ত বৈশিষ্ট্যের সমান (মূল চিত্র 16 গুণ ডাউনস্যাম্পল করা)
সক্রিয়করণ ফাংশন: softplus ব্যবহার করে আউটপুট ইতিবাচক নিশ্চিত করুন:
```
softplus(x) = ln(1 + e^x)
```

শেষ থেকে শেষ চিত্র সংকোচন ভিত্তি

প্রধান হাইপার-প্রাইয়র ডিজাইনের উপর ভিত্তি করে, যৌথ ক্ষতি অপ্টিমাইজ করুন:

L = λD + R_main + R_hyper

যেখানে λ হার-বিকৃতি ভারসাম্য নিয়ন্ত্রণ করে, D হল বিকৃতি (MSE বা উপলব্ধি মেট্রিক্স), R_main এবং R_hyper যথাক্রমে পরিমাণীকৃত লুপ্ত বৈশিষ্ট্য এবং হাইপার-প্রাইয়রের বিট হারের সাথে সংশ্লিষ্ট।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. পরিমাণীকরণ ধাপ থেকে বিট অনুপাতের ম্যাপিং

পরীক্ষা-নিরীক্ষার মাধ্যমে বিট অনুপাত এবং পরিমাণীকরণ ধাপের পারস্পরিক সম্পর্কের রৈখিক সম্পর্ক আবিষ্কার করা:

r_k ≈ 1/QS_k

যেখানে r_k হল ব্লক k এর বিট অনুপাত, QS_k সংশ্লিষ্ট পরিমাণীকরণ ধাপ।

2. QP অভিযোজন অ্যালগরিদম

R-λ মডেলের উপর ভিত্তি করে, ব্লক-স্তরের QP গণনা সূত্র:

QP_k = QP + 3log_2(r_k^β_k) ≈ QP - 3log_2(QS_k^β_k)

3. উপলব্ধি ক্ষতি অপ্টিমাইজেশন

তিনটি উপলব্ধি বৈকল্পিক প্রশিক্ষণ: 1-SSIM, 1-MS-SSIM এবং LPIPS, যৌথ ক্ষতি ফাংশন:

L = λ(αD_perc) + R_main + R_hyper

পরীক্ষা-নিরীক্ষার সেটআপ

ডেটাসেট

প্রশিক্ষণ ডেটা: LIU4K ডেটাসেট, 1,600টি মূল চিত্র এবং তাদের 2×/4× বাইকিউবিক ডাউনস্যাম্পল সংস্করণ থেকে র্যান্ডমলি ক্রপ করা 607,714টি 256×256 প্যাচ অন্তর্ভুক্ত করে
পরীক্ষা ডেটা:
- Kodak চিত্র সেট: 24টি চিত্র, প্রায় 0.35MP
- CLIC 2022 যাচাইকরণ/পরীক্ষা চিত্র: 2MP এর বেশি

মূল্যায়ন মেট্রিক্স

ঐতিহ্যবাহী মেট্রিক্স: RGB PSNR
উপলব্ধি মেট্রিক্স: SSIM, MS-SSIM, LPIPS
সমন্বিত মূল্যায়ন: BD-rate (Bjøntegaard Delta Rate)

তুলনা পদ্ধতি

VTM-23.0: VVC রেফারেন্স সফটওয়্যার বেসলাইন
PerceptQPA: উচ্চ-পাস ফিল্টার-ভিত্তিক QP অভিযোজন পদ্ধতি
Distillation: জ্ঞান পাতন পদ্ধতি, এনকোডার নেটওয়ার্ক দুবার চালানোর প্রয়োজন

বাস্তবায়ন বিবরণ

QP সেটিংস: QP ∈ {37, 32, 27, 22} হার সংযোগের জন্য
সর্বাধিক QP অফসেট: ব্লক প্রভাব হ্রাস করতে 4 এ সীমাবদ্ধ
প্রশিক্ষণ সেটিংস: Adam অপ্টিমাইজার ব্যবহার করুন, প্রাথমিক শেখার হার 1e-4, 5 epoch প্রশিক্ষণ
হাইপারপ্যারামিটার: α যথাক্রমে 0.02 (SSIM), 0.08 (MS-SSIM), 0.04 (LPIPS) এ সেট করা

পরীক্ষা-নিরীক্ষার ফলাফল

প্রধান ফলাফল

Kodak ডেটাসেট ফলাফল

পদ্ধতি	PSNR	SSIM	MS-SSIM	LPIPS
PerceptQPA	2.85	-4.26	-11.86	-11.96
Distillation (MS-SSIM)	2.52	-5.83	-12.74	-13.30
এই পেপারের পদ্ধতি (MS-SSIM)	0.98	-6.19	-11.88	-10.96

CLIC ডেটাসেট ফলাফল

পদ্ধতি	PSNR	SSIM	MS-SSIM	LPIPS
PerceptQPA	3.20	-2.42	-9.91	-11.51
Distillation (MS-SSIM)	7.55	-3.61	-10.24	-11.97
এই পেপারের পদ্ধতি (MS-SSIM)	2.46	-5.91	-11.26	-10.88

অপসারণ পরীক্ষা-নিরীক্ষা

ঢাল প্যারামিটার প্রভাব

ঢাল 1.0 থেকে 1.2 এ সামঞ্জস্য করুন, আরও আক্রমণাত্মক QP অভিযোজন অর্জন করতে পারেন:

MS-SSIM অপ্টিমাইজেশন: BD-rate -11.88% থেকে -12.47% এ উন্নত
কিন্তু PSNR কর্মক্ষমতা হ্রাস পেয়েছে: 0.98% থেকে 2.24% এ বৃদ্ধি

প্রকৃত বিট অনুপাত বনাম আনুমানিক পদ্ধতি

প্রকৃত বিট অনুপাত ব্যবহার করুন পারস্পরিক আনুমানিক পদ্ধতির তুলনায়:

উপলব্ধি মেট্রিক্স কর্মক্ষমতা সামান্য হ্রাস পেয়েছে
কিন্তু PSNR আরও ভাল কর্মক্ষমতা বজায় রাখে

গণনামূলক জটিলতা বিশ্লেষণ

GPU পরিবেশ: QP মানচিত্র উৎপাদন মাত্র প্রায় 20ms প্রয়োজন (Kodak চিত্র)
CPU পরিবেশ: প্রায় 700ms
Distillation এর তুলনায়: সময় জটিলতা দশমাংশের নিচে হ্রাস পেয়েছে

ভিজ্যুয়াল গুণমান মূল্যায়ন

QP 37 এ ভিজ্যুয়াল মূল্যায়ন দেখায়:

কাঠামো অঞ্চল: উপলব্ধি গুণমান স্পষ্টভাবে উন্নত
উচ্চ টেক্সচার অঞ্চল: কম বিট হারে অনুরূপ উপলব্ধি গুণমান উৎপাদন করে
সামগ্রিক প্রভাব PerceptQPA এবং Distillation এর সাথে অনুরূপ

উপসংহার এবং আলোচনা

প্রধান উপসংহার

কার্যকারিতা: শেষ থেকে শেষ চিত্র সংকোচন থেকে উপলব্ধি বিট বরাদ্দ জ্ঞান VVC এনকোডারে সফলভাবে স্থানান্তর করা
দক্ষতা: গণনামূলক জটিলতা উল্লেখযোগ্যভাবে হ্রাস করা, পদ্ধতিকে ব্যবহারিক করে তোলা
সর্বজনীনতা: পদ্ধতি বিভিন্ন উপলব্ধি মেট্রিক্সের জন্য কার্যকর (SSIM, MS-SSIM)

সীমাবদ্ধতা

LPIPS অপ্টিমাইজেশন সীমিত প্রভাব: গভীর উপলব্ধি মেট্রিক্স অপ্টিমাইজেশন এখনও চ্যালেঞ্জ রয়েছে
শুধুমাত্র ফ্রেম-অভ্যন্তরীণ এনকোডিং: ভিডিও এনকোডিংয়ের সময়-ডোমেন অপ্টিমাইজেশনে এখনও প্রসারিত হয়নি
আর্কিটেকচার পার্থক্য: শেষ থেকে শেষ মডেল এবং ঐতিহ্যবাহী এনকোডারের আর্কিটেকচার পার্থক্য জ্ঞান স্থানান্তর প্রভাব সীমাবদ্ধ করে

ভবিষ্যত দিকনির্দেশনা

ভিডিও এনকোডিং সম্প্রসারণ: সময়-ডোমেন তথ্য সহ উপলব্ধি অপ্টিমাইজেশন একত্রিত করা
মেশিন ভিশন কাজ: ডাউনস্ট্রিম কাজের জন্য বিট বরাদ্দ (যেমন বস্তু সনাক্তকরণ)
আর্কিটেকচার সংযোগ: ঐতিহ্যবাহী এনকোডিং কাঠামোর কাছাকাছি শেষ থেকে শেষ মডেল গ্রহণ করা

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী উদ্ভাবনী: পরিমাণীকরণ ধাপ এবং বিট অনুপাতের রৈখিক সম্পর্ক প্রস্তাব করা, স্থানান্তর প্রক্রিয়া সরল করা
উচ্চ ব্যবহারিক মূল্য: গণনামূলক জটিলতা উল্লেখযোগ্যভাবে হ্রাস করা, পদ্ধতিকে ব্যবহারিক প্রয়োগ সম্ভাবনা প্রদান করা
ব্যাপক পরীক্ষা-নিরীক্ষা: একাধিক ডেটাসেট এবং মেট্রিক্সে পর্যাপ্ত যাচাইকরণ পরিচালনা করা
উৎকৃষ্ট কর্মক্ষমতা: PSNR কর্মক্ষমতা বজায় রেখে উপলব্ধি মেট্রিক্স উল্লেখযোগ্যভাবে উন্নত করা

অপূর্ণতা

তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: পরিমাণীকরণ ধাপ-বিট অনুপাত রৈখিক সম্পর্কের তাত্ত্বিক ব্যাখ্যার অভাব
প্রযোজ্য পরিসীমা সীমিত: প্রধানত SSIM এবং MS-SSIM এর জন্য প্রযোজ্য, LPIPS এ সীমিত প্রভাব
প্যারামিটার সংবেদনশীলতা: ঢাল ইত্যাদি হাইপারপ্যারামিটার ম্যানুয়াল সমন্বয় প্রয়োজন
সাধারণীকরণ ক্ষমতা: বিভিন্ন ধরনের চিত্রে সাধারণীকরণ ক্ষমতা আরও যাচাইকরণ প্রয়োজন

প্রভাব

একাডেমিক অবদান: ঐতিহ্যবাহী এনকোডারের উপলব্ধি অপ্টিমাইজেশনের জন্য নতুন চিন্তাভাবনা প্রদান করা
ব্যবহারিক মূল্য: নিম্ন-জটিলতা বৈশিষ্ট্য এটিকে শিল্প প্রয়োগের সম্ভাবনা প্রদান করে
পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা স্পষ্ট, পরীক্ষা-নিরীক্ষা সেটআপ বিস্তারিত

প্রযোজ্য দৃশ্যকল্প

ভিডিও স্ট্রিমিং: সীমিত ব্যান্ডউইথের অধীনে উপলব্ধি গুণমান উন্নত করার প্রয়োজনীয় অ্যাপ্লিকেশন
চিত্র সংকোচন: উপলব্ধি গুণমানের উচ্চ প্রয়োজনীয়তা সহ চিত্র সংরক্ষণ এবং সংক্রমণ
রিয়েল-টাইম অ্যাপ্লিকেশন: গণনা সম্পদ সীমিত কিন্তু উপলব্ধি অপ্টিমাইজেশন প্রয়োজনীয় দৃশ্যকল্প

সংদর্ভ

পেপারটি 20টি গুরুত্বপূর্ণ সংদর্ভ উদ্ধৃত করে, যা ভিডিও এনকোডিং মান, উপলব্ধি গুণমান মূল্যায়ন, শেষ থেকে শেষ সংকোচন এবং জ্ঞান স্থানান্তর সহ সম্পর্কিত ক্ষেত্রের মূল কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।