2025-11-22T03:43:22.732686

Conformal Thresholded Intervals for Efficient Regression

Luo, Zhou
This paper introduces Conformal Thresholded Intervals (CTI), a novel conformal regression method that aims to produce the smallest possible prediction set with guaranteed coverage. Unlike existing methods that rely on nested conformal frameworks and full conditional distribution estimation, CTI estimates the conditional probability density for a new response to fall into each interquantile interval using off-the-shelf multi-output quantile regression. By leveraging the inverse relationship between interval length and probability density, CTI constructs prediction sets by thresholding the estimated conditional interquantile intervals based on their length. The optimal threshold is determined using a calibration set to ensure marginal coverage, effectively balancing the trade-off between prediction set size and coverage. CTI's approach is computationally efficient and avoids the complexity of estimating the full conditional distribution. The method is theoretically grounded, with provable guarantees for marginal coverage and achieving the smallest prediction size given by Neyman-Pearson . Extensive experimental results demonstrate that CTI achieves superior performance compared to state-of-the-art conformal regression methods across various datasets, consistently producing smaller prediction sets while maintaining the desired coverage level. The proposed method offers a simple yet effective solution for reliable uncertainty quantification in regression tasks, making it an attractive choice for practitioners seeking accurate and efficient conformal prediction.
academic

فترات الحد الأدنى المطابقة للانحدار الفعال

المعلومات الأساسية

  • معرّف الورقة: 2407.14495
  • العنوان: Conformal Thresholded Intervals for Efficient Regression
  • المؤلفون: Rui Luo (جامعة مدينة هونج كونج)، Zhixin Zhou (أبحاث Alpha Benito)
  • التصنيف: cs.LG, stat.ML
  • وقت النشر/المؤتمر: AAAI 2025
  • رابط الورقة: https://arxiv.org/abs/2407.14495
  • رابط الكود: https://github.com/luo-lorry/CTI

الملخص

تقترح هذه الورقة فترات الحد الأدنى المطابقة (Conformal Thresholded Intervals, CTI)، وهي طريقة جديدة للتنبؤ المطابق للانحدار، تهدف إلى إنتاج مجموعات تنبؤية صغيرة قدر الإمكان مع ضمان معدل التغطية. بخلاف الطرق الموجودة التي تعتمد على إطار العمل المطابق المتداخل وتقدير التوزيع الشرطي الكامل، تستخدم CTI انحدار الكميات متعدد المخرجات الجاهز لتقدير كثافة الاحتمال الشرطية لسقوط الاستجابة الجديدة في كل فترة كمية بينية. من خلال الاستفادة من العلاقة العكسية بين طول الفترة وكثافة الاحتمال، تقوم CTI بتحديد الفترات بناءً على طول الفترات الكمية البينية المقدرة لبناء مجموعات التنبؤ. يتم استخدام مجموعة المعايرة لتحديد الحد الأمثل لضمان معدل التغطية الهامشية، مما يحقق توازناً فعالاً بين حجم مجموعة التنبؤ ومعدل التغطية.

خلفية البحث والدافع

خلفية المشكلة

التنبؤ المطابق هو إطار عمل قوي لبناء مجموعات تنبؤية بضمانات تغطية محدودة العينة. تنقسم طرق الانحدار المطابق الموجودة بشكل أساسي إلى فئتين:

  1. استخدام نماذج انحدار الكميات مباشرة للتنبؤ بنقاط النهاية السفلى والعليا للفترات
  2. تقدير التوزيع الشرطي الكامل أولاً، ثم عكس النتيجة للحصول على مجموعات التنبؤ

قيود الطرق الموجودة

  1. طرق انحدار الكميات: عادة ما تنتج فترات متساوية الذيل، لكن بالنسبة للتوزيعات الشرطية المنحرفة، قد تكون أقصر فترة فعالة غير متوازنة
  2. طرق تقدير الكثافة: يمكنها التكيف مع الانحراف، لكنها عادة ما تتضمن معاملات ضبط كثيرة وتفسيراً صعباً وتعقيداً للممارسين

دافع البحث

  • قد تنتج الطرق الموجودة مجموعات تنبؤية دون المستوى الأمثل عندما يكون التوزيع الشرطي منحرفاً
  • الحاجة إلى طريقة يمكنها التكيف مع الكثافة المحلية للبيانات وتكون فعالة حسابياً
  • الرغبة في تجنب تعقيد تقدير التوزيع الشرطي الكامل

المساهمات الأساسية

  1. اقتراح طريقة CTI: طريقة جديدة للتنبؤ المطابق للانحدار، تستفيد من انحدار الكميات متعدد المخرجات لتقدير الفترات الكمية البينية الشرطية، وبناء مجموعات التنبؤ من خلال تحديد هذه الفترات
  2. التحليل النظري: إثبات أن CTI تضمن معدل التغطية الهامشية، وتحقق معدل التغطية الشرطية المتوقع وطول فترة التنبؤ الأدنى المتوقع في ظروف معينة
  3. التحقق التجريبي: تجارب عددية واسعة على بيانات محاكاة وحقيقية، مما يثبت أن CTI تنتج مجموعات تنبؤية أصغر مع الحفاظ على معدل تغطية فعال
  4. الجدوى العملية: الطريقة بسيطة وسهلة التنفيذ والتفسير، مما يجعلها جذابة للممارسين الذين يسعون لتحديد كمي موثوق للعدم اليقين

شرح الطريقة

تعريف المهمة

بالنظر إلى مجموعة بيانات مشكلة الانحدار {(xi,yi)}i=1n\{(x_i, y_i)\}_{i=1}^n، حيث xi∈X⊆Rdx_i \in \mathcal{X} \subseteq \mathbb{R}^d، yi∈Y⊆Ry_i \in \mathcal{Y} \subseteq \mathbb{R}. الهدف هو بناء متنبئ مطابق يُخرج لكل مدخل اختبار xx مجموعة تنبؤية C(x)⊆YC(x) \subseteq \mathcal{Y}، بحيث: P(Y∈C(X))≥1−αP(Y \in C(X)) \geq 1-\alpha مع تقليل الحجم المتوقع لمجموعة التنبؤ.

معمارية النموذج

الفكرة الأساسية

الرؤية الأساسية لـ CTI هي الاستفادة من العلاقة العكسية بين طول الفترة وكثافة الاحتمال. بالنسبة لكثافة الاحتمال الشرطية f(y∣x)f(y|x)، إذا كان انحدار الكميات دقيقاً بما يكفي، فإن: f(y∣x)≈1K⋅μ(Ik(x))f(y|x) \approx \frac{1}{K \cdot \mu(I_k(x))} حيث μ(Ik(x))\mu(I_k(x)) هو طول الفترة Ik(x)I_k(x).

تدفق الخوارزمية

الخطوة 1: انحدار الكميات متعدد المخرجات تطبيق انحدار الكميات على مجموعة التدريب، للتنبؤ بالكمية τ\tau للتوزيع الشرطي Y∣X=xY|X=x: q^k(x) for k=0,1,…,K\hat{q}_k(x) \text{ for } k = 0, 1, \ldots, K حيث τ=k/K\tau = k/K.

الخطوة 2: تعريف الفترات الكمية البينيةIk(x)=(q^k−1(x),q^k(x)] for k=1,…,KI_k(x) = (\hat{q}_{k-1}(x), \hat{q}_k(x)] \text{ for } k = 1, \ldots, K

الخطوة 3: بناء مجموعة التنبؤ بناءً على تحديد طول الفترة: C(x)=⋃{Ik(x):μ(Ik(x))≤t,k=1,…,K}C(x) = \bigcup\{I_k(x) : \mu(I_k(x)) \leq t, k = 1, \ldots, K\}

الخطوة 4: تحديد الحد الأدنى استخدام مجموعة المعايرة لتحديد الحد الأدنى tt: t=(1−α)-th quantile of 11+∣Ical∣∑i∈Icalδμ(Ik(yi)(xi))+δ∞t = (1-\alpha)\text{-th quantile of } \frac{1}{1+|\mathcal{I}_{cal}|}\sum_{i \in \mathcal{I}_{cal}} \delta_{\mu(I_{k(y_i)}(x_i))} + \delta_\infty

نقاط الابتكار التقني

  1. استراتيجية التحديد المباشر: بخلاف CHR التي تتطلب تجميع صريح لمساحة الاستجابة، تقوم CTI بتدريب نموذج انحدار كميات متعدد المخرجات مباشرة
  2. التحديد العام: تعتمد CTI على منظور عام لتحديد الفترات الكمية البينية لجميع قيم xx، مما يحسن كفاءة معدل التغطية الهامشية
  3. الأمثلية النظرية: بناءً على مبرهنة Neyman-Pearson، تقترب CTI نظرياً من مجموعة التنبؤ المثلى

إعداد التجارب

مجموعات البيانات

البيانات المحاكاة:

  • توليد n=10000n = 10000 عينة، Xi∼Uniform[0,1]X_i \sim \text{Uniform}[0,1]
  • متغير الاستجابة: y∼Triangular(0,x,x)y \sim \text{Triangular}(0, x, x)
  • كثافة شرطية: f(y∣x)=2yx21{y∈(0,x)}f(y|x) = \frac{2y}{x^2}\mathbf{1}\{y \in (0,x)\}

مجموعات البيانات الحقيقية (13 مجموعة): bike, bio, blog, community, concrete, facebook1, facebook2, homes, meps19, meps20, meps21, star وغيرها

مؤشرات التقييم

  1. معدل التغطية (Coverage): نسبة مجموعات التنبؤ التي تحتوي على القيمة الحقيقية
  2. حجم مجموعة التنبؤ (Size): متوسط طول/قياس مجموعة التنبؤ

طرق المقارنة

  • Split Conformal: طريقة التقسيم المطابق الأساسية
  • CQR (Conformal Quantile Regression): انحدار الكميات المطابق
  • CHR (Conformal Histogram Regression): انحدار الرسم البياني المطابق

تفاصيل التنفيذ

  • تقسيم البيانات: 20% اختبار، 70% تدريب و30% معايرة من البيانات المتبقية
  • عدد الكميات: K=100K = 100
  • النموذج الأساسي: الغابات العشوائية (RF) والشبكات العصبية (NN)
  • التجارب المتكررة: 10 تشغيلات مستقلة
  • مستوى الدلالة: α=0.1\alpha = 0.1 (تغطية 90%)

نتائج التجارب

النتائج الرئيسية

نتائج البيانات المحاكاة:

  • حجم مجموعة CTI النظري المتوقع: 0.317
  • حجم مجموعة CHR النظري المتوقع: 0.342
  • حجم مجموعة CQR النظري المتوقع: 0.376
  • الأداء الفعلي لـ CTI: CTI(RF) 0.345±0.005، CTI(NN) 0.369±0.015
  • حققت جميع الطرق معدل تغطية حوالي 90%

نتائج مجموعات البيانات الحقيقية: في 11 من أصل 13 مجموعة بيانات، أنتجت CTI مجموعات تنبؤية أصغر من الطرق الأخرى، مع الحفاظ على مستوى التغطية المطلوب.

النتائج الرئيسية

  1. الميزة المتسقة: تتفوق CTI على طرق الأساس في معظم مجموعات البيانات
  2. الاعتماد على النموذج: تعتمد كفاءة CTI على جودة نموذج انحدار الكميات الأساسي
  3. تحديات البيانات الصغيرة: قد تُظهر CQR أداءً أفضل على مجموعات البيانات ذات حجم العينة الصغير (مثل star، n=2161)

تجارب الاستبعاد

تحليل طول الفترة: من خلال مقارنة توزيع طول فترة الاستجابة مع توزيع جميع أطوال الفترات، تبين أن أداء CTI تعتمد على مجموعة البيانات المحددة ونموذج انحدار الكميات الأساسي. نظرياً، يجب أن يكون متوسط التوزيعين صفراً، لكن يوجد انحراف فعلي، مما يبرز اعتماد الطريقة على البيانات والنموذج.

الأعمال ذات الصلة

طرق انحدار الكميات

  • الطرق التقليدية: Hunter & Lange (2000)، Meinshausen (2006) وغيرهم
  • تقدير الكميات المتعددة: اقترح Cho et al. (2017) أن تقدير عدة كميات في نفس الوقت أكثر فعالية من التقدير المنفصل
  • قيود عدم التقاطع: Moon et al. (2021)، Brando et al. (2022) وغيرهم يعالجون مشكلة تقاطع الكميات

طرق التنبؤ المطابق

  • التنبؤ المطابق المتداخل: Romano et al. (2019)، Sesia & Candès (2020) وغيرهم
  • طرق تقدير الكثافة: Izbicki et al. (2020)، Sesia & Romano (2021) وغيرهم
  • ابتكار هذه الورقة: تقدير كثافة الاحتمال الشرطية مباشرة بدلاً من التوزيع الشرطي الكامل

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. توفر CTI طريقة بسيطة وفعالة للتنبؤ المطابق للانحدار
  2. من خلال تحديد الفترات الكمية البينية، يمكن لـ CTI إنتاج مجموعات تنبؤية أصغر من الطرق الموجودة
  3. الطريقة مدعومة نظرياً بمبرهنة Neyman-Pearson، مما يضمن الأمثلية
  4. التحقق التجريبي من فعالية الطريقة على عدة مجموعات بيانات

القيود

  1. قيود الفترة: التنفيذ الحالي لا يضمن أن تكون مجموعات التنبؤ دائماً على شكل فترات
  2. الاعتماد على النموذج: الأداء تعتمد بشكل كبير على دقة نموذج انحدار الكميات الأساسي
  3. تحديات العينات الصغيرة: قد لا تكون الأداء جيدة مثل الطرق التقليدية على مجموعات البيانات الصغيرة
  4. اختيار المعاملات: يتطلب اختيار عدد الكميات K موازنة بين القدرة التعبيرية والكفاءة الحسابية

الاتجاهات المستقبلية

  1. تطوير متغيرات CTI التي تنتج مجموعات تنبؤية على شكل فترات
  2. تحسين الأداء في حالات العينات الصغيرة
  3. البحث عن طرق لاختيار عدد الكميات K بشكل تكيفي
  4. الدمج مع طرق تحديد كمي أخرى للعدم اليقين

التقييم المتعمق

المميزات

  1. أساس نظري قوي: ضمانات الأمثلية النظرية بناءً على مبرهنة Neyman-Pearson
  2. بساطة الطريقة: تجنب تعقيد تقدير التوزيع الشرطي الكامل
  3. تجارب شاملة: التحقق الواسع على بيانات محاكاة وحقيقية
  4. قيمة عملية عالية: سهولة التنفيذ والتفسير، مناسبة لاستخدام الممارسين
  5. ابتكار قوي: تطبيق ناجح لفكرة التحديد من التصنيف إلى مشاكل الانحدار

أوجه القصور

  1. نطاق التطبيق: قد لا تكون الأداء جيدة على مجموعات البيانات الصغيرة
  2. شكل مجموعة التنبؤ: لا يمكن ضمان أن تكون مجموعات التنبؤ على شكل فترات، قد تنتج مجموعات غير متصلة
  3. حساسية المعاملات الفائقة: حساسة نسبياً لاختيار عدد الكميات K
  4. التحليل النظري: بعض النتائج النظرية تعتمد على افتراضات قوية نسبياً

التأثير

  1. المساهمة الأكاديمية: توفير أفكار وطرق جديدة لمجال التنبؤ المطابق
  2. القيمة العملية: البساطة والكفاءة تجعلها ذات آفاق تطبيقية جيدة
  3. قابلية إعادة الإنتاج: توفير كود مفتوح المصدر يسهل إعادة الإنتاج والتوسع

السيناريوهات المناسبة

  1. مجموعات البيانات المتوسطة والكبيرة: الأداء الأفضل عندما تكون حجم العينة كافياً
  2. تحديد كمي العدم اليقين: مهام الانحدار التي تتطلب فترات ثقة موثوقة
  3. التطبيقات في الوقت الفعلي: السيناريوهات التي تتطلب كفاءة حسابية عالية
  4. المشاكل ذات التوزيعات المنحرفة: مشاكل الانحدار حيث يكون التوزيع الشرطي منحرفاً

المراجع

  1. Romano, Y., Patterson, E., and Candès, E. (2019). Conformalized quantile regression. NeurIPS.
  2. Sesia, M., and Romano, Y. (2021). Conformal prediction using conditional histograms. NeurIPS.
  3. Meinshausen, N. (2006). Quantile regression forests. JMLR.
  4. Sadinle, M., Lei, J., and Wasserman, L. (2019). Least ambiguous set-valued classifiers with bounded error levels. JASA.