StatTestCalculator: A New General Tool for Statistical Analysis in High Energy Physics
Abasov, Dudko, Gorin et al.
We present StatTestCalculator (STC), a new open-source statistical analysis tool designed for analysis high energy physics experiments. STC provides both asymptotic calculations and Monte Carlo simulations for computing the exact statistical significance of a discovery or for setting upper limits on signal model parameters. We review the underlying statistical formalism, including profile likelihood ratio test statistics for discovery and exclusion hypotheses, and the asymptotic distributions that allow quick significance estimates. We explain the relevant formulas for the likelihood functions, test statistic distributions, and significance metrics (both with and without incorporating systematic uncertainties). The implementation and capabilities of STC are described, and we validate its performance against the widely-used CMS Combine tool. We find excellent agreement in both the expected discovery significances and upper limit calculations. STC is a flexible framework that can accommodate systematic uncertainties and user-defined statistical models, making it suitable for a broad range of analyses.
academic
StatTestCalculator: أداة جديدة شاملة للتحليل الإحصائي في فيزياء الطاقة العالية
تقدم هذه الورقة البحثية أداة StatTestCalculator (STC)، وهي أداة تحليل إحصائي مفتوحة المصدر جديدة مصممة خصيصاً لتحليل التجارب في فيزياء الطاقة العالية. توفر STC طريقتين للحساب: الصيغ التقاربية ومحاكاة مونت كارلو، لحساب الدقة الإحصائية للاكتشاف أو تحديد الحدود العليا لمعاملات نماذج الإشارة. تستعرض الورقة الصيغ الإحصائية الأساسية، بما في ذلك إحصائيات اختبار نسبة الاحتمالية الموصوفة للاكتشاف والاستبعاد، والتوزيعات التقاربية التي تسمح بتقدير سريع للدقة. يشرح المؤلفون بالتفصيل الصيغ ذات الصلة بدالة الاحتمالية وتوزيعات إحصائيات الاختبار ومقاييس الدقة (مع وبدون عدم اليقين المنهجي). تصف الورقة التنفيذ والميزات الوظيفية لـ STC، وتتحقق من أدائها من خلال المقارنة مع أداة CMS Combine المستخدمة على نطاق واسع، مما يظهر اتساقاً ممتازاً في حسابات دقة الاكتشاف المتوقعة وحسابات الحدود العليا.
تعتمد تجارب فيزياء الطاقة العالية على التحليل الإحصائي للبيانات المرصودة للتوصل إلى استنتاجات حول الظواهر الجديدة. نظراً لأن نتائج تجارب المصادمات احتمالية بطبيعتها، هناك حاجة إلى طرق إحصائية صارمة لتقدير المعاملات وتقييم دقة الاكتشافات المحتملة.
على الرغم من وجود العديد من الأدوات الإحصائية المعقدة لتحليل فيزياء الطاقة العالية، مثل:
إطار عمل RooFit و RooStats
أداة CMS Combine
Theta
HistFactory
إلا أن هذه الأدوات عادة ما تكون مصممة للتحليلات الكبيرة والمعقدة، وتفتقر إلى أداة خفيفة الوزن توفر حسابات إحصائية سريعة ودقيقة لمجموعة متنوعة من السيناريوهات الشائعة.