StatTestCalculator: Новый универсальный инструмент для статистического анализа в физике высоких энергий

Основная информация

• ID статьи: 2510.11637
• Название: StatTestCalculator: A New General Tool for Statistical Analysis in High Energy Physics
• Авторы: Е. Абасов, Л.В. Дудко, Д.Е. Горин, О.С. Василевский (Физический факультет МГУ имени М.В. Ломоносова, Институт ядерной физики им. И.В. Курчатова)
• Классификация: hep-ph (физика высоких энергий - феноменология), stat.CO (статистика - вычисления)
• Дата публикации/конференция: Moscow University Physics Bulletin 80(8), 2025; XXV Международный семинар-школа по физике высоких энергий и квантовой теории поля
• Ссылка на статью: https://arxiv.org/abs/2510.11637v1

Аннотация

В данной работе представлен StatTestCalculator (STC) — новый инструмент с открытым исходным кодом для статистического анализа, разработанный специально для анализа экспериментов на коллайдерах. STC предоставляет два метода расчёта: асимптотические формулы и моделирование методом Монте-Карло для вычисления точной статистической значимости открытия или установления верхних пределов на параметры модели сигнала. В статье рассмотрены лежащие в основе статистические формализмы, включая тест отношения профильного правдоподобия для гипотез открытия и исключения, а также асимптотические распределения, позволяющие быстро оценивать значимость. Авторы подробно объясняют соответствующие формулы для функции правдоподобия, распределений тестовой статистики и мер значимости (с учётом и без учёта систематических неопределённостей). В работе описаны реализация и функциональность STC, а также проведена верификация производительности путём сравнения с широко используемым инструментом CMS Combine, демонстрирующая отличное согласие как при расчёте ожидаемой значимости открытия, так и при вычислении верхних пределов.

Научный контекст и мотивация

Определение проблемы

Эксперименты в физике высоких энергий (ФВЭ) полагаются на статистический анализ наблюдаемых данных для получения выводов о новых явлениях. Поскольку результаты экспериментов на коллайдерах по своей природе являются вероятностными, необходимы строгие статистические методы для оценки параметров и оценки значимости потенциальных открытий.

Ограничения существующих инструментов

Хотя существует множество сложных статистических инструментов для анализа в ФВЭ, таких как:

• Фреймворки RooFit и RooStats
• Инструмент CMS Combine
• Theta
• HistFactory

эти инструменты обычно разработаны для сложного анализа в больших масштабах и не предоставляют лёгкий в использовании универсальный инструмент для быстрых и точных статистических расчётов в различных типичных сценариях.

Научная мотивация

1. Потребность в удобстве использования: требуется простой в использовании многофункциональный инструмент на Python
2. Удобство интеграции: возможность легко встраивать в конвейеры нейронных сетей
3. Быстрая верификация: облегчение предварительных исследований чувствительности, перекрёстной проверки официальных результатов или образовательных целей
4. Масштабируемость: поддержка пользовательских статистических моделей и тестовых статистик

Основные вклады

1. Разработка нового инструмента статистического анализа STC: лёгкий, основанный на Python инструмент с открытым исходным кодом, специально предназначенный для статистического анализа в ФВЭ
2. Предоставление двойного метода расчёта: поддержка как асимптотических формул (замкнутые приближения), так и точных расчётов методом Монте-Карло
3. Полная обработка систематических неопределённостей: поддержка нормального, логнормального или определяемых пользователем распределений систематических эффектов
4. Верификация точности инструмента: обширное сравнение с инструментом CMS Combine, демонстрирующее отличное согласие
5. Предоставление расширенной математической базы: обобщённые формулы, расширяющие анализ одного бина на анализ формы с несколькими бинами

Методология

Статистические предположения и формализм правдоподобия

Определение задачи

На экспериментах на коллайдерах рассматриваются две гипотезы:

• Нулевая гипотеза H₀ (только фон): предположение, что данные не содержат вклада нового сигнала
• Альтернативная гипотеза H₁ (сигнал + фон): предположение о наличии событий сигнала в дополнение к фону

Определяется параметр интенсивности сигнала μ, где μ=0 соответствует H₀, а μ=1 соответствует номинальному предсказанию сигнала при H₁.

Построение функции правдоподобия

Для эксперимента подсчёта в N сигнальных областях наблюдаемые подсчёты nᵢ предполагаются распределёнными по Пуассону: nᵢ ~ Poisson(μsᵢ + κᵢbᵢ)

Полная функция правдоподобия:

L(μ,θ) = ∏ᵢ₌₁ᴺ [(μsᵢ + κᵢbᵢ)^nᵢ e^-(μsᵢ+bᵢ)]/nᵢ! × ∏ⱼ₌₁ᴹ Systematic(θ)

где:

• sᵢ: ожидаемое число событий сигнала
• bᵢ: ожидаемый выход фона
• κ: параметр систематической неопределённости
• θ: вектор мешающих параметров

Профильное отношение правдоподобия и тестовая статистика

Определение профильного отношения правдоподобия

λ(μ) = L(μ, θ̂(μ)) / L(μ̂, θ̂)

Тестовая статистика

Определяется тестовая статистика:

qμ = -2 ln λ(μ) = -2 ln [L(μ, θ̂(μ)) / L(μ̂, θ̂)]

Тестовая статистика открытия q₀:

q₀ = {
  -2 ln λ(0),  если μ̂ ≥ 0
  0,           если μ̂ < 0
}

Тестовая статистика исключения qμ:

qμ = {
  -2 ln λ(μ),  если μ̂ ≤ μ
  0,           если μ̂ > μ
}

Аналитические формулы для значимости открытия

Для случая с систематическими неопределённостями формула значимости открытия имеет вид:

Zdisc = √{2[(s+b)ln((s+b)(1+δ²b))/(b+δ²b(s+b)) - (1/δ²)ln(1+δ²s/(1+δ²b))]}

где δ = σb/b — относительная неопределённость фона.

В пределе отсутствия систематических неопределённостей (δ→0):

Zdisc = √{2[(s+b)ln(1+s/b) - s]}

Аналитические формулы для значимости исключения (верхние пределы)

Формула значимости исключения с учётом неопределённости фона:

Zexcl = √{2[s - b ln((b+s+x)/(2b)) - (1/δ²)ln((b-s+x)/(2b))] - (b+s-x)(1+1/(δ²b))}

где:

x = √[(b+s)² - 4δ²b²s/(1+δ²b)]

Экспериментальная установка

Фреймворк моделирования Монте-Карло

Генерация игрушечных экспериментов

1. События сигнала: выборка из распределения Пуассона Poisson(μs)
2. События фона: выборка из распределения Пуассона Poisson(b)
3. Систематические неопределённости: применение к распределениям сигнала и фона

Обработка систематических неопределённостей

• Нормальное распределение: κ ~ N(1, δ²)
• Логнормальное распределение: κ ~ LogNormal(1, δ²)
• Неопределённость формы: каждый бин умножается на скалярное значение κ
• Неопределённость одного бина: каждый бин имеет независимый коэффициент κ

Параметры верификационных экспериментов

Сравниваемые инструменты

Основное сравнение проводится с инструментом CMS Combine

Тестовые сценарии

1. Расчёт значимости открытия:
   • Фон b = 100 событий
   • Сигнал s = 10, 20, 30, ..., 50 событий
   • Систематические неопределённости: 0% и 20%
2. Расчёт верхних пределов:
   • Верхний предел на уровне доверия 95%
   • Аналогичные конфигурации сигнала и фона
   • Моделирование Монте-Карло с использованием 10⁵ игрушечных экспериментов

Результаты экспериментов

Основные результаты

Сравнение значимости открытия

Результаты экспериментов демонстрируют отличное согласие STC с инструментом Combine в следующих аспектах:

1. Асимптотические расчёты:
   • Без систематических неопределённостей: идеальное совпадение
   • С 20% систематической неопределённостью: высокое согласие
2. Расчёты методом Монте-Карло:
   • Результаты МК обоих инструментов показывают хорошее согласие с асимптотическими формулами
   • Статистические неопределённости находятся в ожидаемом диапазоне

Сравнение расчётов верхних пределов

Расчёты верхних пределов на уровне доверия 95% показывают:

1. Верификация асимптотических формул: асимптотические формулы STC полностью совпадают с Combine
2. Верификация методом Монте-Карло: результаты игрушечных экспериментов подтверждают точность асимптотического приближения
3. Влияние систематических неопределённостей: корректно отражает ослабление способности исключения из-за систематических неопределённостей

Оценка производительности

Вычислительная эффективность

• Асимптотические расчёты: практически мгновенно (доли секунды)
• Моделирование Монте-Карло: 10⁵ игрушечных экспериментов выполняются за несколько секунд до нескольких минут

Верификация точности

Все тестовые сценарии демонстрируют, что STC точно воспроизводит стандартные расчёты, подтверждая:

1. Корректность реализации математических формул
2. Надёжность алгоритма Монте-Карло
3. Точность обработки систематических неопределённостей

Верификация расширенных функций

Анализ формы с несколькими бинами

STC успешно применяется к более сложным сценариям анализа формы с несколькими бинами, используя расширенные формулы из литературы 7.

Функции, определяемые пользователем

Верифицированы следующие возможности расширения:

1. Определение пользовательской тестовой статистики
2. Альтернативные формы функции правдоподобия
3. Определяемые пользователем распределения систематических неопределённостей

Связанные работы

Сравнение существующих статистических инструментов

Позиционирование STC

STC заполняет пробел в лёгком, удобном и быстром инструменте статистического анализа, особенно подходящем для:

• Предварительных исследований чувствительности
• Перекрёстной верификации результатов
• Образовательных и учебных целей
• Интеграции в конвейеры нейронных сетей

Заключение и обсуждение

Основные выводы

1. Эффективность инструмента: STC успешно реализует точные функции статистического анализа, демонстрируя отличное согласие со стандартным инструментом Combine
2. Полнота методологии: предоставляет полный статистический фреймворк от простых экспериментов подсчёта до сложного анализа формы
3. Практическая ценность: лёгкий дизайн делает его подходящим для быстрого анализа и образовательных целей
4. Расширяемость: модульный дизайн поддерживает пользовательские расширения и методологические модификации

Ограничения

1. Ограничения сложности: хотя поддерживается анализ с несколькими бинами, для чрезвычайно сложных статистических моделей может быть менее подходящим, чем специализированные инструменты
2. Пространство для оптимизации: производительность при обработке крупномасштабных данных может быть улучшена
3. Полнота документации: как новый инструмент, требует больше примеров использования и документации

Направления будущих исследований

1. Расширение функциональности:
   • Поддержка большего числа статистических распределений
   • Добавление байесовских методов
   • Расширение на более сложные экспериментальные схемы
2. Оптимизация производительности:
   • Параллелизация расчётов Монте-Карло
   • Оптимизация использования памяти
   • Повышение возможностей обработки больших данных
3. Развитие сообщества:
   • Увеличение числа примеров использования
   • Улучшение документации
   • Поощрение вклада сообщества

Глубокая оценка

Преимущества

1. Техническая инновативность:
   • Успешное преобразование сложной статистической теории в удобный инструмент
   • Полный математический вывод и реализация
   • Двойной метод верификации (асимптотический + МК) повышает надёжность результатов
2. Достаточность экспериментов:
   • Комплексное сравнение со стандартными инструментами
   • Широкое покрытие тестовых сценариев
   • Корректная обработка систематических неопределённостей
3. Практическая ценность:
   • Заполнение пробела в лёгких статистических инструментах
   • Реализация на Python облегчает интеграцию и модификацию
   • Открытый исходный код способствует развитию сообщества
4. Ясность изложения:
   • Детальные и корректные математические выводы
   • Чёткое описание деталей реализации
   • Прозрачный процесс верификации

Недостатки

1. Методологические ограничения:
   • Основан преимущественно на частотистском подходе
   • Ограниченная поддержка некоторых специальных статистических моделей
   • Возможности параллельных вычислений в крупном масштабе требуют развития
2. Параметры экспериментов:
   • Верификация основана главным образом на простых моделях
   • Отсутствуют тестовые случаи на реальных сложных экспериментах
   • Тесты производительности относительно просты
3. Сравнительный анализ:
   • Сравнение проводится в основном с Combine, отсутствует сравнение с другими инструментами
   • Количественный анализ вычислительной эффективности недостаточно глубок

Оценка влияния

1. Научный вклад:
   • Предоставляет новый выбор инструмента для статистического анализа в ФВЭ
   • Полный математический фреймворк имеет образовательную ценность
   • Открытая реализация способствует прозрачности методов
2. Практическое влияние:
   • Снижает технический барьер для статистического анализа
   • Облегчает быстрое прототипирование и верификацию
   • Поддерживает преподавание и обучение
3. Воспроизводимость:
   • Открытый исходный код обеспечивает полную воспроизводимость
   • Детальные математические выводы поддерживают независимую верификацию
   • Сравнение со стандартными инструментами повышает доверие

Сценарии применения

1. Идеальные приложения:
   • Предварительные исследования чувствительности
   • Обучение и преподавание статистических методов
   • Быстрое прототипирование
   • Перекрёстная верификация результатов
2. Ограничивающие сценарии:
   • Чрезвычайно крупномасштабный сложный анализ
   • Случаи, требующие специальных статистических методов
   • Производственные среды с экстремальными требованиями к производительности

Список литературы

1 W. Verkerke and D. Kirkby, The RooFit toolkit for data modeling, Statistical Problems in Particle Physics, Astrophysics and Cosmology (2006)

2 L. Moneta et al., The RooStats Project, arXiv:1009.1003 (2010)

3 CMS Collaboration, The CMS Statistical Analysis and Combination Tool: Combine, arXiv:2404.06614 (2024)

6 G. Cowan, K. Cranmer, E. Gross, and O. Vitells, Asymptotic formulae for likelihood-based tests of new physics, Eur. Phys. J. C 71, 1554 (2011)

7 D. E. Gorin et al., Asymptotic formulas for estimating statistical significance in collider experiments, Uchenye Zapiski Fiz. Fak. MGU No. 1 (2024)

Получение инструмента: Программное обеспечение StatTestCalculator и документация доступны на GitHub: https://github.com/skottver/stattestcalculator