Ответ на комментарий Роберта Казинса о доверительных интервалах для распределения Пуассона

Основная информация

• ID статьи: 2510.25162
• Название: Response to Comment from Robert Cousins on Confidence intervals for the Poisson distribution
• Автор: Фрэнк К. Портер (Калифорнийский технологический институт)
• Категория: physics.data-an (анализ физических данных)
• Дата публикации: 3 ноября 2025 г. (версия 2)
• Ссылка на статью: https://arxiv.org/abs/2510.25162

Аннотация

Это ответная статья на комментарий Роберта Казинса. Центральный спор заключается в следующем: в рамках частотного статистического подхода должна ли функция правдоподобия включать нефизические значения параметров (например, отрицательную интенсивность сигнала)? Казинс считает, что не должна, тогда как Портер утверждает, что при обсуждении описательной статистики это полезно.

Исследовательский контекст и мотивация

Основная проблема

При построении доверительных интервалов для распределения Пуассона, когда наблюдаемое значение n меньше известного фона b, параметр интенсивности сигнала θ = n - b принимает отрицательные значения. Это порождает фундаментальный вопрос: должна ли функция правдоподобия в рамках частотного статистического подхода быть определена в физически невозможной области параметров (θ < 0)?

Значимость проблемы

1. Теоретический уровень: затрагивает существенные различия между частотным и байесовским подходами, связана с основами статистического вывода
2. Практический уровень: в экспериментах физики высоких энергий отрицательные оценки интенсивности сигнала, вызванные флуктуациями фона, возникают часто; корректное представление таких результатов измерений — практическая проблема
3. Методологический уровень: влияет на определение достаточных статистик и применение оценки максимального правдоподобия

Суть противоречия

• Позиция Казинса: функция правдоподобия должна считаться неопределённой в нефизической области, поскольку физическая модель в этой области не существует
• Позиция Портера: при описании результатов измерений полезно допустить расширение функции правдоподобия на нефизическую область; это не нарушает физические ограничения

Ограничения существующих подходов

Традиционные учебники статистики в основном избегают этого вопроса, не предоставляя чётких руководящих принципов. Это приводит к путанице в практике и даже к ошибочному убеждению некоторых, что частотный статистический метод является "неправильным".

Основные вклады

1. Уточнение описательной природы частотной статистики: подчёркивает, что частотная статистика предоставляет описание измерения, а не утверждение о вере в параметр
2. Обоснование определения функции правдоподобия в нефизической области: через концепцию достаточной статистики доказывает, что θ̂ = n - b содержит больше информации, чем max(n - b, 0)
3. Уточнение связи между описательной и выводной статистикой: описательная статистика может информировать вывод, но сама по себе не является утверждением о степени доверия
4. Предоставление практического методологического руководства: поддерживает отчётность об отрицательных оценках интенсивности сигнала в экспериментах (например, θ̂ = -2 ± 1)

Подробное описание методов

Математическая формулировка проблемы

Рассмотрим случайную величину N = 0, 1, 2, ..., выборку из распределения Пуассона, среднее значение которой μ равно сумме интенсивности сигнала θ ≥ 0 и известного фона b (≥ 0):

$f(n; θ, b) = \frac{μ^n}{n!}e^{-μ} = \frac{(θ + b)^n}{n!}e^{-θ-b}$

где n — возможное значение N.

Определение функции правдоподобия

Функция правдоподобия, определённая Портером:

$L(θ; n) = \frac{μ^n}{n!}e^{-μ} = \frac{(θ + b)^n}{n!}e^{-θ-b}$

Ключевой момент: эта функция математически определена для любого μ ≥ 0, даже если θ = μ - b < 0.

Аргумент на основе достаточной статистики

Центральный аргумент Портера основан на концепции достаточной статистики:

1. N - b является достаточной статистикой для θ: содержит всю информацию о θ, имеющуюся в данных
2. max(N - b, 0) не является достаточной статистикой: при принудительном ограничении оценки неотрицательностью теряется информация
3. Следовательно: θ̂ = n - b как описательная статистика более информативна, чем усечённая версия

Описательная интерпретация частотной статистики

Позиция Портера состоит в следующем:

• Результаты частотной статистики являются описательными: описывают само измерение, а не истинное значение параметра
• Не должны интерпретироваться как утверждения о степени доверия: вероятностные утверждения относятся только к долгосрочным частотным свойствам
• Могут информировать вывод: при наблюдении θ̂ = -2 можно заключить (в смысле степени доверия), что θ "вероятно" очень мало

Сравнение с байесовским подходом

В байесовской схеме нет противоречий:

• Априорное распределение естественным образом ограничивает параметр физической областью
• Вера в нефизическую область равна нулю
• Физические ограничения реализуются через априорное распределение, а не функцию правдоподобия

Технические инновационные моменты

1. Инновация на концептуальном уровне

Различие между "распределением выборки" и "областью определения функции правдоподобия":

• Распределение выборки всегда предполагает θ ≥ 0 (физическое ограничение)
• Функция правдоподобия как математический объект может быть определена на более широком множестве
• Это различие позволяет использовать весь математический аппарат без нарушения физической модели

2. Гибкость в терминологии

Портер предлагает, что если статистические авторитеты запретят определение "правдоподобия" в нефизической области, можно использовать термины "описательность" (descriptionhood) и "максимальная описательность" (maximum descriptionhood), подчёркивая её роль как инструмента описания.

3. Методологическая согласованность

Этот подход остаётся согласованным для различных распределений:

• Распределение Пуассона: θ̂ = n - b может быть отрицательным
• Нормальное распределение: аналогичные соображения обсуждаются в ссылке 4
• Сохраняется универсальность и согласованность статистического метода

Теоретический анализ

Сущность частотной статистики

Портер ссылается на классический труд Кендалла и соавторов (Volume 2A, sections 26.58-26.78), в частности на утверждение в разделе 26.69:

"Почти аксиоматично, что частотный метод не предоставляет утверждений о достоверности гипотез, поскольку частотники отказываются принять любую концепцию вероятности без частотной интерпретации."

Здесь "вероятность₁" означает вероятность как степень доверия.

Вред от путаницы

Портер указывает, что неправильное понимание частотной статистики как выводного утверждения привело к значительной путанице:

Типичный пример: в 2015 году редактор психологического журнала Basic and Applied Social Psychology заявил, что p-значения "недействительны" и запретил их использование — это прямое следствие путаницы в понимании природы частотной статистики.

Статус вывода

Хотя Портер подчёркивает описательный характер частотной статистики, он признаёт:

• При получении θ̂ = n - b разумно заключить, что θ "вероятнее" находится близко к θ̂
• Такой вывод входит в область утверждений о степени доверия
• При наблюдении отрицательного θ̂ можно заключить, что θ "вероятно" очень мало (но не отрицательно)

Экспериментальные/прикладные сценарии

Эксперименты физики высоких энергий

Хотя в статье нет конкретных экспериментальных результатов, контекст исходит из физики высоких энергий:

• Поиск редких сигналов (например, новых частиц)
• Известное количество событий фона b
• Наблюдаемое общее количество событий n
• Необходимость оценить интенсивность сигнала θ

Практическая ситуация

Когда флуктуации фона приводят к n < b:

• Традиционный подход может: сообщить θ̂ = 0 или не сообщить вообще
• Портер предлагает: сообщить θ̂ = n - b (отрицательное значение) с доверительным интервалом
• Преимущество: сохраняется вся информация достаточной статистики

Пример отчётности

Портер считает полностью приемлемым сообщить:

"Результат измерения: θ̂ = -2 ± 1, при условии, что известно θ > 0"

Такой отчёт:

• Полностью описывает измерение
• Позволяет читателю заключить, что θ вероятно близко к нулю
• Не утверждает, что θ фактически отрицательно

Связанные работы

Статистическая литература

1. Shao (2003): в учебнике Mathematical Statistics есть примеры, поддерживающие позицию Казинса, но они находятся в главах с большим содержанием байесовского материала, без подробного обсуждения контекста
2. Kendall и др. (1999): Kendall's Advanced Theory of Statistics признаёт проблемы и противоречия различных методов оценки; позиция согласуется с подходом Портера
3. Narsky & Porter (2014): обсуждают аналогичные проблемы для нормального распределения

Исторический контекст противоречия

• Философский спор между частотным и байесовским подходами имеет долгую историю
• Вопрос об области определения функции правдоподобия часто избегается в учебниках статистики
• Путаница в практике приводит к неправильному пониманию и неправильному применению статистических методов

Выводы и обсуждение

Основные выводы

1. В рамках частотного статистического подхода полезно и разумно допустить определение функции правдоподобия в нефизической области параметров
2. Это не нарушает физическую модель: распределение выборки всегда предполагает физические ограничения
3. Рассмотрение достаточной статистики поддерживает этот подход: N - b содержит больше информации, чем max(N - b, 0)
4. Частотная статистика должна рассматриваться как описательная: предоставляет описание измерения, а не убеждение о параметре

Позиция Портера

• Признаёт, что его позиция может быть более экстремальной, чем исторические прецеденты
• Однако считает, что такая позиция помогает сохранить концептуальную ясность
• В байесовской схеме нет разногласий; противоречие ограничено интерпретацией частотной статистики

Практическая ценность

Этот методологический подход:

• Позволяет более полно сообщать результаты экспериментов
• Избегает потери информации
• Сохраняет согласованность статистических методов
• Облегчает последующий байесовский анализ или метаанализ

Будущие направления

В статье не указаны явно, но подразумеваются следующие направления:

• Дальнейшее уточнение связи между частотным и байесовским подходами
• Распространение разумной практики статистической отчётности в экспериментальной физике
• Обучение пользователей статистики избегать распространённых неправильных представлений

Глубокая оценка

Достоинства

1. Концептуальная ясность:
   • Чёткое различие между описательной и выводной статистикой
   • Ясное определение природы и ограничений частотной статистики
   • Убедительный аргумент на основе достаточной статистики
2. Практическая ориентация:
   • Обращение к реальным проблемам в экспериментальной практике
   • Предоставление применимого методологического руководства
   • Избежание потери информации
3. Прочная теоретическая база:
   • Ссылки на классическую статистическую литературу в поддержку позиции
   • Строгое математическое обоснование на основе достаточной статистики
   • Надлежащее сравнение с байесовским методом
4. Ясное изложение:
   • Логическая структура аргументации
   • Признание обоснованности альтернативных точек зрения
   • Профессиональный и уместный тон

Недостатки

1. Возможные философские противоречия:
   • Вопрос о том, как "должна" быть определена функция правдоподобия, имеет философский характер
   • Различные статистические школы могут иметь непримиримые разногласия
   • Портер признаёт, что консенсус может быть недостижим
2. Потенциальная путаница в практике:
   • Допущение отрицательных оценок может быть неправильно понято непрофессионалами
   • Требуется дополнительное объяснение и обучение
   • Может вызвать замешательство в некоторых областях применения
3. Ограниченные эмпирические доказательства:
   • В основном концептуальные и теоретические аргументы
   • Отсутствуют примеры анализа реальных данных
   • Не показано применение в конкретных экспериментах
4. Недостаточно глубокое обсуждение позиции Казинса:
   • В основном изложение собственной позиции
   • Меньше конкретных возражений на аргументы противника
   • Возможно, недостаточное понимание глубинных озабоченностей оппонента

Влияние

Позитивные аспекты:

• Предоставляет теоретическое обоснование статистической практики в физике высоких энергий и смежных областях
• Помогает уточнить природу частотной статистики
• Может повлиять на нормы отчётности экспериментальных результатов

Ограничения:

• Может оказать прямое влияние только в специфических областях (например, физика элементарных частиц)
• Статистическое сообщество может продолжить расходиться во мнениях
• Требуется образовательная работа и пропаганда для изменения практики

Воспроизводимость

• Это теоретическая/методологическая статья, не связанная с экспериментальной воспроизводимостью
• Концепции и аргументы ясны и легко понимаются и применяются
• Математические выводы просты и прямолинейны

Применимые сценарии

Наиболее подходящие сценарии:

1. Эксперименты физики высоких энергий: поиск сигналов, оценка фона
2. Эксперименты с низкой интенсивностью счёта: статистика Пуассона доминирует
3. Ситуации, требующие отчётности достаточной статистики: полная передача информации важна

Менее подходящие сценарии:

1. Научная коммуникация для широкой аудитории: отрицательная интенсивность сигнала может вызвать неправильное понимание
2. Среда нормативных решений: может потребоваться более консервативный подход к отчётности
3. Аудитория без статистической подготовки: требуется дополнительное объяснение

Резюме методологического вклада

Основной вклад Портера заключается в следующем:

1. Уточнение границы между "описанием" и "выводом" в частотной статистике
2. Предоставление теоретического обоснования на основе достаточной статистики для определения функции правдоподобия в нефизической области
3. Предоставление практического руководства по отчётности: допущение отчётности об отрицательных оценках параметров
4. Уточнение связи с байесовским методом: в его рамках противоречие отсутствует

Это важная методологическая статья, которая, хотя и не разрешит противоречие полностью, предоставляет ценную перспективу для статистической практики.

Библиография

1 Robert D. Cousins. Comment on Frank Porter, "Confidence intervals for the Poisson distribution", 2025. arXiv:2509.17339

2 Frank C. Porter. Confidence intervals for the Poisson distribution, 2025. arXiv:2509.02852

3 Jun Shao. Mathematical Statistics, 2nd edition. Springer-Verlag, 2003

4 I. Narsky and F. C. Porter. Statistical analysis techniques in particle physics, 2014

5 Alan Stuart et al. Kendall's Advanced Theory of Statistics, Volume 2A, 1999

6 David Trafimow and Michael Marks. Editorial. Basic and Applied Social Psychology, 37(1):1–2, 2015

Общая оценка: Это методологическая статья с ясными концепциями и убедительными аргументами, предоставляющая ценную перспективу на реальные проблемы в статистической практике. Хотя она может не убедить всех, её аргумент на основе достаточной статистики и ясное изложение природы частотной статистики предоставляют важное руководство для экспериментальных физиков. Основная ценность статьи заключается в уточнении концепций и предоставлении практического методологического руководства, а не в решении технической проблемы с определённым ответом.