These lecture notes are intended to cover some introductory topics in stochastic simulation for scientific computing courses offered by the IT department at Uppsala University, as taught by the author. Basic concepts in probability theory are provided in the Appendix A, which you may review before starting the upcoming sections or refer to as needed throughout the text.
論文ID : 2501.00997タイトル : 確率的シミュレーションとモンテカルロ法著者 : Davoud Mirzaei (ウプサラ大学)分類 : math.NA cs.NA stat.CO stat.OT発表日時 : 2024年11月1日 (第2版)論文リンク : https://arxiv.org/abs/2501.00997 本資料はウプサラ大学IT学部の科学計算コース向けの確率的シミュレーション教授用講義ノートである。内容は確率的シミュレーションの入門的主題を網羅しており、モンテカルロ法、確率変数生成、確率過程、マルコフ連鎖モンテカルロ法(MCMC)などの中核内容を含む。付録Aは確率論の基礎概念を提供し、後続章の理論的基盤として機能する。
本講義は科学計算における決定論的モデルと確率的モデルの選択と応用に関する問題の解決を目指している:
モデリング方法の選択 : 決定論的モデリングと確率的モデリングの間で適切な方法をいかに選択するか確率的シミュレーション技術 : 複雑なシステムシミュレーションのための確率変数をいかに効果的に生成・利用するかパラメータ推定 : 不確実性環境下においてベイズ的パラメータ推定をいかに実施するか確率的シミュレーションは現代科学計算において重要な意義を有する:
実システムのモデリング : 多くの実システムは内在的な確率性と不確実性を含む高次元積分計算 : モンテカルロ法は高次元積分計算において独特の利点を有する複雑システムの分析 : 生物システム、金融市場、疾病伝播などの複雑システムは確率的モデリングを必要とする決定論的方法 : システムの確率的変動と不確実性を捉えることができない従来の数値方法 : 高次元問題において計算複雑度が急速に増加するパラメータ推定の困難性 : 複雑な事後分布は直接計算が困難である体系的教授フレームワーク : 基礎確率論から高度なMCMC法までの完全な教授体系を提供実用的アルゴリズム実装 : 確率変数生成、Gillespieアルゴリズム、MCMCなどの主要アルゴリズムのPython実装を提供多領域応用例 : 放射性崩壊、疾病伝播、金融オプション価格設定、生化学反応などの応用シナリオを網羅理論と実践の統合 : 数学理論と実際のプログラミング実装を有機的に結合本講義は以下の核心的タスクの解決に主に取り組む:
確率変数生成 : 与えられた分布から効率的に確率標本を生成モンテカルロ積分 : 確率的サンプリング法を用いて複雑な積分を計算確率過程のシミュレーション : マルコフ連鎖、ブラウン運動などの確率過程をモデル化パラメータ推定 : MCMC法によるベイズ的パラメータ推論逆変換法 (Inverse Transform Method)
# 基本的考え方: U ~ U(0,1)ならば、X = F^(-1)(U) ~ f
def inverse_transform_sampling(cdf_inverse, n):
U = np.random.uniform(0, 1, n)
return cdf_inverse(U)
受理-棄却法 (Acceptance-Rejection Method)
提案分布g(x)と定数Cを用いて目標分布f(x)を界定 受理確率: α = min{f(X)/(Cg(X)), 1} 効率: P(受理) = 1/C 基本的モンテカルロ推定
積分 I = ∫g(x)f(x)dx に対して:
I ≈ (1/N) Σ g(xi), xi ~ f
重要度サンプリング (Importance Sampling)
I = ∫g(x)f(x)dx = ∫g(x)[f(x)/ℓ(x)]ℓ(x)dx
I ≈ (1/N) Σ g(xi)w(xi), xi ~ ℓ, w(xi) = f(xi)/ℓ(xi)
マルコフ連鎖の生成
状態遷移行列P = (pij) 定常分布πは πP = π を満たす ブラウン運動の生成
# Wt+1 = Wt + √(Δt) * Z, Z ~ N(0,1)
def brownian_motion(t_vec, dim):
W = np.zeros([dim, len(t_vec)])
for k in range(len(t_vec)-1):
Z = np.random.normal(0, 1, dim)
dt = t_vec[k+1] - t_vec[k]
W[:, k+1] = W[:, k] + np.sqrt(dt) * Z
return W
核心的ステップ :
総倾向関数を計算: a(y) = Σ wj(y) 待機時間を生成: τ ~ Exp(a(y)) 反応を選択: k ~ DD(1,...,m , p1,...,pm ) 状態を更新: y ← y + vk 次元無関の収束 : モンテカルロ法の収束率O(N^(-1/2))は次元に無関適応的サンプリング : 重要度サンプリングは適切な提案分布の選択により効率を向上確率微分方程式の求解 : オイラー・丸山法による拡散過程の求解MCMC収束性 : 詳細釣り合い方程式により目標分布への収束を保証放射性崩壊モデル 決定論的モデル: dy/dt = -λy(t) 確率的モデル: y →^λ z (Gillespieアルゴリズム) SIR疾病伝播モデル 状態: S(感受性)、I(感染)、R(回復) パラメータ: μ(出生死亡率)、β(感染率)、γ(回復率) 金融オプション価格設定 幾何ブラウン運動: dSt = μStdt + σStdWt ヨーロッパ型コールオプション: C0 = e^(-rT)Emax(ST-K, 0) 収束性分析 : 標本数Nに対する誤差の変化信頼区間 : 95%確率下の誤差限界計算効率 : アルゴリズムの実行時間とメモリ使用量分散比較 : 異なるサンプリング戦略の分散分析基本MC法 : 収束率O(N^(-0.5))重要度サンプリング : 稀な事象推定において精度を大幅に向上例 : Φ(-4.5)の推定時、重要度サンプリングは基本MC法より精度が3~4桁向上ブラウン粒子 : 境界衝突の期待時間≈0.4856±0.0061ギャンブラーの破産 : 理論値とシミュレーション結果は高度に一致オプション価格設定 : ブラック・ショールズモデルのシミュレーション結果C0≈10.03±0.29回復率推定 : 事後平均θ≈0.1489±0.0009ポートフォリオリスク : 大損失確率≈1.08%モンテカルロ誤差限界 :
推定量Y = (1/N)Σg(Xi)に対して:
分散: Var(Y) = σ²/N 95%信頼区間: μ ± 1.96σ/√N MCMC診断 :
バーンイン期: 最初の1000~2000個のサンプルを破棄 自己相関分析: サンプルの十分な混合を確保 モンテカルロの起源 : フォン・ノイマンとウラムが第二次世界大戦中に発明メトロポリスアルゴリズム : 1953年にメトロポリスらが提案ハスティングス拡張 : 1970年にハスティングスが非対称提案分布を提案Gillespieアルゴリズム : 1977年に生化学反応ネットワークシミュレーション用に開発大数の法則 : モンテカルロ推定の一貫性を保証中心極限定理 : 誤差の漸近分布を提供マルコフ連鎖理論 : MCMC収束性の理論的基礎方法の適用性 :決定論的方法は大規模システムと予測可能な振る舞いに適用 確率的方法は小規模システムと不確実性環境に適用 計算効率 :モンテカルロ法は高次元問題において利点を有する 重要度サンプリングは稀な事象推定精度を大幅に向上可能 実用的価値 :完全なアルゴリズム実装フレームワークを提供 複数の重要な応用領域を網羅 収束速度 : モンテカルロ法の収束は遅く、大量のサンプルが必要分散制御 : 某些問題の分散は大きく、推定精度に影響MCMC診断 : 収束診断とバーンイン期の選択にはなお課題がある高度なMCMC法 : ハミルトニアンモンテカルロ、変分推論など並列アルゴリズム : 現代計算アーキテクチャを利用した効率向上適応的方法 : サンプリング戦略の動的調整教育的価値 :構造が明確で、基礎から高度へと段階的に進行 理論と実践を重視し、完全なコード実装を提供 複数の応用領域を網羅し、実用性が高い 技術的完全性 :確率的シミュレーションの核心的方法を網羅 収束性分析と誤差推定を提供 現代的なMCMC法を含む 実装品質 :Pythonコードは規範的で理解しやすい アルゴリズム実装は正確で検証済み 可視化結果を提供 深度の制限 : 教授用資料として、某些高度な主題の議論が十分でない現代的方法 : 変分推論や深層学習関連の方法が不足計算最適化 : 並列計算とGPU加速に関する議論が少ない教育的価値 : 確率的シミュレーション教授に優質なリソースを提供実用的参考 : 研究者とエンジニアの実用的マニュアルコード貢献 : 再現可能なアルゴリズム実装を提供教授用途 : 科学計算、統計学、応用数学コース研究応用 : バイオインフォマティクス、金融工学、物理シミュレーション工学実践 : リスク評価、システムシミュレーション、最適化問題講義が引用する当該領域の古典的教科書:
DeGroot & Schervish: 確率と統計 Ross: シミュレーション Rubinstein & Kroese: シミュレーションとモンテカルロ法 Robert & Casella: モンテカルロ統計方法 総合評価 : 本資料は高品質な確率的シミュレーション教授用資料であり、体系性が強く実用性が優れている。学習者に理論から実践までの完全な学習経路を提供する。教授用講義ノートとして某些最先端方法に限界があるものの、教育的価値と実用的価値は共に高く、当該領域の優秀な参考資料である。