This is a free textbook suitable for a one-semester course on Markov chains, covering basics of finite-state chains, many classical models, asymptotic behavior and mixing times, Monte Carlo methods, and martingales and harmonic functions. It is designed to fill a gap in the literature by being suitable for undergraduates; much of the theory is thus built from the ground up, with only basic probability and linear algebra assumed. We take as our basic framework the first four chapters of the classic Levin-Peres text "Markov Chains and Mixing Times," generously expanding to make an exposition suitable for an undergraduate audience. We also incorporate over a hundred exercises and problems, along with a rich set of accompanying illustrations. Suggested homework sets are found in an appendix.
Updated editions will periodically appear as new versions of this submission.
academic- معرّف الورقة البحثية: 2510.14165
- العنوان: Finite Markov Chains and Monte-Carlo Methods: An Undergraduate Introduction
- المؤلفون: Soumik Pal (جامعة واشنطن)، Tim Mesikepp
- التصنيف: math.PR (نظرية الاحتمالات)
- تاريخ النشر: 17 أكتوبر 2025
- رابط الورقة: https://arxiv.org/abs/2510.14165
هذا كتاب مدرسي مجاني مناسب لدورة سلاسل ماركوف لمدة فصل دراسي واحد، يغطي أساسيات السلاسل ذات الحالات المحدودة والنماذج الكلاسيكية والسلوك المقارب وأوقات الخلط وطرق مونت كارلو والمارتينجيل والدوال التوافقية. يهدف هذا المنهج إلى سد الفجوة في الأدبيات الموجودة، مما يجعله مناسباً للطلاب الجامعيين. تُبنى النظرية من الأساس، مع افتراض معرفة أساسية فقط بنظرية الاحتمالات والجبر الخطي. يعتمد المنهج على الفصول الأربعة الأولى من كتاب Levin-Peres الكلاسيكي "سلاسل ماركوف وأوقات الخلط"، مع توسيع كبير ليناسب الجمهور الجامعي. يحتوي المنهج على أكثر من 100 تمرين ومسألة، مع رسوم توضيحية غنية، وتوفير مجموعات واجبات مقترحة في الملاحق.
- الفجوة في المناهج الدراسية: كتب سلاسل ماركوف الموجودة إما قديمة وتفتقر إلى تغطية شاملة لطرق مونت كارلو (مثل Feller و Hoel-Port-Stone)، أو معقدة جداً للطلاب الجامعيين (مثل Aldous-Fill و Diaconis و Levin-Peres)
- الاحتياجات التعليمية: قدمت جامعة واشنطن قسم الرياضيات والإحصاء دورة جامعية جديدة math/stat 396 في عام 2018، مما يتطلب منهجاً مناسباً
- الجمع بين النظرية والتطبيق: الحاجة إلى كتاب يغطي الأساس النظري ويتضمن تمارين غنية
- توفير منهج شامل ومنظم لطلاب المرحلة الجامعية الأولى لدراسة سلاسل ماركوف المحدودة وطرق مونت كارلو
- سد فجوة مهمة في التعليم الاحتمالي
- تعزيز انتشار نظرية سلاسل ماركوف على مستوى المرحلة الجامعية
- منهج منظم: توفير أول كتاب مدرسي شامل لسلاسل ماركوف المحدودة مصمم خصيصاً للطلاب الجامعيين
- مكتبة تمارين غنية: تحتوي على أكثر من 100 تمرين ومسألة، العديد منها أصلي
- بناء نظري تدريجي: يبدأ من المشي العشوائي على الرسوم البيانية، ويبني تدريجياً نظرية سلاسل ماركوف الكاملة
- طرق مونت كارلو العملية: شرح مفصل لطرق MCMC المهمة في الإحصاء الحديث
- نظام إثبات كامل: توفير إثباتات مستقلة بذاتها، بما في ذلك بعض الإثباتات الأصلية (مثل النظرية 1.8)
يعتمد المنهج على هيكل من 5 فصول، لكل منها أهداف تعليمية واضحة:
- نقطة البداية: البدء من المشي العشوائي على الرسوم البيانية، مما يوفر فهماً هندسياً حدسياً
- المفاهيم الأساسية:
- مصفوفة الانتقال وخاصية ماركوف
- عدم القابلية للاختزال واللاتدورية
- التوزيع الثابت π
- أوقات الضربة وأوقات العودة
- قابلية عكس الزمن ومعادلة التوازن التفصيلي
الصيغ الرئيسية:
- خاصية ماركوف: P(Xk+1=y∣X0=j0,…,Xk=x)=P(Xk+1=y∣Xk=x)=Pxy
- التوزيع الثابت: πP=π
- التوزيع الثابت للمشي العشوائي البسيط المتماثل: πv=2∣E∣deg(v)
يغطي أمثلة محددة مهمة:
- مشكلة إفلاس المقامر: صيغة احتمالية ضربة الحدود Pk(Xτ=n)=nk
- نموذج جرة Ehrenfest: كإسقاط للمشي العشوائي على المكعب الفائق
- نموذج جرة Pólya: يوضح آلية التغذية الراجعة الإيجابية، حيث تتقارب النسبة إلى التوزيع المنتظم
- نظريات التقارب:
- التقارب الأسي إلى π: ∥Pn(x,⋅)−π∥TV≤Cαn
- النظرية الإرغودية: limn→∞n1∑j=0n−1f(Xj)=Eπ(f)
- وقت الخلط: حساب سرعة التقارب من خلال التحليل الطيفي
- وقت الاسترخاء: trel=1−λ∗1، حيث λ∗ هي ثاني أكبر قيمة ذاتية
- خوارزميات العينات: طريقة CDF العكسية، أخذ العينات بالرفض
- MCMC: خوارزمية Metropolis-Hastings
- أخذ عينات Gibbs: أخذ عينات من التوزيعات الشرطية
- التحسين العشوائي: محاكاة التلدين
- تعريف المارتينجيل: E(Yn+1∣X0,…,Xn)=Yn
- الدوال التوافقية: (Ph)(x)=h(x)
- نظرية التوقف الاختياري: E(Yτ)=E(Y0)
- من المحدد إلى المجرد: البدء من المشي العشوائي على الرسوم البيانية، تجنب صعوبات التعريفات المجردة
- سلسلة إثبات كاملة: تتضمن إثباتات مستقلة بذاتها، مثل الإثبات الأصلي للنظرية 1.8
- أمثلة غنية: كل مفهوم مصحوب بأمثلة تفصيلية وتمارين
- قوة عملية عالية: الفصل الرابع مخصص للطرق العملية في الإحصاء الحديث
يحتوي المنهج على عدد كبير من الأمثلة الحسابية:
- المشي العشوائي على دورة 6: P50≈(0.333⋮00.33300.3330)
- وقت الخلط على المكعب الفائق: tmix(ϵ)≤N2log(ϵ2N)
- تمارين داخل الفصل: تعزيز فوري للفهم
- مسائل نهاية الفصل: أكثر تحدياً، مع تلميحات
- مجموعات الواجبات المقترحة: توفير 7 مجموعات واجبات مقترحة في الملاحق
- مناسب لدورة مدة فصل دراسي واحد (ربع سنة): يُنصح بالفصول 1-4
- يمكن للفصل الدراسي الكامل تغطية جميع الفصول الخمسة
- التحقق من فعالية المنهج من خلال سنوات من الاستخدام في جامعة واشنطن
- وقت خلط دورة 5: يتطلب حوالي 30 خطوة للوصول إلى توزيع قريب من المنتظم
- تقارب المكعب الفائق: في الحالة ثلاثية الأبعاد، يمكن تحقيق دقة 10−6 في غضون 48 خطوة
- جرة Ehrenfest: التوزيع الثابت هو Bin(N,1/2)
- Feller (1950s): رائد لكن قديم، لا يغطي طرق مونت كارلو
- Hoel-Port-Stone: مشاكل مماثلة
- Aldous-Fill: ممتاز لكن معقد جداً للطلاب الجامعيين
- Levin-Peres: معيار حديث لكن يتطلب معرفة أساسية أكثر
- مناسب للطلاب الجامعيين: بناء من الأساس، افتراضات دنيا
- تغطية شاملة: من النظرية الأساسية إلى التطبيقات الحديثة
- تمارين غنية: أكثر من 100 تمرين، الجمع بين النظرية والتطبيق
- بناء ناجح لنظام منهج سلاسل ماركوف الكامل المناسب للطلاب الجامعيين
- الجمع الفعال بين العمق النظري والقابلية التعليمية
- توفير مورد قيم لتعليم نظرية الاحتمالات
- قيود النطاق: تغطي فقط فضاء الحالات المحدودة، لا تتناول فضاء الحالات القابل للعد
- حذف المفاهيم: لا تناقش مفاهيم الحالات الراجعة والعابرة
- نظرية القياس: تجنب متعمد لطرق نظرية القياس
- تحديث منتظم للإصدارات
- توسيع محتمل إلى سلاسل ماركوف المستمرة في الزمن
- إضافة المزيد من الأمثلة التطبيقية الحديثة
- التوجه التعليمي: مصمم خصيصاً للتدريس الجامعي، يسد فجوة مهمة
- اكتمال النظرية: توفير نظام إثبات مستقل بذاته
- قوة عملية عالية: تتضمن طرق مونت كارلو الحديثة
- موارد غنية: عدد كبير من التمارين والرسوم التوضيحية
- التحقق من التجربة: التحقق من خلال ممارسة تعليمية متعددة السنوات
- ابتكار محدود: في الأساس تنظيم تعليمي، ابتكار نظري أقل
- نطاق مقيد: قيود فضاء الحالات المحدودة
- توازن العمق: التضحية ببعض العمق النظري من أجل القابلية الجامعية
- القيمة التعليمية: مساهمة مهمة في تعليم نظرية الاحتمالات الجامعي
- تأثير الانتشار: يساعد على نشر نظرية سلاسل ماركوف
- قيمة مرجعية: توفير نموذج لتأليف الكتب المدرسية الأخرى
- دورات نظرية الاحتمالات الجامعية
- دورات تمهيدية للدراسات العليا
- التعلم الذاتي لنظرية سلاسل ماركوف
- دراسة طرق مونت كارلو
يستشهد المنهج بالأدبيات المهمة في هذا المجال:
- Feller, W. An Introduction to Probability Theory and Its Applications
- Levin, D. A., and Peres, Y. Markov chains and mixing times
- Aldous, D., and Fill, J. A. Reversible Markov Chains and Random Walks on Graphs
- Diaconis, P. Group Representations in Probability and Statistics
التقييم الشامل: هذا كتاب مدرسي عالي الجودة في نظرية الاحتمالات، نجح في تقديم نظرية رياضية عميقة بطريقة يمكن للطلاب الجامعيين فهمها. على الرغم من أن المساهمة في الابتكار النظري محدودة، فإن قيمتها التعليمية وقابليتها العملية تجعلها مساهمة مهمة في هذا المجال. يعكس التصميم المنظم والاكتمال والتمارين الغنية اهتمام المؤلف واحترافيته.