Minimizing Spectral Risk Measures Applied to Markov Decision Processes
Bäuerle, Glauner
We study the minimization of a spectral risk measure of the total discounted cost generated by a Markov Decision Process (MDP) over a finite or infinite planning horizon. The MDP is assumed to have Borel state and action spaces and the cost function may be unbounded above. The optimization problem is split into two minimization problems using an infimum representation for spectral risk measures. We show that the inner minimization problem can be solved as an ordinary MDP on an extended state space and give sufficient conditions under which an optimal policy exists. Regarding the infinite dimensional outer minimization problem, we prove the existence of a solution and derive an algorithm for its numerical approximation. Our results include the findings in Bäuerle and Ott (2011) in the special case that the risk measure is Expected Shortfall. As an application, we present a dynamic extension of the classical static optimal reinsurance problem, where an insurance company minimizes its cost of capital.
academic
تقليل مقاييس المخاطر الطيفية المطبقة على عمليات قرار ماركوف
تدرس هذه الورقة تقليل مقاييس المخاطر الطيفية للتكاليف المخصومة الإجمالية الناتجة عن عمليات قرار ماركوف (MDP) تحت آفاق تخطيط محدودة أو غير محدودة. تفترض عمليات قرار ماركوف وجود فضاءات حالة وإجراء بوريل، مع احتمال أن تكون دوال التكلفة غير محدودة من الأعلى. من خلال استخدام تمثيل الحد الأدنى لمقاييس المخاطر الطيفية، يتم تحليل مشكلة التحسين إلى مشكلتي تقليل. يثبت المؤلفون أن مشكلة التقليل الداخلية يمكن حلها كعملية قرار ماركوف عادية على فضاء الحالة الممتد، ويقدمون شروطاً كافية لوجود السياسة المثلى. بالنسبة لمشكلة التقليل الخارجية اللانهائية الأبعاد، يثبتون وجود الحل ويستخرجون خوارزمية تقريب عددي. عندما يكون مقياس المخاطر هو العجز المتوقع (Expected Shortfall)، تتضمن النتائج النتائج التي توصل إليها Bäuerle و Ott (2011). كتطبيق، يقترحون امتداداً ديناميكياً للمشكلة الكلاسيكية الثابتة للإعادة المثلى للتأمين.
عادة ما تستخدم عمليات قرار ماركوف التقليدية معيار التوقع للتحسين، وهذا النهج يصمم متخذي قرار محايدين للمخاطر. ومع ذلك، في التطبيقات العملية، غالباً ما يكون متخذو القرار حساسين للمخاطر ويحتاجون إلى الأخذ في الاعتبار عدم اليقين وعوامل المخاطر.
الحاجة إلى الحساسية للمخاطر: قد يؤدي معيار التوقع التقليدي إلى سياسات مثلى عالية المخاطر، وهو ما لا يتوافق مع تفضيلات المخاطر لمتخذي القرار الفعليين
الفجوات النظرية: يركز الأدب الموجود بشكل أساسي على مقاييس المخاطر العودية أو مقاييس محددة (مثل العجز المتوقع)، مع عدم وجود بحث منهجي حول مقاييس المخاطر الطيفية العامة
التطبيقات العملية: تحتاج مجالات التأمين والتمويل إلى أدوات إدارة مخاطر أكثر دقة
تستند الورقة بشكل أساسي إلى الأدبيات المهمة التالية:
Bäuerle, N. و Ott, J. (2011). عمليات قرار ماركوف مع معايير متوسط القيمة المعرضة للخطر
Rockafellar, R. T. و Uryasev, S. (2000). تحسين القيمة المشروطة المعرضة للخطر
Pichler, A. (2015). الأقساط والاحتياطيات، المعدلة بالتشويهات
McNeil, A. J.، Frey, R.، و Embrechts, P. (2015). إدارة المخاطر الكمية
التقييم الشامل: هذه ورقة عالية الجودة من الناحية النظرية، تقدم مساهمات مهمة في مجال عمليات قرار ماركوف الحساسة للمخاطر. الورقة صارمة من الناحية النظرية، وتتميز بابتكار الطريقة، وتوفر أدوات قيمة لمشاكل إدارة المخاطر العملية. على الرغم من وجود نقص في جوانب التجارب العددية، فإن قيمتها النظرية والمساهمات المنهجية تجعلها أدباً مهماً في هذا المجال.