Evolutionary algorithms are widely used for solving multi-objective optimization problems. A prominent example is NSGA-III, which is particularly well suited for solving problems involving more than three objectives, distinguishing it from the classical NSGA-II. Despite its empirical success, the theoretical understanding of NSGA III remains very limited, especially with respect to runtime analysis. A central open problem concerns its population dynamics, which involve controlling the maximum number of individuals sharing the same fitness value during the exploration process. In this paper, we make a significant step towards such an understanding by proving tight runtime bounds for NSGA-III on the bi-objective OneMinMax ($2$-OMM) problem. Firstly, we prove that NSGA-III requires $Ω(n^2 \log(n) / μ)$ generations in expectation to optimize $2$-OMM assuming the population size $μ$ satisfies $n+1 \leq μ=O(\log(n)^c(n+1))$ where $n$ denotes the problem size and $c<1$ is a constant. Apart from~\cite{opris2025multimodal}, this is the first proven lower runtime bound for NSGA-III on a classical benchmark problem. Complementing this, we secondly improve the best known upper bound of NSGA-III on the $m$-objective OneMinMax problem ($m$-OMM) of $O(n \log(n))$ generations by a factor of $μ/(2n/m + 1)^{m/2}$ for a constant number $m$ of objectives and population size $(2n/m + 1)^{m/2} \leq μ\in O(\sqrt{\log(n)} (2n/m + 1)^{m/2})$. This yields tight runtime bounds in the case $m = 2$, and the surprising result that NSGA-III beats NSGA-II by a factor of $μ/n$ in the expected runtime.
معرّف الورقة : 2511.07125العنوان : Towards a Rigorous Understanding of the Population Dynamics of the NSGA-III: Tight Runtime Boundsالمؤلف : Andre Opris (جامعة باساو، ألمانيا)التصنيف : cs.NE (الحوسبة العصبية والتطورية)وقت النشر : نوفمبر 2025 (نسخة arXiv المسبقة)رابط الورقة : https://arxiv.org/abs/2511.07125 تقدم هذه الورقة تحليلاً صارماً لوقت التشغيل النظري لخوارزمية NSGA-III المستخدمة على نطاق واسع في تحسين الأهداف المتعددة. على الرغم من النجاح التجريبي لـ NSGA-III في حل المشاكل ذات أكثر من ثلاثة أهداف، فإن فهمها النظري لا يزال محدوداً جداً. تثبت الورقة من خلال تحليل مشكلة OneMinMax ثنائية الأهداف (2-OMM) أن NSGA-III تتطلب Ω(n²log(n)/μ) جيلاً لتحسين هذه المشكلة (حيث μ هو حجم السكان، يحقق n+1 ≤ μ = O(log(n)^c(n+1))، c<1 ثابت). هذا هو أول إثبات حد أدنى لـ NSGA-III على مشكلة معيارية كلاسيكية. علاوة على ذلك، تحسّن الورقة الحد الأعلى المعروف على مشكلة m-OMM من O(n log(n)) بمعامل μ/(2n/m+1)^(m/2). بالنسبة لحالة m=2، تعطي هذه النتائج حدوداً ضيقة لوقت التشغيل، وتكشف النتيجة المذهلة بأن NSGA-III تتفوق على NSGA-II بمعامل μ/n في وقت التشغيل المتوقع.
نقص الفهم النظري : على الرغم من أن NSGA-III تُطبق على نطاق واسع في الممارسة العملية (حوالي 6000 استشهاد)، خاصة في التعامل مع مشاكل ذات أربعة أهداف أو أكثر، إلا أن أساسها النظري متخلف بكثير عن تأثيرها العملي. لم تظهر أبحاث تحليل وقت التشغيل إلا مؤخراً.التحكم في ديناميكيات السكان : تتمثل إحدى المشاكل المفتوحة الأساسية في فهم ديناميكيات السكان في NSGA-III، خاصة كيفية التحكم في الحد الأقصى لعدد الأفراد الذين يشاركون نفس قيمة اللياقة البدنية أثناء الاستكشاف (رقم التغطية، cover number β).الاختلافات عن NSGA-II : يوجد اختلافات كبيرة بين NSGA-III و NSGA-II في ديناميكيات السكان:تكرر NSGA-III بشكل منهجي من خلال نظام النقاط المرجعية، وتختار دائماً النقطة المرتبطة بنقطة مرجعية لديها أقل عدد من الأفراد المختارين بالفعل تعامل NSGA-II جميع النقاط ذات مسافة الازدحام الصفرية بالتساوي يؤدي هذا إلى توزيع أكثر انتظاماً للحلول في NSGA-III ملء الفجوة النظرية : توفير أساس رياضي صارم لخوارزمية ناجحة في الممارسة العمليةفهم سلوك الخوارزمية : توضيح متى ولماذا تؤدي NSGA-III بشكل جيدتوجيه تحسينات الخوارزمية : يمكن للفهم العميق أن يساعد في تطوير نسخ محسّنةأساسيات تحسين الأهداف المتعددة : يتم تطبيق تحسين الأهداف المتعددة على نطاق واسع في الذكاء الاصطناعي والمعلوماتية الحيوية وتعلم الآلة والهندسة وغيرهاحدود NSGA-II : مسافة الازدحام لم تعد موثوقة عند ثلاثة أهداف أو أكثر (قد يكون للحل مسافة ازدحام صفرية لكنه ليس قريباً من الحلول الأخرى)عدم كفاية التحليل النظري : قبل (Opris 2025a)، لم تكن هناك حدود ضيقة لوقت التشغيل لـ NSGA-II أو NSGA-III على دوال معيارية كلاسيكيةعدم وضوح ديناميكيات السكان : لا يزال غير واضح كيف توزع NSGA-III الحلول أثناء الاستكشاف (خاصة قبل الوصول إلى الأمثل المحلي أو عندما لا يكون هناك أمثل محلي)أول إثبات حد أدنى : إثبات أن NSGA-III تتطلب وقت تشغيل متوقع بحد أدنى Ω(n²ln(n)/μ) جيل على مشكلة 2-OMM، وهو أول حد أدنى على مشكلة معيارية كلاسيكية بخلاف (Opris 2025a)حدود عليا محسّنة : تحسين الحد الأعلى المعروف على مشكلة m-OMM من O(n ln(n)) بمعامل μ/(2n/m+1)^(m/2)، لـ m ثابت وحجم سكان مناسبإنشاء حدود ضيقة : بالنسبة لحالة m=2، يتطابق الحد الأدنى والأعلى، مما يؤسس حد وقت تشغيل ضيق Θ(n²ln(n)/μ)التفوق على NSGA-II : إثبات أن NSGA-III تتفوق على NSGA-II بمعامل μ/n في وقت التشغيل المتوقع (الحد الأدنى لـ NSGA-II هو Ω(n ln(n)))تحليل عميق لديناميكيات السكان :تحليل الوقت المطلوب لتغطية مجموعة فرعية من جبهة Pareto (Lemma 3) تحليل الوقت المطلوب لتوزيع الحلول بشكل موحد على هذه المجموعة الفرعية (Lemma 4) تحليل الحد الأدنى للوقت عند الاستكشاف نحو النقطة القصوى 1^n (Lemmas 5 و 6) إثبات السلوك المتناقص لأقصى رقم تغطية β أثناء الاستكشاف مشكلة OneMinMax متعددة الأهداف (m-OMM) :
الإدخال: سلسلة بت x ∈ {0,1}^n، حيث n هو مضاعف m/2 تقسيم السلسلة إلى m/2 كتلة، كل كتلة بطول 2n/m للكتلة j (j ∈ m/2 ):
f_{2j-1}(x): عد عدد الآحاد في هذه الكتلة f_{2j}(x): عد عدد الأصفار في هذه الكتلة الهدف: تعظيم m-OMM(x) = (f_1(x), ..., f_m(x)) الخصائص الرئيسية :
كل نقطة بحث هي Pareto محسّنة (لأن مجموع جميع قيم الأهداف يساوي n) أساس مجموعة Pareto هو (2n/m+1)^(m/2) لا توجد أمثل محلية (بخلاف مشكلة OJZJ المدروسة سابقاً) 1. رقم التغطية (Cover Number)
التعريف: c_t(v) := |{x ∈ P_t | f(x) = v}|، أي عدد الأفراد في الجيل t الذين لديهم متجه لياقة v أقصى رقم تغطية: β := max{c_t(v) | v ∈ جبهة Pareto} الخاصية الرئيسية (Lemma 1): بالنسبة للحلول المحسّنة لـ Pareto، β غير متزايد 2. آلية اختيار NSGA-III
تستخدم الخوارزمية مجموعة نقاط مرجعية:
Rp = {(a_1/p, ..., a_m/p) | (a_1,...,a_m) ∈ N_0^m, Σa_i = p}
عملية الاختيار:
حساب دالة اللياقة المعايرة f^n ربط كل فرد بأقرب نقطة مرجعية اختيار بشكل متكرر الفرد المرتبط بنقطة مرجعية لديها أقل عدد من الأفراد المختارين المرحلة 1: تغطية مجموعة فرعية (Lemma 3)
بالنسبة لمجموعة A ⊂ جبهة Pareto بأساس α ≤ 3n/8 تغطية A خلال 64α جيل، بحتمالية لا تقل عن 1-e^(-Ω(α)) فكرة الإثبات: استخدام التهيئة العشوائية والتحليل الاحتمالي للطفرة البت القياسية المرحلة 2: التوزيع الموحد (Lemma 4)
بعد تغطية A، خلال 84α+46γ جيل (γ = min{⌈n/ln(n)⌉, ⌈μ/α⌉}) رقم التغطية لكل v ∈ A على الأكثر ⌈μ/α⌉، بحتمالية 1-o(1) تحليل حالتين:
الحالة 1: ⌈μ/α⌉ ≤ ⌈n/ln(n)⌉ الحالة 2: ⌈μ/α⌉ > ⌈n/ln(n)⌉ المرحلة 3: التحكم في الاستكشاف (Lemmas 5 و 6)
Lemma 5: خلال cn/ln(n) جيل، لن يتم إنشاء أفراد بـ |y|_1 ≥ 3n/4، بحتمالية 1-o(1) Lemma 6: بالنسبة للثوابت 0 ≤ a < b ≤ 3/4
بافتراض أن أقصى رقم تغطية على الأكثر β = o(n^(1-b)) تقليل المسافة من n^b إلى n^a يتطلب Ω(n ln(n)/β) جيل النقطة الأساسية: كلما كان β أصغر، كلما كانت احتمالية اختيار فرد قريب من 1^n أصغر 1. تقليل رقم التغطية بشكل متكرر
بخلاف الأعمال السابقة (التحليل فقط بعد الأمثل المحلي) تتبع ديناميكي والتحكم في β أثناء الاستكشاف من خلال دمج Lemmas 3 و 4 و 6، تقليل β بشكل متكرر 2. تحليل احتمالي دقيق
استخدام الهيمنة العشوائية ومجاميع التوزيعات الهندسية المستقلة تطبيق نظرية الحد الأعلى لـ Witt (2014) الأخذ في الاعتبار حدود Chernoff والحدود المشتركة 3. تحليل على مراحل
تعيين ℓ = ⌈(2c+1)/(1-c)⌉ = O(1) مرحلة:
المرحلة j: تغطية مجموعة بحجم Ω(n ln(n)^j/ln(n)^((2+j)c)) تقليل β إلى e_j ln(n)^((2+j)c-j) في النهاية β = O(μ/n) (أصغر قيمة ممكنة) ملاحظة : هذه ورقة نظرية بحتة، لا تحتوي على جزء تجريبي. جميع النتائج يتم الحصول عليها من خلال إثبات رياضي صارم.
حجم المشكلة : n (طول سلسلة البت)حجم السكان : μ، يحقق n+1 ≤ μ = O(ln(n)^c(n+1))، حيث c < 1عدد الأهداف : m (ثابت)معامل النقطة المرجعية : p ≥ 4√2n (لضمان المعايرة الصحيحة)أدوات احتمالية :حدود Chernoff الهيمنة العشوائية حدود الذيل للتوزيعات الهندسية (Witt 2014) الحدود المشتركة الليمات الرئيسية :Lemma 1: خاصية حماية حلول Pareto المحسّنة تحليل طفرة البت القياسية خصائص الترتيب غير المهيمن النظرية 7 (الحد الأدنى) :
بالنسبة لمشكلة 2-OMM، تحت الشروط:
p ≥ 4√2n μ ≥ n+1 μ ∈ O(ln(n)^c n)، c < 1 ثابت وقت التشغيل المتوقع لـ NSGA-III لتغطية جبهة Pareto بأكملها على الأقل Ω(n²ln(n)/μ) .
نقاط الإثبات الرئيسية :
بعد 130⌊n/ln(n)⌋ جيل أولي:لا يوجد فرد y يحقق |y|_1 ≥ 3n/4 β ≤ 2ln(n)^(1+c) عملية التكرار (ℓ = O(1) مرات):كل تكرار: استكشاف المسافة من n^(b_j) إلى n^(b_{j+1}) يتطلب Ω(n ln(n)/β) جيل ثم تقليل β إلى قيمة جديدة المرحلة النهائية:β = O(μ/n) من n^(1/8) إلى n^(1/16) يتطلب Ω(n²ln(n)/μ) جيل النظرية 8 (الحد الأعلى) :
بالنسبة لمشكلة m-OMM (m ثابت)، اجعل S_m = (2n/m+1)^(m/2)، إذا:
فإن NSGA-III تجد مجموعة Pareto المحسّنة في وقت متوقع O(min{S_m n ln(n)/μ + nμ/S_m, n ln(n)}) جيل.
نقاط الإثبات الرئيسية :
لكل متجه محسّن Pareto v:أولاً زيادة c_t(v) إلى ⌊μ/S_m⌋ ثم تقليل المسافة d_t إلى 0 تحليل الوقت:زيادة رقم التغطية: O(nμ/S_m) جيل تغطية v: O(S_m n ln(n)/μ) جيل الحد المشترك يضمن احتمالية عالية بالنسبة لحالة m=2 :
الحد الأدنى: Ω(n²ln(n)/μ) الحد الأعلى: O(n²ln(n)/μ) الخلاصة : Θ(n²ln(n)/μ) هو حد وقت تشغيل ضيقالمقارنة مع NSGA-II :
NSGA-II: Ω(n ln(n)) جيل (Doerr & Qu 2023a) NSGA-III: O(n²ln(n)/μ) = O(n ln(n)) عندما μ = Θ(n) معامل التسريع : μ/n (كبير عندما μ = ω(n))دور حجم السكان :حجم μ أكبر يسمح بمزيد من الأفراد القريبين من الهدف يقلل β، وبالتالي يسرع الاستكشاف يوجد نطاق μ أمثل: (2n/m+1)^(m/2) ≤ μ ∈ O(√ln(n)(2n/m+1)^(m/2)) مزايا التوزيع الموحد :آلية النقاط المرجعية في NSGA-III تضمن توزيع موحد للحلول هذا مفيد بشكل خاص عندما لا توجد أمثل محلية أكثر فعالية من مسافة الازدحام في NSGA-II معامل التحسين :مقارنة بحد O(n ln(n)) الأعلى من Opris et al. (2024) معامل التحسين: min{S_m/μ, μ/(S_m ln(n))} بالنسبة لـ μ المناسب، التحسين كبير الأعمال الرائدة :Zheng, Liu & Doerr (2022): أول تحليل لوقت تشغيل NSGA-II أثار موجة من الأبحاث اللاحقة المشاكل ثنائية الأهداف :Doerr & Qu (2022, 2023a,b): متعددة الأنماط، عوامل التقاطع Dang et al. (2023, 2024, 2025a,b): المتانة، مزايا التقاطع Zheng & Doerr (2022): تحسينات مسافة الازدحام التحسين التوافقي :Cerf et al. (2023): الشجرة الممتدة الدنيا Deng et al. (2024): اختيار المجموعة الفرعية NSGA-III :Wietheger & Doerr (2023): أول تحليل لوقت التشغيل Opris et al. (2024): حد O(n ln(n)) على m-OMM Opris (2025a): تحليل متعدد الأنماط على OJZJ خوارزميات أخرى :SMS-EMOA: Zheng & Doerr (2024b) SPEA2: تحليل ذي صلة PAES-25: Opris (2025b)، Θ(n³) إلى Θ(n(2n/m)^(m/2)ln(n/m)) GSEMO :Doerr, Krejca & Opris (2025): حدود ضيقة على COCZ و OMM أول حد أدنى : بخلاف Opris (2025a)، أول حد أدنى لـ NSGA-III على معيار كلاسيكيحدود ضيقة : تطابق الحد الأعلى والأدنى (m=2)ديناميكيات السكان : أول تحليل لتطور β أثناء الاستكشافالتفوق على NSGA-II : إثبات نظري لتفوق NSGA-IIIاختراق نظري :إنشاء حد وقت تشغيل ضيق Θ(n²ln(n)/μ) لـ NSGA-III على 2-OMM إثبات أن NSGA-III تتفوق على NSGA-II بمعامل μ/n فهم ديناميكيات السكان :أقصى رقم تغطية β يتناقص أثناء الاستكشاف تقليل β يؤثر مباشرة على سرعة الاستكشاف β = O(μ/n) النهائي هو أصغر قيمة ممكنة رؤى سلوك الخوارزمية :توزع NSGA-III الحلول بشكل موحد من خلال آلية النقاط المرجعية هذا فعال بشكل خاص على المشاكل بدون أمثل محلية اختيار حجم السكان μ حاسم تقييد نوع المشكلة :التحليل مركز على مشاكل OMM (بدون أمثل محلية) الديناميكيات مختلفة عن OJZJ (مع أمثل محلية) لم يتم دراسة المناظر الطبيعية للياقة البدنية الأكثر تعقيداً قيود حجم السكان :الحدود الضيقة تنطبق فقط ضمن نطاق μ محدد n+1 ≤ μ = O(ln(n)^c(n+1))، c < 1 قد لا تكون الحدود ضيقة لـ μ كبير جداً أو صغير جداً عدد الأهداف :حدود ضيقة لـ m=2 لا يزال هناك مجال للتحسين عندما m>2 (فجوة بين الحد الأعلى والأدنى) التطبيق العملي :التحليل يعتمد على دوال شبه بوليان المناظر الطبيعية للياقة البدنية للمشاكل الفعلية أكثر تعقيداً قد تكون العوامل الثابتة مهمة في الممارسة العملية التوسع إلى أهداف أكثر :إنشاء حدود ضيقة عندما m>2 تحليل تعقيد جبهة Pareto عالية الأبعاد مناظر طبيعية للياقة البدنية المعقدة :مشاكل تتطلب الوصول إلى جبهة Pareto مشاكل متعددة الأنماط والخادعة مشاكل الجدولة والرسوم البيانية الفعلية التحسينات العملية :تطوير نسخ محسّنة بناءً على الرؤى النظرية استراتيجيات حجم السكان التكيفية اختيار نقطة مرجعية محسّن خوارزميات أخرى :تطبيق تحليل ديناميكيات السكان على MOEAs أخرى مقارنة الأداء النظرية لآليات الاختيار المختلفة 1. الصرامة النظرية
جميع النتائج لها إثباتات رياضية كاملة استخدام تقنيات تحليل احتمالي متقدمة إنشاء حدود عليا وسفلى، وتطابقها عند m=2 2. ابتكار الطريقة
أول تتبع ديناميكي لرقم التغطية β أثناء الاستكشاف إطار عمل تحليل تقليل β بشكل متكرر مبتكر دمج عضوي لثلاث مراحل: التغطية والتوزيع والاستكشاف 3. أهمية النتائج
أول حد أدنى لـ NSGA-III على معيار كلاسيكي (بخلاف واحد) إثبات تفوق NSGA-III على NSGA-II (الأخيرة لها 60000 استشهاد) حدود ضيقة توفر صورة كاملة لفهم الخوارزمية 4. العمق التقني
تحليل احتمالي دقيق (توزيعات هندسية، حدود ذيل، حدود مشتركة) إطار عمل تحليل متعدد المراحل التكراري النظر في نطاقات معاملات متعددة 5. الوضوح في الكتابة
هيكل جيد، منطق واضح الليمات تبني النظرية النهائية بشكل تدريجي التفاصيل التقنية كافية لكن ليست مفرطة 1. نطاق التطبيق محدود
تحليل فقط لمشاكل معيار OMM نقص التحليل للمشاكل الفعلية العوامل الثابتة لم تُحسّن (قد تكون مهمة في الممارسة) 2. غياب التحقق التجريبي
ورقة نظرية بحتة، بدون تحقق تجريبي لا يمكن التحقق من تأثير العوامل الثابتة الفعلي لا مقارنة مع الدراسات التجريبية 3. قيود نطاق المعاملات
نطاق حجم السكان μ محدود لم يتم تغطية حالات مثل μ = Θ(n²) القيد c < 1 قوي نسبياً 4. قيود عدد الأهداف
حدود ضيقة لـ m=2 فقط لا تزال هناك فجوة بين الحد الأعلى والأدنى عند m>2 لم يتم حل التعقيد الكامل للحالات عالية الأبعاد 5. عدم النظر في متغيرات الخوارزمية
تحليل فقط لـ NSGA-III القياسية لم يتم النظر في المتغيرات التكيفية لم تتم مقارنة استراتيجيات الاختيار الأخرى 1. المساهمة النظرية
ملء فجوة مهمة في تحليل وقت تشغيل NSGA-III توفير طريقة جديدة لأبحاث ديناميكيات السكان قد تثير موجة من أبحاث تحليل وقت التشغيل 2. التوجيه العملي
الكشف عن أهمية اختيار حجم السكان شرح مصادر تفوق NSGA-III قد يوجه ضبط معاملات الخوارزمية 3. القيمة الأكاديمية
مناسبة للنشر في مؤتمرات/مجلات أعلى (مثل AAAI) قيمة استشهاد عالية (ربط النظرية بالممارسة) قد تصبح عمل مرجعي في المجال 4. القيود
قد يكون التأثير العملي محدوداً على المدى القصير (نظرية بحتة) يتطلب مزيد من العمل لتحويل الرؤى إلى تحسينات عملية الأهمية الفعلية للعوامل الثابتة غير معروفة 1. البحث النظري
مرجع منهجي لتحليل وقت التشغيل أساس أبحاث ديناميكيات السكان نقطة انطلاق لتحليل MOEAs الأخرى 2. تصميم الخوارزميات
توجيه تصميم MOEAs جديدة (مع الأخذ في الاعتبار التوزيع الموحد) توجيه نظري لحجم السكان تحسينات آلية النقاط المرجعية 3. الاختبار المعياري
OMM كمعيار تحليل نظري التحقق من الأداء النظرية للخوارزميات الجديدة مقارنة آليات الاختيار المختلفة 4. الأغراض التعليمية
مادة تعليمية لدورات الخوارزميات التطورية أمثلة على تقنيات التحليل الاحتمالي حالة دراسية لدمج النظرية والممارسة السيناريوهات غير المناسبة :
التطبيق المباشر على مشاكل هندسية فعلية (يتطلب مزيد من العمل) السيناريوهات التي تتطلب نماذج أولية سريعة (تحليل نظري يستغرق وقتاً) المشاكل غير من نوع OMM (تتطلب تحليل جديد) تستشهد الورقة بعدد كبير من الأعمال ذات الصلة، والمراجع الرئيسية تشمل:
الأوراق الأصلية لـ NSGA-III :Deb & Jain (2014): اقتراح NSGA-III تحليل NSGA-II :Zheng, Liu & Doerr (2022): أول تحليل لوقت التشغيل Doerr & Qu (2023a): أول حد أدنى تحليل NSGA-III :Wietheger & Doerr (2023): أول تحليل Opris et al. (2024): حد أعلى على m-OMM Opris (2025a): تحليل متعدد الأنماط على OJZJ أدوات احتمالية :Witt (2014): نظرية حدود الذيل Badkobeh et al. (2015): البحث المتوازي مشاكل معيارية :Zheng & Doerr (2024a): تعريف OMM وعدم كفاءة NSGA-II التقييم الإجمالي : هذه ورقة عالية الجودة في المجال النظري، حققت اختراقات مهمة في تحليل وقت تشغيل NSGA-III. من خلال إنشاء حدود ضيقة والكشف عن ديناميكيات السكان، توفر أساساً نظرياً متيناً لفهم هذه الخوارزمية المستخدمة على نطاق واسع في الممارسة العملية. على الرغم من أن نطاق التطبيق محدود، فإن منهجيتها ورؤاها لها قيمة مهمة للمجال. الورقة مناسبة للنشر في مؤتمرات أعلى وقد تصبح مرجعاً مهماً للأبحاث المستقبلية.