2025-11-12T03:25:10.381590

Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations

CrÄciun, Ghoshdastidar

The theory of training deep networks has become a central question of modern machine learning and has inspired many practical advancements. In particular, the gradient descent (GD) optimization algorithm has been extensively studied in recent years. A key assumption about GD has appeared in several recent works: the \emph{GD map is non-singular} -- it preserves sets of measure zero under preimages. Crucially, this assumption has been used to prove that GD avoids saddle points and maxima, and to establish the existence of a computable quantity that determines the convergence to global minima (both for GD and stochastic GD). However, the current literature either assumes the non-singularity of the GD map or imposes restrictive assumptions, such as Lipschitz smoothness of the loss (for example, Lipschitzness does not hold for deep ReLU networks with the cross-entropy loss) and restricts the analysis to GD with small step-sizes. In this paper, we investigate the neural network map as a function on the space of weights and biases. We also prove, for the first time, the non-singularity of the gradient descent (GD) map on the loss landscape of realistic neural network architectures (with fully connected, convolutional, or softmax attention layers) and piecewise analytic activations (which includes sigmoid, ReLU, leaky ReLU, etc.) for almost all step-sizes. Our work significantly extends the existing results on the convergence of GD and SGD by guaranteeing that they apply to practical neural network settings and has the potential to unlock further exploration of learning dynamics.

academic

পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশনসহ নিউরাল নেটওয়ার্কের জন্য গ্র্যাডিয়েন্ট ডিসেন্ট ম্যাপের অ-বিশেষত্ব

মৌলিক তথ্য

পেপার আইডি: 2510.24466
শিরোনাম: পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশনসহ নিউরাল নেটওয়ার্কের জন্য গ্র্যাডিয়েন্ট ডিসেন্ট ম্যাপের অ-বিশেষত্ব
লেখক: আলেক্সান্ড্রু ক্র্যাসিউন (টেকনিক্যাল ইউনিভার্সিটি অফ মিউনিখ), ডেবার্ঘ্য ঘোষদাস্তিদার (টেকনিক্যাল ইউনিভার্সিটি অফ মিউনিখ, মিউনিখ ডেটা সায়েন্স ইনস্টিটিউট, মিউনিখ সেন্টার ফর মেশিন লার্নিং)
শ্রেণীবিভাগ: math.OC (অপ্টিমাইজেশন এবং নিয়ন্ত্রণ), cs.LG (মেশিন লার্নিং)
প্রকাশনা সম্মেলন: NeurIPS 2025 (39তম নিউরাল ইনফরমেশন প্রসেসিং সিস্টেম সম্মেলন)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.24466v1

সারসংক্ষেপ

এই পেপারটি প্রথমবারের মতো প্রমাণ করে যে পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশন ফাংশন (যেমন ReLU, সিগময়েড, লিকি ReLU ইত্যাদি) ব্যবহারকারী বাস্তব নিউরাল নেটওয়ার্ক আর্কিটেকচার (সম্পূর্ণ সংযুক্ত স্তর, কনভোলিউশনাল স্তর বা সফটম্যাক্স মনোযোগ স্তর সহ) এর জন্য, গ্র্যাডিয়েন্ট ডিসেন্ট (GD) ম্যাপ প্রায় সমস্ত স্টেপ সাইজে অ-বিশেষ। অ-বিশেষত্ব মানে GD ম্যাপ শূন্য পরিমাপের সেট মূল ছবিতে শূন্য পরিমাপ সংরক্ষণ করে। এই ফলাফল পূর্ববর্তী তাত্ত্বিক কাজে মূল অনুমানগুলি যাচাই করে, GD স্যাডল পয়েন্ট এবং সর্বোচ্চ এড়ানোর তাত্ত্বিক ফলাফল নিশ্চিত করে এবং ন্যূনতম স্থিতিশীলতা সম্পর্কে বিশ্লেষণ বাস্তব গভীর শেখার পরিস্থিতিতে প্রয়োগ করা যায়। এই কাজটি GD এবং SGD সংগ্রহের বিষয়ে বিদ্যমান ফলাফলগুলিকে উল্লেখযোগ্যভাবে প্রসারিত করে এবং নিউরাল নেটওয়ার্ক অপ্টিমাইজেশন গতিশীলতা বোঝার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

গবেষণা পটভূমি এবং প্রেরণা

1. সমাধান করার মূল সমস্যা

গভীর নিউরাল নেটওয়ার্ক প্রশিক্ষণ উচ্চ-মাত্রিক প্যারামিটার স্থানে অত্যন্ত অ-উত্তল ক্ষতি ফাংশন অপ্টিমাইজ করা জড়িত। একটি মূল তাত্ত্বিক প্রশ্ন হল: গ্র্যাডিয়েন্ট ডিসেন্ট (GD) ম্যাপ $G_\eta(\theta) = \theta - \eta\nabla L(\theta)$ কি অ-বিশেষ?

অ-বিশেষত্বের সংজ্ঞা: যদি ম্যাপিং $G$ এর যেকোনো শূন্য পরিমাপের সেটের প্রি-ইমেজও শূন্য পরিমাপের সেট হয়, তাহলে $G$ কে অ-বিশেষ বলা হয়। এই বৈশিষ্ট্য নিশ্চিত করে যে প্যাথোলজিক্যাল আচরণ (যেমন অপ্রত্যাশিত পয়েন্টে সংগ্রহ) শুধুমাত্র উপেক্ষণীয় সেটে ঘটে।

2. সমস্যার গুরুত্ব

অ-বিশেষত্ব অনুমান একাধিক গুরুত্বপূর্ণ তাত্ত্বিক ফলাফলের ভিত্তি:

স্যাডল পয়েন্ট এবং সর্বোচ্চ এড়ানো: লি এট আল। (2019) প্রমাণ করেছেন যে যদি GD ম্যাপ অ-বিশেষ হয়, তাহলে প্রায় সমস্ত আরম্ভিকরণের জন্য, GD স্যাডল পয়েন্ট বা সর্বোচ্চে সংগ্রহ এড়ায়
ন্যূনতম স্থিতিশীলতা: চেমনিটজ এবং এনগেল (2024) এবং অন্যান্য গবেষণা দেখায় যে অ-বিশেষত্ব নিশ্চিত করে যে একটি গণনাযোগ্য পরিমাণ সংজ্ঞায়িত করা যায় যা নির্ধারণ করে GD/SGD নিকটবর্তী আরম্ভিকরণ থেকে প্রদত্ত ন্যূনতমে সংগ্রহ করবে কিনা
সাধারণীকরণ ক্ষমতা: স্থিতিশীল ন্যূনতম উন্নত সাধারণীকরণ ক্ষমতার সাথে সম্পর্কিত

3. বিদ্যমান পদ্ধতির সীমাবদ্ধতা

যদিও অ-বিশেষত্ব তাত্ত্বিক বিশ্লেষণে গুরুত্বপূর্ণ, বিদ্যমান সাহিত্য নিম্নলিখিত সমস্যা উপস্থাপন করে:

সরাসরি অনুমান: অনেক কাজ (লি এট আল., 2019; চেমনিটজ এবং এনগেল, 2024) সরাসরি GD ম্যাপ অ-বিশেষত্ব অনুমান করে, কঠোর প্রমাণের অভাব
সীমাবদ্ধ শর্ত: কিছু গবেষণা ক্ষতি ফাংশন লিপশিটজ মসৃণতার প্রয়োজন, কিন্তু এটি ব্যবহারে প্রায়ই ধরে না (যেমন ক্রস-এন্ট্রপি ক্ষতি সহ গভীর ReLU নেটওয়ার্ক)
ছোট স্টেপ সাইজ সীমাবদ্ধতা: বিশ্লেষণ সাধারণত ছোট স্টেপ সাইজের ক্ষেত্রে সীমাবদ্ধ
অ্যাক্টিভেশন ফাংশন সীমাবদ্ধতা: ReLU এর মতো কঠোর পিসওয়াইজ অ্যানালিটিক ফাংশনের জন্য, মান বিশ্লেষণ সরঞ্জাম ব্যর্থ হয়

4. গবেষণা প্রেরণা

এই পেপারের মূল প্রেরণা বাস্তব নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য কঠোর তাত্ত্বিক ভিত্তি প্রদান করা। লেখকরা স্বীকার করেন যে:

অ্যানালিটিক অ্যাক্টিভেশন ফাংশনের জন্য, মান বিশ্লেষণ সরঞ্জাম অ-বিশেষত্ব প্রমাণ করতে পারে
কিন্তু ReLU এর মতো পিসওয়াইজ অ্যানালিটিক ফাংশনের জন্য, সম্পূর্ণ নতুন পদ্ধতির প্রয়োজন
নিউরাল নেটওয়ার্কের স্তরযুক্ত কাঠামো মূল অন্তর্দৃষ্টি প্রদান করে

মূল অবদান

এই পেপারের প্রধান অবদানগুলি অন্তর্ভুক্ত করে:

প্রধান তাত্ত্বিক ফলাফল (উপপাদ্য 1): প্রথমবারের মতো প্রমাণ করে যে পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশন ফাংশন ব্যবহারকারী নিউরাল নেটওয়ার্কের জন্য (সম্পূর্ণ সংযুক্ত, কনভোলিউশনাল, মনোযোগ স্তর সহ), প্রায় সমস্ত স্টেপ সাইজ $\eta$ এ, (র্যান্ডম) গ্র্যাডিয়েন্ট ডিসেন্ট ম্যাপ অ-বিশেষ
প্রযুক্তিগত উদ্ভাবন:
- পিসওয়াইজ অ্যানালিটিক ফাংশনের জন্য চেইন নিয়মের অ্যানালগ প্রস্তাব করে (প্রস্তাব 6), নিউরাল নেটওয়ার্কের স্তরযুক্ত কাঠামো ব্যবহার করে
- প্রমাণ করে যে নিউরাল নেটওয়ার্ক ক্ষতি ফাংশন প্রায় সর্বত্র অ্যানালিটিক (অনুসিদ্ধান্ত 9)
- স্থানীয় বিপরীতযোগ্যতা থেকে বৈশ্বিক অ-বিশেষত্বে সেতু প্রতিষ্ঠা করে
তাত্ত্বিক সম্প্রসারণ:
- লি এট আল। (2019) এবং চেমনিটজ এবং এনগেল (2024) এর মতো কাজের মূল অনুমান যাচাই করে
- এই তাত্ত্বিক ফলাফলগুলি বাস্তব গভীর শেখার পরিস্থিতিতে প্রয়োগযোগ্য করে তোলে
- SGD এবং অভিযোজিত শেখার হার পরিস্থিতিতে প্রসারিত করে
ব্যবহারিক প্রয়োগ:
- পর্যায়ক্রমিক ট্র্যাজেক্টরি স্থিতিশীলতা বিশ্লেষণের জন্য একটি কাঠামো প্রদান করে
- দেখায় যে GD এবং SGD বিভিন্ন স্থিতিশীল ন্যূনতম সেট থাকতে পারে

পদ্ধতি বিবরণ

কাজের সংজ্ঞা

তত্ত্বাবধানে শেখার সেটিং:

প্যারামিটারাইজড মডেল: $F: \mathbb{R}^{n_\theta} \times \mathbb{R}^{n_0} \to \mathbb{R}^{n_D}$
প্রশিক্ষণ ডেটা: $\{(x_i, y_i)\}_{i=1}^m \subset \mathbb{R}^{n_0} \times \mathbb{R}^{n_D}$
ক্ষতি ফাংশন: $l: \mathbb{R}^{n_D} \times \mathbb{R}^{n_D} \to \mathbb{R}$
অভিজ্ঞতামূলক ক্ষতি: $L(\theta) = \frac{1}{m}\sum_{i=1}^m l(y_i, F(\theta, x_i))$

উদ্দেশ্য: প্রমাণ করে যে GD ম্যাপ $G_\eta(\theta) = \theta - \eta\nabla L(\theta)$ প্রায় সমস্ত স্টেপ সাইজ $\eta > 0$ এ অ-বিশেষ।

মূল প্রযুক্তিগত কাঠামো

1. পিসওয়াইজ অ্যানালিটিক ফাংশনের সংজ্ঞা (সংজ্ঞা 2)

একক-পরিবর্তনশীল ক্ষেত্রে: ফাংশন $f: \mathbb{R} \to \mathbb{R}$ পিসওয়াইজ অ্যানালিটিক যদি কঠোরভাবে বর্ধনশীল ক্রম $\{x_i\}_{i\in\mathbb{Z}}$ বিদ্যমান থাকে যেমন $f$ প্রতিটি খোলা ব্যবধান $(x_i, x_{i+1})$ এ অ্যানালিটিক।

বহু-পরিবর্তনশীল ক্ষেত্রে: ফাংশন $f: \mathbb{R}^m \to \mathbb{R}^n$ প্রায় সর্বত্র অ্যানালিটিক যদি খোলা সেট $U \subset \mathbb{R}^m$ বিদ্যমান থাকে যেমন $f|_U$ অ্যানালিটিক এবং $U$ এর পরিপূরক শূন্য পরিমাপ।

স্বরলিপি:

$D(f)$ : $f$ অ্যানালিটিক সর্বোচ্চ খোলা সেট
$S(f) = \mathbb{R}^m \setminus D(f)$ : $f$ অ-অ্যানালিটিক পয়েন্টের সেট

উদাহরণ:

সিগময়েড ফাংশন: $D(f) = \mathbb{R}$
ReLU ফাংশন: $S(f) = \{0\}$

2. নিউরাল নেটওয়ার্কের চেইন নিয়মের অ্যানালগ (প্রস্তাব 6)

এটি এই পেপারের মূল প্রযুক্তিগত উদ্ভাবন। মান চেইন নিয়ম প্রায় সর্বত্র অ্যানালিটিক ফাংশনে প্রয়োগ করা যায় না (মন্তব্য 5 এর পাল্টা-উদাহরণ দেখুন)।

উপপাদ্য বিবৃতি: $D > 0$ সেট করুন, $\{\sigma_i: \mathbb{R}^{n_i} \to \mathbb{R}^{n_i}\}_{i=1}^D$ প্রায় সর্বত্র অ্যানালিটিক ম্যাপিংয়ের সংগ্রহ, $\alpha \in \mathbb{R}^{n_0}$ একটি ভেক্টর। পুনরাবৃত্তিমূলক ম্যাপিং সংজ্ঞায়িত করুন:

$f_D: \mathbb{R}^{n_1 \times n_0} \times \cdots \times \mathbb{R}^{n_D \times n_{D-1}} \to \mathbb{R}^{n_D}$ $(W_1, \ldots, W_D) \mapsto \sigma_D(W_D f_{D-1}(W_1, \ldots, W_{D-1}))$

যেখানে $f_1(W_1) = \sigma_1(W_1\alpha)$ । তাহলে $f_D$ প্রায় সর্বত্র অ্যানালিটিক এবং $\partial Z(f_D)$ শূন্য পরিমাপ।

প্রমাণ কৌশল (আরোহণ পদ্ধতি):

ভিত্তি ক্ষেত্রে ( $D=1$ ):

যদি $\alpha = 0$ , $f_1$ ধ্রুবক, স্পষ্টতই অ্যানালিটিক
যদি $\alpha \neq 0$ , মূল পর্যবেক্ষণ: গুণন ম্যাপিং $M_1: W_1 \mapsto W_1\alpha$ অ-বিশেষ (কারণ এটি একটি সাবমার্সন)
অতএব $S(f_1) = \{W_1\alpha \in S(\sigma_1)\}$ শূন্য পরিমাপ

আরোহণ পদক্ষেপ: অনুমান করুন $f_{D-1}$ প্রায় সর্বত্র অ্যানালিটিক। সংজ্ঞায়িত ডোমেইনকে তিনটি অসংযুক্ত অংশে বিভক্ত করুন:

"খারাপ" পয়েন্ট: $B(f_{D-1}) = \partial Z(f_{D-1}) \cup S(f_{D-1})$ (শূন্য পরিমাপ)
"ভাল" শূন্য পয়েন্ট: $\text{int}(Z(f_{D-1}))$
"ভাল" অ-শূন্য পয়েন্ট: $N(f_{D-1}) = \text{dom}(f_{D-1}) \setminus (B(f_{D-1}) \cup \text{int}(Z(f_{D-1})))$

ক্ষেত্রে 2 এবং 3 এর জন্য, চেইন নিয়ম প্রয়োগ করা যায়:

$N(f_{D-1})$ এ, $f_{D-1}(x_{D-1}) \neq 0$ , $W_D$ নির্বাচন করা যায় যাতে গুণন ম্যাপিং সাবমার্সন হয়
$\text{int}(Z(f_{D-1}))$ এ, $f_D$ ধ্রুবক

মূল প্রযুক্তিগত পয়েন্ট: "খারাপ" পয়েন্ট সেট প্রমাণ করা $\Delta = \{(x_{D-1}, W_D) \in N(f_{D-1}) \times \mathbb{R}^{n_D \times n_{D-1}} | W_D f_{D-1}(x_{D-1}) \in S(\sigma_D)\}$ শূন্য পরিমাপ। ফুবিনি উপপাদ্য ব্যবহার করে সম্পন্ন করুন।

3. ক্ষতি ফাংশনের বিশ্লেষণাত্মকতা (অনুসিদ্ধান্ত 9)

সিদ্ধান্ত: পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশন ফাংশন ব্যবহারকারী যেকোনো নিউরাল নেটওয়ার্কের জন্য, প্রদত্ত ডেটাসেট এবং অ্যানালিটিক ক্ষতি ফাংশন সহ, অভিজ্ঞতামূলক ক্ষতি $L(\theta)$ প্রায় সর্বত্র অ্যানালিটিক।

প্রমাণ:

প্রস্তাব 7 দ্বারা, প্রতিটি ইনপুট $x_i$ এর জন্য, ম্যাপিং $\theta \mapsto f_\theta(x_i)$ প্রায় সর্বত্র অ্যানালিটিক
লেম্মা 8 দ্বারা, অ্যানালিটিক ফাংশন এবং প্রায় সর্বত্র অ্যানালিটিক ফাংশনের সংমিশ্রণ এখনও প্রায় সর্বত্র অ্যানালিটিক
অতএব $l \circ (\theta \mapsto (y_i, f_\theta(x_i)))$ প্রায় সর্বত্র অ্যানালিটিক
প্রায় সর্বত্র অ্যানালিটিক ফাংশনের যোগফল এখনও প্রায় সর্বত্র অ্যানালিটিক

4. GD ম্যাপের অ-বিশেষত্ব (প্রস্তাব 11 এবং অনুসিদ্ধান্ত 12)

অ্যানালিটিক ক্ষতির ক্ষেত্রে (প্রস্তাব 11):

GD ম্যাপের জ্যাকোবিয়ান নির্ধারক: $\det(DG_\eta) = \det(I - \eta H_L)$

যেখানে $H_L$ হেসিয়ান ম্যাট্রিক্স। মূল পর্যবেক্ষণ:

যদি সমস্ত আইগেনভ্যালু $\lambda_i$ ধ্রুবক হয়, তাহলে $\eta \notin \{1/\lambda_1, \ldots, 1/\lambda_{n_\theta}\}$ এর জন্য, নির্ধারক অ-শূন্য
যদি কমপক্ষে একটি আইগেনভ্যালু অ-ধ্রুবক হয়, অ্যানালিটিক পথ $\gamma$ নির্মাণ করা যায় যেমন $\lambda_i \circ \gamma$ অ্যানালিটিক ফাংশন
অ-ধ্রুবক অ্যানালিটিক ফাংশনের জন্য, শূন্য পয়েন্ট সেট শূন্য পরিমাপ
লেম্মা 10 প্রয়োগ করুন (সাবমার্সন অ-বিশেষত্ব) প্রমাণ সম্পন্ন করতে

প্রায় সর্বত্র অ্যানালিটিক ক্ষতির ক্ষেত্রে (অনুসিদ্ধান্ত 12):

প্রায় সর্বত্র অ্যানালিটিক $L$ এর জন্য, $D(L)$ এ $G_\eta$ অ-বিশেষ। যেকোনো শূন্য পরিমাপ সেট $B$ এর জন্য: $G_\eta^{-1}(B) = G_\eta|_{D(L)}^{-1}(B) \cup G_\eta|_{S(L)}^{-1}(B)$

উভয় পদ শূন্য পরিমাপ ( $D(L)$ এ প্রথম পদ অ-বিশেষত্ব দ্বারা, দ্বিতীয় পদ কারণ $S(L)$ শূন্য পরিমাপ)।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

স্তরযুক্ত কাঠামো ব্যবহার: নিউরাল নেটওয়ার্ককে সাধারণ প্রায় সর্বত্র অ্যানালিটিক ফাংশন হিসাবে দেখার পরিবর্তে, এর স্তরযুক্ত কাঠামো আরোহণ প্রমাণের জন্য ব্যবহার করুন
সূক্ষ্ম সেট বিয়োজন: প্যারামিটার স্থানকে "ভাল" এবং "খারাপ" পয়েন্টে বিয়োজন করুন, আলাদাভাবে পরিচালনা করুন
পরিমাপ তত্ত্ব সরঞ্জাম: ফুবিনি উপপাদ্য, সাবমার্সন তত্ত্ব, অ্যানালিটিক ফাংশন শূন্য পয়েন্ট সেট বৈশিষ্ট্য চতুরভাবে ব্যবহার করুন
আর্কিটেকচার সার্বজনীনতা: প্রমাণ কৌশল কনভোলিউশনাল স্তর (প্রস্তাব 16) এবং মনোযোগ স্তর (প্রস্তাব 17) এ প্রসারিত করা যায়

পরীক্ষামূলক সেটআপ

পরীক্ষার উদ্দেশ্য

এই পেপারটি প্রধানত তাত্ত্বিক কাজ, পরীক্ষা ব্যবহৃত হয়:

তাত্ত্বিক পূর্বাভাস যাচাই করতে (পর্যায়ক্রমিক ট্র্যাজেক্টরির অস্তিত্ব এবং স্থিতিশীলতা)
GD এবং SGD স্থিতিশীল ন্যূনতমের পার্থক্য প্রদর্শন করতে

পরীক্ষামূলক সেটআপ

মডেল: দুই-স্তরের ReLU নেটওয়ার্ক $f_\theta(x) = \text{ReLU}(\theta_2 \text{ReLU}(\theta_1 x))$

ডেটা: দুটি ডেটা পয়েন্ট $(0.9, 0.9)$ এবং $(2.5, 2.5)$ , রৈখিক ফাংশন নির্ধারণ করে

ক্ষতি ফাংশন: $L(\theta_1, \theta_2) = 3.53(1 - \text{ReLU}(\theta_2 \text{ReLU}(\theta_1)))^2$

বৈশ্বিক ন্যূনতম: $\{(\theta_1, \theta_2) | \theta_1\theta_2 = 1, \theta_1, \theta_2 > 0\}$ (প্রথম চতুর্ভুজে হাইপারবোলা)

স্থিতিশীলতা মানদণ্ড: চেমনিটজ এবং এনগেল (2024) অনুযায়ী, গণনা করা যায়:

$\mu(\theta) = \log(|1 - \eta(p \cdot 0.9^2 + (1-p) \cdot 2.5^2)(\theta_1^2 + \theta_2^2)|)$

$\lambda(\theta) = p\log(|1 - \eta \cdot 0.9^2(\theta_1^2 + \theta_2^2)|) + (1-p)\log(|1 - \eta \cdot 2.5^2(\theta_1^2 + \theta_2^2)|)$

যেখানে $p$ SGD প্রথম ডেটা পয়েন্ট নির্বাচনের সম্ভাবনা।

GD স্থিতিশীলতা শর্ত: $\mu(\theta) < 0$
SGD স্থিতিশীলতা শর্ত: $\lambda(\theta) < 0$

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

1. পর্যায়ক্রমিক ট্র্যাজেক্টরি বিশ্লেষণ (চিত্র 3)

বিভাজন চিত্র (বাম চিত্র):

কর্ণরেখায় পর্যায়ক্রমিক ট্র্যাজেক্টরি অধ্যয়ন করুন ( $\theta_1 = \theta_2$ )
স্টেপ সাইজ $\eta$ $η$ 0.26 থেকে 0.36 বৃদ্ধির সাথে:
- 1-পর্যায়ক্রমিক ট্র্যাজেক্টরি (স্থির পয়েন্ট) অস্থিতিশীল হয়ে ওঠে
- স্থিতিশীল 2-পর্যায়ক্রমিক ট্র্যাজেক্টরি আবির্ভূত হয়
- আরও 4-পর্যায়ক্রমিক, 8-পর্যায়ক্রমিক ট্র্যাজেক্টরি আবির্ভূত হয়
ক্লাসিক দ্বিগুণ-পর্যায়ক্রমিক বিভাজন ঘটনা প্রদর্শন করে

সংগ্রহ বনাম দোলন তুলনা (ডান চিত্র):

একই আরম্ভিকরণ $(1.48, 1/1.48 + 0.1)$
$\eta = 0.25$ : বৈশ্বিক ন্যূনতমে সংগ্রহ (বেগুনি ট্র্যাজেক্টরি)
$\eta = 0.325$ : 2-পর্যায়ক্রমিক ট্র্যাজেক্টরিতে সংগ্রহ (বাদামী ট্র্যাজেক্টরি)
তাত্ত্বিক পূর্বাভাস যাচাই করে: বড় স্টেপ সাইজ পর্যায়ক্রমিক আচরণ হতে পারে

তাত্ত্বিক তাৎপর্য:

অ-বিশেষত্ব কাঠামো পর্যায়ক্রমিক ট্র্যাজেক্টরি বিশ্লেষণ করতে পারে যাচাই করে
ব্যবহারে পর্যবেক্ষিত হেসিয়ান আইগেনভ্যালু দোলন ঘটনা ব্যাখ্যা করে (কোহেন এট আল., 2021, 2023)

2. GD বনাম SGD স্থিতিশীল ন্যূনতম পার্থক্য (চিত্র 4)

ক্ষেত্রে 1 (বাম চিত্র): $\eta = 0.15$ , $p = 0.5$

SGD স্থিতিশীল ন্যূনতম (লাল) GD স্থিতিশীল ন্যূনতমের (সবুজ) প্রকৃত উপসেট
SGD ন্যূনতম নির্বাচনে আরও "বিচক্ষণ" তা নির্দেশ করে

ক্ষেত্রে 2 (ডান চিত্র): $\eta = 0.3$ , $p = 0.58$

GD এবং SGD স্থিতিশীল ন্যূনতম সেট সম্পূর্ণ অ-ওভারল্যাপিং
শুধুমাত্র স্টেপ সাইজ এবং ডেটা নমুনা সম্ভাবনা পরিবর্তন করে অর্জিত

তাত্ত্বিক যাচাইকরণ:

উ এট আল। (2018) এর অভিজ্ঞতামূলক পর্যবেক্ষণ পরিমাণগতভাবে যাচাই করে: GD এবং SGD বিভিন্ন ন্যূনতমে সংগ্রহ করতে পারে
অনুসিদ্ধান্ত 13 এর ব্যবহারিক প্রয়োগ প্রদর্শন করে: গণনাযোগ্য পরিমাণ $\mu$ এবং $\lambda$ দ্বারা স্থিতিশীলতা নির্ধারণ করা যায়

পরীক্ষামূলক আবিষ্কার

স্টেপ সাইজের গুরুত্বপূর্ণ ভূমিকা:
- স্টেপ সাইজ শুধুমাত্র সংগ্রহ গতি প্রভাবিত করে না, বরং মৌলিকভাবে অপ্টিমাইজেশন গতিশীলতা পরিবর্তন করে
- বড় স্টেপ সাইজ পর্যায়ক্রমিক ট্র্যাজেক্টরি সংগ্রহের পরিবর্তে হতে পারে
GD এবং SGD এর মৌলিক পার্থক্য:
- শুধুমাত্র শব্দের প্রভাব নয়, বরং বিভিন্ন স্থিতিশীল ন্যূনতম সেট নির্বাচন করা
- সম্পর্ক জটিল, সাধারণ নিয়ম প্রতিষ্ঠা করা কঠিন
তত্ত্ব এবং অনুশীলনের সেতু:
- তাত্ত্বিক পূর্বাভাস (মাধ্যমে $\mu$ এবং $\lambda$ ) সংখ্যাগত পরীক্ষার সাথে নিখুঁতভাবে সামঞ্জস্যপূর্ণ
- অ-বিশেষত্ব কাঠামোর ব্যবহারিক মূল্য যাচাই করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

মূল উপপাদ্য: পিসওয়াইজ অ্যানালিটিক অ্যাক্টিভেশন ফাংশন ব্যবহারকারী নিউরাল নেটওয়ার্কের জন্য (সম্পূর্ণ সংযুক্ত, কনভোলিউশনাল, মনোযোগ স্তর সহ), প্রায় সমস্ত স্টেপ সাইজে, GD এবং SGD ম্যাপ অ-বিশেষ
তাত্ত্বিক তাৎপর্য:
- লি এট আল। (2019) স্যাডল পয়েন্ট এড়ানো সম্পর্কে তাত্ত্বিক অনুমান যাচাই করে
- চেমনিটজ এবং এনগেল (2024) ন্যূনতম স্থিতিশীলতা সম্পর্কে তাত্ত্বিক অনুমান যাচাই করে
- বাস্তব গভীর শেখার জন্য কঠোর তাত্ত্বিক ভিত্তি প্রদান করে
ব্যবহারিক নির্দেশনা:
- প্রায় সমস্ত আরম্ভিকরণ এবং স্টেপ সাইজের জন্য, অপ্টিমাইজেশন ট্র্যাজেক্টরি প্যাথোলজিক্যাল আচরণ এড়ায়
- গণনাযোগ্য পরিমাণ দ্বারা ন্যূনতম স্থিতিশীলতা নির্ধারণ করা যায়
- GD এবং SGD বিভিন্ন স্থিতিশীল ন্যূনতম নির্বাচন করতে পারে

সীমাবদ্ধতা

লেখকরা সৎভাবে নিম্নলিখিত সীমাবদ্ধতা নির্দেশ করেন:

আর্কিটেকচার সীমাবদ্ধতা:
- বর্তমান প্রমাণ পুনরাবৃত্তিমূলক নিউরাল নেটওয়ার্ক (RNN) অন্তর্ভুক্ত করে না
- RNN এর জন্য, বর্তমান প্রযুক্তি অপর্যাপ্ত, গভীর বিশ্লেষণের প্রয়োজন
- লেখক অনুমান করেন সিদ্ধান্ত এখনও সত্য, কিন্তু নতুন পদ্ধতির প্রয়োজন
স্টেপ সাইজ ব্যতিক্রম:
- অ-বিশেষত্ব নির্দিষ্ট স্টেপ সাইজ মানে ( $\eta = 1/\lambda_i$ , যেখানে $\lambda_i$ হেসিয়ান আইগেনভ্যালু) ব্যর্থ হতে পারে
- কিন্তু এই মানগুলি শূন্য পরিমাপ সেট গঠন করে, ব্যবহারে উপেক্ষণীয়
"জেনেরিক ডেটা" অনুমান:
- কনভোলিউশনাল স্তরের জন্য, ডেটা জেনেরিক অনুমান করা প্রয়োজন
- শব্দযুক্ত ডেটা এই শর্ত সন্তুষ্ট করে, কিন্তু প্যাথোলজিক্যাল ডেটা নাও করতে পারে
স্থিতিশীল ন্যূনতম সম্পর্ক:
- GD এবং SGD স্থিতিশীল ন্যূনতম সম্পর্ক জটিল, সাধারণ নিয়ম প্রতিষ্ঠা করা কঠিন
- প্রতিটি ক্ষেত্রে বিশ্লেষণের প্রয়োজন হতে পারে

ভবিষ্যত দিকনির্দেশনা

অন্যান্য আর্কিটেকচারে সম্প্রসারণ:
- গ্রাফ নিউরাল নেটওয়ার্ক (GNN)
- অবশিষ্ট নেটওয়ার্ক (ResNet): লেখক এটি সাধারণ প্রয়োগ হতে পারে মনে করেন
- পুনরাবৃত্তিমূলক নিউরাল নেটওয়ার্ক (RNN): নতুন প্রযুক্তির প্রয়োজন
অন্যান্য অপ্টিমাইজেশন অ্যালগরিদম:
- মিরর ডিসেন্ট
- প্রক্সিমাল পয়েন্ট পদ্ধতি
- লেখক নির্দেশ করেন প্রযুক্তি স্থানান্তরিত হতে পারে
সাধারণীকরণ তত্ত্ব:
- স্থিতিশীলতা এবং সাধারণীকরণের সম্পর্ক (হোচরাইটার এবং শ্মিডহুবার, 1997)
- এই পেপারের কাঠামো ব্যবহার করে আরও কঠোর সংযোগ প্রতিষ্ঠা করা যেতে পারে
ব্যবহারিক প্রয়োগ:
- আরও ভাল শেখার হার সময়সূচী ডিজাইন করুন
- পর্যায়ক্রমিক ট্র্যাজেক্টরি বুঝুন এবং এড়ান
- আরও ভাল স্থিতিশীল ন্যূনতমে অপ্টিমাইজেশন গাইড করুন

গভীর মূল্যায়ন

সুবিধা

1. তাত্ত্বিক কঠোরতা এবং উদ্ভাবনী (★★★★★)

গুরুত্বপূর্ণ তাত্ত্বিক শূন্যতা পূরণ করে: প্রথমবারের মতো বাস্তব নিউরাল নেটওয়ার্ক GD ম্যাপ অ-বিশেষত্ব কঠোরভাবে প্রমাণ করে, পূর্ববর্তী "অনুমান" কে "উপপাদ্য" তে রূপান্তরিত করে
প্রযুক্তিগত উদ্ভাবন: প্রস্তাব 6 এর চেইন নিয়মের অ্যানালগ প্রকৃত উদ্ভাবন, নিউরাল নেটওয়ার্কের স্তরযুক্ত কাঠামো চতুরভাবে ব্যবহার করে
গাণিতিক গভীরতা: বাস্তব বিশ্লেষণ, পরিমাপ তত্ত্ব, পার্থক্যমূলক জ্যামিতি সংমিশ্রণ করে, কঠোর প্রমাণ

2. বিস্তৃত প্রয়োগযোগ্যতা (★★★★★)

অ্যাক্টিভেশন ফাংশন: সমস্ত পিসওয়াইজ অ্যানালিটিক ফাংশন অন্তর্ভুক্ত করে (সিগময়েড, tanh, ReLU, লিকি ReLU, GELU ইত্যাদি)
আর্কিটেকচার: সম্পূর্ণ সংযুক্ত, কনভোলিউশনাল, মনোযোগ স্তর (ট্রান্সফর্মার অন্তর্ভুক্ত করে)
অ্যালগরিদম: GD, SGD, অভিযোজিত শেখার হার
ব্যবহারিক মূল্য অত্যন্ত উচ্চ: বর্তমান প্রধান গভীর শেখার অনুশীলনে সরাসরি প্রয়োগযোগ্য

3. তাত্ত্বিক সংযোগ (★★★★★)

বিচ্ছিন্ন ফলাফল নয়, বরং একাধিক গুরুত্বপূর্ণ তাত্ত্বিক কাজের ভিত্তি
অনুসিদ্ধান্ত 13 এর মাধ্যমে স্থিতিশীলতা তত্ত্বে সংযোগ করে
ভবিষ্যত গবেষণার জন্য দৃঢ় প্ল্যাটফর্ম প্রদান করে

4. লেখার স্পষ্টতা (★★★★☆)

কাঠামো স্পষ্ট, সহজ থেকে জটিল ক্রমান্বয়ে প্রসারিত
চিত্র (চিত্র 1, 2) মূল ধারণা সরাসরি প্রদর্শন করে
উপপাদ্য বিবৃতি নির্ভুল, প্রমাণ বিস্তারিত (সংযোজন)
হালকা অপূর্ণতা: প্রধান পাঠে কিছু প্রমাণ চিন্তা আরও স্বজ্ঞাত হতে পারে

5. পরীক্ষামূলক যাচাইকরণ (★★★★☆)

যদিও তাত্ত্বিক পেপার, অর্থপূর্ণ সংখ্যাগত যাচাইকরণ প্রদান করে
পর্যায়ক্রমিক ট্র্যাজেক্টরি বিশ্লেষণ তত্ত্বের পূর্বাভাস ক্ষমতা প্রদর্শন করে
GD বনাম SGD তুলনা ব্যবহারিক অন্তর্দৃষ্টি প্রদান করে

অপূর্ণতা

1. আর্কিটেকচার কভারেজ অসম্পূর্ণ (★★★☆☆)

RNN অনুপস্থিত: এটি বর্তমান প্রধান সীমাবদ্ধতা
লেখক সৎভাবে স্বীকার করেন, কিন্তু সম্পূর্ণতার জন্য দুর্ভাগ্যজনক
তবে, ট্রান্সফর্মার অনেক কাজে RNN প্রতিস্থাপন করেছে

2. পরীক্ষামূলক স্কেল সীমিত (★★★☆☆)

শুধুমাত্র সহজ 2-প্যারামিটার উদাহরণ
বাস্তব স্কেল নেটওয়ার্কে যাচাই করা হয়নি (যদিও তত্ত্ব প্রয়োগযোগ্যতা নিশ্চিত করে)
মাঝারি স্কেল পরীক্ষা যোগ করে বিশ্বাসযোগ্যতা বৃদ্ধি করা যেতে পারে

3. ব্যবহারিক নির্দেশনা সীমিত (★★★☆☆)

তত্ত্ব বলে "প্রায় সমস্ত স্টেপ সাইজ" ভাল, কিন্তু স্টেপ সাইজ নির্বাচন বলে না
স্থিতিশীলতা মানদণ্ড $\mu$ এবং $\lambda$ গণনা বড় স্কেল নেটওয়ার্কে সম্ভাব্যতা অজানা
তত্ত্ব থেকে অনুশীলনে দূরত্ব এখনও আছে

4. "জেনেরিক ডেটা" অনুমান (★★★★☆)

কনভোলিউশনাল স্তরের জন্য এই অনুমান প্রয়োজন
যদিও যুক্তিসঙ্গত (শব্দযুক্ত ডেটা সাধারণত সন্তুষ্ট করে), সম্পূর্ণ শর্তহীন নয়
কিছু বিশেষ প্রয়োগে মনোযোগ প্রয়োজন হতে পারে

প্রভাব মূল্যায়ন

ক্ষেত্রে অবদান (★★★★★)

ভিত্তিমূলক কাজ: অপ্টিমাইজেশন তত্ত্বের জন্য দৃঢ় ভিত্তি প্রদান করে
সক্ষমতা ভূমিকা: একাধিক গুরুত্বপূর্ণ তাত্ত্বিক ফলাফল ব্যবহারিক প্রয়োগের জন্য সক্ষম করে
দীর্ঘমেয়াদী মূল্য: ব্যাপকভাবে উদ্ধৃত হবে বলে প্রত্যাশিত

ব্যবহারিক মূল্য (★★★★☆)

সরাসরি প্রয়োগ সীমিত: প্রশিক্ষণ অনুশীলন পরিবর্তন করবে না
পরোক্ষ মূল্য উচ্চ: প্রশিক্ষণ গতিশীলতা বোঝার জন্য সরঞ্জাম প্রদান করে
ভবিষ্যত সম্ভাবনা: নতুন অপ্টিমাইজেশন অ্যালগরিদম ডিজাইন অনুপ্রাণিত করতে পারে

পুনরুৎপাদনযোগ্যতা (★★★★★)

তাত্ত্বিক প্রমাণ সম্পূর্ণ, যাচাইযোগ্য
পরীক্ষামূলক সেটআপ স্পষ্ট, কোড বাস্তবায়ন সহজ
গাণিতিক সরঞ্জাম মান, সম্প্রসারণ সহজ

প্রয়োগযোগ্য পরিস্থিতি

1. তাত্ত্বিক গবেষণা

অপ্টিমাইজেশন তত্ত্ব: GD/SGD সংগ্রহ গবেষণার ভিত্তি
সাধারণীকরণ তত্ত্ব: স্থিতিশীলতা এবং সাধারণীকরণ সংযোগ করুন
নিউরাল নেটওয়ার্ক তত্ত্ব: প্রশিক্ষণ গতিশীলতা বুঝুন

2. অ্যালগরিদম ডিজাইন

শেখার হার সময়সূচী: স্টেপ সাইজের গতিশীলতা প্রভাব বুঝুন
অপ্টিমাইজার উন্নয়ন: নতুন প্রথম-ক্রম পদ্ধতি ডিজাইন করুন
আর্কিটেকচার অনুসন্ধান: বিভিন্ন আর্কিটেকচারের অপ্টিমাইজেশন বৈশিষ্ট্য বুঝুন

3. ব্যবহারিক প্রয়োগ

প্রশিক্ষণ নির্ণয়: প্রশিক্ষণে অস্বাভাবিক আচরণ বুঝুন (যেমন দোলন)
হাইপারপ্যারামিটার নির্বাচন: প্যাথোলজিক্যাল আচরণ সৃষ্টিকারী স্টেপ সাইজ এড়ান
ন্যূনতম নির্বাচন: GD এবং SGD বিভিন্ন পছন্দ বুঝুন

4. শিক্ষামূলক মূল্য

উচ্চতর তাত্ত্বিক বিশ্লেষণের চমৎকার উদাহরণ
বিমূর্ত গাণিতিক সরঞ্জাম বাস্তব সমস্যায় প্রয়োগ কীভাবে করতে হয় তা প্রদর্শন করে
উন্নত মেশিন লার্নিং কোর্সের জন্য উপযুক্ত

সামগ্রিক মূল্যায়ন

এটি একটি উচ্চ-মানের তাত্ত্বিক পেপার যার নিম্নলিখিত বৈশিষ্ট্য রয়েছে:

গুরুত্ব: তাত্ত্বিক মেশিন লার্নিংয়ে একটি মৌলিক প্রশ্ন সমাধান করে
কঠোরতা: গাণিতিক প্রমাণ কঠোর, সিদ্ধান্ত নির্ভরযোগ্য
উদ্ভাবনী: প্রযুক্তিতে প্রকৃত উদ্ভাবন (চেইন নিয়মের অ্যানালগ)
প্রভাব: এই ক্ষেত্রের ভিত্তিমূলক উদ্ধৃতি হওয়ার সম্ভাবনা

লক্ষ্য পাঠক:

অপ্টিমাইজেশন তত্ত্ব গবেষকরা (অবশ্যই পড়ুন)
গভীর শেখার তত্ত্ব গবেষকরা (দৃঢ়ভাবে সুপারিশ করা)
প্রশিক্ষণ গতিশীলতায় আগ্রহী অনুশীলনকারীরা (সুপারিশ করা)
ডক্টরাল শিক্ষার্থীরা (উচ্চতর তাত্ত্বিক গবেষণার চমৎকার উদাহরণ)

অনুপযুক্ত পাঠক:

বিশুদ্ধ প্রকৌশল অনুশীলনকারীরা (স্বল্পমেয়াদী ব্যবহারিক মূল্য সীমিত)
গাণিতিক পটভূমি ছাড়া ব্যক্তিরা (বাস্তব বিশ্লেষণ, পরিমাপ তত্ত্ব ভিত্তি প্রয়োজন)

ঐতিহাসিক অবস্থান পূর্বাভাস: এই পেপারটি নিউরাল নেটওয়ার্ক অপ্টিমাইজেশন তত্ত্বের ক্লাসিক উদ্ধৃতি হওয়ার সম্ভাবনা রয়েছে, ঠিক যেমন লি এট আল। (2019) স্যাডল পয়েন্ট এড়ানোর ক্ষেত্রে অবস্থান রয়েছে। এটি এই ক্ষেত্রের জন্য দৃঢ় গাণিতিক ভিত্তি প্রদান করে, যাতে পরবর্তী গবেষণা আরও নির্ভরযোগ্য অনুমানে পরিচালিত হতে পারে।

সংক্ষিপ্ত সারসংক্ষেপ

এই পেপারটি কঠোর গাণিতিক প্রমাণের মাধ্যমে বাস্তব নিউরাল নেটওয়ার্ক প্রশিক্ষণের তাত্ত্বিক বোঝার জন্য একটি দৃঢ় ভিত্তি প্রদান করে, অপ্টিমাইজেশন তত্ত্ব ক্ষেত্রে একটি গুরুত্বপূর্ণ অবদান। যদিও স্বল্পমেয়াদে প্রশিক্ষণ অনুশীলন সরাসরি পরিবর্তন করবে না, এটি দীর্ঘমেয়াদী তাত্ত্বিক উন্নয়ন এবং অ্যালগরিদম উদ্ভাবনের ভিত্তি স্থাপন করে।