A Tale of Two Geometries: Adaptive Optimizers and Non-Euclidean Descent

基本信息

• 论文ID: 2511.20584
• 标题: A Tale of Two Geometries: Adaptive Optimizers and Non-Euclidean Descent
• 作者: Shuo Xie (Toyota Technological Institute at Chicago), Tianhao Wang (UC San Diego), Beining Wu (University of Chicago), Zhiyuan Li (Toyota Technological Institute at Chicago)
• 分类: cs.LG (Machine Learning)
• 发表时间: 2025年11月25日 (arXiv v1)
• 论文链接: https://arxiv.org/abs/2511.20584

摘要

本文系统研究了自适应优化器（如Adam、Shampoo）与归一化最速下降（NSD，如Lion、Muon）两类算法家族在利用非欧几里得几何结构时的本质区别。研究发现，虽然两者在关闭指数移动平均（EMA）时可以等价，但其理论分析依赖于不同的几何假设：自适应优化器需要更强的"自适应光滑性"（adaptive smoothness），而NSD仅需标准光滑性。本文将自适应光滑性理论扩展到非凸设置，并证明其精确刻画了自适应优化器的收敛性。更重要的是，研究表明自适应光滑性能够使自适应优化器在凸设置下通过Nesterov动量实现加速（O(T⁻²)），而标准光滑性在某些非欧几里得几何下无法达到此保证。此外，论文引入了"自适应梯度方差"概念，证明其能为NSD提供无维度依赖的收敛保证，这在标准梯度方差假设下是不可达到的。

研究背景与动机

核心问题

本文旨在回答两个基本问题：

1. Q1: 自适应方法（如Adam、Shampoo）与相应的非欧几里得下降方法（如Lion、Muon）是否以相同方式利用损失函数的非欧几里得几何？
2. Q2: 自适应方法中更强的光滑性假设是否能带来优化上的实际收益？

研究重要性

• 实践价值: Adam等自适应优化器在大规模机器学习模型训练中不可或缺（如LLaMA、DeepSeek等），但最近Lion、Muon等简单的NSD方法展现出惊人的有效性，引发了对两类方法本质区别的思考。
• 理论缺失: 尽管Bernstein & Newhouse (2024)指出两类方法在关闭EMA时等价（如Adam等价于ℓ∞-NSD，Shampoo等价于谱范数NSD），但缺乏系统性的理论刻画。
• 几何视角: 两类方法的优越性能都与利用损失函数的非欧几里得几何有关，但其理论分析依赖的几何假设存在本质差异。

现有方法局限

1. 收敛理论不完整: 自适应光滑性理论仅在凸设置下建立（Xie et al., 2025b），非凸情况缺乏刻画。
2. 假设强度未明: 自适应光滑性总是不小于标准光滑性，但这种更强假设是否带来实际收益未被证明。
3. 维度依赖问题: NSD在随机优化中存在维度依赖问题（如SignGD的√d因子），缺乏更精细的噪声假设。

核心贡献

1. 非凸收敛理论: 将自适应光滑性理论扩展到非凸设置，证明其精确刻画自适应优化器的收敛率（Theorems C.2, C.7, C.8），达到最优Õ(T⁻¹/⁴)速率。
2. 加速收敛保证: 证明自适应光滑性能使带Nesterov动量的自适应优化器在凸设置下达到Õ(T⁻²)加速率（Theorem 4.4），而标准ℓ∞光滑性下任何优化器仅能达到Ω(T⁻¹)（Guzmán & Nemirovski, 2015）。
3. 自适应梯度方差: 引入自适应梯度方差概念（Definition 4.1），证明其能为带动量的NSD提供无维度依赖的收敛保证（Theorem 4.6），并通过下界（Theorem 4.9）证明标准梯度方差下维度依赖不可避免。
4. 统一分析框架: 提供覆盖AdaGrad、AdaGrad-Norm、单侧Shampoo等广泛自适应方法的统一分析框架，核心技术贡献是新的矩阵不等式（Lemma 3.3, 3.4）处理非交换预条件子。
5. 理论分离: 系统性地建立了两类几何假设（标准vs自适应）在光滑性和噪声两个维度上的定量分离，深化了对自适应性的理论理解。

方法详解

任务定义

考虑优化问题： $\min_{x \in \mathbb{R}^d} f(x)$

其中$f: \mathbb{R}^d \to \mathbb{R}$可能是非凸的。在随机设置下，通过随机梯度$\nabla f_t(x)$访问目标函数，满足$\mathbb{E}[\nabla f_t(x)] = \nabla f(x)$。

核心概念

1. 良构预条件子集（Well-structured Preconditioner Set）

Definition 2.1: $\mathcal{H} \subseteq \mathbb{S}_+^d$称为良构预条件子集，如果$\mathcal{H} = \mathbb{S}_+^d \cap \mathcal{K}$，其中$\mathcal{K} \subseteq \mathbb{M}^d$是包含单位矩阵的矩阵子代数。

示例：

• 对角矩阵集合$\mathcal{D}_+^d$（对应Adam）
• 全PSD矩阵$\mathbb{S}_+^d$（对应全矩阵AdaGrad）
• 标量矩阵$\{cI_d: c>0\}$（对应AdaGrad-Norm）
• Kronecker积结构$\mathbb{S}_{d_L}^+ \otimes I_{d_R}$（对应单侧Shampoo）

2. 诱导范数与对偶范数

对于良构预条件子集$\mathcal{H}$，定义诱导范数： $\|x\|_{\mathcal{H}} := \sup_{H \in \mathcal{H}, \text{Tr}(H) \leq 1} \|x\|_H = \sup_{H \in \mathcal{H}, \text{Tr}(H) \leq 1} \sqrt{x^\top H x}$

Lemma 2.2: 对偶范数满足 $\|x\|_{\mathcal{H},*} = \inf_{H \in \mathcal{H}, \text{Tr}(H) \leq 1} \|x\|_{H^{-1}}$

这一对偶性是理解两类几何的关键：$\|\cdot\|_{\mathcal{H}}$是所有$\|\cdot\|_H$的逐点上确界，而$\|\cdot\|_{\mathcal{H},*}$是对应对偶范数的逐点下确界。

3. 两类光滑性

标准光滑性（Definition 2.3）: $L_{\|\cdot\|}(f) := \min\{L: \|\nabla f(x) - \nabla f(y)\|_* \leq L\|x-y\|, \forall x,y\}$

自适应光滑性（Definition 2.4）: $\Lambda_{\mathcal{H}}(f) := \min_{H \in \mathcal{H}, \text{Tr}(H) \leq 1} L_{\|\cdot\|_H}(f) = \min_{H \in \mathcal{H}, \forall x: -H \preceq \nabla^2 f(x) \preceq H} \text{Tr}(H)$

关系（Proposition 2.5）: $L_{\|\cdot\|_{\mathcal{H}}}(f) \leq \Lambda_{\mathcal{H}}(f) \leq d \cdot L_{\|\cdot\|_{\mathcal{H}}}(f)$

自适应光滑性总是不小于标准光滑性，但至多相差维度因子$d$。

统一自适应优化器框架（Algorithm 1）

算法结构:

输入: 初始点x₀, 学习率η, 预条件子集H, 稳定常数ϵ
初始化: M₋₁ = 0
For t = 0, 1, ..., T-1:
    gₜ ← ∇fₜ(xₜ)
    Mₜ ← 累积方式(Mₜ₋₁, gₜ)  // 三种变体
    Vₜ ← argmin_{H∈H} ⟨Mₜ + ϵI, H⁻¹⟩ + Tr(H)
    xₜ₊₁ ← xₜ - ηVₜ⁻¹gₜ
返回 x_T

三种累积变体:

1. 累积型（Cumulative）: $M_t = M_{t-1} + g_t g_t^\top$（AdaGrad）
2. EMA型: $M_t = \beta M_{t-1} + (1-\beta)g_t g_t^\top$（Adam）
3. 加权型（Weighted）: $M_t = \beta M_{t-1} + g_t g_t^\top$（统一分析用）

关键观察: $V_t = \mathcal{P}_{\mathcal{H}}(M_t + \epsilon I)$，其中$\mathcal{P}_{\mathcal{H}}(M)^2$是$M$在$\mathcal{H}$上的投影（Lemma A.4）。

技术创新点

1. 新矩阵不等式（Lemma 3.4）

对于正定矩阵$X, Y$满足$Y \preceq X$，对任意$0 \leq c \leq C$: $X^{-1/2}(X-Y)X^{-1/2} \preceq \frac{3(\log C - \log c)}{\pi^2}(\log X - \log Y) + \left(\frac{12cd}{\pi^2\lambda_{\min}(X)^2} + \frac{12C^{-1}d}{\pi^2}\right)\text{Tr}(X-Y) \cdot I$

意义:

• 当矩阵交换时，可用对数伸缩（logarithmic telescoping）得到紧界
• 非交换情况下，第二项量化了"非交换代价"，引入$\log d$因子
• 通过精心选择$c, C$平衡两项，得到Lemma 3.3的核心界

2. 二阶项控制（Lemma 3.3）

对加权算法，定义$S_T = \sum_{t=0}^{T-1} V_t^{-1}(V_t^2 - \beta V_{t-1}^2)V_t^{-1}$，则： $\sum_{t=0}^{T-1} \|V_t^{-1}g_t\|_H^2 \leq \text{Tr}(H) \|S_T\|_{\text{op}}$

且存在常数$C_1, C_2$使得： $\|S_T\|_{\text{op}} \leq C_1\left(1 + \log\left(1 + \frac{d}{\epsilon}\sum_{t=0}^{T-1}\|g_t\|_2^2 + d^2(1-\beta)T\right)\right)\left(\frac{(1-\beta)T}{\beta} + \log\|V_{T-1}^2/\epsilon\|_{\text{op}}\right) + C_2$

特殊情况: 当$\mathcal{H}$可交换（如对角矩阵）时，改进为$\|S_T\|_{\text{op}} \leq (1-\beta)T + \log\|V_{T-1}^2/\epsilon\|_{\text{op}}$。

3. 自适应梯度方差（Definition 4.1）

$\sigma_{\mathcal{H}}(\{f_t\})^2 := \min_{H \in \mathcal{H}, \text{Tr}(H) \leq 1} \sup_{t, x} \mathbb{E}[\|\nabla f_t(x) - \mathbb{E}[\nabla f_t(x)]\|_{H^{-1}}^2]$

关系（Proposition 4.2）: $\sigma_{\|\cdot\|_{\mathcal{H},*}}(\{f_t\})^2 \leq \sigma_{\mathcal{H}}(\{f_t\})^2 \leq d \cdot \sigma_{\|\cdot\|_{\mathcal{H},*}}(\{f_t\})^2$

直觉: 自适应方差要求在所有预条件子诱导的几何下统一控制噪声，比仅在固定范数下控制更强。

实验设置

注: 本文为纯理论工作，不包含实验部分。所有结果均为理论收敛率和下界证明。

理论分析设置

假设条件

1. 光滑性:
   • 标准光滑性：$\|\nabla f(x) - \nabla f(y)\|_{\mathcal{H},*} \leq L_{\|\cdot\|_{\mathcal{H}}}(f)\|x-y\|_{\mathcal{H}}$
   • 自适应光滑性：$\Lambda_{\mathcal{H}}(f) = \min_{H \in \mathcal{H}, \text{Tr}(H)\leq 1} L_{\|\cdot\|_H}(f)$
2. 噪声假设（Assumption C.1）:
   • $\mathbb{E}[\nabla f_t(x)] = \nabla f(x)$
   • 存在$\Sigma \succeq 0$使得$-\Sigma \preceq \nabla f(x)\nabla f(x)^\top - \nabla f_t(x)\nabla f_t(x)^\top \preceq \Sigma$
3. 凸性: 部分结果（加速）要求$f$为凸函数

分析方法

• 下降引理: 利用光滑性建立单步下降关系
• 望远镜求和: 对累积项进行伸缩求和
• 矩阵不等式: 控制预条件子变化引入的二阶项
• 概率方法: 随机噪声通过条件期望和方差分解处理
• 构造性下界: 通过精心设计的硬实例证明紧性

实验结果

主要理论结果

1. 非凸收敛率（Theorem 3.2）

对累积型自适应优化器（AdaGrad类），在确定性非凸函数上： $\frac{1}{T}\sum_{t=0}^{T-1} \|\nabla f(x_t)\|_{\mathcal{H},*} \leq \frac{1}{\sqrt{T}}\left(\xi + \sqrt{d}\epsilon^{1/4}\sqrt{\xi}\right)$

其中： $\xi = \tilde{O}\left(\frac{\Delta_0}{\eta} + \eta \cdot \Lambda_{\mathcal{H}}(f) \log^2 d\right)$

选择$\eta = \sqrt{\frac{\Delta_0}{\Lambda_{\mathcal{H}}(f)\log^2 d}}$时，达到$\tilde{O}\left(\frac{\sqrt{\Delta_0 \Lambda_{\mathcal{H}}(f)}\log d}{\sqrt{T}}\right)$。

关键点:

• 收敛率依赖于自适应光滑性$\Lambda_{\mathcal{H}}(f)$而非标准光滑性
• 对角预条件子（如Adam）无$\log d$因子
• 一般良构预条件子引入$\log d$因子（非交换代价）

2. 加速收敛率（Theorem 4.4）

对带Nesterov动量的自适应优化器（Algorithm 2），在凸函数上选择$\alpha_t = \frac{2}{t+2}$和$\eta = D$： $\mathbb{E}[f(\bar{x}_T) - f(x^*)] = \tilde{O}\left(\frac{\Lambda_{\mathcal{H}}(f)D^2\log^2 d}{T^2} + \frac{d\sqrt{\epsilon}D}{T^2} + \frac{\sigma_{\mathcal{H}}D\log d}{\sqrt{T}}\right)$

对比:

• 自适应光滑性下: $O(T^{-2})$加速率（确定性部分）
• 标准ℓ∞光滑性下: Guzmán & Nemirovski (2015)证明任何一阶方法仅能达到$\Omega(T^{-1})$

意义: 证明了自适应光滑性的实质性优势——能够实现加速，而标准光滑性不能。

3. 无维度收敛率（Theorem 4.6）

对NSD（Algorithm 3）在自适应梯度方差$\sigma_{\mathcal{H}}$下： $\mathbb{E}\left[\frac{1}{T}\sum_{t=0}^{T-1}\|\nabla f(x_t)\|_{\mathcal{H},*}\right] \leq \frac{\Delta_0}{\eta T} + \frac{2\eta}{\alpha}L_{\|\cdot\|_{\mathcal{H}}}(f) + \frac{2\sigma_{\mathcal{H}}}{\alpha T} + 2\sigma_{\mathcal{H}}\sqrt{\alpha}$

最优选择$\alpha = \frac{\sqrt{\Delta_0 L_{\|\cdot\|_{\mathcal{H}}}(f)}}{\sigma_{\mathcal{H}}\sqrt{T}}$和$\eta = \frac{\Delta_0^{3/4}}{L_{\|\cdot\|_{\mathcal{H}}}(f)^{1/4}\sigma_{\mathcal{H}}^{1/2}}T^{-3/4}$时： $\text{Rate} = O\left(\frac{(\Delta_0 L_{\|\cdot\|_{\mathcal{H}}}(f))^{1/4}\sqrt{\sigma_{\mathcal{H}}}}{T^{1/4}}\right)$

无维度依赖: 与Pethick et al. (2025)的$\tilde{O}(\rho\sqrt{d}/T^{1/4})$相比（其中$\rho = \sup_x \frac{\|x\|_{\mathcal{H},*}}{\|x\|_2}$可达$\Theta(\sqrt{d})$），本结果完全消除了维度依赖。

4. 维度依赖下界（Theorem 4.9）

在标准ℓ₁方差假设$\mathbb{E}[\|\nabla f_t(x) - \nabla f(x)\|_1^2] \leq \sigma^2$下，对SignGD（ℓ∞-NSD）存在硬实例使得： $\mathbb{E}\left[\min_{t \in [T]}\|\nabla f(x_t)\|_1\right] = \min\left\{e^{-25-\frac{1}{4}}(dL\Delta_0\sigma^2)^{1/4}T^{-1/2}, e^{-25-\frac{1}{2}}\sigma\right\}$

意义:

• 达到误差$\epsilon < e^{-25-1/2}\sigma$需要$T = \Omega(\epsilon^{-2}(dL\Delta_0\sigma^2)^{1/2})$步
• 维度依赖$\Omega(d^{1/2})$在标准方差假设下不可避免
• 与Theorem 4.6的无维度上界形成对比，证明自适应方差的本质优越性

关键洞察

1. 几何分离的量化

两类光滑性和方差的关系：

• 光滑性: $L_{\|\cdot\|_{\mathcal{H}}}(f) \leq \Lambda_{\mathcal{H}}(f) \leq d \cdot L_{\|\cdot\|_{\mathcal{H}}}(f)$
• 方差: $\sigma_{\|\cdot\|_{\mathcal{H},*}}^2 \leq \sigma_{\mathcal{H}}^2 \leq d \cdot \sigma_{\|\cdot\|_{\mathcal{H},*}}^2$

差距至多为维度$d$，但在某些情况下紧（如对角矩阵vs全矩阵）。

2. 平均无效性（Averaging Ineffectiveness）

在非欧几里得几何下，平均不能有效降低范数：

• ℓ₂: $\|\frac{1}{n}\sum_{i=1}^n x_i\|_2 = O(1/\sqrt{n})$（有效）
• ℓ₁: $\|\frac{1}{n}\sum_{i=1}^n x_i\|_1 = O(\sqrt{d}/\sqrt{n})$（维度依赖）

这解释了为何：

• 加速需要更强的自适应光滑性
• 动量在标准方差下无法消除维度依赖

3. 非交换代价

一般良构预条件子（如单侧Shampoo）引入$\log d$因子，源于：

• 矩阵不交换导致无法直接伸缩求和
• Lemma 3.4中的非交换项：$\frac{12cd}{\pi^2\lambda_{\min}^2}\text{Tr}(X-Y) \cdot I$
• 通过精心选择参数，将代价控制在$\log d$

相关工作

自适应优化器

1. 矩阵预条件: Shampoo (Gupta et al., 2018)及其变体（SOAP, PolarGrad, AdaMuon）
2. 对角预条件: AdaGrad (Duchi et al., 2011), Adam (Kingma & Ba, 2014)
3. 收敛理论:
   • 凸情况：Xie et al. (2025b)建立自适应光滑性理论
   • 对角情况：Maladkar et al. (2024), Xie et al. (2025a)
4. 方差自适应: Frans et al. (2025)指出矩阵白化视角

归一化最速下降（NSD）

1. 收敛分析:
   • Cutkosky & Mehta (2020): O(T⁻³·⁵)非凸率
   • Pethick et al. (2025), Kovalev (2025b): 一般范数下分析
2. 等价性:
   • Lion = ℓ∞-NSD (Sfyraki & Wang, 2025)
   • Muon = 谱范数-NSD (Chen et al., 2025)
3. 维度依赖: Jiang et al. (2025)针对SignGD的改进

加速方法

1. 镜像下降视角: Kelner et al. (2014), Allen-Zhu & Orecchia (2014)
2. 自适应加速: Cutkosky (2019), Kavis et al. (2019), Joulani et al. (2020)针对对角/坐标自适应
3. 下界: Guzmán & Nemirovski (2015)证明ℓ∞光滑下的Ω(T⁻¹)下界

本文贡献对比

• vs Xie et al. (2025b): 扩展到非凸+随机设置
• vs Kovalev (2025a): 更弱的假设（避免Assumption 4），更广泛的预条件子
• vs Pethick et al. (2025): 通过自适应方差消除维度依赖
• vs 现有加速方法: 首次在一般良构预条件子下证明加速

结论与讨论

主要结论

1. 几何二元性: 自适应优化器和NSD虽然都利用非欧几里得几何，但依赖本质不同的几何假设：
   • 自适应优化器: 需要自适应光滑性$\Lambda_{\mathcal{H}}(f)$，能自动适配最优预条件子
   • NSD: 仅需标准光滑性$L_{\|\cdot\|_{\mathcal{H}}}(f)$，但需预先指定范数
2. 自适应性的价值: 更强的自适应假设带来实质性收益：
   • 加速: 凸情况下达到O(T⁻²) vs 标准假设下的Ω(T⁻¹)
   • 无维度: 随机情况下消除维度依赖
3. 统一理论框架: 首次为包括单侧Shampoo在内的广泛自适应方法建立非凸收敛理论，核心技术是处理非交换预条件子的新矩阵不等式。
4. 紧性: 下界证明表明：
   • 标准方差假设下维度依赖不可避免（Theorem 4.9）
   • 自适应方差的优越性不仅是技术假设，而是本质区别

局限性

1. 理论性工作: 缺乏实验验证理论预测（如不同几何下的实际收敛行为）
2. 常数因子:
   • 非对角预条件子引入$\log d$因子（可能在实践中不显著）
   • 加速算法需要已知$D = \max_t \|x_t - x^*\|_{\mathcal{H}}$（通过投影版本缓解）
3. 假设条件:
   • Assumption C.1（逐点协方差上界）比标准期望假设更强
   • 加速结果要求凸性
4. 适用范围:
   • 自适应方差假设在实践中如何验证？
   • 哪些实际问题满足自适应光滑性？
5. EMA分析: EMA变体需要选择$\beta = 1 - \Theta(\frac{\log d}{T})$，实践中常用固定$\beta$（如0.9, 0.999）

未来方向

1. 实验验证:
   • 在实际深度学习任务中验证自适应光滑性假设
   • 比较不同几何下的经验收敛行为
2. 放松假设:
   • 探索更弱的噪声假设（如仅期望有界）
   • 非凸情况下的加速可能性
3. 算法改进:
   • 自适应选择预条件子结构$\mathcal{H}$
   • 结合自适应光滑性的新优化算法
4. 其他几何:
   • 扩展到Bregman散度、Riemannian几何
   • 其他结构化预条件子（如稀疏、低秩）
5. 下界改进:
   • 自适应光滑性下的下界（目前仅有标准光滑性下界）
   • 非凸情况下的更紧下界

深度评价

优点

1. 理论深度:
   • 首次系统性地建立两类几何假设的定量分离
   • 核心矩阵不等式（Lemma 3.4）具有独立价值，可能适用于其他矩阵分析问题
   • 证明技术精巧，特别是处理非交换性的方法
2. 统一性:
   • 覆盖AdaGrad、Adam、Shampoo等广泛方法
   • 三种累积方式（累积、EMA、加权）的等价性分析清晰
   • 光滑性和方差的平行处理揭示深层结构
3. 完整性:
   • 上界+下界证明紧性
   • 确定性+随机、凸+非凸全覆盖
   • 技术附录详尽（48页），可复现性强
4. 洞察力:
   • "平均无效性"解释了维度依赖的根源
   • 对偶性（supremum vs infimum）的几何直觉
   • 非交换代价的精确量化
5. 写作质量:
   • 结构清晰，从Adam/SignGD例子引入概念
   • 图1直观展示对偶性
   • 技术细节与直觉平衡好

不足

1. 实践相关性:
   • 缺乏实验验证理论预测
   • 自适应光滑性在实际问题中的普遍性未知
   • $\log d$因子在实践中是否显著？
2. 假设强度:
   • Assumption C.1比标准假设强（几乎处处成立）
   • 加速算法需要凸性和已知$D$
   • EMA需要$\beta = 1 - \Theta(\log d / T)$，与实践不符
3. 技术局限:
   • 对角情况vs一般情况的gap（$\log d$）能否消除？
   • 非凸加速的不可能性未被证明
   • 自适应光滑性的下界缺失
4. 表述细节:
   • Õ记号隐藏了对多个参数的对数依赖（不仅是$d$）
   • 某些常数（如$C_1, C_2$）未明确
   • Lemma 3.4中$c, C$的选择策略可更明确
5. 相关工作:
   • 与Kovalev & Borodich (2025)并行工作的区别可更详细
   • 与经典镜像下降理论的联系可深化

影响力

1. 理论贡献:
   • 为自适应优化理论提供新视角（几何假设的层次）
   • 矩阵不等式技术可能影响相关领域（如矩阵分析、量子信息）
   • 统一框架可能成为未来分析的标准
2. 实用价值:
   • 指导优化器选择：何时用自适应方法vs NSD？
   • 启发新算法设计（如自适应选择$\mathcal{H}$）
   • 为超参数调优提供理论依据（如$\beta$的选择）
3. 可复现性:
   • 纯理论工作，结果可验证
   • 证明技术详尽，可扩展到其他设置
   • 定义明确，便于后续研究引用
4. 局限性:
   • 缺乏实验限制immediate impact
   • 假设条件的验证需要后续工作
   • 与实践的gap需要弥合

适用场景

1. 理论研究:
   • 优化算法收敛性分析
   • 非欧几里得几何下的优化理论
   • 自适应方法的理论基础
2. 算法设计:
   • 新自适应优化器的设计指导
   • 预条件子结构的选择
   • 加速方法的改进
3. 实践应用:
   • 大规模机器学习中的优化器选择
   • 理解Adam等方法的成功原因
   • 调试收敛问题的理论依据
4. 教学:
   • 优化理论课程的高级材料
   • 非欧几里得优化的案例
   • 矩阵分析技术的应用

参考文献（精选关键文献）

1. Xie et al. (2025b): "Structured Preconditioners in Adaptive Optimization: A Unified Analysis" - 本文的凸情况基础
2. Guzmán & Nemirovski (2015): "On lower complexity bounds for large-scale smooth convex optimization" - ℓ∞光滑性下的下界
3. Pethick et al. (2025): "Training deep learning models with norm-constrained lmos" - NSD的最新分析
4. Kovalev (2025a): "SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration" - 并行工作
5. Bernstein & Newhouse (2024): "Old optimizer, new norm: An anthology" - Adam与NSD的等价性
6. Gupta et al. (2017): "A unified approach to adaptive regularization" - 自适应优化器框架
7. Lieb (1973): "Convex trace functions and the wigner-yanase-dyson conjecture" - Lemma A.7的凹性基础

总结: 本文是自适应优化理论的重要进展，系统性地揭示了自适应方法与NSD在几何假设上的本质区别，并通过严格的理论分析证明了自适应性的实质价值。尽管缺乏实验验证，其理论深度和技术创新使其成为该领域的重要参考文献。核心贡献在于建立了"两类几何"的完整理论体系，为理解和设计自适应优化算法提供了新的视角。