2025-11-19T02:19:13.103879

A projection-free dynamics for nonsmooth composite optimization

Ni, Qiu, Xiao
This paper proposes a projection-free primal-dual dynamics for the nonsmooth composite optimization problems with equality and inequality constraints. To deal with optimization constraints, this paper departs from the use of gradient projection method, but resorts to the idea of mirror descent to design a continuous-time smooth optimization dynamics which advantageously leads to easier convergence analysis and more efficient numerical simulation. Also, the strategy of proximal augmented Lagrangian (PAL$^†$) is extended to incorporate general convex equality-inequality constraints and the strong convexity-concavity of the primal-dual variables is achieved, ensuring exponential convergence of the resulting algorithm. Furthermore, the convergence result in this paper extends existing exponential convergence which either takes no account of constraints or considers only affine linear constraints, and it also enhances existing asymptotic convergence under convex constraints which unfortunately depends on the complex gradient projection scheme.
academic

비평활 복합 최적화를 위한 투영-자유 동역학

기본 정보

  • 논문 ID: 2510.22173
  • 제목: A projection-free dynamics for nonsmooth composite optimization
  • 저자: Wei Ni, Yangfan Qiu, and Yanyan Xiao
  • 분류: math.OC (최적화 및 제어)
  • 제출 시간: 2025년 10월 25일 arXiv 제출
  • 논문 링크: https://arxiv.org/abs/2510.22173v1

초록

본 논문은 등식 및 부등식 제약을 포함하는 비평활 복합 최적화 문제를 해결하기 위한 투영-자유 원시-쌍대 동역학 방법을 제안한다. 최적화 제약을 처리하기 위해 본 논문은 기울기 투영 방법을 포기하고 대신 거울 하강(mirror descent)의 개념을 활용하여 연속 시간 평활 최적화 동역학을 설계한다. 이는 수렴성 분석을 단순화하고 수치 시뮬레이션 효율을 향상시킨다. 또한 본 논문은 근접 증강 라그랑주(PAL) 전략을 일반 볼록 등식-부등식 제약을 포함하도록 확장하고 원시-쌍대 변수의 강볼록-강오목성을 구현하여 알고리즘의 지수 수렴성을 보장한다. 이 수렴 결과는 기존의 지수 수렴 이론(제약이 없거나 아핀 선형 제약만 고려)을 확장하고 복잡한 기울기 투영 방식에 의존하는 볼록 제약 하의 점근 수렴 결과를 개선한다.

연구 배경 및 동기

해결해야 할 문제

본 논문은 비평활 정규화 항을 포함하는 복합 최적화 문제를 연구한다: min⁡x∈Rnf(x)+ϕ(Tx),subject to g(x)⪯0,h(x)=0\min_{x \in \mathbb{R}^n} f(x) + \phi(Tx), \quad \text{subject to } g(x) \preceq 0, h(x) = 0

여기서 f(x)f(x)는 미분 가능한 함수, ϕ(Tx)\phi(Tx)는 비평활 복합 함수, g(x)g(x)와 h(x)h(x)는 각각 일반 볼록 부등식 제약과 아핀 등식 제약을 나타낸다.

문제의 중요성

이 유형의 문제는 여러 분야에서 중요한 응용을 가진다:

  1. 심층 학습: 비평활 정규화를 포함하는 경험적 위험 최소화
  2. 신호 처리: Lasso 문제 및 연속 신호 복구
  3. 역문제, 통계 추정, 제어 이론 등의 분야

기존 방법의 한계

비평활성 처리의 어려움:

  • 부분 기울기 방법은 느린 수렴 속도
  • 평활화 방법은 매개변수가 0에 접근할 때 문제가 복잡해짐
  • 근접 연산자 방법은 복합 함수 ϕ∘T\phi \circ T에 대해 직접 계산하기 어려움

제약 처리의 딜레마:

  1. 투영 방법: 동역학 시스템을 불연속으로 만들고, 수렴성 분석이 복잡하며, 비평활 분석 도구(예: 미분 포함)가 필요
  2. 최대값 연산자 방법: 명시적 투영을 피하지만 여전히 비평활 동역학을 생성
  3. IQC 프레임워크: 등식 제약 또는 아핀 부등식 제약에만 적용 가능하며 일반 비선형 볼록 제약을 처리할 수 없음
  4. 혼합 시스템 방법: 점근 수렴만 보장하며 지수 수렴율을 얻을 수 없음

연구 동기

완전히 평활한 최적화 동역학 시스템을 설계하여 다음을 달성:

  1. 일반 볼록 부등식 제약 처리(아핀 제약만이 아님)
  2. 지수 수렴 달성(점근 수렴이 아님)
  3. 수렴성 분석 및 수치 구현 단순화

핵심 기여

  1. 투영-자유 평활 최적화 동역학 제안: 부등식 제약의 쌍대 변수를 처리하기 위해 거울 상승을 사용하여 투영 연산을 피하고 완전히 평활한 연속 시간 동역학 시스템을 얻음
  2. 일반 제약을 처리하도록 PAL 방법 확장: 근접 증강 라그랑주 방법을 일반 볼록 등식-부등식 제약을 포함하는 경우로 확장하고 PAL이 쌍대 변수에 대해 강오목성을 가짐을 증명
  3. 지수 수렴 달성: 일반 비선형 볼록 제약 하에서 지수 안정성을 증명하여 기존 방법의 점근 수렴 또는 반전역 지수 수렴 결과를 초과
  4. IQC 프레임워크의 한계 회피: IQC 분석에 의존하지 않고 Lyapunov 함수 및 볼록 분석을 통해 직접 지수 수렴을 증명하여 IQC 방법이 아핀 제약에만 적용 가능한 한계를 돌파

방법 상세 설명

작업 정의

원시 최적화 문제(P):

\min_{x \in \mathbb{R}^n} f(x) + \phi(Tx) \\ \text{subject to } g(x) \preceq 0 \\ h(x) = 0 \end{cases}$$ 여기서: - $x \in \mathbb{R}^n$: 의사 결정 변수 - $T \in \mathbb{R}^{m \times n}$: 완전 계수 행렬 - $f: \mathbb{R}^n \to \mathbb{R}$: 강볼록이고 연속 미분 가능 - $\phi: \mathbb{R}^m \to \mathbb{R} \cup \{+\infty\}$: 진정한 볼록이고 비평활 - $g = (g_1, \ldots, g_r)^T$: 볼록 부등식 제약 - $h = (h_1, \ldots, h_s)^T$: 아핀 등식 제약 **변수 분할 후의 동등 문제**($\tilde{P}$): 보조 변수 $y = Tx$를 도입하여 다음으로 변환: $$\begin{cases} \min_{x,y} f(x) + \phi(y) \\ \text{subject to } g(x) \preceq 0, \quad h(x) = 0, \quad Tx = y \end{cases}$$ ### 근접 증강 라그랑주(PAL) 구성 **표준 증강 라그랑주**: $$\mathcal{L}_\mu(x,y;\lambda,\bar{\lambda},\bar{\bar{\lambda}}) = f(x) + \phi(y) + \lambda^T g(x) + \bar{\lambda}^T h(x) + \bar{\bar{\lambda}}^T(Tx-y) + \frac{1}{2\mu}\|Tx-y\|^2$$ **PAL 함수**: $y$에 대해 최소화하면: $$\mathcal{L}_\mu(x;\lambda,\bar{\lambda},\bar{\bar{\lambda}}) = f(x) + \phi_\mu(Tx + \mu\bar{\bar{\lambda}}) + \lambda^T g(x) + \bar{\lambda}^T h(x) - \frac{\mu}{2}\|\bar{\bar{\lambda}}\|^2$$ 여기서 $\phi_\mu$는 $\phi$의 Moreau 포락선: $$\phi_\mu(v) = \min_y \left\{\phi(y) + \frac{1}{2\mu}\|y-v\|^2\right\}$$ **핵심 성질**(보조정리 4.1): 가정 조건 하에서 PAL 함수는: - $x$에 대해 $\alpha$-강볼록 - $(\lambda,\bar{\lambda},\bar{\bar{\lambda}})$에 대해 $\left(\frac{\mu\ell}{\mu+\ell} + 2\mu\right)$-강오목 이 강오목성은 지수 수렴을 달성하는 핵심! ### 투영-자유 최적화 동역학 설계 **제안된 알고리즘**(방정식 4.10): $$\begin{cases} \dot{x} = -\nabla f(x) - T^T \nabla\phi_\mu(Tx+\mu\bar{\bar{\lambda}}) - \lambda^T \nabla g(x) - \bar{\lambda}^T \nabla h(x) \\ \dot{\lambda} = [\lambda \oslash (1 + \eta \odot \lambda)] \odot g(x), \quad \lambda(0) \succeq 0 \\ \dot{\bar{\lambda}} = h(x) \\ \dot{\bar{\bar{\lambda}}} = \mu\nabla\phi_\mu(Tx+\mu\bar{\bar{\lambda}}) - \mu\bar{\bar{\lambda}} \end{cases}$$ 여기서 $\odot$와 $\oslash$는 각각 원소별 곱셈과 나눗셈을 나타낸다. ### 기술적 혁신점 **1. 부등식 제약을 처리하기 위한 거울 상승** 부등식 제약의 쌍대 변수 $\lambda$에 대해 투영 $[\nabla_\lambda \mathcal{L}_\mu]_+$(불연속을 야기)을 사용하지 않고 거울 하강을 채택: 장벽 함수 $\psi(\lambda) = \frac{\eta}{2}\|\lambda\|^2 + \sum_{i=1}^n \lambda_i \ln\lambda_i$를 선택하면 대응하는 거울 동역학은: $$\dot{\lambda}_i = \frac{\lambda_i}{1+\eta_i\lambda_i} g_i(x)$$ 이는 다음을 보장: - $\lambda_i(0) > 0 \Rightarrow \lambda_i(t) > 0$ 항상 성립(비음성 제약 자동 만족) - 동역학이 완전히 평활(불연속점 없음) **2. 강오목성의 획득** 변수 분할 및 PAL 구성을 통해 쌍대 변수에만 선형인 고전 라그랑주 함수를 강오목 함수로 변환하며, 핵심은: - Moreau 포락선 $\phi_\mu$의 평활성 - 이차 페널티 항 $-\frac{\mu}{2}\|\bar{\bar{\lambda}}\|^2$의 기여 - Fenchel 켤레의 강볼록성 변환 **3. 기존 방법과의 차이** | 방법 유형 | 동역학 성질 | 제약 유형 | 수렴성 | |---------|-----------|---------|--------| | 투영 방법[33,64] | 비평활 | 일반 볼록 | 점근/반전역 지수 | | 최대값 연산자 방법[2,57,11] | 비평활 | 아핀만 | 지수 | | IQC 방법[24,68] | 평활 | 등식/아핀 부등식만 | 지수 | | **본 논문 방법** | **평활** | **일반 볼록** | **지수** | ## 실험 설정 ### 문제 사례: Rosen-Suzuki 문제 $$\begin{cases} \min x_1^2 + x_2^2 + 2x_3^2 + x_4^2 - 5x_1 - 5x_2 - 21x_3 + 7x_4 \\ \text{s.t. } -8 + x_1 - x_2 + x_3 - x_4 + x_1^2 + x_2^2 + x_3^2 + x_4^2 \leq 0 \\ -10 - x_1 - x_4 + x_1^2 + 2x_2^2 + x_3^2 + 2x_4^2 \leq 0 \\ -5 + 2x_1 - x_2 - x_4 + 2x_1^2 + x_2^2 + x_3^2 = 0 \end{cases}$$ 알려진 최적해: $x^* = (0, 1, 2, -1)$ ### 분산 구현 설정 - **네트워크 토폴로지**: 5개 에이전트, 연결 그래프는 그림 1 참조 - **작업 할당**: - 에이전트 1: $f_1, g_1, h_1$ 접근 - 에이전트 2: $f_2, g_2$ 접근 - 에이전트 3-5: $f_i$만 접근 - **초기 상태**: $\mathbb{R}^4$에서 무작위 설정 - **매개변수 설정**: $\eta_{ij} = 1$, $\mu$는 명시적으로 지정되지 않음 ### 분산 알고리즘 형식 $$\begin{cases} \dot{x}_i = \frac{1}{\mu}\sum_{j \in \mathcal{N}_i}(x_j - x_i) - \nabla f_i(x_i) - \sum_j \lambda_{ij}\nabla g_{ij}(x_i) - \sum_j \bar{\lambda}_{ij}\nabla h_{ij}(x_i) - \bar{\bar{\lambda}}'_i \\ \dot{\lambda}_{ij} = \frac{\lambda_{ij}}{1+\eta_{ij}\lambda_{ij}} g_{ij}(x_i) \\ \dot{\bar{\lambda}}_{ij} = h_{ij}(x_i) \\ \dot{\bar{\bar{\lambda}}}'_i = -\sum_{j \in \mathcal{N}_i}(x_j - x_i) \end{cases}$$ ## 실험 결과 ### 주요 결과 그림 2에서 보듯이 5개 에이전트의 상태 성분 수렴 상황: - **제1 성분**: 모든 에이전트가 0으로 수렴 - **제2 성분**: 모든 에이전트가 1로 수렴 - **제3 성분**: 모든 에이전트가 2로 수렴 - **제4 성분**: 모든 에이전트가 -1로 수렴 결과는 이론적 최적해 $x^* = (0, 1, 2, -1)$과 완전히 일치한다. ### 실험 발견 1. **수렴성 검증**: 등식 제약이 아핀이 아니어서 정리 가정을 위반했음에도 불구하고 알고리즘이 성공적으로 수렴 2. **분산 유효성**: 국소 정보와 이웃 통신만으로 전역 최적화 달성 3. **일치성 달성**: 모든 에이전트가 최종적으로 합의에 도달하고 동일한 최적해로 수렴 ### 이론 검증의 핵심 포인트 실험은 다음 이론 결과를 확인: - **보조정리 4.4**: 평형점과 최적해의 동등성 - **정리 4.5**: 지수 수렴성(수렴율의 정량적 분석은 제공되지 않았지만) - 평활 동역학의 수치 안정성 ## 관련 연구 ### 비평활 최적화 방법 1. **부분 기울기 방법**[62]: 느린 수렴 2. **평활화 방법**[52]: 매개변수 조정 어려움 3. **근접 방법**[60,7,14,66]: 핵심 기술이지만 복합 함수의 근접 연산자 계산이 어려움 ### 증강 라그랑주 방법 - **고전 AL**[54,39,56]: 비미분 항 포함 - **PAL 방법**[24]: Dhingra 등이 제안했지만 제약을 고려하지 않음 - **최근 확장**[68,22]: 등식 제약 또는 아핀 부등식만 처리 ### 제약 처리 방법 | 방법 | 제약 유형 | 수렴성 | 동역학 성질 | |------|---------|--------|-----------| | 투영 방법[30,33,64] | 일반 볼록 | 점근 | 비평활 | | 혼합 시스템[30] | 일반 볼록 | 점근 | 불연속 | | IQC 방법[24,68,26] | 등식/아핀 부등식 | 지수 | 평활 | | 최대값 연산자[2,57,11] | 아핀 부등식만 | 지수 | 비평활 | | **본 논문** | **일반 볼록** | **지수** | **평활** | ### 안장점 문제 연구 - von Neumann 최소-최대 정리[53] - 엄격한 볼록-오목 조건 하의 점근 수렴[63,43,4,19] - 강볼록-강오목 조건 하의 지수 수렴[19] ## 이론 분석 ### 핵심 정리 **정리 4.5(지수 안정성)**: 가정 1-3 하에서, 임의의 초기 조건 $x(0) \in \mathbb{R}^n$과 $(\lambda(0), \bar{\lambda}(0), \bar{\bar{\lambda}}(0)) \in \mathbb{R}^r_+ \times \mathbb{R}^s \times \mathbb{R}^m$에 대해, 궤적 $x(t)$는 최적해 $x^*$로 지수 수렴한다. **증명 개요**: 1. Lyapunov 함수 구성: $$V = \frac{1}{2}\|x-x^*\|^2 + \frac{1}{2}\sum_{i=1}^r \eta_i(\lambda_i-\lambda_i^*)^2 + \sum_{i \in \Omega} D_\psi(\lambda_i, \lambda_i^*) + \cdots$$ 2. $V$의 이차 상하 경계 증명 3. 시간 도함수 계산: $$\dot{V} \leq [\mathcal{L}_\mu(x^*;\lambda,\bar{\lambda},\bar{\bar{\lambda}}) - \mathcal{L}_\mu(x;\lambda,\bar{\lambda},\bar{\bar{\lambda}})] + [\mathcal{L}_\mu(x;\lambda,\bar{\lambda},\bar{\bar{\lambda}}) - \mathcal{L}_\mu(x;\lambda^*,\bar{\lambda}^*,\bar{\bar{\lambda}}^*)]$$ $$- \alpha\|x-x^*\|^2 - \left(\frac{\mu\ell}{\mu+\ell} + 2\mu\right)\|\Lambda-\Lambda^*\|^2$$ 4. 안장점 성질을 이용하여 $\dot{V} \leq -c V$(음정부호 이차형식) 획득 **정리 4.8(점근 안정성)**: $f$가 강볼록이 아닌 단순 볼록인 경우, 알고리즘은 점근 수렴(LaSalle 불변성 원리를 통해 증명) ### 핵심 가정 **가정 1**: $f$는 $\alpha$-강볼록이고 연속 미분 가능 **가정 2**: $\phi$의 부분 기울기는 $1/\ell$-Lipschitz 연속 **가정 3**: 제약이 LICQ를 만족(선형 독립 제약 규범): $$\text{rank}\begin{bmatrix} \nabla h(x^*) \\ \nabla_{\mathcal{J}} g(x^*) \end{bmatrix} = s + |\mathcal{J}(x^*)|$$ ## 결론 및 논의 ### 주요 결론 1. 일반 볼록 부등식 제약을 처리하면서 완전히 평활한 첫 번째 최적화 동역학 제안 2. PAL 방법과 거울 하강의 결합을 통해 지수 수렴 달성 3. IQC 프레임워크의 한계 회피, 비선형 볼록 제약으로 확장 4. 분산 구현 방안 제공 및 수치 실험으로 검증 ### 한계 1. **강볼록성 요구**: 지수 수렴은 $f$의 강볼록성 필요; 단순 볼록이면 점근 수렴으로 저하 2. **LICQ 가정**: Slater 조건보다 더 강한 제약 만족 필요 3. **매개변수 선택**: 정규화 매개변수 $\mu$의 선택이 수렴 속도에 영향; 작은 $\mu$는 느린 수렴 야기 4. **이론과 실제의 간격**: 실험에서 등식 제약이 아핀이 아니어도 알고리즘이 유효하여 정리 조건이 과도히 보수적일 수 있음을 시사 5. **수렴율 미정량화**: 지수 수렴만 증명하고 구체적인 수렴 속도 상수 미제시 ### 향후 방향 1. **연속 전략**(Continuation schemes): 점진적으로 $\mu$를 감소시켜 수렴 가속 2. **강볼록성 완화**: 더 약한 조건 하의 수렴성 연구 3. **비볼록 확장**: 비볼록 목적 함수의 경우 탐색 4. **확률적/온라인 버전**: 확률적 기울기 버전의 알고리즘 개발 5. **대규모 응용**: 기계 학습 등 대규모 문제에서의 응용 ## 심층 평가 ### 장점 **이론적 기여**: 1. **돌파적 결과**: 일반 볼록 제약 하에서 평활 동역학 + 지수 수렴의 조합을 처음으로 달성 2. **우아한 이론 프레임워크**: PAL의 강오목성을 통해 제약과 비평활성을 통일적으로 처리 3. **엄밀한 증명**: Lyapunov 방법 및 볼록 분석 사용으로 복잡한 비평활 분석 도구 회피 **방법 혁신**: 1. **거울 하강의 교묘한 적용**: 쌍대 변수 비음성을 자연스럽게 유지하며 투영 불필요 2. **PAL의 확장**: PAL을 무제약에서 일반 제약으로 확장 3. **완전 평활성**: 최대값 연산자 방법 대비 더 우아함 **실용적 가치**: 1. **구현 용이**: 평활 동역학은 수치 해석(ODE solver)에 유리 2. **분산 친화적**: 자연스럽게 분산 최적화 지원 3. **강한 수렴 보장**: 지수 수렴은 명확한 수렴 속도 제공 ### 부족한 점 **이론 측면**: 1. **강한 가정**: - 강볼록성 가정이 적용 범위 제한 - LICQ가 Slater 조건보다 더 엄격 - 등식 제약이 아핀이어야 함(실험에서는 불필요할 수 있음을 시사) 2. **수렴율 미정량화**: - 지수 수렴의 구체적 상수 미제시 - 다른 방법과의 정량적 수렴 속도 비교 불가 - 매개변수 $\mu, \eta$ 선택에 대한 지침 부족 3. **이론 분석 불완전**: - 알고리즘의 계산 복잡도 미분석 - 수치 안정성에 대한 논의 부족 - IQC 방법과의 정량적 비교 미흡 **실험 측면**: 1. **실험 규모 소형**: - 표준 테스트 문제 하나만 사용(Rosen-Suzuki) - 변수 차원 낮음(4차원) - 대규모 문제 검증 부족 2. **비교 실험 부재**: - 투영 방법, 최대값 연산자 방법 등과의 실험 비교 없음 - 수렴 속도 우위 미입증 - 서로 다른 $\mu$ 값에 대한 민감도 분석 부족 3. **실험 세부 사항 불충분**: - 계산 시간 미보고 - 쌍대 변수의 수렴 과정 미표시 - 매개변수 $\mu$의 구체적 값 미제시 **방법 측면**: 1. **매개변수 조정 문제**: - $\mu$가 너무 작으면 느린 수렴 - 연속 전략이 구현 복잡도 증가 - 자적응 매개변수 선택 메커니즘 부재 2. **확장성 의문**: - 고차원 문제에서의 성능 미지 - 분산 구현의 통신 오버헤드 미분석 - 현대 가속 방법(예: Nesterov 가속)과의 결합 미탐색 ### 영향력 평가 **분야에 대한 기여**: 1. **이론적 돌파**: 오래 존재해온 문제 해결(일반 제약 + 지수 수렴 + 평활 동역학) 2. **방법론 혁신**: 연속 최적화에서 거울 하강의 새로운 응용 3. **영감 제공**: 다른 제약 최적화 문제에 새로운 사고 제시 **실용적 가치**: - **중간 정도**: 방법은 우아하지만 실제 우위는 더 많은 실험 검증 필요 - 수렴 속도에 명확한 요구가 있는 응용에 적합 - 분산 시나리오에서 잠재적 우위 **재현성**: - **중상**: - 알고리즘 설명이 명확 - 이론 유도가 상세 - 하지만 실험 세부 사항 부족(코드, 구체적 매개변수 등 미제공) ### 적용 시나리오 **추천 사용**: 1. **이론적 수렴 보장**이 필요한 응용 2. 제약이 **일반 볼록 함수**(아핀만 아님)인 문제 3. **분산 최적화** 시나리오 4. 목적 함수가 **강볼록**인 문제 5. **수치 안정성**에 대한 요구가 높은 경우 **비추천 사용**: 1. 대규모 고차원 문제(계산 효율 미검증) 2. 목적 함수가 비강볼록(점근 수렴으로 저하) 3. 계산 속도에 극도로 민감한 실시간 응용 4. 제약이 단순 상자 제약 또는 아핀 제약(투영 방법이 더 간단할 수 있음) ### 종합 평가 이는 **이론적 기여가 현저한** 우수한 논문으로, 연속 최적화 동역학 분야에서 중요한 돌파를 이루었다. 주요 장점은: - 새롭고 중요한 이론 결과 - 우아한 방법 설계 - 엄밀하고 완전한 증명 주요 부족점은: - 실험 검증 불충분 - 실용성에 대한 증거 부족 - 기존 방법과의 실제 비교 부재 **추천 지수**: ★★★★☆ (5점 만점 중 4점) 이론적 엄밀성을 중시하는 독자와 제약 최적화 알고리즘 설계에 종사하는 연구자에게 적합하다. 공학 응용의 경우 충분한 실험 검증 후 채택을 권장한다. ## 참고 문헌(주요 문헌) [24] N. K. Dhingra et al. "The proximal augmented Lagrangian method for nonsmooth composite optimization." IEEE TAC, 2019. (PAL 방법의 원래 제안) [68] Z. Wang et al. "Exponential stability of partial primal-dual gradient dynamics with nonsmooth objective functions." Automatica, 2021. (PAL + 제약의 초기 연구) [33] D. Goldsztajn & F. Paganini. "Proximal regularization for the saddle point gradient dynamics." IEEE TAC, 2021. (투영 방법) [2] A. A. Adegbege & M. Y. Kim. "Saddle-point convergence of constrained primal-dual dynamics." IEEE CSL, 2021. (최대값 연산자 방법) [29] M. Fazlyab et al. "Analysis of optimization algorithms via integral quadratic constraints." SIAM J. Optim., 2018. (IQC 프레임워크)