2025-11-20T05:49:14.768535

MiSS: Revisiting the Trade-off in LoRA with an Efficient Shard-Sharing Structure

Kang, Yin
Low-Rank Adaptation (LoRA) is a widely adopted technique for parameter-efficient fine-tuning, but its slow convergence has spurred the development of numerous variants. Nevertheless, existing methods often fail to improve performance, memory footprint, and computational efficiency simultaneously. To address this challenge, we revisit the causes of LoRA's slow convergence. Building on these insights, we propose Matrix Shard Sharing (MiSS), which updates shards of the original weight matrix using a single shared trainable matrix $\boldsymbol{D}$, initialized to zeros. To simultaneously ensure computational efficiency, low memory footprint, and scalable serving, we introduce MiSS$^e$. Both theoretical analysis and empirical results demonstrate that our method reduces optimization complexity without compromising performance, thereby achieving a more favorable trade-off among performance, memory, and efficiency. Furthermore, we conduct a comprehensive comparative analysis of various PEFT methods, evaluating their memory usage, initialization overhead, and computational efficiency. By mapping the Pareto frontier across these dimensions, we show that MiSS occupies a favorable position, effectively capturing the advantages of prior approaches.
academic

MiSS: LoRA의 트레이드오프 재검토 및 효율적인 샤드 공유 구조

기본 정보

  • 논문 ID: 2409.15371
  • 제목: MiSS: Revisiting the Trade-off in LoRA with an Efficient Shard-Sharing Structure
  • 저자: Jiale Kang (Yuanshi Inc), Qingyu Yin (Zhejiang University)
  • 분류: cs.CL cs.AI
  • 발표 시간: 2025년 10월 14일 (arXiv preprint)
  • 논문 링크: https://arxiv.org/abs/2409.15371v11

초록

저순위 적응(Low-Rank Adaptation, LoRA)은 널리 채택된 매개변수 효율적 미세조정 기법이지만, 느린 수렴 문제로 인해 많은 변형 방법이 개발되었습니다. 그러나 기존 방법들은 성능, 메모리 사용량, 계산 효율성을 동시에 개선하기 어렵습니다. 이러한 도전에 대응하기 위해, 본 논문은 LoRA의 느린 수렴의 근본 원인을 재검토합니다. 이러한 통찰을 바탕으로 저자들은 행렬 샤드 공유(Matrix Shard Sharing, MiSS) 방법을 제안합니다. 이 방법은 단일 공유 가능 훈련 행렬 D\boldsymbol{D}(영으로 초기화됨)를 사용하여 원본 가중치 행렬의 샤드를 업데이트합니다. 계산 효율성, 낮은 메모리 사용량, 확장 가능한 서비스를 동시에 보장하기 위해 저자들은 MiSSe^e를 도입합니다. 이론 분석과 실험 결과 모두 이 방법이 성능을 손상시키지 않으면서 최적화 복잡도를 감소시켜 성능, 메모리, 효율성 간의 더욱 유리한 트레이드오프를 달성함을 보여줍니다.

연구 배경 및 동기

문제 정의

대규모 언어 모델(LLMs)의 전체 매개변수 미세조정은 계산상 불가능하므로, 매개변수 효율적 미세조정(PEFT) 기법이 개발되었습니다. LoRA는 가장 주목할 만한 PEFT 방법 중 하나로, 저순위 분해를 통해 가중치 업데이트를 근사합니다: ΔW≈BA\Delta W \approx BA, 여기서 B∈Rd×rB \in \mathbb{R}^{d \times r}, A∈Rr×kA \in \mathbb{R}^{r \times k}, 그리고 r≪min⁡(d,k)r \ll \min(d,k)입니다.

기존 방법의 한계

  1. 느린 수렴: LoRA는 전체 매개변수 미세조정에 비해 현저히 느린 수렴을 보임
  2. 최적화 복잡성: 행렬 A와 B를 동시에 업데이트해야 하므로 최적화 복잡도 증가
  3. 트레이드오프의 어려움: 기존 LoRA 변형들은 성능, 메모리, 효율성 세 가지 차원 간의 균형을 맞추기 어려움

연구 동기

S2FT 및 LoRA+ 등의 방법을 분석함으로써, 저자들은 LoRA의 느린 수렴의 핵심 원인이 두 개의 행렬을 동시에 최적화해야 한다는 점임을 발견합니다. "단일 행렬 훈련이 표현 능력을 희생하지 않으면서 최적화를 단순화할 수 있다"는 가정에 기반하여, 저자들은 MiSS 방법을 제안합니다.

핵심 기여

  1. MiSS 방법 제안: 샤드 공유 메커니즘을 갖춘 효율적이고 적응적인 구조로, 성능, 메모리 효율성, 계산 효율성 간의 효과적인 균형 달성
  2. 이론 및 실험 검증: 다양한 데이터셋과 모델 아키텍처에서 MiSS의 우월성을 검증하는 대규모 실험
  3. 포괄적인 PEFT 방법 비교: 메모리 사용량, 초기화 오버헤드, 계산 효율성 측면에서 다양한 PEFT 방법의 종합 평가
  4. 파레토 프론티어 분석: 이러한 차원들의 파레토 프론티어를 매핑하여 MiSS가 유리한 위치에 있음을 증명

방법 상세 설명

작업 정의

사전 훈련된 가중치 행렬 W0∈Rd×kW_0 \in \mathbb{R}^{d \times k}가 주어졌을 때, 목표는 매개변수 효율적인 업데이트 ΔW\Delta W를 학습하여 미세조정된 모델이 하위 작업에서 잘 수행되도록 하면서 동시에 훈련 가능한 매개변수 수와 계산 오버헤드를 최소화하는 것입니다.

모델 아키텍처

MiSS 기본 형식

MiSS는 가중치 업데이트를 작은 훈련 가능 행렬 DD에서 확장 연산을 통해 생성된 큰 행렬로 정의합니다:

W=W0+ΔW=W0+expand(D)W = W_0 + \Delta W = W_0 + \text{expand}(D)y=W0x+expand(D)xy = W_0x + \text{expand}(D)x

여기서 D∈Rr1×r2D \in \mathbb{R}^{r_1 \times r_2}, (r1,r2)≪min⁡(d,k)(r_1, r_2) \ll \min(d,k)입니다.

확장 메커니즘

출력 차원 dd를 크기 {s1,s2,…,sN}\{s_1, s_2, \ldots, s_N\}의 NN개 샤드로 분할하며, ∑i=1Nsi=d\sum_{i=1}^N s_i = d입니다. 각 샤드 ii에 대해, 그 업데이트는 DD의 ii번째 행 DiD_i를 sis_i번 반복함으로써 결정됩니다:

(expand(D))T=[(1s1D1)T(1s2D2)T…(1sNDN)T](\text{expand}(D))^T = [(1_{s_1}D_1)^T \quad (1_{s_2}D_2)^T \quad \ldots \quad (1_{s_N}D_N)^T]

MiSSe^e 효율적 구현

큰 행렬을 명시적으로 형성하는 것을 피하기 위해, MiSSe^e는 D∈Rr×dD \in \mathbb{R}^{r \times d}를 재정의하고 입력 차원 kk를 rr개 블록으로 분할합니다:

x=[x(1),x(2),…,x(r)],x(i)∈Rb×l×gx = [x^{(1)}, x^{(2)}, \ldots, x^{(r)}], \quad x^{(i)} \in \mathbb{R}^{b \times l \times g}

S=[∑j=1gx[:,:,j](1),∑j=1gx[:,:,j](2),…,∑j=1gx[:,:,j](r)]∈Rb×l×rS = \left[\sum_{j=1}^g x^{(1)}_{[:,:,j]}, \sum_{j=1}^g x^{(2)}_{[:,:,j]}, \ldots, \sum_{j=1}^g x^{(r)}_{[:,:,j]}\right] \in \mathbb{R}^{b \times l \times r}

ΔWx=DTS,y=W0x+DTS\Delta Wx = D^T S, \quad y = W_0x + D^T S

기술 혁신점

  1. 단일 행렬 최적화: LoRA가 A와 B 두 행렬을 동시에 최적화해야 하는 것과 달리, MiSS는 단일 행렬 D만 최적화하면 되므로 최적화 복잡도 감소
  2. 샤드 공유 메커니즘: 행렬 구조의 반복을 통해 저순위 특성을 구현하면서 표현 능력 유지
  3. 효율적 구현: MiSSe^e는 블록 레벨 입력 집계를 통해 큰 행렬의 명시적 저장을 피하여 메모리 사용량 대폭 감소

실험 설정

데이터셋

  1. 자연어 이해(NLU): GLUE 벤치마크 부분집합, MNLI, SST-2, CoLA, QNLI, MRPC 포함
  2. 자연어 생성(NLG):
    • 수학 작업: MetaMathQA 데이터셋(395k 부분집합), GSM8K 및 MATH 평가
    • 코드 작업: CodeFeedback 데이터셋(100k 부분집합), HumanEval 및 Mbpp 평가

평가 지표

  • NLU 작업: 정확도
  • 수학 작업: GSM8K 및 MATH 벤치마크의 정확도
  • 코드 작업: HumanEval 및 Mbpp의 통과율
  • 효율성 지표: 훈련 시간, 메모리 사용량, 초기화 시간

비교 방법

LoRA, PiSSA, DoRA, VeRA, AdaLoRA, ProLoRA, MoS 등 다양한 PEFT 방법

구현 세부사항

  • 최적화기: AdamW
  • 학습률: 2e-5
  • 배치 크기: 64-128
  • 학습률 스케줄: 코사인 감쇠
  • MiSS 순위 설정: 16-128(작업에 따라 조정)

실험 결과

주요 결과

NLU 작업 성능

RoBERTa-base의 GLUE 벤치마크 테스트에서 MiSS는 CoLA 데이터셋에서 특히 뛰어난 성능을 보여 72.86의 점수를 달성하여 LoRA(62.40)와 PiSSA(67.28)를 크게 능가합니다.

NLG 작업 성능

여러 대규모 언어 모델에서의 실험 결과:

LLaMA2-7B:

  • GSM8K: MiSS(48.16) > PiSSA(43.89) > DoRA(42.93) > LoRA(40.75)
  • Math: MiSS(8.58) > PiSSA(6.92) > DoRA(6.51) > LoRA(5.22)
  • HumanEval: MiSS(23.63) > PiSSA(22.15) > DoRA(21.95) > LoRA(17.74)

Qwen3-4B:

  • Math: MiSS(34.82)는 다른 방법들을 크게 능가하며, PiSSA(26.00), DoRA(21.73), LoRA(15.20)

그래디언트 범위 분석

초기 그래디언트 범위 분석은 MiSS의 설계 개념을 검증합니다. 실험은 MiSS가 다른 개선된 LoRA 변형들과 마찬가지로 표준 LoRA보다 더 큰 초기 그래디언트 범위를 가지고 있으며, 이는 더 빠른 초기 수렴과 관련이 있음을 보여줍니다.

효율성 분석

복잡도 비교

방법공간 복잡도시간 복잡도
FullO(dk)O(bld(d+k))
LoRAO(dr+rk)O(blr(d+k))
MiSSO(dr)O(bldk)
MiSSe^eO(dr)O(blr(d+k/r))

파레토 프론티어 분석

LLaMA-3.2-3B에서의 종합 평가는 MiSS가 성능-효율성 트레이드오프에서 최적 위치를 차지하며, 낮은 메모리 사용량과 훈련 시간을 유지하면서 최고의 테스트 정확도(0.5080)를 달성함을 보여줍니다.

절제 실험

순위 매개변수 영향

LLaMA2-7B에서 다양한 순위 값의 영향 테스트:

  • rank=16: GSM8K(45.90), Math(3.77), 매개변수 21.7M
  • rank=32: GSM8K(46.18), Math(7.43), 매개변수 43.5M
  • rank=64: GSM8K(48.16), Math(8.58), 매개변수 87.0M
  • rank=128: GSM8K(53.49), Math(10.08), 매개변수 174.0M

결과는 성능이 순위에 따라 단조 증가하며, rank=64가 성능-매개변수 간의 좋은 균형을 제공함을 보여줍니다.

관련 연구

LoRA 개선 방법 분류

  1. 적응적 개선: PiSSA, LoRA-GA, LoRA+ 등, 주로 초기화 전략 변경을 통해 수렴 가속화
  2. 효율성 최적화: VeRA, ProLoRA, MoS 등, 계산 및 메모리 오버헤드 감소에 중점

본 논문의 상대적 장점

기존 방법과 비교하여, MiSS는 단일 행렬 최적화 전략을 통해 성능을 유지하면서 효율성을 크게 향상시키며, PiSSA 등의 방법의 비용이 많이 드는 초기화 과정을 피하고, LoRA-GA 등의 방법이 필요로 하는 최적화기에 대한 특수 요구사항도 필요하지 않습니다.

결론 및 토론

주요 결론

  1. 단일 행렬 최적화: 단일 행렬 최적화가 이중 행렬 최적화에 비해 최적화 복잡도를 감소시키고 수렴을 가속화할 수 있음을 증명
  2. 효과적인 트레이드오프: MiSS는 성능, 메모리, 계산 효율성 세 가지 차원 간의 더 나은 균형 달성
  3. 광범위한 적용성: 다양한 모델 아키텍처 및 작업 유형에서 일관된 우월성 입증

한계

  1. 이론 분석의 깊이: 복잡도 분석을 제공하지만, 단일 행렬 최적화가 더 효과적인 이유에 대한 이론적 설명이 충분하지 않음
  2. 초매개변수 민감성: 다양한 작업 및 모델에 대해 순위 매개변수의 최적 선택이 추가 조정이 필요할 수 있음
  3. 확장 메커니즘의 일반성: 현재의 샤드 확장 전략이 최적이 아닐 수 있으며 개선 여지가 있음

향후 방향

  1. 이론적 기초: 단일 행렬 최적화의 이론적 기초에 대한 심층 연구
  2. 자동 순위 선택: 최적 순위를 자동으로 선택하는 방법 개발
  3. 다중 모달 확장: MiSS를 다중 모달 작업으로 확장

심층 평가

장점

  1. 높은 혁신성: 제안된 샤드 공유 메커니즘은 새롭고 효과적인 아이디어
  2. 충분한 실험: 다양한 모델, 데이터셋, 평가 차원을 포함하며 실험 설계가 합리적
  3. 높은 실용 가치: 성능을 유지하면서 효율성을 크게 향상시키며 매우 실용적
  4. 포괄적 분석: 그래디언트 범위, 복잡도, 파레토 프론티어 등 다양한 각도에서 심층 분석

부족한 점

  1. 이론적 설명: MiSS가 단일 행렬 최적화 하에서 표현 능력을 유지할 수 있는 이유에 대한 이론적 설명이 충분하지 않음
  2. 벤치마크 비교: 일부 최신 PEFT 방법과의 비교 부족
  3. 긴 시퀀스 성능: 긴 시퀀스 작업에서의 성능이 충분히 테스트되지 않음

영향력

  1. 학술 기여: PEFT 분야에 새로운 설계 사상을 제공하여 관련 연구에 영감을 줄 수 있음
  2. 실용 가치: 방법이 간단하고 효과적이며 구현 및 배포가 용이
  3. 재현성: 상세한 구현 세부사항과 오픈소스 코드 제공

적용 시나리오

  1. 자원 제한 환경: 특히 GPU 메모리가 제한된 시나리오에 적합
  2. 대규모 배포: 높은 효율성으로 인해 대규모 배포가 필요한 애플리케이션에 적합
  3. 다중 작업 학습: 다중 작업 학습에서 효율적인 어댑터로 사용 가능

참고문헌

논문은 LoRA, PiSSA, DoRA 등 중요한 PEFT 방법과 GSM8K, MATH 등 표준 평가 벤치마크를 인용하여 관련 연구에 대한 포괄적인 배경과 비교 기초를 제공합니다.

전체 평가: 이것은 높은 품질의 PEFT 방법 논문으로, 제안된 MiSS 방법은 이론적으로 일정한 혁신성을 가지고 있으며, 실험 검증이 충분하고 실용 가치가 높습니다. 논문의 주요 기여는 단일 행렬 최적화를 통해 성능-효율성의 더 나은 트레이드오프를 달성하여 PEFT 분야에 새로운 연구 방향을 제공한다는 점입니다.