2025-11-11T15:58:09.452987

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning

Zhang, Yang, Cai et al.
As large language models (LLMs) continue to scale in size, the computational overhead has become a major bottleneck for task-specific fine-tuning. While low-rank adaptation (LoRA) effectively curtails this cost by confining the weight updates to a low-dimensional subspace, such a restriction can hinder effectiveness and slow convergence. This contribution deals with these limitations by accumulating progressively a high-rank weight update from consecutive low-rank increments. Specifically, the per update optimal low-rank matrix is identified to minimize the loss function and closely approximate full fine-tuning. To endow efficient and seamless optimization without restarting, this optimal choice is formed by appropriately scaling the columns of the original low-rank matrix. Rigorous performance guarantees reveal that the optimal scaling can be found analytically. Extensive numerical tests with popular LLMs scaling up to 12 billion parameters demonstrate a consistent performance gain and fast convergence relative to state-of-the-art LoRA variants on diverse tasks including natural language understanding, commonsense reasoning, and mathematical problem solving.
academic

ScaLoRA: Оптимально масштабированная низкоранговая адаптация для эффективной высокоранговой тонкой настройки

Основная информация

  • ID статьи: 2510.23818
  • Название: ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
  • Авторы: Yilang Zhang, Xiaodong Yang, Yiwei Cai, Georgios B. Giannakis
  • Учреждения: University of Minnesota - Twin Cities, Visa Research
  • Категория: cs.LG
  • Дата подачи: 27 октября 2025 г.
  • Ссылка на статью: https://arxiv.org/abs/2510.23818v1

Аннотация

По мере расширения масштабов больших языковых моделей (LLM) вычислительные затраты становятся основным узким местом при тонкой настройке для конкретных задач. Хотя низкоранговая адаптация (LoRA) эффективно снижает затраты, ограничивая обновления весов низкомерным подпространством, это ограничение препятствует производительности и замедляет сходимость. В данном исследовании решаются эти ограничения путём постепенного накопления последовательных низкоранговых приращений для формирования высокоранговых обновлений весов. В частности, для каждого обновления определяются оптимальные низкоранговые матрицы, минимизирующие функцию потерь и тесно аппроксимирующие полную тонкую настройку. Для достижения эффективной и бесперебойной оптимизации без перезагрузки этот оптимальный выбор формируется путём надлежащего масштабирования столбцов исходной низкоранговой матрицы. Строгие гарантии производительности показывают, что оптимальное масштабирование можно найти аналитическим методом. Обширные численные тесты на популярных LLM с параметрами до 12 миллиардов демонстрируют, что метод достигает последовательного улучшения производительности и быстрой сходимости по сравнению с передовыми вариантами LoRA на разнообразных задачах, включая понимание естественного языка, логический вывод и решение математических задач.

Исследовательский контекст и мотивация

Определение проблемы

По мере быстрого роста масштабов больших языковых моделей традиционные методы полной тонкой настройки становятся всё менее практичными из-за огромных вычислительных затрат. Например, даже наименьший вариант Llama 4 Scout содержит 109 миллиардов параметров, и полная тонкая настройка требует более 1 ТБ памяти GPU даже при использовании половинной точности и значительного времени.

Ограничения существующих методов

  1. Ограничения LoRA: Хотя LoRA эффективно снижает вычислительные затраты путём параметризации обновлений весов как внешнего произведения двух высоких тонких матриц, фиксированное низкомерное подпространство приводит к снижению производительности и медленной сходимости.
  2. Проблемы высокоранговых обновлений: Существующие методы высокоранговых обновлений, такие как ReLoRA, требуют перезагрузки оптимизации, MoRA требует тщательно разработанных нелинейных отображений, а операции произведения Адамара HiRA имеют высокую сложность.

Исследовательская мотивация

Данная работа направлена на преодоление ограничений LoRA путём динамического определения оптимальных низкоранговых адаптеров, формирования высокоранговых обновлений весов путём стекирования последовательных низкоранговых приращений при сохранении вычислительной эффективности.

Основные вклады

  1. Теоретический анализ: Доказаны необходимые и достаточные условия для оптимальных низкоранговых адаптеров, установлены условия, требующие усечённого SVD, но указано на его высокую вычислительную стоимость.
  2. Метод ScaLoRA: Предложен метод ограничения новых адаптеров путём преобразования масштабирования столбцов, позволяющий аналитически определить глобально оптимальные адаптеры и вычислимые оценки матриц.
  3. Экспериментальная проверка: Проведены комплексные тесты на моделях DeBERTaV3-base, LLaMA-2-7B, LLaMA-3-8B и Gemma-3-12B-pt, подтверждающие теоретический анализ и демонстрирующие превосходную производительность и ускоренную сходимость ScaLoRA.

Подробное описание метода

Определение задачи

Рассмотрим общую матрицу весов большой модели W∈Rm×nW \in \mathbb{R}^{m \times n}. LoRA разлагает её как W=Wpt+WftW = W^{pt} + W^{ft}, где WptW^{pt} — замороженные предварительно обученные веса, Wft:=ABTW^{ft} := AB^T — обучаемое обновление при тонкой настройке, A∈Rm×rA \in \mathbb{R}^{m \times r}, B∈Rn×rB \in \mathbb{R}^{n \times r}, и r≪m,nr \ll m,n.

Основная идея: динамические оптимальные низкоранговые адаптеры

В отличие от LoRA, фиксированного на AtBtTA_tB_t^T, ключевая идея ScaLoRA заключается в динамическом определении «оптимального» низкорангового адаптера на каждой итерации, максимизирующего снижение потерь:

Wt=Wpt+AtBtT=(Wpt+AtBtT−A~tB~tT)⏟объединено и заморожено+A~tB~tT⏟обучаемоW_t = W^{pt} + A_tB_t^T = \underbrace{(W^{pt} + A_tB_t^T - \tilde{A}_t\tilde{B}_t^T)}_{\text{объединено и заморожено}} + \underbrace{\tilde{A}_t\tilde{B}_t^T}_{\text{обучаемо}}

Теоретический анализ оптимальных низкоранговых адаптеров

Теорема 1 (Условия оптимальности): Рассмотрим SVD ∇ℓ(Wt)=UtΣtVtT\nabla\ell(W_t) = U_t\Sigma_tV_t^T. Если rank(∇ℓ(Wt))≥2r,∀t\text{rank}(\nabla\ell(W_t)) \geq 2r, \forall t и выполнены предположения о липшицевой гладкости, то (A~t∗,B~t∗)(\tilde{A}_t^*, \tilde{B}_t^*) минимизирует верхнюю границу потерь тогда и только тогда, когда:

A~t∗=1Lη[Ut]AtPt,B~t∗=1Lη[Vt]BtQt\tilde{A}_t^* = \frac{1}{\sqrt{L\eta}}[U_t]_{\mathcal{A}_t}P_t, \quad \tilde{B}_t^* = \frac{1}{\sqrt{L\eta}}[V_t]_{\mathcal{B}_t}Q_t

где At∪Bt={1,…,2r}\mathcal{A}_t \cup \mathcal{B}_t = \{1,\ldots,2r\}, ∣At∣=∣Bt∣=r|\mathcal{A}_t| = |\mathcal{B}_t| = r, Pt,Qt∈O(r)P_t, Q_t \in O(r).

Оптимальное решение со скалярным масштабированием

Чтобы избежать вычислительных затрат SVD, ScaLoRA ограничивается A~t=αtAt\tilde{A}_t = \alpha_t A_t, B~t=βtBt\tilde{B}_t = \beta_t B_t.

Теорема 3 (Оптимальное решение со скалярным масштабированием): При предположениях 1-2 глобальный минимум целевой функции задаётся следующим образом:

\left(\pm\frac{\|A_t^T\nabla\ell(W_t)\|_F}{\sqrt{L\eta\|A_tA_t^T\nabla\ell(W_t)\|_F}}, 0\right) & \text{если } C_t^A > 0, C_t^B \leq 0 \\ \left(0, \pm\frac{\|\nabla\ell(W_t)B_t\|_F}{\sqrt{L\eta\|\nabla\ell(W_t)B_tB_t^T\|_F}}\right) & \text{если } C_t^A \leq 0, C_t^B > 0 \\ \left(\pm\sqrt{\frac{C_t^A}{L\eta C_t}}, \pm\sqrt{\frac{C_t^B}{L\eta C_t}}\right) & \text{если } C_t^A \geq 0, C_t^B \geq 0, C_t > 0 \end{cases}$$ ### Оптимальное решение с масштабированием столбцов Для повышения способности аппроксимации ScaLoRA дополнительно рассматривает масштабирование столбцов $\tilde{A}_t = A_t\text{diag}(\alpha_t)$, $\tilde{B}_t = B_t\text{diag}(\beta_t)$. **Теорема 5 (Оптимальное решение с масштабированием столбцов)**: Если система линейных уравнений $[(S_t^{A\top}S_t^A) \odot (S_t^{B\top}S_t^B)]v_t = \lambda_t$ имеет неотрицательное решение $v_t \in \mathbb{R}_+^{2r}$, то глобальный минимум задаётся как: $$\begin{bmatrix} \alpha_t^* \\ \beta_t^* \end{bmatrix} = \pm\frac{1}{\sqrt{L\eta}}v_t^{\circ\frac{1}{2}}$$ ### Алгоритм ScaLoRA ScaLoRA использует стратегию гибридного масштабирования: 1. При наличии положительного решения линейной системы используется масштабирование столбцов 2. В противном случае используется скалярное масштабирование 3. Оценки матриц обновляются в соответствии с соответствующими леммами ### Анализ сложности - **Временная сложность**: $O(mnr + (m+n+r)r^2)$ - **Пространственная сложность**: $O((m+n+r)r)$ - **Вариант ScaLoRA-I**: Выполняется один раз каждые I итераций, амортизированная временная сложность составляет $O((mnr+(m+n+r)r^2)/I)$ ## Экспериментальная установка ### Наборы данных 1. **Эталон GLUE**: 8 задач понимания естественного языка 2. **Логический вывод**: BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC-easy, ARC-challenge, OpenBookQA 3. **Решение математических задач**: MetaMathQA (обучение), GSM8K и MATH (тестирование) ### Модели - **DeBERTaV3-base** (184M параметров): для задач GLUE - **LLaMA-2-7B** и **LLaMA-3-8B**: для логического вывода - **Gemma-3-12B-pt**: для решения математических задач ### Методы сравнения - LoRA (базовый метод) - MoRA: вариант высокоранговых обновлений - HiRA: адаптация высокого ранга Адамара - LoRA (r=32): высокоранговая LoRA как верхняя граница ### Конфигурация экспериментов - Ранг LoRA: r=4 (GLUE), r=8 (логический вывод и математика) - Оптимизатор: AdamW - Скорость обучения: выбирается путём поиска по сетке - Метрики оценки: точность, F1-оценка, коэффициент корреляции Мэтьюса и др. ## Результаты экспериментов ### Результаты эталона GLUE Результаты на DeBERTaV3-base показывают: - ScaLoRA достигает лучшей производительности в 7 из 8 задач - Среднее улучшение производительности на 0,5%+ - На задаче RTE достигает точности 87,61±0,34, значительно превосходя другие методы ### Результаты логического вывода **LLaMA-2-7B**: - ScaLoRA: 74,51% (среднее) - ScaLoRA-I: 74,75% (среднее) - LoRA: 73,63% (среднее) - Улучшение производительности примерно на 1% **LLaMA-3-8B**: - ScaLoRA: 77,85% (среднее) - ScaLoRA-I: 77,57% (среднее) - LoRA: 76,83% (среднее) - Даже превосходит LoRA (r=32) с 77,54% ### Результаты решения математических задач На Gemma-3-12B: - **GSM8K**: ScaLoRA-I (82,11%) vs LoRA (81,20%) - **MATH**: ScaLoRA-I (37,96%) vs LoRA (37,20%) ### Анализ вычислительных затрат Сравнение затрат с использованием LLaMA-3-8B: - **Временные затраты**: ScaLoRA увеличивает затраты на ~50% по сравнению с LoRA, но затраты ScaLoRA-I незначительны - **Затраты памяти**: ScaLoRA увеличивает на всего 0,01 ГБ, что намного ниже, чем 7,83 ГБ для HiRA ### Ключевые выводы 1. **Рост ранга**: ScaLoRA постепенно увеличивает ранг обновлений весов с начального значения 4 до среднего 54 2. **Скорость сходимости**: ScaLoRA сходится значительно быстрее, чем ванильная LoRA 3. **Процент выполнения условий**: Примерно 80% слоёв LoRA удовлетворяют условиям неотрицательности для масштабирования столбцов ## Связанные работы ### Варианты LoRA - **DoRA**: разложение весов на компоненты амплитуды и направления - **QLoRA**: квантизация предварительно обученных весов для дальнейшего снижения вычислительных затрат - **FourierFT**: замена низкоранговых матриц спектральными коэффициентами - **Flora**: использование случайной проекции для кодирования и декодирования градиентов весов ### Методы высокоранговых обновлений - **ReLoRA**: каскадные низкоранговые адаптеры, но требующие перезагрузки оптимизации - **MoRA**: замена линейного матричного умножения нелинейным отображением - **HiRA**: параметризация обновлений весов как произведения Адамара низкоранговой матрицы и предварительно обученных весов ## Заключение и обсуждение ### Основные выводы 1. ScaLoRA успешно реализует высокоранговые обновления весов путём динамического оптимального масштабирования 2. Теоретический анализ обеспечивает аналитические формы оптимальных решений 3. Эксперименты демонстрируют последовательное улучшение производительности и быструю сходимость на различных задачах ### Ограничения 1. **Вычислительные затраты**: увеличение вычислительного времени примерно на 50% по сравнению с LoRA 2. **Требования к хранению**: необходимо хранить полные матрицы весов, а не только низкомерные адаптеры 3. **Масштабируемость**: с ростом размера модели вычислительные затраты ограничивают масштабируемость ### Направления будущих исследований 1. Дальнейшая оптимизация вычислительной эффективности 2. Исследование более эффективных стратегий высокоранговых обновлений 3. Расширение на модели большего масштаба ## Глубокая оценка ### Преимущества 1. **Теоретическая строгость**: обеспечивает полный математический анализ и доказательства 2. **Методологическая инновация**: умно избегает вычислительных затрат SVD путём масштабирования 3. **Комплексные эксперименты**: охватывают различные задачи и масштабы моделей 4. **Практическая применимость**: вариант ScaLoRA-I балансирует производительность и эффективность ### Недостатки 1. **Вычислительные затраты**: по-прежнему значительное увеличение вычислений по сравнению с исходной LoRA 2. **Ограничения хранения**: хранение полных матриц весов может стать узким местом 3. **Теоретические предположения**: некоторые предположения могут не полностью выполняться в практических приложениях ### Влияние 1. **Научный вклад**: предоставляет новую теоретическую базу для параметрически эффективной тонкой настройки 2. **Практическая ценность**: значительно улучшает производительность при сохранении эффективности 3. **Воспроизводимость**: предоставляет полные детали алгоритма и реализации ### Применимые сценарии 1. Сценарии, требующие высококачественной тонкой настройки при ограниченных вычислительных ресурсах 2. Приложения с высокими требованиями к скорости сходимости 3. Эффективная тонкая настройка моделей среднего масштаба ## Список литературы Статья цитирует 62 связанные работы, охватывающие LoRA и его варианты, параметрически эффективную тонкую настройку, большие языковые модели и другие соответствующие области, обеспечивая прочную теоретическую основу для исследования. --- **Резюме**: ScaLoRA — это работа с важными вкладами как в теории, так и на практике, решающая основные ограничения LoRA путём умного математического анализа и достигающая значительного улучшения производительности при сохранении вычислительной эффективности. Этот метод предоставляет новые идеи и инструменты для параметрически эффективной тонкой настройки больших языковых моделей.